日本データベース学会和文論文誌
一般論文

孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月人間嬫孁孉 孃孲孯孷孤の相互作用によるタスク結果の品質向上

タスク処理の効率化
人間+AIクラウドの相互作用により実現

人間とAIワーカ間でタスク結果が不一致なタスクを、人間ワーカに追加割り当て

タスク結果品質の管理手法!!

人間ワーカのタスク結果を用いて、AIワーカの学習および評価を行う
タスク割り当て

追加割り当て
A
AC

人間ワーカ

小林正樹1

若林啓2

森嶋厚行3

A

AIワーカ

??

タスク集合

C

本論文では，群衆によって開発された不特定多数の孁孉プログラ

B

タスク結果の比較C

ムを，人間のクラウドワーカと同様に扱う嬢人間嬫孁孉 孃孲孯孷孤嬢世界B

タスク結果の共有

B

でのクラウドソーシングにおいて，必ずしも正答するとは限らない人間および孁孉ワーカの相互作用により，低コストで高品質な

図嬱 本論文では，人間ワーカと孁孉ワーカの相互作用を設計す

タスク結果を実現するタスク割り当て問題を扱う．この嬢人間嬫孁孉ることで，全体的なタスク結果品質を改善しながらタスクを処孃孲孯孷孤嬢世界では，人間ワーカのタスク結果は単なる成果物とし理する仕組みを提案する．

てだけでなく，複数の孁孉ワーカの学習と評価に利用される．そして，最初は人間によって行われていた作業のうち，孁孉化が可能な部分が徐々に自動的に孁孉による作業に置き換えられる．したがっ決に適用するまでのプロセスには手動での試行錯誤を伴うことがて，人間ワーカから得られるタスク結果品質は特に重要である

多い．例として，クラウドソーシングと機械学習モデルを組み合が，現実のクラウドソーシングでは，様々な理由で人間ワーカかわせて，依頼者が要求する品質で嬱嬰嬬嬰嬰嬰枚の画像を嬱嬰クラス分類

らのタスク結果が不正確な可能性があり，これにより最終的なタすることを考える．依頼者はまず，クラウドソーシングを用いてスク結果品質の低下を引き起こす．そのため，多数決などの集約

一部の画像にラベルを付与して，機械学習モデルを作成するため手法を適用することが一般的であるが，このコストをできるだけのデータセットを構築する．次に，作成したデータセットを用い削減したい．本論文では，人間ワーカと孁孉ワーカの回答の不一致て，機械学習モデルの作成を孋孡孧孧孬孥等のプラットフォームで依に着目し，人間ワーカの追加タスクの必要性を判定することで，頼する．このような手順を踏むことで，依頼者は機械学習モデル

人間ワーカのタスク数の増加を抑えながらタスク結果品質を改善を入手できる．しかし，その機械学習モデルの出力が依頼者の要する手法を提案する．ベンチマークデータセットを用いた実験結

求する精度を満たすとは限らない．したがって，依頼者は学習お果から，不確実な人間ワーカと孁孉ワーカが相互にタスク結果を共よびテストデータを拡充した上で機械学習モデルの開発を再依頼有することで，タスク結果品質を改善しながら効率的にタスクをするか， 孁孉の利用を諦めて全ての画像の分類をクラウドソーシ

処理する仕組みが構築可能であることを示す．

ングで行うといった意思決定が求められる．このような工程を経て，人間による処理と計算機による処理を適切に組み合わせるこ嬱とは，専門家であっても容易ではない．

はじめに

本研究はこの問題について，孁孉プログラムが利用するモデルやクラウドソーシングは不特定多数の人間のワーカに作業を依頼

アルゴリズムの情報を使わず，ブラックボックスな嬢孁孉ワーカ嬢とすることで，依頼者の課題を解決するための有効な手段である．

してモデル化して扱う嬢人間嬫孁孉 孃孲孯孷孤嬢アプローチを提案する．

クラウドソーシングの課題として，実際に人間のワーカが作業す

まず，先行研究で「人間ワーカは正しい」という前提で，依頼者ることから，得られた作業結果に誤りを含む可能性があることの要求精度を満たすような人間ワーカおよび孁孉ワーカへのタスや，作業を依頼可能な人間ワーカは限られているため，作業効率

ク割り当て問題を提起し，この問題に対するタスク割り当てアには限度があることが挙げられる．

ルゴリズムを提案した 孛嬹嬬 嬱嬰孝．このアルゴリズムは，人間ワー

一方で近年， 孁孉プログラムの作成を外部協力者にクラウドカからのタスク結果を基準として孁孉ワーカの性能を統計的検定

ソーシングする試みが普及しており，代表的な例として 孋孡孧嬭

により評価する． 孁孉ワーカの出力の全体を評価するのではなく，

孧孬孥 *1や孁孉季孲孯孷孤 *2，孓孉孇孎孁孔孅 *3 が挙げられる．このような仕組み

孁孉ワーカが出力するラベルの種類ごと（タスククラスタ，嬳嬮嬲節を活用すれば， 孁孉技術に精通していない依頼者であっても最先で説明）に評価し，より多くのタスクを孁孉ワーカに割り当てる．

端の孁孉技術の恩恵を受けられる．

先行研究 孛嬹嬬 嬱嬰孝のアルゴリズムでは，人間ワーカのタスク結果

しかしながら，孁孉プログラムの作成を依頼し，依頼者の課題解
1 学生会員を成果物の一部として利用するだけでなく，孁孉ワーカの学習や評価に用いる．そのため，ワーカは常に正しいという前提を置いて筑波大学図書館情報メディア研究科

いるが，現実には人間ワーカから得られるタスク結果が正しいと

makky@klis.tsukuba.ac.jp

2 正会員

筑波大学図書館情報メディア系は限らない．クラウドソーシングにおける品質管理の研究では，

kwakaba@slis.tsukuba.ac.jp

3 正会員

異なる複数の人間ワーカに対して同一のタスクを割り当てて，そ筑波大学図書館情報メディア系

れらの結果を統合して，より正確なタスク結果を得る多数決など

morishima-office@ml.cc.tsukuba.ac.jp*1 https://www.kaggle.com*2 https://www.aicrowd.com*3 https://signate.jpの集約に基づく方法が広く用いられている 孛嬱嬲孝．これにより，全データに対して複数のタスク結果の集約を適用すれば，人間ワー嬱日本データベース学会和文論文誌
一般論文

孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月

ベル付けを必要とするデータを決定して，より少ないラベル付デカから得られるタスク結果品質の改善が期待できるが，人間ワー

ータで高性能なモデルを学習できることが知られている．このよカへ依頼するタスク数が膨大になることが懸念される．
そこで本論文では，人間ワーカと孁孉ワーカの結果を相互に比うな方式は能動学習と呼ばれ，コストの制約がある，複数の性能

較して，全体的なタスク結果の品質向上を行う仕組みを提案するの異なる人間ワーカに問い合わせが可能であるといった状況にお（図嬱）．本論文では，正解のあるタスクを対象とし，品質が高い

ける問い合わせ戦略が研究されている 孛嬱嬱嬬 嬱嬷嬬 嬱嬸孝．能動学習と本結果とは，その正解率が高いことを意味する．また，品質が高い

研究が取り組む問題は次の２つの観点から異なる． 嬨嬱嬩 能動学習

ワーカとは，そのタスクに対して高品質が期待されるワーカであの目的は予算内で対象の機械学習モデルの性能の最大化であるのる．提案手法では，人間ワーカと孁孉ワーカのタスク結果の不一致に対し，本研究では孁孉ワーカと人間ワーカに適切にタスクを割に基づいて，人間ワーカに追加のタスク割り当てを行うことで，り当てることで，全体として要求精度を満たすのが目的である．

人間ワーカから得られるタスク結果の品質（正解率）を向上させ

嬨嬲嬩 能動学習は学習ループの実行を開始する前に，対象の機械学る．高品質な人間ワーカのタスク結果を孁孉ワーカの学習や評価の習モデルを与える必要があるが，本研究ではタスク処理の進行中

データセットとして用いることで，より多くのタスクを孁孉ワーに，ブラックボックスである複数の孁孉ワーカの増減を許す．

カに割り当てることを目指す．実験結果から，提案手法が全ての複数の機械学習モデルが利用可能な状況では，それらの出力をタスクに多数決を適用する手法と大きく変わらない品質のまま，統合（モデルアンサンブル）し，より精度の高いモデルを構築で人間ワーカへの追加割り当て数を大幅に削減できる可能性が示唆きることが知られている 孛嬶孝．しかし，機械学習モデルの候補やされた．本手法は理論的に最悪のケースでも既存手法と同等の結

どのように組み合わせることが精度向上に繋がるかは自明ではな

果をもたらすため，実用的であると考えられる．

く，モデル設計者による実験が求められる．

本研究の貢献は次の通りである嬺

人間による作業と計算機処理を組み合わせて現実の問題に取り組むさまざまな方式の研究が存在する 孛嬱嬬 嬲嬬 嬷嬬 嬱嬴嬕嬱嬶嬬 嬱嬹孝．多くの• 先行研究 孛嬹嬬 嬱嬰孝で提案した人間＋孁孉クラウドタスク割り当

研究では人間および計算機処理の役割を事前に設計する必要があて問題のアルゴリズムの性能を，人間ワーカのタスク結果がるが，本研究では両者の分担を依頼者の要求精度に応じて自動的

不正確な状況設定で評価した．

に決定する．

• 既存のタスク割り当てアルゴリズム 孛嬹嬬 嬱嬰孝と多数決を組み合わせることで，人間ワーカのタスク結果が不正確でも要求精嬳度を満たすタスク割り当てが可能であるが，人間ワーカへの先行研究 孛嬹嬬 嬱嬰孝で提案された人間ワーカおよび孁孉ワーカに対タスク割り当てを削減できる余地があることを示した．

するタスク割り当て問題と，そのタスク割り当てアルゴリズムに• 人間ワーカと孁孉ワーカの不一致に基づいた人間ワーカへのついて説明する．

追加タスク割り当てと孁孉ワーカの評価を組み合わせたアル嬳嬮嬱 問題設定

ゴリズムを提案した．実験結果から，提案アルゴリズムが全与えられたタスク集合 𝑇 の各要素に対して，ラベル集合 𝐴 のタスクに多数決を適用する手法と比較して，人間ワーカへのいずれかの要素を付与することを考える．タスクの処理は人間ワ

追加割り当て数を大幅に削減しながら，多数決を適用する手ーカもしくは孁孉ワーカに割り当てて行う． 孁孉ワーカ集合 𝑊 には法と大きく変わらない品質の結果をもたらすケースがあるこ

匿名の外部協力者によって実装された，アルゴリズムや性能がブとを示した．本手法での最悪のケースは，最大限人間に割りラックボックスである孁孉ワーカが含まれる． 孁孉ワーカ集合の各当てる場合だが，その場合も既存手法と同等の結果になる．

嬲

問題設定と既存手法

要素 𝑤 ∈ 𝑊 は関数 𝑤 : 𝑇 → N であり，入力のタスクに対して 𝐴に限定されないラベルを返す．各孁孉ワーカについて，任意のデー

関連研究

タセットによる訓練と与えられたタスクに対するラベルの予測のクラウドソーシングにおける品質管理の問題に取り組む研究で機能のみを呼び出し可能とする．個々の人間ワーカ毎のスキルやは，不特定多数の人間ワーカからより正確な成果物を得るための能力を考慮しないことから，人間ワーカを単に 孠孨嬧 と表記する．

様々な手法が提案されており，典型的な手法には複数のワーカの本研究が扱うのは，依頼者が設定する全体的なタスク結果の要作業結果の統合，品質の高いワーカの検出，ワーカを訓練する

求精度 𝑞 （0 ≤ 𝑞 ≤ 1）を満たし，かつより多くのタスクを孁孉ワ

ためのタスクの導入，タスク設計の改良などが挙げられる 孛嬴嬬 嬸孝．

ーカに割り当てるようなタスク割り当て集合 𝑆 を求める問題でタスク結果の品質管理のために，本研究と既存手法を組み合わせある．どのタスクをどのワーカが処理したかというタスク割り当ることは有効な手段である．本論文では人間ワーカのタスク結果ての集合 𝑆 は，タスクとワーカのペア (𝑡, 𝑤) で構成される．ただ品質を多数決により改善できることを前提としたアルゴリズムをし， 𝑤 ∈ 𝑊 ∪ {‘ℎ嬧} および 𝑡 ∈ 𝑇 とする．全タスクへの割り当て提案する．一方で，大半のワーカが誤った回答をするような，多が完了した時 |𝑆| = |𝑇 | となる．

数決が機能しない状況に対応するために，各ワーカの能力や対象

嬳嬮嬲 タスククラスタ

先行研究で提案されたタスク割り当てアルゴリズムは，類似タのタスク以外への結果を考慮した回答統合手法と提案アルゴリズ
ムを組み合わせることは興味深い課題である 孛嬵嬬 嬱嬳嬬 嬲嬰孝．

スクからなるタスククラスタ（タスク集合の部分集合）を構成
し，孁孉ワーカをタスククラスタ毎に評価することで，より多くの人間によりラベル付けされたデータに基づいて機械学習モデル

タスクを孁孉ワーカに割り当てるというアイデアに基づく．

を学習する際に，機械学習モデルの出力により次に人間によるラ嬲日本データベース学会和文論文誌
一般論文

孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月

𝑞 を満たすような孁孉ワーカが存在する場合，その孁孉ワーカに未Algorithm 1: 孃孬孵孳孴孥孲孷孩孳孥 孔孥孳孴嬭孢孡孳孥孤 孁孳孳孩孧孮孭孥孮孴 嬨孃孔孁嬩

処理のタスク全てを割り当てることで目的を達成できる．しかしInput: 孁 孳孥孴 𝑇 孯学 孴孡孳孫孳嬬 孡 孳孥孴 𝑊 孯学 孁孉 孷孯孲孫孥孲孳嬬 孴孨孥 孡季季孵孲孡季孹 孲孥孱孵孩孲孥孭孥孮孴𝑞嬬 孡孮孤 孴孨孥 孳孩孧孮孩嬜季孡孮季孥 孬孥孶孥孬 𝛼嬮
Output: 孁 孳孥孱孵孥孮季孥 孯学 嬨孴孡孳孫嬬 孷孯孲孫孥孲嬩 孰孡孩孲孳嬮嬱嬺 for all 𝑡 ∈ 𝑇 孳嬮孴嬮 𝑎𝑛𝑠(𝑡) = (∅, ∅) 孩孮 孡 孲孡孮孤孯孭 孯孲孤孥孲 do嬲嬺𝑎 0 ← 𝑡𝑎𝑠𝑘孟𝑟𝑒𝑠𝑢𝑙𝑡 (𝑎𝑠𝑠𝑖𝑔𝑛(𝑡, ‘ℎ嬧))嬳嬺孵孰孤孡孴孥 𝑎𝑛𝑠 孳孯 孴孨孡孴 𝑎𝑛𝑠(𝑡) = (𝑎 0 , ‘ℎ嬧)嬴嬺
for all 𝑇𝑤 ,𝑖 ∈ 𝐶 do嬵嬺𝑎ˆ = arg max |{𝑡 | 𝑡 ∈ 𝑇𝑤 ,𝑖 , 𝑎𝑛𝑠(𝑡) = (𝑎, ‘ℎ嬧)}|ながら，そのような理想的な孁孉ワーカが存在するとは限らず，多くの場合入手できるまでに時間を要する．
そこで， 孁孉ワーカからの出力の部分集合に注目する． 𝑅 𝑤 ={(𝑡 𝑖 , 𝑡 𝑗 ) | 𝑤(𝑡𝑖 ) = 𝑤(𝑡 𝑗 ), 𝑡𝑖 , 𝑡 𝑗 ∈ 𝑇, 𝑡𝑖 ≠ 𝑡 𝑗 } をある孁孉ワーカ 𝑤 が２つのタスクに対して同一の種類の出力をするという二項関係とする． 孁孉ワーカ 𝑤 から得られるタスククラスタ集合は商集合

𝐶 𝑤 = 𝑇/𝑅 𝑤 = {𝑇𝑤 ,0 , 𝑇𝑤 ,1 , ..., 𝑇𝑤 ,N } で表される．タスククラス
タ単位での精度の評価を行うことにより，孁孉ワーカからの出力を部分的に採用するか否かの判断が可能になる．これにより，特性が多種多様であり，全体的な性能が十分とは限らない複数の孁孉ワーカにタスクを割り当てることが期待できる．全孁孉ワーカから得られる全てのタスククラスタは 𝐶 =Ð𝑎∈𝐴

if 𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑎𝑙孟𝑡𝑒𝑠𝑡 (𝑇𝑤 ,𝑖 , 𝑎,
ˆ 𝑞, 𝛼) then嬷嬺学孯孲 𝑡 0 ∈ 𝑇𝑤 ,𝑖 孳嬮孴嬮 𝑎𝑛𝑠(𝑡 0 ) = (∅, ∅)嬬 𝑎𝑠𝑠𝑖𝑔𝑛(𝑡 0 , 𝑤) 孡孮孤 孵孰孤孡孴孥𝑎𝑛𝑠 孳孯 孴孨孡孴 𝑎𝑛𝑠(𝑡 0 ) = ( 𝑎,ˆ 𝑤)
嬸嬺end if嬹嬺end for嬱嬰嬺 end for嬶嬺𝑤 ∈𝑊 𝐶 𝑤 と表記する．

先行研究 孛嬹嬬 嬱嬰孝の評価実験ではタスククラスタを導入すること
で，要求精度 𝑞 を満たしながらより多くの孁孉ワーカへのタスク

孃孔孁では，人間ワーカから得られるタスク結果が正しいと仮定

割り当てを実現できることが報告されている．
嬳嬮嬳

して，人間ワーカのタスク結果を孁孉ワーカの学習と評価に用いタスク割り当てアルゴリズム

先行研究 孛嬹嬬 嬱嬰孝で提案されたタスク割り当てアルゴリズムの１

る．そのため，本論文の実験結果が示すように，人間ワーカのタつである孃孬孵孳孴孥孲孷孩孳孥 孔孥孳孴嬭孢孡孳孥孤 孁孳孳孩孧孮孭孥孮孴 （孃孔孁）について説

スク結果に誤りが含まれる場合に，要求精度を満たす割り当てを明する． 孃孔孁は人間ワーカのラベルを用いて， 孁孉ワーカから得得られない．本論文では，人間ワーカのタスク結果が正しいとはたタスククラスタを統計的検定により評価する．統計的検定で限らない状況を考慮したアルゴリズムを提案する．

は，対象のタスククラスタに含まれる人間ワーカラベルについて

提案手法

嬴

最頻出ラベルの出現割合が 𝑞 を上回るか評価する．タスククラス
タが採用されると，タスククラスタ中の未ラベルのタスクに対し

嬴嬮嬱て最頻出ラベルを付与する．この処理は孁孉ワーカからのタスク

問題設定

本研究で扱う問題は，全体的なタスク結果品質が要求精度 𝑞 を満たすようなタスク割り当て 𝑆 を求めることである．ここで，分

結果を受け入れることに相当する．

孃孔孁のアルゴリズムをアルゴリズム嬱に示す． 孃孔孁の入力は，類タスクの集合 𝑇 ，孁孉ワーカの集合 𝑊 ，要求精度 𝑞 および，ℎ のタスク集合 𝑇 ，孁孉ワーカ集合 𝑊 ，要求精度 𝑞 および統計的検定の確率で正解を返す人間ワーカが与えられる．ただし，同一のタス

有意水準 𝛼 である． 孃孔孁が出力するのは，タスクとワーカのペア

クに対して人間ワーカを 𝑣 回割り当て，その結果の多数決を人間で構成されるタスク割り当ての集合 𝑆 であり，これはアルゴリズ

ワーカからのラベルとして利用することを許す．

ム中の 𝑎𝑠𝑠𝑖𝑔𝑛 関数の実行履歴に相当する． 孃孔孁は全てのタスク嬴嬮嬲

本研究のアプローチ

本論文で提案するタスク割り当てアルゴリズムを説明する前に割り当てが決定されるまで，ランダムな順序でタスクの選択を繰り返す（嬱行目）．ここで，𝑎𝑛𝑠 : 𝑇 → 𝐴 × (𝑊 ∪ {‘ℎ嬧}) ∪ {(∅, ∅)}に，アルゴリズムを構成する２つの要素について説明する．

はタスクを入力するとラベルとワーカのペアを返す更新可能な嬴嬮嬲嬮嬱 人間ワーカへの追加タスク割り当て関数である．あるタスクに対するラベルとワーカが未定の場合

本論文の問題設定では，人間ワーカに割り当てたタスクの結果は (∅, ∅) を返す．選択されたタスクは， 𝑎𝑠𝑠𝑖𝑔𝑛関数によって人間を最終的なタスク結果および孁孉ワーカの学習・評価のために用ワーカに割り当てられ， 𝑡𝑎𝑠𝑘孟𝑟𝑒𝑠𝑢𝑙𝑡 関数によってタスク結果をいる．そのため，人間ワーカから得られるタスク結果品質を高め取得する（嬲行目）．その後，得られたタスク結果を用いて𝑎𝑛𝑠関ることは，全体的なタスク結果品質の向上に繋がる．ここで，タ数を更新する（嬳行目）．次に，現時点で利用可能なタスククラス

スク結果品質とは具体的にはタスク結果の精度とする．

タの集合𝐶 の各要素に対して処理を行う（嬴行目）．５行目では，

人間ワーカから得られるタスク結果品質の管理手法として最もタスククラスタ中の人間ワーカによるラベル済みタスクのうち，単純なのは，人間ワーカに割り当てる全タスクへの多数決の適用

最頻出ラベルを 𝑎ˆ とおく． 嬶行目では 𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑎𝑙孟𝑡𝑒𝑠𝑡 関数によである．多数決により一部の回答が不正確であっても全体としてり，タスククラスタの各タスクのラベルを 𝑎ˆ とした場合に，タス

品質の高いタスク結果を得ることができる．図嬲は，嬲値分類におククラスタから得られるタスク結果品質が要求精度 𝑞 を有意水ける，多数決を行う人数（𝑣 ）と個々の人間ワーカの正答率（ ℎ）

準 𝛼 で上回るかを判定する．先行研究では 𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑎𝑙孟𝑡𝑒𝑠𝑡 関数の組み合わせにおいて，多数決結果の正答率のシミュレーション

として二項検定を用い，タスククラスタから得られるタスク結果

結果を図示したものである．多値分類で間違いパターンが偏らな品質と要求精度の間に差がないことを帰無仮説として，片側検定い場合などでは多数決が有効に働く閾値は嬰嬮嬵ではないが，傾向を行った．帰無仮説が棄却された場合，タスククラスタ中の未ラ

は同様になる．つまり，ワーカの平均正解率が閾値を超えているベルであるタスクの孡孮孳関数を ( 𝑎,ˆ 𝑤) で更新する（嬷行目）．

場合に多数決は有効であり，より多くのワーカが参加すれば正解

嬳日本データベース学会和文論文誌
孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月

1.0

1.0

0.8

0.8

0.6

0.6

0.4

図嬲

v=1
v=3
v=5
v=7

0.2
0.00.0epsilonAccuracy of majority voting

一般論文

0.2
0.4
0.6
0.8
Accuracy of human workers (h)

0.4
0.2
0.00

1.0

2000

4000 6000 8000 10000#completed tasks

epsilon=0.2
epsilon=0.8

個々のワーカの正答率と多数決する人数ごとの正答率の関係．

epsilon=0.5
epsilon=linear

epsilon=sigmoid

図嬳 総タスク数が嬱嬰嬰嬰嬰の場合の，タスク割り当ての進行と各探索方策における 𝜖 の関係．

率が上がる．本論文の提案アルゴリズムは，このような多数決によるタスク結果品質の改善が有効なケースを対象にする．
一方，人間ワーカに割り当てる全タスクへの多数決は，タスク分となる可能性が高くなるので，活用を優先して行うことが有効

数が膨大な状況では現実的でない．そこで，本論文では孁孉ワーカ

である．式嬱と式嬲に，タスク割り当ての進行に応じて値が変動すを用いて多数決を必要とするタスクを選択することを提案する．

る 𝜖𝑙𝑖𝑛𝑒𝑎𝑟 と 𝜖 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 を示す．

あるタスクに対して，複数の人間ワーカを割り当てて多数決を適用することを追加割り当てと呼ぶ．

𝜖𝑙𝑖𝑛𝑒𝑎𝑟 =追加割り当てを行うタスクを選択するにあたり，人間ワーカ|𝑡 | 𝑡 ∈ 𝑇, 𝑎𝑛𝑠(𝑡) = (∅, ∅)|
|𝑇 |

嬨嬱嬩

1
1
(1 + tanh( 𝛼𝜖𝑙𝑖𝑛𝑒𝑎𝑟 ))
2
2

嬨嬲嬩

と孁孉ワーカのタスク結果に不一致が生じたタスクに注目する．不一致であるは，人間ワーカもしくは孁孉ワーカのいずれかもしく

𝜖 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 =は両方が誤りである可能性が高いので，嬨嬱嬩 まずは人間ワーカのタスク結果品質を改善し，嬨嬲嬩 そのタスク結果を用いて孁孉ワーカ

ただし，実験では 𝛼 = 10 を用いた．図嬳に，完了タスク数の増加の訓練と評価を行う．この処理を繰り返すことで，より正確に全に伴う 𝜖 の変化と，実験で比較する 𝜖 = 0.2, 0.5, 0.8を示す．

タスクを処理することを目指す．

嬴嬮嬳

提案アルゴリズム

提案アルゴリズムである孉孮孴孥孲孡季孴孩孶孥 孃孬孵孳孴孥孲孷孩孳孥 孔孥孳孴嬭孢孡孳孥孤 孁孳嬭嬴嬮嬲嬮嬲 活用と探索

本研究の問題設定ではより多くのタスクを孁孉ワーカに割り当孳孩孧孮孭孥孮孴（アルゴリズム嬲）について説明する． 孉孃孔孁では，人間てることが求められるが，一方で孁孉ワーカの訓練と評価を正確ワーカと孁孉ワーカのタスク結果の不一致に基づいて，人間ワーに行うために人間ワーカからのタスク結果品質が重要である．しカに追加タスク割り当てを行うことで，人間ワーカから得られる

かし，多数決による品質管理には十分な票数が必要である．

タスク結果品質の向上を図り，高品質な訓練およびテストデータ

そこで，人間ワーカへの追加割り当てを探索， 孁孉ワーカへのによって孁孉ワーカを活用する．これにより，人間ワーカと孁孉ワ

タスク割り当てを活用とし，両者の処理をバランス良く実行するーカのタスク結果品質を相互に改善しながらタスク割り当てを行ことを考える．ここで，活用と探索の処理の使い分けを制御するう． 嬴行目で 𝜖 と乱数を比較し，探索（嬵 嬭 嬱嬲行目）を行うか，活パラメータ 𝜖 を導入する．ただし，0 ≤ 𝜖 ≤ 1である． [0, 1] の用（嬱嬴 嬭 嬱嬹行目）を行うかを決定する． 嬶 嬭 嬹行目では全てのタス

範囲の一様分布 𝑈 から乱数 𝑢 ∼ 𝑈 を取得する． 𝜖 < 𝑢 の場合，ククラスタについて，人間ワーカと孁孉ワーカのタスク結果が不探索を行う．具体的には， 嬴嬮嬲嬮嬱節で説明した通り，人間ワーカ一致であるタスクを列挙する．嬱嬰行目で最も不一致の頻度が高いと孁孉ワーカのタスク結果の不一致に基づき，人間ワーカに対しタスクを選択し，嬱嬱行目でそのタスクを 𝑣 − 1 名の追加の人間ワて追加タスク割り当てを行うことで，人間ワーカから得られるターカに割り当てた上で𝑚𝑎 𝑗 𝑜𝑟𝑖𝑡𝑦孟𝑣𝑜𝑡𝑒 関数により多数決を行う．

スク結果品質を向上させる．一方で 𝜖 = 𝑢 の場合，活用を行う．

嬱嬲行目では選択したタスクの結果を多数決の結果で更新する．

具体的には，タスククラスタ集合 𝐶 を評価して， 孁孉ワーカに対

評価実験

嬵

してタスク割り当てを行う．
全体としてより多くのタスク結果を孁孉ワーカから採用するた

嬵嬮嬱

実験設定

めに，タスク割り当ての進行に応じて 𝜖 を動的に変動させること

くずし字データセットである孋孍孎孉孓孔 孛嬳孝を用いて，嬱嬰クラスを考える．人間ワーカへの割り当てタスク数が少ない状態では，分類タスクを作成した．訓練データから嬱嬰嬬嬰嬰嬰件の画像とラベル

孁孉ワーカからのタスク結果を採用できる可能性は低いので，優のペアを無作為抽出し，タスク集合として用いた．

先的に探索を実行することが有効である．しかし，人間ワーカへ

孁孉ワーカ集合として，孳季孩孫孩孴嬭孬孥孡孲孮 嬰嬮嬲嬳嬮嬱に実装されている機械の割り当て済みタスク数が増えるにつれ， 孁孉ワーカの性能が十学習モデルの中から，次のクラス名で定義されたモデルを初期嬴日本データベース学会和文論文誌
一般論文

孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月

Algorithm 2: 孉孮孴孡孲孡季孴孩孶孥 孃孬孵孳孴孥孲孷孩孳孥 孔孥孳孴嬭孢孡孳孥孤 孁孳孳孩孧孮嬭

で横軸の値の変動を伴わない総タスク数の増加は孁孉ワーカによ孭孥孮孴（孉孃孔孁）るタスク処理を意味する．下段の図において，全体的なタスク結

Input: 孁 孳孥孴 𝑇 孯学 孴孡孳孫孳嬬 孡 孳孥孴 𝑊 孯学 孁孉 孷孯孲孫孥孲孳嬬 孴孨孥 孡季季孵孲孡季孹 孲孥孱孵孩孲孥孭孥孮孴𝑞嬬 孴孨孥 孳孩孧孮孩嬜季孡孮季孥 孬孥孶孥孬 𝛼嬬 孡孮孤 孴孨孥 孩孮孴孡孲孡季孴孩孶孥 孴孨孲孥孳孨孯孬孤 𝜖嬮
Output: 孁 孳孥孱孵孥孮季孥 孯学 嬨孴孡孳孫嬬 孷孯孲孫孥孲嬩 孰孡孩孲孳嬮嬱嬺 for all 𝑡 ∈ 𝑇 孳嬮孴嬮 𝑎𝑛𝑠(𝑡) = (∅, ∅) 孩孮 孡 孲孡孮孤孯孭 孯孲孤孥孲 do嬲嬺𝑎 0 ← 𝑡𝑎𝑠𝑘孟𝑟𝑒𝑠𝑢𝑙𝑡 (𝑎𝑠𝑠𝑖𝑔𝑛(𝑡, ‘ℎ嬧))嬳嬺孵孰孤孡孴孥 𝑎𝑛𝑠 孳孯 孴孨孡孴 𝑎𝑛𝑠(𝑡) = (𝑎 0 , ‘ℎ嬧)嬴嬺if 𝜖 < 𝑟𝑎𝑛𝑑𝑜𝑚() then嬵嬺孬孥孴 𝑄 孢孥 孡 孭孵孬孴孩孳孥孴嬶嬺
for all 𝑇𝑘 ∈ 𝐶 do嬷嬺𝑎ˆ = arg max |{𝑡 | 𝑡 ∈ 𝑇𝑘 , 𝑎𝑛𝑠(𝑡) = (𝑎, ‘ℎ嬧)}|

果が，緑色の点線で示される要求精度を下回っている場合，その

嬸嬺
嬹嬺
嬱嬰嬺
嬱嬱嬺
嬱嬲嬺
嬱嬳嬺
嬱嬴嬺
嬱嬵嬺

タスク割り当ては依頼者の要求を満たしていない．青色で示される孁孉ワーカが処理した部分のタスク結果は要求精度を上回っている必要はないが，アルゴリズムの評価のため採用した孁孉ワー
カの実際の品質を示したものである．
実験結果から， ℎ が低いほど要求精度を達成できる割合が低下する．具体的には，𝑞 が ℎ を上回る条件では要求精度を満たさなかった． ℎ = 0.9 における 𝑞 = 0.8 の設定では，孁孉ワーカが処理した部分のタスク結果品質が ℎ を上回った．これは，ノイズを含𝑎∈𝐴𝑄 ← 𝑄 ∪ {𝑡 | 𝑡 ∈ 𝑇𝑘 , 𝑎 ∈ 𝐴, 𝑎𝑛𝑠(𝑡) = (𝑎, ‘ℎ嬧), 𝑎 ≠ 𝑎}
ˆend for孬孥孴 𝑡 0 孢孥 孴孨孥 孭孯孳孴 学孲孥孱孵孥孮孴 孥孬孥孭孥孮孴 孩孮 𝑄
𝑎 0 ← 𝑚𝑎 𝑗 𝑜𝑟𝑖𝑡𝑦孟𝑣𝑜𝑡𝑒([𝑎𝑛𝑠(𝑡 0 ), 𝑡𝑎𝑠𝑘孟𝑟𝑒𝑠𝑢𝑙𝑡 (𝑎𝑠𝑠𝑖𝑔𝑛(𝑡 0 , ‘ℎ嬧))])孵孰孤孡孴孥 𝑎𝑛𝑠 孳孯 孴孨孡孴 𝑎𝑛𝑠(𝑡 0 ) = (𝑎 0 , ‘ℎ‘)else
for all 𝑇𝑤 , 𝑗 ∈ 𝐶 do𝑎ˆ = arg max |{𝑡 | 𝑡 ∈ 𝑇𝑤 , 𝑗 , 𝑎𝑛𝑠(𝑡) = (𝑎, ‘ℎ嬧)}|

むデータを学習した孁孉ワーカが真の正解に近い分類を行ったことを意味する．一方で， ℎ が高いと人間ワーカへの割り当てが少ない状況で孁孉ワーカへの割り当てが行われる傾向が見られた．
嬵嬮嬲嬮嬲 多数決の人数を変えた実験

孃孔孁で人間ワーカにタスク割り当てる際に多数決を行う設定
で，アルゴリズムの挙動を明らかにする実験を行った．実験では人間ワーカの正答率を ℎ = 0.8 とし，多数決の人数 𝑣 を変化させ𝑎∈𝐴

た． 𝑣 ∈ {3, 5, 7} の設定における実験結果を図嬵に示す．

if 𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑎𝑙孟𝑡𝑒𝑠𝑡 (𝑇𝑤 , 𝑗 , 𝑎,
ˆ 𝑞, 𝛼) then学孯孲 𝑡 0 ∈ 𝑇𝑤 , 𝑗 孳嬮孴嬮 𝑎𝑛𝑠(𝑡 0 ) = (∅, ∅)嬬 𝑎𝑠𝑠𝑖𝑔𝑛(𝑡 0 , 𝑤) 孡孮孤孵孰孤孡孴孥 𝑎𝑛𝑠 孳孯 孴孨孡孴 𝑎𝑛𝑠(𝑡 0 ) = ( 𝑎,ˆ 𝑤)
嬱嬸嬺end if嬱嬹嬺end for嬲嬰嬺
end if嬲嬱嬺 end for嬱嬶嬺嬱嬷嬺

実験結果から，𝑣 が高いほど，要求精度を満たせる頻度が増加
した． 𝑣 = 3の設定では， 𝑞 = 0.95 のときに要求精度を達成することが出来なかったが， 𝑣 = 5, 7 の設定では全ての設定で要求精度を満たした．図嬴の ℎ = 0.8 の結果は 𝑣 = 1 の設定と同等であり，一連の結果から要求精度を満たせる頻度は 𝑣 の増加に伴い向上したと言える．この結果は図嬲の関係からも裏付けられる．
嬵嬮嬲嬮嬳

パラメータの設定で用いた嬺 孍孌子孃孬孡孳孳孩嬜孥孲，孅學孴孲孡孔孲孥孥孃孬孡孳孳孩嬜孥孲，

活用と探索のパラメータを変えた実験

𝜖 が孁孉ワ ー カ へ の タ ス ク 割 り 当 て 数 お よ び 全 体 的 な タ ス孌孯孧孩孳孴孩季孒孥孧孲孥孳孳孩孯孮，孋孍孥孡孮孳，孄孥季孩孳孩孯孮孔孲孥孥孃孬孡孳孳孩嬜孥孲，孓孖孃．

ク 結 果 品 質 に 与 え る 影 響 を 明 ら か に す る． 実 験 で は， 人 間

実験では，既存手法の孃孔孁と提案手法の孉孃孔孁を比較する．統

ワ ー カ の 正 答 率 を ℎ = 0.8， 各 タ ス ク の 人 間 ワ ー カ へ の 最計的検定には二項検定を利用し，有意水準は嬵嬥とした．実験で大 割 り 当 て 数 𝑣 = 5 と し， 活 用 と 探 索 の パ ラ メ ー タ ご と使用したソースコードは孇孩孴孈孵孢リポジトリに公開されている *4．

嬨𝜖 ∈ {0.2, 0.5, 0.8, 𝜖𝑙𝑖𝑛𝑒𝑎𝑟 , 𝜖 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 }嬩 の結果を比較した（図嬶）．

嬵嬮嬲

𝜖 = 0.2, 0.5 の設定では，全ての設定で要求精度を満たすこと

結果

以下に示すパラメータで，嬱嬰試行ずつ行った実験結果を示す．

ができた． 孁孉ワーカへのタスク割り当て数を図嬵における 𝑣 = 5の設定と比較すると，𝜖 = 0.2 の方がより多くのタスクを孁孉ワー• 多数決の人数 𝑣 ∈ {1, 3, 5, 7}

カに割り当てていることが分かる．一方で， 𝜖 = 0.8 の設定では• 人間ワーカの正答率 ℎ ∈ {0.8, 0.9, 1.0}

𝑞 = 0.8, 0.85 の場合のみ，要求精度を満たすことができた．この• 要求精度 𝑞 ∈ {0.8, 0.85, 0.9, 0.95}

結果から，𝜖 の適切な調整により，全タスクに人間ワーカへの追• 𝜖 ∈ {0.2, 0.5, 0.8, 𝜖𝑙𝑖𝑛𝑒𝑎𝑟 , 𝜖 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 }加割り当てを行うことなく，全体として十分な品質をもたらすタ• 人間ワーカへの追加割り当ての基準嬺 人間ワーカと孁孉ワーカ

スク割り当てが可能であることが示唆された．

が一致，人間ワーカと孁孉ワーカが不一致，ランダム選択

要求精度 𝑞 = 0.8, 0.85 の設定において， 𝜖 = 0.8では孁孉ワーカ

嬵嬮嬲嬮嬱 人間ワーカの正答率を変えた実験から得られたタスク結果の品質が要求精度を下回ったが，𝜖 をタ

人間ワーカが正答を返すとは限らない設定 嬨ℎ ∈ {0.8, 0.9, 1.0}嬩

スク割り当ての進行に伴って変更する 𝜖𝑙𝑖𝑛𝑒𝑎𝑟 , 𝜖 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 では上回

における孃孔孁の振る舞いを明らかにするための比較実験を行っった．さらに， 𝑞 = 0.9 において全体のタスク結果品質が要求精た 嬨図嬴嬩．上段が人間ワーカによるタスク結果数と完了タスク数

度を上回った．この結果は，人間ワーカへの追加割り当ての回数の関係を，下段が全体的なタスク結果品質および孁孉ワーカが処は同程度であったとしても，追加割り当てを行うタイミングを調理した部分の精度と要求精度パラメータの関係を表している．エ

整すればより多くのタスクを孁孉ワーカに割り当てられることをラーバーは標準偏差を表す．上段の図において，横軸に比例した示している．しかし， 𝑞 = 0.95 の設定では要求精度を満たせず，

総タスク数の増加は人間ワーカによるタスク処理を意味し，一方追加割り当ての許容回数や𝜖 の調整手法に改良の余地がある．
嬵嬮嬲嬮嬴 人間ワーカへの追加割り当ての戦略を変えた実験

人間ワーカと孁孉ワーカのタスク結果の比較方法が孁孉ワーカへ*4 https://github.com/crowd4u/HACTAP-Framework嬵日本データベース学会和文論文誌
一般論文

孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月

6000
4000
2000
00

CTA, h = 0.8

2000

8000
6000
4000
2000
00

2000 4000 6000 8000 10000#human labels

0.8

0.6

0.6

0.6

Accuracy

0.8
0.4
0.2

0.0 0.80

0.4

q (Accuracy requirement)
Accuracy of AI workers
Overall accuracy
0.0 0.80
0.85
0.90
0.95
q (Accuracy requirement)
0.2

0.0 0.80

0.85
0.90
0.95
q (Accuracy requirement)

q=0.8
q=0.85q=0.9
q=0.952000 4000 6000 8000 10000#human labels

CTA, h = 1.0

1.0

0.8
0.4

CTA, h = 1.0

10000

CTA, h = 0.9

1.0
Accuracy

Accuracy

4000
00

0.2

図嬴

6000

2000 4000 6000 8000 10000#human labels

1.0

CTA, h = 0.9

8000#completed tasks#completed tasks

8000

10000

#completed tasks

CTA, h = 0.8

10000

0.85
0.90
0.95
q (Accuracy requirement)

異なる人間ワーカの正答率での実験結果嬺 人間ワーカへのタスク割り当て数と完了タスク数の関係 嬨上嬩，要求精度と実際のタ

スク結果の精度の関係 嬨下嬩

CTA, v = 3

6000
4000
2000

CTA, v = 3

4000
2000

CTA, v = 5

1.0

0.8

0.8

0.6

0.6

0.6

0.2
0.0 0.80

Accuracy

0.8
0.4

0.4
0.2

0.85
0.90
0.95
q (Accuracy requirement)

0.0 0.80

8000
6000
4000
2000
00

10000 20000 30000 40000 50000#human labels

1.0
Accuracy

Accuracy

6000

5000 10000 15000 20000 25000 30000#human labels

1.0

図嬵

8000

00

CTA, v = 7

10000#completed tasks

8000

00

CTA, v = 5

10000#completed tasks#completed tasks

10000

20000
40000
#human labels

q=0.8
q=0.85q=0.9
q=0.9560000

CTA, v = 7

0.4

q (Accuracy requirement)
Accuracy of AI workers
Overall accuracy
0.0 0.80
0.85
0.90
0.95
q (Accuracy requirement)
0.2

0.85
0.90
0.95
q (Accuracy requirement)

多数決の人数を変えた実験の結果嬺 人間ワーカへのタスク割り当て数と完了タスク数の関係 嬨上嬩，要求精度と実際のタスク結果の精度の関係 嬨下嬩のタスク割り当て数に与える影響を明らかにするための実験を行が有効であった．この結果は，不一致に基づいて追加割り当てをった．実験では，人間ワーカの正答率を ℎ = 0.8，各タスクの人行うことが， 孁孉ワーカの訓練および評価のためのデータ品質改間ワーカへの最大割り当て数 𝑣 = 5嬬 𝜖 ∈ {0.2, 𝜖𝑙𝑖𝑛𝑒𝑎𝑟 , 𝜖 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 } と善に有効であり，その結果，孁孉ワーカの各タスククラスタが採用

し，一致およびランダム選択の条件を比較した．

出来たからであると考えられる．

追加割り当ての基準を人間と孁孉ワーカの一致とした場合の結果

嬵嬮嬳 考察を図嬷左に示す．不一致に基づく場合の結果である図嬶では孁孉ワ

人 間 ワ ー カ の 正 答 率 を 変 え た 実 験 で は， ℎが 低 い 設 定 でーカが処理したタスクの精度が 𝑞 を上回っていた 𝑞 = 0.9 についは孃孔孁で要求精度を満たす割り当てを得られなかった． これて，一致に基づく設定では 𝑞 を満たさなかった．ランダム選択のは，孃孔孁が人間ワーカのタスク結果が正しいことを前提とするア

結果を図嬷右に示す．不一致選択の設定では孁孉ワーカの精度が要

ルゴリズムだからである．このことから，人間ワーカから得られ求精度を上回った 𝜖 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 , 𝑞 = 0.9 の設定において，ランダム選

るタスク結果品質を高めることが重要であると言える．

択では割り当てられた孁孉ワーカの精度の平均値が要求精度を下多数決の人数を変えた実験では，𝑣 を高く設定するほど要求精回った．このことから，人間ワーカへの追加割り当てを行うタス

度を満たせる割合が向上した．人間ワーカに割り当てる全タスク

クを選ぶために，人間ワーカと孁孉ワーカの不一致に基づく手法

への多数決が，前述の課題に有効である．

嬶日本データベース学会和文論文誌
一般論文

孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月

4000
2000

6000
4000
2000

1.0

2000

8000
6000
4000
2000
00

10000 20000 30000 40000 50000#human labels

6000
4000
2000
00
1.0

q=0.8
q=0.85q=0.9
q=0.95
10000 20000 30000 40000 50000#human labels

ICTA, =0.5, conflict

1.0

0.6

0.6

0.6

1.0

0.4
0.2
0.0 0.80

ICTA, =linear, conflict

1.0
0.8

0.6

0.6

Accuracy

0.8
0.4
0.2
0.0 0.80

Accuracy

0.8

0.85
0.90
0.95
q (Accuracy requirement)

10000 20000 30000 40000 50000#human labels

ICTA, =sigmoid, conflict

0.8

0.4

ICTA, =0.8, conflict

8000

10000 20000 30000 40000 50000#human labels

ICTA, =0.2, conflict

10000

0.8

0.0 0.80

Accuracy

4000

10000

0.2

図嬶

6000

00

#completed tasks#completed tasks

8000

00

8000

10000 20000 30000 40000 50000#human labels

ICTA, =linear, conflict

ICTA, =0.5, conflict#completed tasks

6000

10000

10000
#completed tasks

8000

00

Accuracy

ICTA, =0.2, conflict

Accuracy#completed tasks

10000

ICTA, =0.8, conflict

0.4
0.2

0.85
0.90
0.95
q (Accuracy requirement)

0.0 0.80

0.85
0.90
0.95
q (Accuracy requirement)

ICTA, =sigmoid, conflict

0.4

q (Accuracy requirement)
Accuracy of AI workers
Overall accuracy
0.0 0.80
0.85
0.90
0.95
q (Accuracy requirement)
0.2

0.85
0.90
0.95
q (Accuracy requirement)

活用と探索のパラメータを変えた実験の結果嬺 人間ワーカへのタスク割り当て数と完了タスク数の関係 嬨上嬩，要求精度と実際のタスク結果の精度の関係 嬨下嬩効であった．本論文では，不一致であるタスクに基づいてのみ追提案手法において，活用と探索パラメータを変えた実験では，

𝜖 の適切な設定により，要求精度を満たしながら人間ワーカへの加割り当てを行ったが，タスククラスタの評価結果に基づいて重

追加タスク割り当て数を削減できることを示唆する結果が得られみづけするなど，追加割り当てを行うタスクの選択手法には改善た．タスクの進行に伴って 𝜖 を変動させた設定は，固定値を用いの余地がある．さらに，観測された人間ワーカと孁孉ワーカのタスる設定よりも人間ワーカへの追加割り当て数が少なかったことか

ク結果の不一致を， 𝜖 の動的な調整の根拠として用いることも提ら，タスクの進行状況やその他の情報に基づく𝜖 の調節が有効で案手法の改良の方針として挙げられる．

あると言える．一方で，タスクの進行に伴って 𝜖 を変動させた設

嬶

定は，固定値を用いる設定よりも，最初に孁孉ワーカにタスクを割まとめり当てるまでに多くの人間ワーカ割り当てを必要とする傾向が見

本研究では，人間ワーカと孁孉ワーカのタスク結果を相互に比較られた．これは，タスク割り当ての序盤に孁孉ワーカの評価が行わすることで，人間ワーカからのタスク結果品質を改善しながら，れる確率が低いからである．特に要求精度が低い場合に，要求精より多くのタスクを孁孉ワーカに割り当てる手法について議論し度を満たす孁孉ワーカが存在するにも関わらず，探索により結果とた．実験では，提案手法が人間ワーカと孁孉ワーカの不一致に基づして人間ワーカへのタスク割り当て数が増大すると予想される．

いて人間ワーカへの追加割り当てを行うことで，人間ワーカに割このような観点からも 𝜖 の動的な変更には改善の余地がある．

り当てる全タスクに多数決を適用するよりも人間ワーカへの割り提案手法において，人間ワーカへの追加割り当て戦略を比較し当て数を大幅に削減しながら，多数決を適用する場合と同程度のた実験では，人間ワーカと孁孉ワーカの不一致に基づく戦略が有

タスク結果品質を得られるケースがあること示した．この結果か嬷日本データベース学会和文論文誌
一般論文

孖孯孬嬮 嬲嬰嬭孊嬬 孁孲孴孩季孬孥 孎孯嬮 嬲嬬 嬲嬰嬲嬲年 嬳月

6000
4000
2000
00

4000
2000

1.0

q=0.8
q=0.85q=0.9
q=0.95
10000 20000 30000 40000 50000#human labels

8000
6000
4000
2000
00

ICTA, =sigmoid, matching

ICTA, =0.2, random

1.0

10000
6000
4000
2000
00

10000 20000 30000 40000 50000#human labels

ICTA, =0.2, random

1.0
0.8

0.6

0.6

0.2

0.4

q (Accuracy requirement)
Accuracy of AI workers
Overall accuracy
0.0 0.80
0.85
0.90
0.95
q (Accuracy requirement)
0.2

0.0 0.80

図嬷

0.85
0.90
0.95
q (Accuracy requirement)

Accuracy

0.8

0.6

Accuracy

0.8

0.6
0.4

0.4
0.2
0.0 0.80

ICTA, =sigmoid, random

8000

0.8
Accuracy

Accuracy

6000

00

ICTA, =0.2, matching

10000

8000

10000 20000 30000 40000 50000#human labels

1.0

ICTA, =sigmoid, matching#completed tasks#completed tasks#completed tasks

8000

10000

#completed tasks

ICTA, =0.2, matching

10000

q=0.8
q=0.85q=0.9
q=0.95
10000 20000 30000 40000 50000#human labels

ICTA, =sigmoid, random

0.4

q (Accuracy requirement)
Accuracy of AI workers
Overall accuracy
0.0 0.80
0.85
0.90
0.95
q (Accuracy requirement)
0.2

0.85
0.90
0.95
q (Accuracy requirement)

追加割り当てを行うタスクを一致およびランダムに選択した実験の結果：人間ワーカへのタスク割り当て数と完了タスク数の関係 嬨上嬩，要求精度と実際のタスク結果の精度の関係 嬨下嬩ら，人間ワーカのタスク結果が不正確であり，孁孉ワーカの学習及International Conference on Intelligent User Interfaces嬬 孉孕孉 嬧嬱嬹嬬 孰孡孧孥孳嬶嬱嬴嬕嬶嬲嬴嬬 孎孥孷 孙孯孲孫嬬 孎孙嬬 孕孓孁嬬 嬲嬰嬱嬹嬮 孁孃孍嬮孛嬸孝 孈孩孳孡孳孨孩 孋孁孓孈孉孍孁嬬 孙孵孫孩孮孯 孂孁孂孁嬬 孋孡孳孨孩孭孡 孈孩孳孡孳孨孩嬬 孡孮孤 孂孡孢孡孙孵孫孩孮孯嬮 孈孵孭孡孮 季孯孭孰孵孴孡孴孩孯孮嬨嬼孳孰孥季孩孡孬 孩孳孳孵孥嬾孨孵孭孡孮 季孯孭孰孵孴孡孴孩孯孮 孡孮孤季孲孯孷孤孳孯孵孲季孩孮孧嬩嬮 Journal of the Japanese Society for Artificial Intelligence嬬 嬲嬹嬨嬱嬩嬺嬴嬕嬱嬱嬬 孪孡孮 嬲嬰嬱嬴嬮孛嬹孝 孍孡孳孡孫孩 孋孯孢孡孹孡孳孨孩嬬 孋孥孩 字孡孫孡孢孡孹孡孳孨孩嬬 孡孮孤 孁孴孳孵孹孵孫孩 孍孯孲孩孳孨孩孭孡嬮孑孵孡孬孩孴孹嬭孡孷孡孲孥 孤孹孮孡孭孩季 孴孡孳孫 孡孳孳孩孧孮孭孥孮孴 孩孮 孨孵孭孡孮嬫孡孩 季孲孯孷孤嬮 孉孮 Companion of The 2020 Web Conference 2020嬬 孰孡孧孥孳 嬱嬱嬸嬕嬱嬱嬹嬬 嬲嬰嬲嬰嬮
孛嬱嬰孝 孍孡孳孡孫孩 孋孯孢孡孹孡孳孨孩嬬 孋孥孩 字孡孫孡孢孡孹孡孳孨孩嬬 孡孮孤 孁孴孳孵孹孵孫孩 孍孯孲孩孳孨孩孭孡嬮 孈孵嬭孭孡孮嬫孡孩 季孲孯孷孤 孴孡孳孫 孡孳孳孩孧孮孭孥孮孴 季孯孮孳孩孤孥孲孩孮孧 孲孥孳孵孬孴 孱孵孡孬孩孴孹 孲孥孱孵孩孲孥嬭孭孥孮孴孳嬮 Proceedings of the AAAI Conference on Human Computation
and Crowdsourcing嬬 嬹嬨嬱嬩嬬 嬲嬰嬲嬱嬮
孛嬱嬱孝 孎孡孴孳孵孭孡孲孯 孋孵孴孳孵孮孡嬬 孔孡孫孵孭孩 孈孩孧孡孫孩嬬 孓孡季孨孩孨孩孲孯 孍孡孴孳孵孮孡孧孡嬬 孔孯嬭孭孯孳孨孩 孏孴孳孵孫孩嬬 孍孡孳孡孹孵孫孩 孙孡孭孡孧孵季孨孩嬬 孈孩孲孯学孵孭孩 孆孵孪孩孩嬬 孡孮孤 孓孥孩孩季孨孩孲孯孈孡孳孥孺孡孷孡嬮 孁季孴孩孶孥 孬孥孡孲孮孩孮孧 学孲孡孭孥孷孯孲孫 孷孩孴孨 孩孴孥孲孡孴孩孶孥 季孬孵孳孴孥孲孩孮孧 学孯孲孢孩孯孩孭孡孧孥 季孬孡孳孳孩嬜季孡孴孩孯孮嬮 Nature communications嬬 嬳嬺嬱嬰嬳嬲嬬 嬲嬰嬱嬲嬮
孛嬱嬲孝 孅嬮孆嬮 孍孯孯孲孥 孡孮孤 孃嬮孅嬮 孓孨孡孮孮孯孮嬮 孒孥孬孩孡孢孬孥 季孩孲季孵孩孴孳 孵孳孩孮孧 孬孥孳孳 孲孥孬孩孡孢孬孥孲孥孬孡孹孳嬮 Journal of the Franklin Institute嬬 嬲嬶嬲嬨嬳嬩嬺嬱嬹嬱 嬕 嬲嬰嬸嬬 嬱嬹嬵嬶嬮
孛嬱嬳孝 孎孡孧孡孲孡孪孡孮 孎孡孴孡孲孡孪孡孮嬬 孉孮孤孥孲孪孩孴 孓 孄孨孩孬孬孯孮嬬 子孲孡孤孥孥孰 孋 孒孡孶孩孫孵孭孡孲嬬 孡孮孤
孁孭孢孵孪 孔孥孷孡孲孩嬮 孌孥孡孲孮孩孮孧 孷孩孴孨 孮孯孩孳孹 孬孡孢孥孬孳嬮 孉孮 Advances in Neural
Information Processing Systems嬬 孶孯孬孵孭孥 嬲嬶嬬 嬲嬰嬱嬳嬮
孛嬱嬴孝 孁孮 孔孨孡孮孨 孎孧孵孹孥孮嬬 孂孹孲孯孮 孃 字孡孬孬孡季孥嬬 孡孮孤 孍孡孴孴孨孥孷 孌孥孡孳孥嬮 孃孯孭孢孩孮孩孮孧季孲孯孷孤 孡孮孤 孥學孰孥孲孴 孬孡孢孥孬孳 孵孳孩孮孧 孤孥季孩孳孩孯孮 孴孨孥孯孲孥孴孩季 孡季孴孩孶孥 孬孥孡孲孮孩孮孧嬮 孉孮
Proceedings of the 3rd AAAI Conference on Human Computation and
Crowdsourcing嬮 孡孡孡孩嬮孯孲孧嬬 孓孥孰孴孥孭孢孥孲 嬲嬰嬱嬵嬮
孛嬱嬵孝 孂孥孳孭孩孲孡 孎孵孳孨孩嬬 孅季孥 孋孡孭孡孲嬬 孡孮孤 孅孲孩季 孈孯孲孶孩孴孺嬮 孔孯孷孡孲孤孳 孡季季孯孵孮孴孡孢孬孥孡孩嬺 孈孹孢孲孩孤 孨孵孭孡孮嬭孭孡季孨孩孮孥 孡孮孡孬孹孳孥孳 学孯孲 季孨孡孲孡季孴孥孲孩孺孩孮孧 孳孹孳孴孥孭 学孡孩孬孵孲孥嬮孉孮 Proceedings of the 6th AAAI Conference on Human Computation
and Crowdsourcing嬬 嬲嬰嬱嬸嬮
孛嬱嬶孝 孏嬮 孒孵孳孳孡孫孯孶孳孫孹嬬 孌嬮 孌孩嬬 孡孮孤 孌嬮 孆孥孩嬭孆孥孩嬮 孂孥孳孴 孯学 孢孯孴孨 孷孯孲孬孤孳嬺 孈孵孭孡孮嬭孭孡季孨孩孮孥 季孯孬孬孡孢孯孲孡孴孩孯孮 学孯孲 孯孢孪孥季孴 孡孮孮孯孴孡孴孩孯孮嬮 孉孮 2015 IEEE Conference
on Computer Vision and Pattern Recognition (CVPR)嬬 孰孡孧孥孳 嬲嬱嬲嬱嬕嬲嬱嬳嬱嬬 孊孵孮孥 嬲嬰嬱嬵嬮
孛嬱嬷孝 孂孵孲孲 孓孥孴孴孬孥孳嬮 孁季孴孩孶孥 孬孥孡孲孮孩孮孧 孬孩孴孥孲孡孴孵孲孥 孳孵孲孶孥孹嬮 孔孥季孨孮孩季孡孬 孲孥孰孯孲孴嬬孕孮孩孶孥孲孳孩孴孹 孯学 字孩孳季孯孮孳孩孮嬭孍孡孤孩孳孯孮 孄孥孰孡孲孴孭孥孮孴 孯学 孃孯孭孰孵孴孥孲 孓季孩孥孮季孥孳嬬嬲嬰嬰嬹嬮孛嬱嬸孝 孙孡孮 孙孡孮嬬 孒孯孭孥孲 孒孯孳孡孬孥孳嬬 孇孬孥孮孮 孆孵孮孧嬬 孡孮孤 孊孥孮孮孩学孥孲 孇嬮 孄孹嬮 孁季孴孩孶孥孬孥孡孲孮孩孮孧 学孲孯孭 季孲孯孷孤孳嬮 孉孮 Proceedings of the 28th International Conference on International Conference on Machine Learning嬬 孉孃孍孌嬧嬱嬱嬬孰孡孧孥孳 嬱嬱嬶嬱嬕嬱嬱嬶嬸嬬 孕孓孁嬬 嬲嬰嬱嬱嬮 孏孭孮孩孰孲孥孳孳嬮孛嬱嬹孝 孊孩孥 孙孡孮孧嬬 孁孬孩孳孡 孓孭孩孲孮孯孶孡嬬 孄孩孮孧孱孩 孙孡孮孧嬬 孇孩孡孮孬孵季孡 孄孥孭孡孲孴孩孮孩嬬 孙孵孡孮 孌孵嬬
孡孮孤 子孨孩孬孩孰孰孥 孃孵孤孲孥嬭孍孡孵孲孯孵學嬮 孓季孡孬孰孥孬嬭季孤嬺 孌孥孶孥孲孡孧孩孮孧 季孲孯孷孤孳孯孵孲季孩孮孧孡孮孤 孤孥孥孰 孰孲孯孢孡孢孩孬孩孳孴孩季 孭孯孤孥孬孩孮孧 学孯孲 孤孥孢孵孧孧孩孮孧 孮孯孩孳孹 孴孲孡孩孮孩孮孧 孤孡孴孡嬮 孉孮
The World Wide Web Conference嬬 字字字 嬧嬱嬹嬬 孰孡孧孥孳 嬲嬱嬵嬸嬕嬲嬱嬶嬸嬬 孎孥孷
孙孯孲孫嬬 孎孙嬬 孕孓孁嬬 嬲嬰嬱嬹嬮 孁孃孍嬮孛嬲嬰孝 吉屹李嬬 雪乃馬場嬬 孡孮孤 久嗣鹿島嬮 超問題：専門知識を要するクラウ
ドソーシングタスクの回答統合法嬮 日本データベース学会和文論文
誌嬬 嬱嬷嬭孊嬨嬸嬩嬬 嬳 嬲嬰嬱嬹嬮

びその品質を統計的に評価することは難しい状況において，人間
ワーカのタスク結果品質を高めることで孁孉ワーカをより活用できることが示唆された．
本論文では，人間ワーカが正答する確率が一定であると仮定
し，確率を変化させた実験を行なった．今後の課題として，クラウドソーシング実験の経験則等に基づく合理的な確率分布を仮定したり，個々の人間ワーカの正答率が異なる状況を考慮した実験
およびアルゴリズムの改良が挙げられる．

謝辞
本研究の一部は孊孓孔 孃孒孅孓孔 嬨嬣孊子孍孊孃孒嬱嬶孅嬳嬩 ，孁孉子チャレンジの支援による．本研究を進めるにあたり，ご助言を頂いた田中和世先生，伊藤寛祥先生に感謝致します．

参考文献
孛嬱孝 孁孺孡孤 孁孢孡孤嬬 孍孯孩孮 孎孡孢孩嬬 孡孮孤 孁孬孥孳孳孡孮孤孲孯 孍孯孳季孨孩孴孴孩嬮 孁孵孴孯孮孯孭孯孵孳季孲孯孷孤孳孯孵孲季孩孮孧 孴孨孲孯孵孧孨 孨孵孭孡孮嬭孭孡季孨孩孮孥 季孯孬孬孡孢孯孲孡孴孩孶孥 孬孥孡孲孮孩孮孧嬮 孉孮
Proceedings of the 40th International ACM SIGIR Conference on
Research and Development in Information Retrieval嬬 孓孉孇孉孒 嬧嬱嬷嬬 孰孡孧孥孳嬸嬷嬳嬕嬸嬷嬶嬬 孎孥孷 孙孯孲孫嬬 孎孙嬬 孕孓孁嬬 嬲嬰嬱嬷嬮 孁孃孍嬮孛嬲孝 孊孯孳孥孰孨 孃孨孥孥 孃孨孡孮孧嬬 孓孡孬孥孥孭孡 孁孭孥孲孳孨孩嬬 孡孮孤 孅季孥 孋孡孭孡孲嬮 孒孥孶孯孬孴嬺 孃孯孬嬭孬孡孢孯孲孡孴孩孶孥 季孲孯孷孤孳孯孵孲季孩孮孧 学孯孲 孬孡孢孥孬孩孮孧 孭孡季孨孩孮孥 孬孥孡孲孮孩孮孧 孤孡孴孡孳孥孴孳嬮 孉孮
Proceedings of the Conference on Human Factors in Computing Systems (CHI 2017)嬬 孍孡孹 嬲嬰嬱嬷嬮孛嬳孝 孔孡孲孩孮 孃孬孡孮孵孷孡孴嬬 孍孩孫孥孬 孂孯孢孥孲嬭孉孲孩孺孡孲嬬 孁孳孡孮孯孢孵 孋孩孴孡孭孯孴孯嬬 孁孬孥學 孌孡孭孢嬬孋孡孺孵孡孫孩 孙孡孭孡孭孯孴孯嬬 孡孮孤 孄孡孶孩孤 孈孡嬮 孄孥孥孰 孬孥孡孲孮孩孮孧 学孯孲 季孬孡孳孳孩季孡孬孪孡孰孡孮孥孳孥 孬孩孴孥孲孡孴孵孲孥嬮 CoRR嬬 孡孢孳嬯嬱嬸嬱嬲嬮嬰嬱嬷嬱嬸嬬 嬲嬰嬱嬸嬮孛嬴孝 孆孬孯孲孩孡孮 孄孡孮孩孥孬嬬 子孡孶孥孬 孋孵季孨孥孲孢孡孥孶嬬 孃孩孮孺孩孡 孃孡孰孰孩孥孬孬孯嬬 孂孯孵孡孬孥孭 孂孥嬭孮孡孴孡孬孬孡孨嬬 孡孮孤 孍孯孨孡孭孭孡孤 孁孬孬孡孨孢孡孫孨孳孨嬮 孑孵孡孬孩孴孹 季孯孮孴孲孯孬 孩孮 季孲孯孷孤嬭孳孯孵孲季孩孮孧嬺 孁 孳孵孲孶孥孹 孯学 孱孵孡孬孩孴孹 孡孴孴孲孩孢孵孴孥孳嬬 孡孳孳孥孳孳孭孥孮孴 孴孥季孨孮孩孱孵孥孳嬬 孡孮孤
孡孳孳孵孲孡孮季孥 孡季孴孩孯孮孳嬮 ACM Comput. Surv.嬬 嬵嬱嬨嬱嬩嬺嬷嬺嬱嬕嬷嬺嬴嬰嬬 孊孡孮孵孡孲孹 嬲嬰嬱嬸嬮孛嬵孝 孁孬孥學孡孮孤孥孲 子孨孩孬孩孰 孄孡孷孩孤 孡孮孤 孁孬孬孡孮 孍 孓孫孥孮孥嬮 孍孡學孩孭孵孭 孬孩孫孥孬孩孨孯孯孤孥孳孴孩孭孡孴孩孯孮 孯学 孯孢孳孥孲孶孥孲 孥孲孲孯孲嬭孲孡孴孥孳 孵孳孩孮孧 孴孨孥 孥孭 孡孬孧孯孲孩孴孨孭嬮 Journal of
the Royal Statistical Society: Series C (Applied Statistics)嬬 嬲嬸嬨嬱嬩嬺嬲嬰嬕嬲嬸嬬 嬱嬹嬷嬹嬮孛嬶孝 孔孨孯孭孡孳 孇嬮 孄孩孥孴孴孥孲孩季孨嬮 孅孮孳孥孭孢孬孥 孭孥孴孨孯孤孳 孩孮 孭孡季孨孩孮孥 孬孥孡孲孮孩孮孧嬮 孉孮
Multiple Classifier Systems嬬 孰孡孧孥孳 嬱嬕嬱嬵嬬 孂孥孲孬孩孮嬬 孈孥孩孤孥孬孢孥孲孧嬬 嬲嬰嬰嬰嬮孓孰孲孩孮孧孥孲 孂孥孲孬孩孮 孈孥孩孤孥孬孢孥孲孧嬮孛嬷孝 孙孯孬孡孮孤孡 孇孩孬嬬 孊孡孭孥孳 孈孯孮孡孫孥孲嬬 孓孨孩孫孨孡孲 孇孵孰孴孡嬬 孙孩孢孯 孍孡嬬 孖孩孴孯 孄嬧孏孲孡孺孩孯嬬孄孡孮孩孥孬 孇孡孲孩孪孯嬬 孓孨孲孵孴孩 孇孡孤孥孷孡孲嬬 孑孩学孡孮 孙孡孮孧嬬 孡孮孤 孎孥孤孡 孊孡孨孡孮孳孨孡孤嬮孔孯孷孡孲孤孳 孨孵孭孡孮嬭孧孵孩孤孥孤 孭孡季孨孩孮孥 孬孥孡孲孮孩孮孧嬮 孉孮 Proceedings of the 24th嬸