DEIM Forum 2023 4a-7-4

Human+AI Crowd タスク割り当てのためのAI ワーカの効率的な評価
神田

智也†

伊藤

寛祥††

厚行††

森嶋

† 筑波大学情報学群†† 筑波大学図書館情報メディア系〒 305–8550 茨城県つくば市春日１−２
E-mail: †s1911475@klis.tsukuba.ac.jp, ††{ito,mori}@slis.tsukuba.ac.jp
あらまし

近年，クラウドソーシングを用いて不特定多数のワーカに AI を開発させることが可能になっている．そのようなクラウドワーカによる AI と人間が共同でタスクに取り組むフレームワークとして Human+AI Crowd が提案されている．従来の Human+AI Crowd に対するタスク割り当て手法においては全ての AI ワーカの提出したタス
ク結果を毎回評価していた．そのため，タスク割り当ての計算コストが大きくスケーラビリティに難があった．本論
文では，要求性能を満たさないと思われる AI ワーカの結果の評価をスキップすることで，タスク割り当ての効率化を図る．我々は２つの手法を提案し，その両方が AI ワーカに対するタスク割り当て数をある程度維持しつつ，AI ワー
カ評価回数の 90%以上の削減を達成した．これは同じ計算リソースで数十〜数百倍の AI ワーカを利用可能にできることを示している．
キーワード ヒューマンコンピュテーション，クラウドソーシング，Human-in-the-loop
Divide-and-Conquer

All-or-Nothing

Task assignment
strategies

近年，Amazon Mechanical Turk 1 等のクラウドソーシングプ

Requester

ラットフォームを利用してクラウドワーカに大量のタスクを依頼することは一般的である．クラウドワーカには直接タスクを

Tasks &
Quality req.

#completed tasks

1 はじめにOnly Humans

Task Results

取り組ませるだけでなく，AI の開発，例えば分類タスクを行う
Elapsed Time

機械学習モデルの開発を依頼することも可能である．Kaggle 2

accepted

Black-Box
AI Workerのようなサイトを用いることで，大量のタスクを解く AI の開発を依頼し，AI によって解かれたタスク結果を得ることがで

developAI Engineer

きる．

Human+AI Crowd

Human Worker

このように，クラウドワーカが開発する AI を容易に利用で

図 1 Human+AI Crowd におけるタスク割り当ての図（ [6] より引きる現在，人間ワーカとクラウドによって作られた “AI ワー

用）．マイクロタスクが人間のクラウドワーカだけでなくクラウカ”をどのように適切にタスクに割り当てるのか，そのためのドワーカーによって作成されたブラックボックスな AI ワーカに

タスク割り当てアルゴリズムの再考が必要であると指摘されている [1]．
そこで，我々は多数の人間のクラウドワーカーと多数のクラも割り当てられる．AI ワーカは人間ワーカのタスク結果を利用してモデルを訓練し，訓練されたモデルが他のタスクに対する結果を出力する．タスク割り当てシステムは AI ワーカの出力した
結果が十分な精度がある場合，AI ワーカの出力した結果を採用

ウドソーシングで得られる AI が共にタスクに取り組む “Hu-する．タスク割り当てシステムはより早く要求品質を満たした

man+AI Crowd”に対するタスク割り当てアルゴリズムを提案

AI ワーカの結果を採用する．

している [6]．Human+AI Crowd は人間が直接タスクに取り組む “人間ワーカ”と，クラウドワーカが開発したタスクを遂行

人間ワーカの提出したタスク結果がある程度集まるごとに，そする AI である “AI ワーカ” [3] の集団である（図 1）．論文 [6]

れをもとに AI ワーカを学習させる．そして，要求を満たすタスで我々が提案した手法は，AI のモデルに関する情報が分からな

ク結果を出力した AI ワーカを採用するという状況を想定してい “ブラックボックス”AI ワーカを想定している．我々の想定いる．論文 [6] ではこの状況で，タスク全体の品質を維持しつつする状況は最初はタスクの結果が１つも無い状態からランダム

AI ワーカに割り当てるタスク数を最大化する問題を HACTAPに人間ワーカにタスクを割り当てていくものである．その後，（Human+AI Crowd Task Assignment Problem）として定義

1：https://www.mturk.com/
2：https://www.kaggle.com

した．
さらに論文 [6] では分類タスクにおいてタスククラスタというOutputs from the AI

AI Workers
Supervised Learning

Task Clusters

Algorithm

boundary line
(quality: 70%)

𝑇!!,!

Unsupervised Learning

𝑇!#,!

𝑇!!,#

label a(quality: 90%)

𝑇!#,#

k=3
Training set

Cluster(quality: 80%)

Test set

AI Workers

Tasks

Task Cluster:
subset of tasks

𝑇!#,$label b(quality: 95%)

Human Workers
Task (Label)

A
A

C

A

1 Evaluation Step of Task Clusters in

CTA/GTA
Input: A set W of AI workers wi , a set C of task clusters Twi ,j s of all AI
workers, accuracy requirement α, a sequence A of the task results for asubset of T given by crowd human workers so far.
Output: A set T ′ ⊆ T of tasks that AI workers will complete.
1: for all Twi ,j ∈ C do
2:
if P assT heStatisticalT est@HACT AP (Twi ,j , A, α) then3:
Add tasks in Twi ,j to T ′4:
end if
5: end for
6: return T ′

D

B

B
B

while keeping the accuracy requirement

図 2 [6] で我々が提案したタスククラスタの概要．各 AI ワーカの出力

統計的検定を行う．我々のもう一つの手法，GTA においては，

Twi ,jを採用した場合のタスク全体の精度が要求精度を満たすかモンテカルロシミュレーションを行う．タスククラスタが精度を満たすと判断されたら，そのタスククラスタ内のタスクは，その AI ワーカが同じラベルであると出力したタスクの集合

が AI ワーカに割り当てられ（図 2 下部），その結果が出力されであるタスククラスタという単位で扱われる（上部）．最初は人る (アルゴリズム 1 の３行目）.

間ワーカにランダムに割り当てられるが，タスククラスタが統計

しかし，彼らの手法では大量のタスククラスタを評価する必的検定によって要求精度を満たすと判断された場合，タスククラ要があるため，スケーラビリティが低い．彼らの手法において

スタに含まれるタスクが AI ワーカに割り当てられる（下部）は一定数の人間ワーカからのタスク結果を受け取るたびに全ての AI ワーカの全てのタスククラスタを評価している．そのた概念を導入することでこの問題に取り組んだ．タスククラスタ

め，その計算量は O(|T | · |C|) になる．ここで |T | はタスク数，

は AI ワーカーが同じラベルであると予測したタスクの集団で|C| は毎回評価するタスククラスタ数の平均を表す．|C| は |W|

ある．従来の手法では AI ワーカの出力する結果の全体に対しすなわち AI ワーカの数に比例する．その上，GTA はモンテカて採用するか否かを判断していた．しかし，タスククラスタのルロシミュレーションを利用する [6] ため，その計算コストは導入によって AI ワーカを部分的に採用するということが可能大きい．

になった．タスククラスタを利用したタスク割り当てアルゴリ

本論文 3 は AI ワーカを効率的に評価する手法を提案するもズムとして我々は CTA（Clusterwise Test-based Assignment）のである．AI ワーカは HACTAP の初期の段階においてはモと GTA（Global Test-based Assignment）を提案した．

デルの訓練が十分でないために要求精度を満たせない場合が考ここで問題となるのが AI ワーカの評価である．人間ワーカ

えられる．しかし，それだけでは必ずしもスパム AI ワーカとはタスク結果の精度が低ければ低品質なワーカーもしくはスパは言い切れないため，一度要求精度を満たせないだけでその AI

ムワーカであると判断できる．しかし，AI ワーカは単に精度ワーカの評価を打ち切ることは不適切である．そこで，我々はが低いだけではスパム等と判断することはできない．なぜなら

AI ワーカが要求精度を満たせない場合はその AI ワーカの評

その AI ワーカがまだ学習の途中である可能性や，一部の分類

価をスキップし，後に評価を再開することを考える．しかし，ラベルのみに対して高精度を出すことができる可能性があるか評価を再開するタイミングを決定するにあたって，AI ワーカらである．そのため，既存手法においては全ての AI ワーカのがブラックボックスであるということが問題となる．そのためタスク結果を毎回評価して採否を判断していた．

我々は AI ワーカに対する入出力のみに基づいて AI ワーカをス

図 2 はタスククラスタを利用した手法の概要を示している．

キップする期間を決定する必要がある．我々はこの問題に対しそれぞれの AI ワーカのタスク結果は同じラベルに分類されたて２つの手法を提案する．１つ目に AI ワーカが要求精度を満要素ごとにタスククラスタとして扱われている（図 2 上部）．

たせない場合に，次回評価までの期間つまり評価スキップ回数

HACTAP において，人間ワーカもしくは AI ワーカに取り組まを倍にする手法，double time-interval strategy（DTI）を提案せるマイクロタスクの集合を T とする（図 2 下部）．HACTAP

する．２つ目に提案する手法は AI ワーカの出力するタスク結ではまず，ランダムに選ばれたタスクが人間ワーカに割り当て果からその AI ワーカの学習曲線を推定し，その学習曲線を利られる．人間ワーカに割り当てたタスクの結果がある程度集用して適切な次回評価のタイミングを決定する learning-curve

まったら，アルゴリズム 1 に示す割り当てアルゴリズムを実

estimation strategy（LCE）である．

行して AI ワーカの訓練と AI ワーカに対するタスク割り当て

我々は２つの手法とベースライン手法を比較する実験を行い，を行う．（記号類は表 1 に示す）．アルゴリズムの 2 行目で各

我々の手法の両方が AI ワーカに割り当てるタスク数をほとん

AI ワーカ wi の各タスククラスタ Twi ,j (j = 1, 2, . . .) が精度

ど減らすことなく評価回数を 90%以上削減可能であることを示を満たすか否か判断する．我々の提案したタスク割り当て手法

した．

の１つ，CTA においては各 AI ワーカ wi の各タスククラスタ

本論文の貢献（1） ２つの提案手法は AI ワーカの評価回数をがそれぞれ Twi ,j に対してそれぞれ要求精度を満たしているか
3：本論文は [5] の内容を拡張したものである．

表1

記号類の定義検定の手法の開発が必要である．

記号

意味

GTA 我々は CTA の問題点を受け，統計的検定の回数を減ら

W

AI ワーカの集合

すことで第１種過誤の危険を減らした手法である GTA を提案

T

タスク集合

した．GTA は採用候補のタスククラスタをすでに採用されてA

人間ワーカから得られた T の回答の集合

いるタスククラスタの集合に加え，その集合をモンテカルロシ

Twi ,j ⊆ T

AI ワーカ wi の j 個目のタスククラスタ

ミュレーションによって評価する．これによって採用されたタC ⊆ 2T

タスククラスタの集合

スククラスタの集合に対する統計的検定の回数を減らし，第１Swi ∈ {0, 1} 各 AI ワーカの前回評価の配列

種過誤の危険を低減した．

R wi ∈ Z +各 AI ワーカが評価で否決された回数の配列

Nwi ∈ Z +各 AI ワーカの次回評価タイミングの配列

citer

学習のイテレーションカウンター

シミュレーションを行うために，GTA はタスク割り当てにか

LC wi

各 AI ワーカの推定された学習曲線の配列

かる計算コストが大きい．本論文では，GTA の計算コストを

α ∈ [0, 1]

HACTAP における有意水準

αAI ∈ [0, 1]

AI 評価における有意水準

qAI ∈ [0, 1]

AI ワーカ評価における AI に対する要求性能

しかし毎回各採用候補タスククラスタに対してモンテカルロ

改善する手法を提案する．

2. 2 学習曲線の推定
機械学習モデルの学習曲線の推定に関する研究は数多くある．
例えば，機械翻訳モデルに対する実用的な学習曲線推定手法 [7]90%以上削減することで Human+AI Crowd に対するタスクや，偏ったデータに対する限られたサンプルで学習したロジス

割り当てのスケーラビリティを向上させられることを示した．

ティック回帰モデルの学習曲線の推定に関する研究 [9] などが（2） 一見単純な DTI（Double Time-Interval）が AI ワーカへある．しかしながら，異なるモデルの学習曲線の推定に関してのタスク割り当て数を維持するという点において，AI ワーカのそれらを広くカバーする包括的な理論，手法を提案することは学習曲線を推定する高度な手法である LCE（Learning-Curve

難しいとされている [10]．

Estimation）より良好な性能を示すことが実験によって明らか

本論文では [8] で複数の論文で良好な性能を示したとされてになった．

いる単純な学習曲線モデルである C(x) = ax−b + c を採用す

2 関連研究（HACTAP においては，人間ワーカのタスク結果）に対する精る．学習曲線の推定時より以前の各 AI ワーカのテストデータ

2. 1 Human+AI Crowd Task Assignment Algorithm
我々は [6] でマイクロタスクが人間とブラックボックスな度を用いてこのモデルに対して曲線近似を行うことで学習曲線を推定する．

2. 3 プラットフォームによる AI ワーカの評価

AI ワーカに割り当てられる Human+AI Crowd の概念を提案

より高品質な AI モデルを得るためには，クラウドワーカにし，可能な限り多くのタスクを AI ワーカに割り当てる手法

要求精度を満たさないタスク結果を提出しないことによるインを考案した．従来の手法では AI ワーカがタスク集合全体に対センティブを与える [4] という方法が考えられる．これを利用して要求性能を満たすまで AI ワーカが採用されない，いわばしてクラウドワーカに高品質な AI ワーカのみを提出させるよ

All-or-Nothing 的な AI ワーカの評価を行っていた．我々の提うに促すことで，要求精度を満たさないと考えられる AI ワー

案したタスク割り当て手法は All-or-Nothing 的な AI ワーカのカを評価する回数を減らし，タスククラスタの適合率 4 を向上

評価を排するためにタスククラスタの概念を導入した．タスクさせることも考えられる．しかし，本論文では，高品質な AI

クラスタは各 AI ワーカが同じラベルに分類したタスクの集合モデルを得る方法として，高品質 AI モデルを得るためにクラであり，タスク全体の集合の部分集合である．本論文では彼ら

ウドワーカ側に働きかけるのではなく，タスク割り当てプラッの手法を改善するために要求性能を満たさないと推測される AI

トフォーム側が AI ワーカの評価をするという状況を考える．

ワーカの評価をスキップすることを提案する．
我々は [6] でタスククラスタを利用した Human+AI Crowd

3 提案手法に対するタスク割り当て手法として CTA と GTA を提案した．

CTA CTA はタスククラスタをそれぞれ統計的検定にかけタス

3. 1 Task Cluster Filters

クの要求品質を満たすタスククラスタに含まれるタスクを AI

本論文で我々は AI ワーカの提出するタスククラスタの数を減

ワーカに割り当てる手法である．しかしながら，CTA はタス

らすフィルタを提案する．我々は２種のフィルタ，DTI（Double

ククラスタごとに独立に統計的検定を行うために，採用される

Time-Interval Filter） と LCE （Learning-Curve Estimation

タスククラスタの数が多くなるほど第１種過誤の危険が高まる

Filter）を提案する．本節では，各種定義とフィルタの詳細にことは我々の論文 [6] 内でも指摘した通りである．最終的に採ついて説明する．

用されるタスククラスタの個数は分からないため，有意水準に補正をかけることも困難である．もしくは，オンライン統計的
4：タスククラスタの適合率は 3. 1. 1 節で定義する．

具体的には，CNN を利用した AI ワーカや教師なし学習モデルと利用した AI ワーカ，ルールベースの AI ワーカも考えられるということである．それゆえ，我々は各 AI ワーカの AI モデルの内部的な状態に関する情報なしにタスククラスタフィルタ
を設計する必要がある．
２つ目に，タスククラスタフィルタは AI ワーカの評価をある間隔でスキップするようにする．すなわち，一度フィルタがその AI ワーカを評価しないと決めたら，しばらくの間その AI
ワーカは再評価されないということである．ここで重要となるのが，いつ AI ワーカの評価を再開するべきかということで
図3

タスククラスタフィルタなしの HACTAP （上部） とタスクク
ラスタフィルタのある HACTAP （下部）． （ [5] から引用）

ある．
我々は AI ワーカの評価をスキップする戦略について異なる
２つのフィルタを提案する．

3. 1. 1 定義
タスククラスタの適合率まず，タスククラスタの適合率を定義する．ここでの適合率とは，GTA においてモンテカルロシミュ
レーションにおいて評価されるタスククラスタのうち，実際に採用されるタスククラスタの割合を示す．アルゴリズム 1 において，タスククラスタの適合率 precision(C) は次のように定義される．
|{Twi ,j ∈ C|P assT heStatisticalT est@HACT AP (Twi ,j , A, α)}|.
|C|

我々の目的はタスククラスタの集合 C からタスク
クラスタを抽出して適合率が高いタスククラスタの集合 C′ を 出 力 す る タ ス ク ク ラ ス タ フ ィ ル タ を 開 発 す る

3. 2 Filter 1: Double Time-Interval Filter
このフィルタは AI の要求性能 qAI での統計的検定を通過す
る Twi ,j （AI ワーカ wi によって生成されたタスククラスタ）
が１つも無い場合，全ての Twi ,j の次回評価をスキップするというものである．このフィルタでは，AI ワーカの評価スキッ
プ間隔を 1, 2, 4, 8, . . . と倍々にしていく．
評価の間隔を倍々にするのは，AI ワーカの性能の改善率は徐々に鈍化していくと考えられるためである．
アルゴリズム 2 に DTI の具体的な処理を示す．入力としてタスククラスタの集合である C と AI ワーカに対する要求精度

こ と で あ る ．フ ィ ル タ が 高 い 適 合 率 を 達 成 す る こ と で ，として qAI を受け取る．また，DTI 内の統計的検定の有意水準

P assT heStatisticalT est@HACT AP (Twi ,j , A, α) の計算コスとして αAI を受け取る．加えて，DTI は各 AI ワーカ wi に関トを削減することができる．しかし，HACTAP は AI ワーカするグローバル変数として，次回評価タイミング Nwi とフィに割り当てるタスク数を最大化する問題設定であるから，AIルタを通過しなかった回数 Rwi を保持する．

ワーカに割り当てるタスク数を維持するために，フィルタは再

このフィルタ（アルゴリズム 2）は AI ワーカ wi ごとにフィ現性を損なってはいけない．

ルタをかける（2 15 行目）．もし該当 AI ワーカがまだスキッ

タスククラスタフィルタ次にタスククラスタフィルタ（TCF:

プ中なら，その AI ワーカから生成されたタスククラスタは全Task Cluster Filter）を定義する．タスククラスタフィルタ fてフィルタを通過しない（3 5 行目）．そうでないならば，該当はタスククラスタの集合 C を入力に受け取り，C の部分集合

AI ワーカから生成された各タスククラスタに対して（6 行目）

である C ′ を出力する．タスククラスタフィルタはアルゴリズ

統計的検定を行い（7 行目）5 ，それに通過したタスククラスタ

ム 1 の１行目に条件節として挿入される．すなわち，要求性を生成した AI ワーカから生成された全ての AI ワーカはフィル

能 qAI でタスククラスタをフィルタリングするタスククラスタ

タ出力に追加される（8 行目）．そして次回評価のタイミングはフィルタ f を導入すると１行目が “for all Twi ,j ∈ f (C, qAI )次の次のイテレーションに設定される（つまり，評価をスキッ

do” となる．
′

繰り返しになるが，タスククラスタフィルタ C = f (C) のプしない）．該当 AI ワーカから生成されたタスククラスタが１
つも統計的検定に通過しなかった場合，その AI ワーカから生

目的はタスククラスタの評価の回数を減らすことであり，その成された全てのタスククラスタはフィルタを通過せず，フィルためにもとのタスククラスタ集合 C から HACTAP の統計的

タを通過しなかった回数のカウンタ Rwi がインクリメントさ検定を通過しないと思われるタスククラスタを取り除くことでれ（13 行目），次回評価のタイミングは今までのスキップ回数ある．

の倍になる（14 行目）．

3. 1. 2 設 計 方 針
本論文でのタスククラスタフィルタの設計には２つの方針がある．
１つ目に，我々は各 AI ワーカはブラックボックスであると仮定していることが挙げられる．つまり，AI ワーカが実際にどのように実装されているか我々は知ることができず，入出力だけ分かるということである．ブラックボックスであるとは，

3. 3 Filter 2: Learning-Curve Estimation Filter
AI ワーカの評価とスキップ回数を同時に決定する手法として，我々は学習曲線の推定による AI ワーカの評価を提案する

3．AI ワーカのこれまでの精度から学習曲線を推定し，要求精5：実験の節で述べているように，本論文で行った実験ではこの統計的検定として二項検定を利用した．

Algorithm 2 Double Time-Interval Filter (DTI)
Input: (Common parameters) A set C of task clusters and the accuracy
requirement for AI worker qAI as common parameters; (Parametersspeciﬁc to this ﬁlter) the signiﬁcance level αAI ; (Global variables) the
iteration count Nwi for which AI worker wi will be evaluated next time
and the number Rwi of rejections the AI workers encountered so far foreach wi .
Output: Set Cp of task clusters which passed the ﬁlter (i.e., a subset of C).
1: Cp ← ϕ
2: for all wi ∈ W do3:
if Nwi > citer then4:
continue5:
end if6:
for all Twi ,j ∈ C do
7:
if statistical test(Twi ,j , qAI , αAI ) then8:
Add all Twi ,j s for wi to Cp
9:
Nwi ← niter + 1
10:
break
11:
end if
12:
end for13:
Rwi ← Rwi + 1
R14:
Nwi ← niter + 2 wi
15: end for
16: return Cp

図 4

要求エラーレートが 0.1 の場合に採用されうる AI ワーカの学習曲線（Acceptable) とそうでない学習曲線（Unacceptable)．
（ [5] から引用）

Algorithm 3 Learning-Curve Estimation Filter (LCE)度を満たすと考えられるタイミングまで評価をスキップするという手法である（図 4)．
学習曲線の推定には特定のモデルに曲線近似するという手法を用いた．回帰のためのモデルとしては C(x) = ax−b + c(a, b, c > 0) を用いる．学習曲線の推定に関して様々な AI モデ
ルを包括的に扱う手法は提案されていない [10] ため，Black-box
な AI ワーカに対して特定のモデルにフィッティングさせるとInput: (Common parameters) A set C of task clusters, and the accuracy
requirement for AI worker qAI ; (Global variables) the iteration countNwi for which AI worker wi will evaluated next time and each wi .
Output: Set Cp of task clusters which passed the ﬁlter (i.e., a subset of C).
1: Cp ← ϕ
2: for all wi ∈ W do3:
if Nwi > citer then4:
continue5:
end if6:
LC wi ← EstimateLearningCurve(wi )7:
Nwi ← W hen2Restart(LC wi , qAI )8:
if citer >= Nwi then9:
Add all Twi ,j s for wi to Cp
10:
end if
11: end for
12: return Cp

いうことは適切とはいえない．しかし，今回は実際のクラスタ採用のための判定ではなく厳密な推定は求められないため，こAlgorithm 4 When2Restartの手法を採用した．

Input: Information of learning curve LC wi , a number of iterations of learning citer , the accuracy requirement for AI worker qAI .
Output: A number of next iteration updating learning curve of AI worker.
1: if LC wi (citer ) satisfy qAI then2:
return citer + 1
3: else4:p ← whenItReachesT heRequiredQuality(LC wi , qAI )5:
return (p − citer )/2 + citer
6: end if

また，今回は C(x) = ax−b

+ c を用いることですべての AI

ワーカの学習曲線が Well-behaved な学習曲線であること，すなわち学習の進行における精度の低下が起こらないことを暗に仮定している点は注意するべき点である．実際のモデルは学習の過程で精度が一時的に低下する場合も考えられるが，今回は厳密な推定は求めていないため考慮しない．
学習曲線の推定は計算コストが多少あるため毎回すべての AI
ワーカに対して行うことは望ましくない．しかし，要求精度を満たすと予測されるまでの間にも AI ワーカは学習による精度向上を果たしていると考えられるため，推定学習曲線を更新しないと，精度向上した AI ワーカのより早い採用の機会を失う可能性がある．そのため，学習曲線の推定の更新は，現在から要求精度を満たすとされるタイミングまでの半分の位置で行うこととする．

LCE の処理の詳細をアルゴリズム 3 に示す．このフィルタ
も各 AI ワーカ wi ごとにフィルタリングする（2 11 行目）．もし該当 AI ワーカがまだスキップ中なら，その AI ワーカから生成されたタスククラスタは全てフィルタを通過しない（3 5行目）．
そうでないなら，学習曲線の推定を行う（6 行目）6 ．推定した学習曲線を利用していつ該当 AI ワーカの評価を再開するべ
きか決定する（7 行目）．もし AI ワーカが AI ワーカに対する
6：曲線近似に失敗する場合もあるが，その場合は DTI の統計的検定を使う．その場合，スキップ回数を倍々にすることはしない．詳細はここでは省略する．

要求性能 qAI を満たしているなら， citer >= Nwi が真となり（8 行目）， wi から生成された全てのタスククラスタが出力に加えられる（9 行目）．
評価再開タイミングを決定する関数 When2Restart （アルゴリズム 4）は以下のようなものである．AI ワーカの推定学習曲線がすでに要求性能を満たせているなら（1 行目），次回もまたその AI ワーカを評価するようにする（2 行目）．そうでない場合，評価を再開するタイミングを AI ワーカが要求性能を満たすと学習曲線から推測される位置（4 行目）までの半分の位置に設定する（5 行目）．
学習曲線の推定はパラメータの数だけ，今回は３つの精度のデータがあれば可能である．しかし，学習初期の精度は悪いた
め，ある程度学習が進む前に推定してしまうと，かなりエラー
レートの高い学習曲線を推定してしまい，かなり長い間，すべてのタスクが割り当て終了するまで要求水準を満たさない学習曲線を推定する恐れがある．そのため，最初の数回は学習曲線の推定を行わず，DTI の節で述べたタスククラスタに対する統計的検定による判定を代わりに行うことにした．

実験の条件

パラメータ

条件

フィルタリング手法 NONE（ベースライン）, DTI, LCE

0.8, 0.85, 0.9, 0.95

qAI

0.8, 0.9
Accuracyq#completed tasks

表2

4 実

験

DTI と LCE 及びベースライン手法としてのタスククラスタ
フィルタを用いない手法を比較する実験を行った．本実験でのqAI=0.8

NONE

10000

DTI

10000
7500

7500

5000

5000

5000

2500

2500

2500

0
0

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

0
0

2500 5000 7500 10000#human labels

NONE

0.80

0.85

q

0.90

0.95

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

0
0

2500 5000 7500 10000#human labels

DTI

0.80

0.85

q

0.90

LCE

10000

7500

0.95

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

q=0.8
q=0.85q=0.9
q=0.952500 5000 7500 10000#human labels

LCE

Accuracy requirement
Accuracy of AI workers
Overall accuracy

0.80

0.85

q

0.90

0.95

図 5 （Kuzushiji-MNIST, qAI = 0.8） 上部：AI ワーカへのタスク
割り当ての過程．下部：タスク全体における精度．

フィルタの望ましい挙動は不必要なタスククラスタを取り除き（つまり，適合率の向上），AI ワーカに割り当てるタスク数を維持することである．
実験は我々が [6] で利用したコード 7 に手を加えたもの 8 を利用している．我々の提案した GTA のプログラムに我々の提案す精度， αAI の有意水準でで二項検定を行う．

4. 4 条件

本実験では次の３つの条件間の比較を行った： “NONE”（フる AI ワーカの事前評価フィルタ：タスククラスタフィルタを導ィルタなし）, “DTI” （Double Time-Interval Filter）, “LCE”

入した GTALimit を実装した．データセットに [6] 内でベンチ（Learning-Curve Estimation Filter）．各条件下で HACTAP

マークデータセットとして用いられている Kuzushiji-MNIST [2]におけるタスク全体の要求品質である q と，タスククラスタの 10 クラス分類を用いた．加えて，Fashion-MNIST [11] を用

フィルタのフィルタの閾値である qAI について複数の条件で各いた実験を行った．

10 回の実験を行い，比較した．条件の詳細は表 2 に示した．

4. 1 HACTAP の設定
HACTAP では「どれだけ人間ワーカのタスク結果が集まるごとに AI ワーカを訓練・推測させ，それを評価して AI ワーカにタスクを割り当てるか」の間隔と，AI ワーカにタスクを割

5 結

果5. 1 タスク割り当て過程とタスク精度
図 5，図 6，図 7，図 8 にそれぞれ，人間ワーカと AI ワーカ

り当てる際の統計的検定，StatisticalTest@HACTAP（今回はに対するタスク割り当て過程と，全タスク完了後のタスク全体

GTA ベースであるからモンテカルロシミュレーション）の有の精度を示す．上のグラフは人間ワーカによって行われたタス

意水準を決める必要がある．本論文では [6] の実験で用いられ

ク数と Human+AI Crowd 全体で完了したタスク数を示してた設定と同じ設定を用いる．AI ワーカは人間ワーカのタスク

いる．ある時点での AI ワーカの行ったタスク数は縦軸の値か

結果が 200 個集まるごとに訓練，評価される．統計的検定の有ら横軸の値を減じたものとなる．qAI = 0.9 における LCE の，意水準は 0.05 に設定した．

特に q = 0.95 において，NONE と比較して AI ワーカに割りAI ワーカは異なる 15 種のモデルを用いた．AI ワーカの詳当てられるタスク数が大きく減少している．qAI パラメータに

細は Appendix に記した．

よるフィルタの厳しさによって AI ワーカへのタスク割り当て

4. 2 Double Time-Interval Filter の設定

数とフィルタで弾く AI ワーカの数の間にトレードオフ関係がDTI の AI ワーカ評価のための統計的検定として，二項検定を有意水準 αAI = 0.05 で用いた．

4. 3 Learning-Curve Estimation Filter の設定

発生している．詳細は後ほど 5. 4 節で述べる．
下のグラフはタスク全体の精度と AI ワーカの精度を示している．（エラーバーは標準偏差を示す．）HACTAP はタスク全体の精度を保証するものである [6] から，フィルタを通しても学習曲線の推定には scipy 9 の curve f it 関数を用いた．本論

タスク全体の精度が要求精度を下回っていないことが示されて文では推定されたパラメータの最適値を用いる．LCE ではアいる．本論文で提案したフィルタの影響により，全体的に AI

ルゴリズム 4 の 1 行目で推定学習曲線が要求エラーレート：

ワーカの精度の向上が見られる．

error rate = 1 − qAI を下回っている場合にその AI ワーカを

5. 2 タスククラスタ評価回数通過させる．
推定に十分な精度のデータを得るために，HACTAP 開始から n skip init = 10qAI + 3 の間は推定を行わず， qAI の要求

7：https://github.com/crowd4u/HACTAP-Framework

図 9 は各条件における HACTAP がタスククラスタを評価した回数（すなわち，フィルタを通過したタスククラスタの数）を示している．当然， qAI = 0.9 の方が qAI = 0.8 の条件よりもタスククラスタの評価回数は少ない．しかし， qAI = 0.8 で8：https://github.com/crowd4u/HACTAP-Framework/

あっても各条件において DTI と LCE は NONE よりも大幅に

releases/tag/HMData2022v1.3

評価回数を減らすことに成功している．

9：https://scipy.org/

#completed tasks

qAI=0.9

NONE

10000

DTI

10000

表3

LCE

10000

各 q, qAI 条件における DTI と LCE の評価回数の削減率．同条

7500

7500

7500

件のフィルタなし（NONE）におけるタスククラスタ評価回数と

5000

5000

5000

比較して何%削減したか示している．（上段：Kuzushiji-MNIST，

2500

2500

2500

0
0

0
0

2500 5000 7500 10000#human labels

002500 5000 7500 10000#human labels

2500 5000 7500 10000#human labels

下段：Fashion-MNIST）

Accuracy

Kuzushiji-MNIST
1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

NONE

0.80

0.85

q

0.90

0.95

DTI

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

0.80

0.85

q

0.90

0.95

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

q qAI
Accuracy requirement
Accuracy of AI workers
Overall accuracy

0.80

0.85

q

0.90

0.95

図 6 （Kuzushiji-MNIST, qAI = 0.9） 上部：AI ワーカへのタスク#completed tasks

割り当ての過程．下部：タスク全体における精度．
qAI=0.8

NONE

10000

DTI

10000

7500

7500

7500

5000

5000

5000

2500

2500

0
0

0
0

2500 5000 7500 10000#human labels

LCE

10000

q=0.8
q=0.85q=0.9
q=0.952500
002500 5000 7500 10000#human labels

LCE

DTI

LCE

削減率（%）

q qAI

0.80

0.8

91.721491

0.80

0.8

90.222953

0.85

0.8

93.141365

0.85

0.8

90.069411

0.90

0.8

89.553311

0.90

0.8

86.800402

0.95

0.8

80.036673

0.95

0.8

77.434047

0.80

0.9

97.462296

0.80

0.9

97.651946

0.85

0.9

97.885280

0.85

0.9

98.154803

0.90

0.9

97.829631

0.90

0.9

97.601416

0.95

0.9

96.220280

0.95

0.9

96.614063

2500 5000 7500 10000#human labels

Fashion-MNIST

Accuracy

DTI
1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

NONE

0.80

0.85

q

0.90

0.95

DTI

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

0.80

0.85

q

0.90

0.95

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

LCE

q qAI

Accuracy requirement
Accuracy of AI workers
Overall accuracy

0.80

0.85

q

0.90

0.95

図 7 （Fashion-MNIST, qAI = 0.8） 上部：AI ワーカへのタスク割#completed tasks

り当ての過程．下部：タスク全体における精度．
qAI=0.9

NONE

10000

DTI

10000

7500

7500

7500

5000

5000

5000

2500

2500

0
0

0
0

2500 5000 7500 10000#human labels

LCE

10000

削減率（%）LCE

削減率（%）q qAI

削減率（%）

0.80

0.8

84.682713

0.80

0.8

79.249252

0.85

0.8

85.939116

0.85

0.8

82.880154

0.90

0.8

83.553443

0.90

0.8

79.089628

0.95

0.8

63.501978

0.95

0.8

73.083787

0.80

0.9

94.256162

0.80

0.9

96.489877

0.85

0.9

94.875843

0.85

0.9

93.649238

0.90

0.9

96.262917

0.90

0.9

94.008926

0.95

0.9

89.602285

0.95

0.9

83.742331

2500
0
0

2500 5000 7500 10000#human labels

2500 5000 7500 10000#human labelsの LCE が最も評価回数を削減しており，98.154803% の削減

Accuracyを達成した．最も評価回数の削減が少ない Fashion-MNIST の
1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

NONE

0.80

0.85

q

0.90

0.95

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

DTI

0.80

0.85

q

0.90

0.95

1.00
0.95
0.90
0.85
0.80
0.75
0.70
0.65

LCE

q = 0.95, qAI = 0.8 の条件の DTI でも評価回数を 63.501978%
削減した．

Accuracy requirement
Accuracy of AI workers
Overall accuracy

0.80

0.85

q

0.90

おいて我々の手法は従来の手法と比較して数十倍から数百倍の図 8 （Fashion-MNIST, qAI = 0.9） 上部：AI ワーカへのタスク割#sum of eval#sum of eval

り当ての過程．下部：タスク全体における精度．
NONE

DTI
104

104

103

103

103

2

2

2

10

qAI=0.8
qAI=0.9

101
0.80

0.85

q

0.90

10

10

101

0.95

0.85

NONE
103
102

qAI=0.8
qAI=0.9

101
0.80

図 9

0.85

q

q

0.90

0.95

0.80

0.85

DTI

104

0.90

0.95

図 10，図 11 はタスク割り当て中の各イテレーションにおけるタスククラスタの適合率を示している．タスククラスタフィ

101
0.80

q

0.90

0.95

104

103

103

102

5. 4 タスククラスタ評価回数の削減と AI ワーカに割り当て

102

101

ルタによってタスククラスタの適合率が向上していることが示
された．

LCE

104

数の AI ワーカを利用することが可能であることを示している．

5. 3 タスククラスタの適合率
LCE

104

これらの結果は，良好な条件においては同じ計算リソースに

0.95

101
0.80

0.85

q

0.90

0.95

0.80

0.85

q

0.90

0.95

各条件でのタスククラスタ評価回数の合計．上部：Kuzushiji-

MNIST，下部：Fashion-MNIST． （縦軸は対数）表 3 に具体的な評価回数の削減率を示す．多くの条件のもとで 70%〜90% の削減を達成しており，Kuzushiji-MNISTに対する実験の qAI = 0.9 の各条件においては 97% 近い削減を達成している．Kuzushiji-MNIST の q = 0.9, qAI = 0.9られるタスク数のトレードオフ
タスククラスタの評価回数の削減と AI ワーカに割り当てられるタスク数にはトレードオフがあると思われる．図 12 は AI
ワーカに割り当てられたタスク数と評価回数を示している．多くの条件において我々の提案した手法は良いトレードオフを示している．ここでの良いトレードオフとは，「より多く AI ワー
カにタスクを割り当てつつ，より多くタスククラスタの評価回数を削減する」ことである．
提案したフィルタが qAI = 0.8 であってもタスククラスタ

0.0

40

0

q=0.85
1.0

NONE

20
#iter

40

DTI

0.0

0.5

0.5

0.0

0.0

0.0

20
#iter

40

q=0.9
1.0

NONE

1.0
0.5
0.0

20
#iter

40

DTI

0

20
#iter

0.0

40

NONE

20
#iter

q=0.95
1.0

DTI

40

20
#iter

0.0

40

0

(0.8,0.9)(0.85,0.9)(0.8,0.9)(0.9,0.9)

6000

20
#iter

(0.85,0.9)

102103
Evaluations

0.0

0

20
#iter

40

20
#iter

40

0.0

(0.8)
(0.8,0.9)(0.8,0.8) (0.8,0.8)

0.5

0

8000

LCE

0

20
#iter

40

6000

(0.8,0.9)(0.85,0.9)(0.9,0.9)

4000

0precision
precision

40

NONE

0

20
#iter

40

(0.9,0.8)

20
#iter

q=0.85
1.0

DTI

40

0.0

0

20
#iter

40

NONE

0.5

0.0

20
#iter

40

0

20
#iter

40

DTI

20
#iter

(0.95,0.9)

0

102

0.0

20
#iter

q=0.95
1.0

DTI

0.0

減少させることが可能であるが，トレードオフに関しては若干傾向が異なる．DTI は LCE と比較して AI ワーカに割り当て

0

20
#iter

40

20
#iter

0.0

価回数をより多く削減する傾向がみられる．

6 結
0

20
#iter

40

論

本論文で我々はクラウド AI 開発者によって開発された AIである “AI ワーカ”と “人間ワーカ”の集団である Human+AI

LCE

1.0

40

るタスク数が多く，LCE は DTI と比較してタスククラスタ評

LCE

Crowd に対するタスク割り当ての効率化に取り組んだ．AI ワー
カは人間ワーカとは異なり，スパムワーカや低品質なワーカで0.50

各条件における AI ワーカに割り当てられたタスク数とタスク

DTI と LCE の両方ともタスククラスタの評価回数を大幅に

LCE

1.0

40

103
Evaluations

40

0.5

0

0.0

0

0.5

0.5

0

0.0

(0.95)

Fashion-MNIST）

1.0

0.5

1.0

0.0

0

(0.95,0.8)(0.95,0.8)

クラスタの評価回数の図．（上部：Kuzushiji-MNIST，下部：

0.5

q=0.9
1.0

NONE

0.5
0.0

0.0

(0.9)

(0.85,0.8)(0.95,0.9)

2000

図 12

LCE

1.0

0.5

1.0
precision

20
#iter

0.5
0.0

DTI

0.5

1.0

precision

q=0.8
1.0

(0.85)(0.9,0.8)(0.9,0.9)ている．
）

qAI=0.8
qAI=0.9(0.85,0.8)(0.85,0.9)ている AI ワーカのタスククラスタについても適合率は 0 とし

0.0

DTI (q, qAI)
LCE (q, qAI)
NONE (q)(0.95,0.9)

0(0.95)(0.95,0.8)(0.95,0.9)

4000

q = 0.8, 0.85, 0.9, 0.95 における図．（評価がスキップされ0.5(0.95,0.8)(0.9,0.9)

ションにおけるタスククラスタの適合率． 上から順に

NONE

(0.9)

40

図 10 Kuzushiji-MNIST に 対 す る タ ス ク 割 り 当 て の 各 イ テ レ ー

1.0(0.85)(0.85,0.8)(0.9,0.8)(0.9,0.8)

LCE

1.0

0.5

0

(0.85,0.8)

0.5

0

0.5

40

(0.8)

(0.8,0.8)(0.8,0.8)

2000

1.0

0.5

1.0

0.0

0

20
#iter
LCE

1.0

0.5

0

0

AI tasks

precision
precision

20
#iter

8000

0.5

AI tasks

0

LCE

1.0

0.5

1.0

precision

DTI

qAI=0.8
qAI=0.9

0.5
0.0

precision

q=0.8
1.0

NONE

1.0

なくても，人間へのタスク割り当てが少なく，AI ワーカの教師
0

20
#iter

40

図 11 Fashion-MNIST に対するタスク割り当ての各イテレーシ

データが少ないタスク割り当て初期においては低い性能を示してしまう．それゆえ，既存のタスク割り当て手法は AI ワーカ

ョンにおけるタスククラスタの適合率． 上から順に q =の提出する結果を全て毎回評価していた．そのため，タスク割

0.8, 0.85, 0.9, 0.95 における図．（評価がスキップされている

り当てにおいて AI ワーカの提出する結果を取り入れるためのAI ワーカのタスククラスタについても適合率は 0 としている．
）

計算コストが大きく，スケーラビリティに難があった．
本論文では我々は評価対象の AI ワーカを減らすためのタスの評価回数の大幅な削減が可能であることを考えると，特にククラスタフィルタを提案した．また，タスククラスタフィ

qAI = 0.8 において，我々の手法は AI ワーカへのタスク割り

ルタの具体的な手法として Double Time-Interval Filter と当て数を維持しながらタスククラスタの評価コストを大幅に減

Learning-Curve Estimation Filter を提案した．フィルタを用少させることが可能であると言える．

いた実験の結果は，多くの条件において我々の提案したフィル

タが AI ワーカへのタスク割り当て数をある程度維持しつつ，タスク割り当てにおける AI ワーカの評価コストを 90%以上低減することを示した．AI ワーカの評価コストの低い我々の手法を用いることで，従来の数十倍から数百倍の数の AI ワーカを利用することが可能となる．
本研究の将来的な発展として，個別の AI ワーカに特化したフィルタの開発が挙げられる．本論文では不特定多数のクラウ
ドワーカによって開発されるブラックボックスな AI モデルのAI ワーカを想定したため，AI ワーカの具体的な実装が不明な状態でも機能するフィルタを提案した．しかし，AI ワーカの具体的な情報が得られる場合も想定される．その場合，AI ワー
カごとに適切なフィルタリングを行うことでより良い結果が期待できる．もう１つの発展的な内容として，より高品質な AI
ワーカを得るために，本論文で提案した AI ワーカの評価手法

No. 1, pp. 97–107, Oct. 2021.
[7] Prasanth Kolachina, Nicola Cancedda, Marc Dymetman,
and Sriram Venkatapathy. Prediction of learning curves
in machine translation. In Proceedings of the 50th Annual
Meeting of the Association for Computational Linguistics(Volume 1: Long Papers), pp. 22–30, Jeju Island, Korea,
July 2012. Association for Computational Linguistics.
[8] Felix Mohr and Jan N. van Rijn. Learning curves for decision making in supervised machine learning - A survey.
CoRR, Vol. abs/2201.12150, , 2022.
[9] Aaron N. Richter and Taghi M. Khoshgoftaar. Approximating learning curves for imbalanced big data with limited labels. In 2019 IEEE 31st International Conference on Tools
with Artiﬁcial Intelligence (ICTAI), pp. 237–242, 2019.
[10] Tom J. Viering and Marco Loog. The shape of learning
curves: a review. CoRR, Vol. abs/2103.10948, , 2021.
[11] Han Xiao, Kashif Rasul, and Roland Vollgraf. Fashionmnist: a novel image dataset for benchmarking machinelearning algorithms. 2017.

を用いることで AI ワーカに対する報酬/罰則規定の設計を行う

付ことが考えられる．

録

Appendix A: 実験で用いた AI ワーカの一覧

謝辞

各 AI ワーカ名は scikit-learn 10 のクラス名を指している．

本研究の一部は JSPS 科研費 (22H00508，22K17944) の支援を受けたものである．ここに謝意を示す．

文

献[1] Sihem Amer-Yahia, Senjuti Basu Roy, Lei Chen, Atsuyuki Morishima, James Abello Monedero, Pierre Bourhis,
François Charoy, Marina Danilevsky, Gautam Das, Gianluca Demartini, Shady Elbassuoni, David Gross-Amblard,
Emilie Hoareau, Munenari Inoguchi, Jared Kenworthy,
Itaru Kitahara, Dongwon Lee, Yunyao Li, Ria Mae Borromeo, Paolo Papotti, Raghav Rao, Sudeepa Roy, Pierre
Senellart, Keishi Tajima, Saravanan Thirumuruganathan,
Marion Tommasi, Kazutoshi Umemoto, Andrea Wiggins,
and Koichiro Yoshida. Making ai machines work for humans in fow. SIGMOD Rec., Vol. 49, No. 2, p. 30–35, dec
2020.
[2] Tarin Clanuwat, Mikel Bober-Irizar, Asanobu Kitamoto,Alex Lamb, Kazuaki Yamamoto, and David Ha. Deeplearning for classical japanese literature.
CoRR, Vol.
abs/1812.01718, , 2018.
[3] David Gross-Amblard, Atsuyuki Morishima, Saravanan
Thirumuruganathan, Marion Tommasi, and Ko Yoshida.
Platform Design for Crowdsourcing and Future of Work.
Bulletin of the Technical Committee on Data Engineering,Vol. 42, No. 4, March 2019.
[4] Masafumi Hayashi, Masaki Kobayashi, Masaki Matsubara,
Toshiyuki Amagasa, and Atsuyuki Morishima. Incentive
design for crowdsourced development of selective ai for human and machine data processing: A case study. In 2019
IEEE International Conference on Big Data (Big Data),
pp. 4596–4601, 2019.
[5] Tomoya Kanda, Hiroyoshi Ito, and Atsuyuki Morishima. Efﬁcient evaluation of ai workers for the human+ai crowd task
assignment. In The 6th IEEE Workshop on Human-in-theLoop Methods and Future of Work in Big Data (HMData2022), In Proceedings of the 2022 IEEE International Conference on Big Data, pp. 3985–3991, Dec. 2022.
[6] Masaki Kobayashi, Kei Wakabayashi, and Atsuyuki Morishima. Human+ai crowd task assignment considering result quality requirements. Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, Vol. 9,•

MLPClassiﬁer•

ExtraTreeClassiﬁer•

LogisticRegression•

KMeans•

DecisionTreeClassiﬁer

•

SVC

•

KNeighborsClassiﬁer•

GaussianProcessClassiﬁer•

MultinomialNB•

AdaBoostClassiﬁer•

PassiveAggressiveClassiﬁer•

RidgeClassiﬁer•

RidgeClassiﬁerCV•

ComplementNB•

NearestCentroid

Appendix B: 実 験 環 境
AMD Ryzen 9 5900X 12-Core Processor, 64GB RAM,
GeForce RTX 3090 GPU, Ubuntu 20.04.4, Python 3.8.10,
Scikit-learn 0.24.2

10：https://scikit-learn.org/stable/