DEIM2020 E6-1(day2 p43)

階層型のラベル付けマイクロタスクにおける能動学習戦略の比較
鵜尾 厚佑†

小林正樹††

松原正樹†††

馬場雪乃††††森嶋 厚行†††† 筑波大学 情報学群情報メディア創成学類 〒 305-8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア研究科 〒 305-8550 茨城県つくば市春日 1-2††† 筑波大学 図書館情報メディア系 〒 305-8550 茨城県つくば市春日 1-2†††† 筑波大学 システム情報系 〒 305-8573 茨城県つくば市天王台 1-1-1
E-mail: †kousuke.uo.2019b@mlab.info, ††makky@klis.tsukuba.ac.jp, †††{masaki,mori}@slis.tsukuba.ac.jp,††††baba@cs.tsukuba.ac.jp
あらまし

本論文では，階層型のラベル付けマイクロタスクを対象とした能動学習の戦略を複数提示し，これらを比較する．階層型のラベル付けマイクロタスクの典型的な例は，航空写真のようなサイズの大きな画像の，メッシュ状に区切られた部分それぞれに対してラベルを付けるためのタスクの集合である．それらのタスクは，大きな画像から始まり，タスクを行う人は, それにラベルを与えるか，小さな画像に分割していくかを選ぶことができる．本論文では，これを対象としたタスクでいくつかの能動学習の戦略を比較した実験の結果を示す．実験結果は，戦略の違いによって分類器の早い段階の性能に影響を与えることを示唆するものであった．
キーワード 能動学習，ユーザーインターフェース，階層型のラベル付けマイクロタスク

1 はじめにマイクロタスクとは，短い時間で簡単に行える作業のことであり，多くのクラウドソーシングアプリケーションの基本的な構成要素の一つである．その中でも，機械学習の訓練データを作成するために，ある画像や文章などに対して人が正解ラベルを付けるものを，ラベル付けマイクロタスクと呼ぶ．
本論文では，階層型のラベル付けマイクロタスクを対象とした能動学習の戦略を比較する．
階層型のラベル付けマイクロタスクとは，すべてのデータ要素の集合から始まり，徐々に小さな部分のデータ要素へと対象を移しながらラベル付けをしていくという，マイクロタスクの集合である．例えば，そのデータが大きな航空写真で，その写真から均等な大きさに分割された複数枚の小さな画像を最終的に訓練データとして手に入れたい場合，その写真を段々と小さな部分へと分割していきながらラベル付けをすることになる．

(図 1)．
階層型のラベル付けマイクロタスクは，ラベルの分布や出現確率が偏っているような状況で，効率的にラベルを手に入れることを狙いとしている．例えば，大きな航空写真から，均等な大きさに分割された複数枚の小さな画像を最終的に訓練データとして手に入れたい場合をもう一度想定してほしい．その航空写真は，地方で撮影されたものであり，付けるラベルは「建物を含んでいる」と「建物がない」の 2 つであるとする．この写真のラベルの分布はとても偏っている．なぜなら都市部とは異なり，建物のない土地の割合が多いため，画像のほとんどの部分は建物を含んでいないからである．さらにラベルの出現確率も偏っている．なぜなら，建物はしばしばほかの建物の近くに出現し，建物がない範囲が広く存在するからである．このよう

図1

階層型のラベル付けマイクロタスクの例

な状況では，階層型のラベル付けマイクロタスクが明らかに効果的である．なぜなら，図 1 で示しているように，多くの小さな画像に対して一度にラベルを与えることができるからである．
しかし，階層型のラベル付けマイクロタスクに能動学習を適用する場合，一般的な能動学習の設定とは異なっているという問題がある．
能動学習とは，機械学習の研究分野の一つである．そこでは，機械学習モデルが，ラベル無しデータ集合から次にラベル付けをするべき適切なデータを選択し，人間にラベル付けマイクロタスクとして提示する．そのようにして，人間がラベル付けして得たトレーニングデータのみを機械学習モデルが学習することによって，少ないトレーニングデータで高い正解率を算出することを目的としている．
一般的な能動学習では，ラベルなしデータ集合に，MNISTの手書き数字の画像データセット [1] のような，ラベルが一意に決定するようなデータ要素をおき，それに対して適切なデータを選択するアルゴリズムを適用する．しかし，階層型のラベル付けマイクロタスクを用いた能動学習の場合，ラベルなしデータ集合には，複数のデータ要素が統合されたデータが存在し，データ要素それぞれに与えられるものとする．このとき，階層タスクのインターフェースが異なるため，一般的な能動学習の型のラベル付けマイクロタスクとは，木 t = (V, E) であり，そアルゴリズムが適用できない．の葉の集合 V は，D と一致する．

そこで本論文では，階層型のラベル付けマイクロタスクを用いた能動学習の複数の戦略を比較した実験の結果を示す．
本論文の貢献は，以下の通りである．(1) 階層型ラベル付け

もし t が階層型のラベル付けマイクロタスクならば，すべての t の部分木もまた，階層型のラベル付けマイクロタスクであることに注意する．

マイクロタスクを対象とした，能動学習のいくつかの戦略を比

図 2 は，階層型ラベル付けマイクロタスクのラベル付けの較した．(2) 実験の結果，戦略の違いによって分類器の早い段過程を示している．ラベル付けの過程で，t のタスク表現であ階の性能に影響を与えることを示唆した．

る Task(t) 生成される．これは，t のすべての葉を集約させた

本論文の構成は次のとおりである．第 2 節では，関連研究つ情報をワーカーに示す．例えば，葉がそれぞれ小さな画像だっいて説明する．第 3 節では，階層型のラベル付けマイクロタスた場合，Task(t) は，それらを統合した画像となる．この時，クを用いた能動学習の定義と，いくつかの戦略を説明する．第Task(t) は，ワーカーに以下の選択肢のうち一つを選ばせる．

4 節では，実験の結果を示す． 第 5 節では，結論を述べる．

•「全て l ∈ L である」(t の葉全てにラベル l が与えられる場合)

2 関連研究能動学習で行われるラベル付けマイクロタスクを，クラウドソーシングを用いて行った研究がいくつか存在する．Florian，Christian，Hinrich (2011) [2] は，固有表現抽出や，感情分析のクラウドソーシングタスクを用いて能動学習を行い，その有効性を示した．Liyue，Gita，Rahul (2011) [3] は，クラウドソーシングによって得られた不正確なデータを用いたロバストな能動学習の手法を提案した．Vamshi (2011) [4] は，機械翻訳システムを作るための，クラウドソーシングタスクを用いた能動学習の手法を提案した．
これらの研究で使用されているデータセットは，ラベルなしデータ集合にラベルが一意に決定するようなデータをおいてい•「どれでもない」

もし，ワーカーが「全て l ∈ L である」を選んだ場合，t の全ての葉にラベル l をつけて，ラベル付けの過程を終える．もし，ワーカーが「どれでもない」を選んだ場合，t の根の子が，根である部分木に t を分割し，それらの部分木を available tasksと呼ばれる集合に追加し，ラベル付けの過程を終える．はじめ，

available tasks は t のみである．ラベル付けの過程が進んでいくにつれて，available tasks は t の部分木を含んでいく．それらもまた，階層型のラベル付けマイクロタスクである．ラベル
付けは，available tasks に階層型のラベル付けマイクロタスクがなくなるまで，繰り返される．

3. 2 能動学習戦略

るため，本論文の設定とは異なっている．また，クラウドソー

能動学習では，次にラベルをつけるデータを選ばなければな

シングによって手に入るデータ品質の問題も扱っている．デー

らない． 通常の能動学習の設定での典型的なアプローチは，機タ品質に関しては本論文の扱うところではないが，これらの能械学習モデルを最適に改善するもののひとつを選択することで動学習をクラウドソーシングで行う設定で，データ品質を高めある．しかし，階層型のラベル付けマイクロタスクでは，ラベる研究の背景にあるアイデアは，階層型のラベル付けマイクロ

ルなしデータ集合 (available tasks) に，データ要素が複数存在タスクに対して適用されうるものであり，今後の課題となるだすることがあるため，そのアプローチを直接適用することがでろう．

きない．

また，ディープラーニングを用いた能動学習の手法もいく

ここでは，available tasks からタスクを選ぶためのいくつかつか提案されている．William，Tim，Andreas(2018) [5] らは，の戦略を列挙する．それらは，Uncertainty Sampling [7] に基

MNIST や CIFAR-10 といったデータセットに対する CNN のづいたものである．Uncertainty Sampling とは，最も単純でアンサンブル学習を用いた能動学習を提案した．Lin，Yizhe，一般的に使用されるデータを選択するアルゴリズムである．そJianxu ら (2017) [6] は，生物医学画像に対して FCN を用いたアクティブラーニングを提案した．このような，FCN を用いたセマンティックセグメンテーションを我々の研究に対して適用することは，興味深い課題となるだろう．

3 定義と戦略
この章では，階層型のラベル付けマイクロタスクの定義と，そのタスクを用いた能動学習のいくつかの戦略を与える．

3. 1 階層型のラベル付けマイクロタスク［定義 1］（階層型のラベル付けマイクロタスク） D をデータ要素の集合とし，L をラベルの集合とする． ラベルは，D の図 2 階層型のラベル付けマイクロタスクのラベル付けの過程

こでは，機械学習モデルが算出したラベルが最も不確実なデー

Average-Max，Item-Top-3-Average-Max，Label-Max，Ran-タを選択する．その不確実性値は 1 − max({probl (d)|l ∈ L}))dom) を比較する実験を行った．この実験では，最初に既知のによって計算される．ただし probl (d) は d に，ラベル l がつけラベルを使用してデータセットを作成し，これら戦略を使用しられるときの確率を表す．てシミュレーションを実行した．

それぞれの戦略では，available tasks のそれぞれに対して，score(t) が計算される． それは ，新しいラベルが手に入った
後，それまでで得られたラベルで機械学習モデルが学習されるたびに行われる．その後，score(t) が最大であるものの一つを

4. 1 データとタスク
我々は，国土地理院によって撮影された，西日本豪雨の航空写真を利用した [8] (図 3)．この航空写真には，雨により土地が浸水している場所が存在している．

選択し，次のタスクとする．

はじめに，その航空写真を 2x2 の 4 枚の画像 (P1 , P2 , P3 ,戦略は以下の通りである．

(1) Item-Average-Max この戦略では，以下の公式を用いて不確実性値の平均を計算し，それを score(t) とする．

P4 ) に分割した． その 4 枚の画像それぞれをさらに， 256 枚の画像 (16x16) に分割した．
次に，Pi の中の 256 枚の画像全てに人手によって正解ラベscore(t) =∑ルをつけた．つけたラベルは，「浸水している」，「浸水していな(1 − max({probl (d)|l ∈ L}))/|D|.

d∈D枚の画像全てにラベルを付けた． (2)2 人のラベルが異なった

ここでの根底にある仮定は，可能な限り高い不確実性値を持つデータ要素をできるだけ多く取得することが望ましいということである．

(2) Item-Top-k-Average-Max これは Item-Average-Maxの一般化であり，D のすべてのデータ項目の不確実性値の平均を計算しない． 代わりに，上位 k 個のデータ要素の不確実性値のみを考慮する．

score(t) =∑い」，「雲で隠れている」の 3 つである．(1)2 人が Pi の中の 256部分については，そのラベルについて議論し，合意したものをつけた．議論の対象となった画像は，18 個であった．
最後に，それぞれの Pi に対して，階層型のラベル付けマイ
クロタスク ti (i ∈ [1, 2, 3, 4]) を，図 4 のように, 完全四分木で，256 個の画像の集合が葉 D となるように作成した.
まとめると，我々は 4 つのデータセット (P1 , P2 , P3 , P4 ) を作成した．各データセットは，256 枚の, ラベルがついた画像となっている．また，4 つのデータセットから構築した，4 つの階(1 − max({probl (d)|l ∈ L}))/|Dk |,d∈Dkwhere Dk = {d|argTopkd∈D (1 − max{probl (d)|l ∈ L}}.

層型のラベル付けマイクロタスク ti (i ∈ [1, 2, 3, 4]) を作成した．

4. 2 モ デ ル
我々は，機械学習アルゴリズムとして CNN と，ロジスティック回帰を使用して機械学習モデルを作成した．

ここでの根底にある仮定は，不確実性値が高いが最大ではな
い多くのデータ要素を平均するよりも，不確実性の値がより高いデータ要素を平均する方が重要だということである．

(3) Label-Max この戦略では，次の式で計算されるラベルの累積不確実性値が最大になるよう score(t) を計算する．

score(t) = 1 − max({∑probl (d)/|D| |l ∈ L}).

d∈D

ここでの根底にある仮定は，異なるラベルを持つデータ要素を取得するほうが良いということである．

(4) Random この戦略では，score(t) はランダムな数値となる．つまり，available tasks からランダムにタスクを選ぶということである．能動学習では通常，ラベル無しデータ集合の中からランダムにデータを選ぶよりも，何らかの戦略を使ってデータを選んだほうが少ないデータで高い正解率が得られるため，この戦略よりも上記の戦略のほうが性能がいいことが期待される．

4 実

験
図 3 西日本豪雨の航空写真

我々は ，5 つ の 戦 略 (Item-Average-Max，Item-Top-1-

（ b ） 「どれでもない」が選ばれた場合，t の根の子が，根である部分木に t を分割し，それらの部分木を available tasksに追加する．本実験では，t が完全四分木であるので，画像が4 分割される．
（ 6 ） その時点の機械学習モデルで，4 つのデータセットのうちの残りの一つ (例えば P4 ) の 256 枚の画像をテストデータとして予測し，その正解率を算出する．
（ 7 ） available tasks にタスクがなくなるまで，3〜6 を繰り返す．
以上のワークフローをまとめたものが，図 5 である．この図で図 4 実験で使用した階層型のラベル付けマイクロタスク ti

は簡単のために，階層型のラベル付けマイクロタスクを木の表現ではなくその葉の画像を統合したものとして表示してある．

CNN モデルの構築には Keras [9] を使用した．CNN モデル

実験は，P1 ，P2 ，P3 ，P4 のうちの 3 つを訓練データ，1 つは入力層，畳み込み層 1，プーリング層 1，ドロップアウト層，をテストデータとした全ての組み合わせ 4 回を，戦略 5 つとモ

畳み込み層 2，プーリング層 2，全結合層，および出力層の順

デル 2 つを変えながらおこなったので，計 40 回実験を行ったで構成される．各畳み込み層は，3x3 のカーネルと，ReLU 関ことになる．

数をアクティベーション関数として使用する． 1 番目と 2 番目の畳み込み層では，それぞれ 32 個と 64 個の特徴マップを出力4. 4 結果する． 各プーリング層では，画像のサイズが半分に縮小される

図 6，図 7 はそれぞれ，モデルとして CNN を用いてシミュようにマックスプーリングが実行される． ドロップアウト層でレーションを行った場合と，ロジスティック回帰によってシミュは，プーリングレイヤー 1 からの出力の 25%をドロップアウトレーションを行った場合の実験結果である．各図では，実行さした． 出力層のアクティベーション関数として softmax を使れるタスクの数が増えるにつれて正解率がどのように変化して用した．

いったかを示す．各図の [1]〜[4] では，トレーニングデータとロジスティック回帰モデルの構築には，scikit-learn [10] を使用した．

テストデータの 4 つ組み合わせ全ての結果を表示している．各線は，それぞれの戦略の結果を，10 区間移動平均をとって表示してある．

4. 3 実験の手順

これらの結果は，戦略の違いによって特に初期段階 (最初のここでは，実際に行った実験の手順を説明する．

100 タスクほど) の機械学習モデルの性能に影響がうまれ，最（ 1 ） 4 つのデータセットのうち，3 つのデータセット (例え終的に結果は収束していくことを示唆している．例えば，図ば P1 ，P2 ，P3 ) から作られた階層型のラベル付けマイクロタス

6[2] の，50 タスクを行った時点での結果を見ると，Rondom や，ク (例えば t1 ，t2 ，t3 ) を available tasks に入れる．この 3 つLabel-Max では，45%ほどの正解率であるのに対し，それ以外のデータセットの画像は，訓練データとなる．の戦略では 80%ほどの正解率であり，差が見られるのがわかる．

（ 2 ） 初期の訓練データとして，選ばれた 3 つのデータセッ

また，250 タスクを行った時点での結果を見ると，結果は両者

トの中から各ラベル (「浸水している」，「浸水していない」，「雲とも 90%ほどに収束している．上記の例に限らず，戦略の違で隠れている」) ごとに 1 つの画像を選び，それらを機械学習

いによって，初期段階に正解率の差が見られ，最終的に結果がモデルに学習させる．

収束する傾向は，程度が違えど全ての図に見られる．このよう（ 3 ） available tasks の中のすべての階層型のラベル付けマに，戦略の違いによって，初期段階の機械学習モデルの性能のイクロタスクに対して，機械学習モデルの予測結果を用いて違いが生まれると把握できたことで，それが重要なアプリケーscore(t) を計算する．その戦略は 3 章で説明した戦略のうち一つを用いる．
（ 4 ） その score(t) が最大の階層型のラベル付けマイクロタ
スク t を選び，T ask(t) を発行する．その T ask(t) は，3.1 節
で説明したとおり，t の葉を統合させた画像である．
（ 5 ） 3.1 節で説明したとおり，T ask(t) の回答結果によって，以下の (a),(b) いずれかに分岐する．本実験では．タスクの回答は正解ラベルによってシミュレーションされる．
（ a ） 「全て l ∈ L である」が選ばれた場合，つまり T ask(t)の画像がすべて同じラベル l ならば，それらすべての画像にラベル l をつけたものを訓練データとして手に入れ，それを用いて機械学習モデルを再度学習させる．

図 5 実験のワークフロー

ション（例えば，航空写真から自然災害の状況を把握するアプリケーションなど）に本研究を適用する場合に，どの戦略を選べばよいかが重要な問題になることが分かった．しかし，本実[7]

験ではどの戦略がもっとも良い性能を発揮するかはどうかまでは分からなかった．各図を見ればわかるように，トレーニング[8]

データやテストデータの違い，また，モデルの違いによって，早い段階で良い正解率を発揮する戦略は異なっている．また，ランダムにタスクを選んだ時よりもその他の戦略 (Item-Average-Max，Item-Top-1-Average-Max，Item-Top-3-Average-Max，Label-Max) を用いたほうが，常によい正解率が出せることが期待されたが，必ずしもそうではないことが分かった．我々は，最も良い戦略というのは訓練データのラベルの分布や，出現確率，また，機械学習モデルの性能が影響されると想定している．今後の課題としては，どのようなデータに対してどの戦略がもっとも良い性能を発揮するかを確かめるために，ラベルの分布や出現確率が違うような様々なデータに対して戦略を適用し，実験を行うことである．また，より良い性能を発揮できるような新たな戦略を考え，それを実際のデータに適用することである．

5 結論

本論文は，階層型のラベル付けマイクロタスクにおける能動学習戦略を比較した実験の結果を報告した． 実験の結果，戦略の違いによって，初期段階の結果に大きな影響を与えることを示唆した．今後の課題は，より詳細な分析を実施して，適切な戦略を選択できる方法を見つけることである．
謝辞

本 研 究 の 一 部 は JST CREST の 支 援 (Grant Number JP-MJCR16E3) による．ここに謝意を示す．

文献[1] Mnist handwritten digit database, yann lecun, corinnacortes and chris burges. http://yann.lecun.com/exdb/mnist/.
[2] Florian Laws, Christian Scheible, and Hinrich Schütze. Active learning with amazon mechanical turk. In Proceedingsof the conference on empirical methods in natural language
processing, pp. 1546–1556. Association for Computational
Linguistics, 2011.
[3] Liyue Zhao, Gita Sukthankar, and Rahul Sukthankar. Robust active learning using crowdsourced annotations for activity recognition. In Workshops at the Twenty-Fifth AAAI
Conference on Artificial Intelligence, 2011.
[4] Vamshi Ambati. Active learning and crowdsourcing for machine translation in low resource scenarios. 2011, 2011.
[5] William H. Beluch, Tim Genewein, Andreas Nürnberger,and Jan M. Köhler. The power of ensembles for active
learning in image classification. In The IEEE Conference on
Computer Vision and Pattern Recognition (CVPR), June2018.
[6] Lin Yang, Yizhe Zhang, Jianxu Chen, Siyuan Zhang, andDanny Z Chen. Suggestive annotation: A deep active
learning framework for biomedical image segmentation.
In International conference on medical image computing

[9]
[10]

and computer-assisted intervention, pp. 399–407. Springer,2017.
Burr Settles. Active learning literature survey. Technical report, University of Wisconsin-Madison Department of Computer Sciences, 2009.
Information about heavy rain in july 2018｜geo spatial
information authority of japan. https://www.gsi.go.jp/BOUSAI/H30.taihuu7gou.html.
Home - keras documentation. https://keras.io/.
scikit-learn:machine learning in python ― scikitlearn 0.22.1 documentation. https://scikit-learn.org/
stable/.

[1]P1 をテストデータ，P2 , P3 , P4 を訓練データとして用いた場合[2]P2 をテストデータ，P1 , P3 , P4 を訓練データとして用いた場合[3]P3 をテストデータ，P1 , P2 , P4 を訓練データとして用いた場合[4]P4 をテストデータ，P1 , P2 , P3 を訓練データとして用いた場合

図 6 CNN を使用して，5 つの戦略を比較した実験結果

1.0

accuracy

0.8
0.6
0.4

Item-Average-Max
Item-Top-1-Average-Max
Item-Top-3-Average-Max
Label-Max
Random

0.20.0050

100150200250
number of tasks

300350[1]P1 をテストデータ，P2 , P3 , P4 を訓練データとして用いた場合[2]P2 をテストデータ，P1 , P3 , P4 を訓練データとして用いた場合[3]P3 をテストデータ，P1 , P2 , P4 を訓練データとして用いた場合[4]P4 をテストデータ，P1 , P2 , P3 を訓練データとして用いた場合

図 7 ロジスティック回帰を使用して，5 つの戦略を比較した実験結果