CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 21 回 画像の認識・理解シンポジウム

教師情報に含まれるノイズに堅牢な弱教師あり領域分割手法
下田 和1,a)

1. 概要

柳井啓司1

可視化方法として Class Activation Mapping(CAM) が高い精度と汎用性から広く用いられている。Global Average

領域分割においては，学習画像における物体のカテゴリPooling(GAP) を用いてクラス分類ネットワークを学習すごとにピクセル単位の領域の教師情報が必要であり, 教師ることで，物体の大まかな可視化を行うことができる。詳情報の付与は大きなコスト，時間を要する。一般に，高度細な領域分割ネットワークの学習においては，完全教師あな教師情報を必要とする手法を完全教師あり学習領域分

り領域分割において高い精度を達成しているネットワー

割，画像における物体のカテゴリ情報のみから学習する手クが用いられる。また，さらなる精度の改善方法として，法を弱教師あり学習領域分割と呼ぶ。弱教師あり学習によCRF による色特徴を用いた改善方法，領域の類似度を学る領域分割が可能となれば，大幅な学習データを収集する習する改善方法などがある。

ためのコストの削減が可能である。本研究においては，弱現在の弱教師あり領域分割と完全教師あり領域分割の違教師あり領域分割の精度向上を目指す。近年の弱教師ありいには，教師情報にノイズが含まれているという点がある。

領域分割においては，ノイズを含む教師情報を用いて領域弱教師あり領域分割の精度改善においては，教師情報にお分割モデルの学習を行うのが主流になっている。そこで，けるノイズの減少，ノイズに堅牢な学習方法の 2 点が重要

本研究ではノイズに対して堅牢な弱教師あり領域分割手法となる。本手法ではノイズに堅牢な学習に着目した。ノイの提案を行う。

ズに堅牢な学習手法としてはアンサンブルが有効である

2. 導入

ことが広く知られている。本手法においては，異なる学習データのモデルの出力によるアンサンブルによりノイズに近年，深層学習の進歩とともに画像の領域分割制度は飛堅牢な学習を目指した。これにより学習画像の不足が生じ躍的に向上している。しかしながら，領域分割の学習に必るが，Web 画像を用いることでこれを補った。また，Web要な教師情報のアノテーションコストの高さなどから実用画像と対象のデータセットのドメインの違いから生じる変面において課題が残っている。領域分割の教師情報のアノ化に対応するために，広域の認識結果と局所領域の認識結テーションコストを下げる手段の一つとして，弱教師あり果との一貫性からの学習を行った。以下に本研究のコント学習による領域分割が注目を集めている。領域分割におけリビューションを示す。

る弱教師あり学習では，教師情報として画像のクラスラベルのみを用いる。クラスラベルのアノテーションは領域のアノテーションと比較して大幅に安価であり，弱教師あり学習による領域分割が可能であれば，大きなコスト削減が期待できる。また，Web 画像における検索クエリをクラスラベルとみなせば，クラスラベル付きの画像は自動で収集することも可能である。
近年の弱教師あり領域分割は二つの段階にわけて行われている。まず，学習画像の大まかな領域分割を行い，その• 弱教師あり領域分割における異なる学習データのモデルの出力によるアンサンブル手法の提案。

• Web 画像を用いた弱教師あり領域分割の学習データ不足の改善。

• 広域の認識結果と局所領域の認識結果との一貫性からの学習手法の提案。

3. 関連研究3.1 クラス分類器の可視化手法

後にその大まかな領域分割結果を活用しより詳細な領域分

認識結果の可視化においては，画像におけるクラス分類割ネットワークを学習する。弱教師あり領域分割において，に寄与した領域を推定する。クラス分類に寄与した領域と大まかな領域を推定する方法としては，画像の識別結果の領域分割における対象領域との間には相関があり，認識結可視化や前景領域の抽出があるが，近年はこれら両方を用果の可視化は弱教師あり領域分割の手法として活用できる。

いる手法が広く使われている。特に，近年はクラス分類のZeiler ら [16] は畳み込み演算と同じ学習パラメータによる

1a)

逆畳み込み演算と逆 Pooling により，出力を入力空間に戻
電気通信大学
shimoda-k@mm.inf.uec.ac.jp

した際に，物体の位置に対応するピクセルが強く応答する1

第 21 回 画像の認識・理解シンポジウムことを示した。Simonyan ら [12] は，Zeilar らと類似したあり領域分割を達成した。Saleh ら [10] は特徴マップにつ手法で特定のクラスについての信号を逆伝搬させること

いて CRF を適用した結果から再学習を行い高精度を達成

で，CNN の認識結果に対するクラス応答を可視化させた。

した。Tokmakov ら [14] は動画から得られるモーションのCNN の可視化結果から弱教師あり領域分割が可能である

Segmentaion と Gaussian Mixture Model における動画のことを示した。派生手法に Guided Backpropagation [13]フレームの Segmentation 結果を用いて領域分割結果の再がある。

学習を行った。本手法においては, 物体の領域と相関のある情報の活用ではなく, 一貫性による教師なしのアプロー

3.2 CNN の Activation を活用した弱教師あり領域分割チに取り組んだ。

Oquab ら [5]， Pathak ら [8] は FCN の最終層に GlobalPooling(GP) を用いることで，出力マップをクラス分類の4. 提案手法

CNN と同じ次元に変換し，画像ラベルのみを用いて FCN4.1 Class Activation Mappingを学習させた。GP により学習させた FCN は大まかな物

本手法においては，クラス分類の可視化方法として体の位置を推定することが可能であり，逆伝搬による可視Class Activation Mapping(CAM) 用いる。Class Activa-化とは異なる形で弱教師あり領域分割を実現した。そのtion Mapping においては，Global Average Pooling(GAP)

後，Pinheiro ら [9] や Zhou ら [17] により，Global Poolingを用いてクラス分類ネットワークを学習することで，物体の派生手法についても研究がなされている。また，Chenの大まかな可視化を行うことができる。CAM においては，ら [6]，Pathak ら [7] は Global Pooling を用いずに，弱教クラス分類モデルの出力マップを GAP によりベクトルに師ありで FCN の出力を直接学習させた。FCN の出力の各変換し，これを全結合層により分類する識別器を学習する。

ピクセルが画像ラベルに含まれていないクラスを出力してテスト時に，識別器の出力に対して GAP を行う前に全結いる場合には修正を加えるような形で，FCN の出力と画合層の重みをかけることで，出力マップにおける各クラス像ラベルから動的に領域の教師情報を生成し， これを用の分布マップを得ることができる。本手法では，この出力いて FCN の学習を行った。一方で, [11] の手法では FCNマップにおける平均の 2 倍値を閾値として，各クラスの出を GP で学習した認識結果を可視化した。また，Simonyan

力マスクとした。

ら [12] による Backward の可視化手法をマルチクラスの画像に適応させた。においては，シングルクラスの場合に有4.2 異なる学習データのモデルの出力によるアンサンブル効であり，マルチクラスの場合に極端に精度が下がるといセクション 4.1 で得られた大まかな物体の領域を用いう問題があったが，各クラスの逆伝搬値について差分をとて，領域分割モデルを学習する。しかし，この際に用いるることでマルチクラスにも応用可能であることを示した。

教師情報は多くのノイズを含んでおり，そのままこれを類似研究として，Jianming ら [3] による研究がある。

教師情報として学習しても十分な精度を得ることは難しい。そこで，本研究では異なる学習データのモデルの出力3.3 領域分割結果の再学習手法によるアンサンブルによりノイズに堅牢な学習を目指す。

Wei ら [15] は低次特徴量による物体顕著性マップを用

図 1 に提案手法の概要を示す。全体の学習データを S といて学習画像の領域分割を行い，その領域分割結果を領する。このとき，この学習データを n 個にわけた場合に域の教師情報として再学習を行った。Wei らの手法は単純おけるサブセットを S = (S0 , S1 , ..., Sn ) とする。この各サながら既存の弱教師あり領域分割の精度を大きく上回っブセットにつき，それぞれ領域分割用の子モデルを用意すた。Wei らの手法は単純ながら既存の弱教師あり領域分割る。各サブセットを教師情報として学習するそれぞれのの精度を大きく上回り，弱教師あり領域分割の研究に大領域分割モデルのパラメータを (θ0 , θ1 , ..., θn )，また，そきな変化が生まれた。特に，その後の弱教師あり領域分割

れぞれのモデルから得られる出力から生成したマスクをにおいて，学習画像の領域分割手法（カテゴリは既知で(m0 , m1 , ..., mn ) とする。本手法においてはこの異なるパある画像の領域分割手法），ノイズを含む領域の教師情報ラメータから得られたマスクについてアンサンブルを行う。

について堅牢な学習手法の重要性が増した。Chen ら [6]，データ全体に対しての親モデルのパラメータを θ，出力をPathak ら [7] は画像ラベルを活用して教師情報を動的に生p(θ) とする。各マスク mi についての segmentaton loss を成していたが，その方向性が強くなったという見方もできs lossi = seg loss(p(θ), mi ) とする。ただし，クラスラベルる。Kolesnikov ら [4] は，Global Pooling [17] による学習のセットを C, y は確率分布 p におけるクラスである。こ画像の大まかな位置推定結果について再学習を行った。まのとき，生成マスクのアンサンブルにより得られるロスはた，Kolesnikov らは多くの領域の評価をスキップすること以下の式になる。

によるノイズに堅牢な学習，KL-Divergence による CRFによる平滑化結果との近似などを用いて高精度な弱教師

1Xs lossinns loss =(1)i2

第 21 回 画像の認識・理解シンポジウム

c loss = seg loss(p(x), m(xs |x))

このアンサンブルにより得られるロスの最適化によりノイズに堅牢な学習が期待できる。

(2)+ seg loss(p(xs ), m(x|xs ))ただし，対応のない領域については Ignore label として評価を行わない。また，Pascal VOC の画像における物体のサイズが小さいことを考慮し，Web 画像のスケール変化はパディングによる縮小化，Pascal VOC 画像のスケール変化はクロップによる拡大を行う。これにより，物体のスケールの違い，複数ラベル物体の画像などドメインの違いによる過学習を抑制することが期待できる。

図 1 異なる学習データのモデルの出力によるアンサンブルについての概要。

4.3 Web 画像による学習データの補間
学習データをサブセットに分ける場合，各モデルの学習データ数が 1/n になってしまうという問題がある。そこで本研究では Web 画像を用いて全体の学習データを増やした。各クエリで収集した Web 画像についてクエリをラベルとしてこれを弱教師ありデータとして扱った。Bing

API，Flickr API を用いて，Web 画像を収集した。本研究では Pascal VOC dataset における 20 クラスの物体についてそれぞれ約 5000 枚ずつ，計 10 万枚の画像を収集した。

4.4 広域領域の認識結果と局所領域の認識結果の一貫性の学習

図 2 広域領域の認識結果と局所領域の認識結果の一貫性の学習についての概要。

5. 実験

Web 画像は弱教師あり画像として扱うことができるが，領域分割のベンチマークのデータセットとして PASCAL

Pascal VOC dataset などの実世界画像におけるデータセッVOC 2012 [1] を用いた。PASCAL VOC 2012 におけるトとは異なる部分がある。特に，Web 画像は検索クエリを領域分割ベンチマークでは, 20 の異なるクラスと Backラベルとして扱っているために，各画像につきラベルは一Ground クラスを含む 21 のクラスの領域分割の精度を比較つである。一方で，Pascal VOC のような実世界画像デーする。また, 1464 枚の train 画像, 1449 枚の validation 画

タのデータセットにおいては複数ラベルも含まれている。

像, 1456 枚の test 画像があるが, 近年は [2] により提供さまた，物体のサイズも大きく異なっている傾向がある。これた 10582 枚の train aug 画像を用いるのが一般的となっのようなドメインの違いにより生まれる変化により，Webている。本実験においてもこれを学習画像として用いた。

画像を用いることで直接的に画像枚数の上昇を精度向上にまた追加画像として Web 画像 10 万枚を追加し、これも学つなげることは難しい。そこで，本研究では Web 画像と習画像として用いた。本手法における領域分割の出力結果

Pascal VOC データにおけるドメインの違いによる精度のの例を図 3 に示す。

低下を，広域領域の認識結果と局所領域の認識結果の一貫性の学習により抑制した。本手法の概要を図 2 に示した。

6. 結論

各入力画像を x, ランダムにクロップを行いスケールを本手法においては，弱教師あり領域分割における異なる変化させた画像を xs とする。本研究ではこれらの入力に学習データのモデルの出力によるアンサンブル手法の提おける出力で共通している領域の出力が同一になるよう案を行った。上記の手法により学習データの不足が生じたに学習を行う。本手法における広域領域の認識結果と局が，これを Web 画像を用いて補完した。また，広域の認識所領域の認識結果の一貫性の学習の概要を図に示した。x

結果と局所領域の認識結果との一貫性を用いることで Webについての出力を p(x), xs についての出力を p(xs ) とす

画像と Pascal VOC data のドメインの違いから生じる精る。p(x) を p(xs ) の出力について対応をとったマスクを度低下を抑えた。今後の課題としては異なる学習データのm(x|xs )，p(xs ) を p(x) の出力について対応をとったマス

モデルの出力によるアンサンブルを行うためのモデルの省クを m(xs |x) とする。このとき，一貫性のロス c loss を以メモリ化，サリエンシーなどを活用した Seed 値の改善な下の式で定義する。

どが考えられる。

3

第 21 回 画像の認識・理解シンポジウム

図 3 Pascal VOC validation set における領域分割結果の例。 1 3 段目については成功例、4段目については失敗例を示した。

謝辞
本研究は JSPS 科研費 17J10261 の助成を受けたものです。

[9]
[10]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

Everingham, M., Eslami, S. M. A., Van Gool, L.,
Williams, C. K. I., Winn, J. and Zisserman, A.: The Pascal Visual Object Classes Challenge: A Retrospective,
International Journal of Computer Vision, Vol. 111,No. 1, pp. 98–136 (2015).
Hariharan, B., Arbelaez, P., Bourdev, L., Maji, S. andJ., M.: Semantic contours from inverse detectors, ICCV(2011).
Jianming, Z., Zhe, L., Jonathan, B., Xiaouhui, S. andSclaroff, S.: Top-down Neural Attention by Excitation
Backprop, ECCV (2016).
Kolesnikov, A. and H.Lampert, C.: Seed, Expand andConstrain: Three Principles for Weakly-Supervised Image Segmentation, ECCV (2016).
Oquab, M., Bottou, L., Laptev, I. and Sivic, J.: Learningand Transferring Mid-level Image Representations Using
Convolutional Neural Networks, CVPR (2014).
Papandreou, G., Chen, L.-C., Murphy, K. and Yuille,
A. L.: Weakly-and semi-supervised learning of a dcnn
for semantic image segmentation, ICCV (2015).
Pathak, D., Krahenbuhl, P. and Darrell, T.: Constrained
convolutional neural networks for weakly supervised segmentation, ICCV (2015).
Pathak, D., Shelhamer, E., Long, J. and Darrell, T.:

[11]

[12]

[13][14]

[15]

[16]

[17]

Fully convolutional multi-class multiple instance learning, ICLR (2015).
Pedro, P. and Ronan, C.: From Image-level to Pixel-level
Labeling with Convolutional Networks, CVPR (2015).
Saleh, F., Akbarian, M., Salzmann, M., Petersson,
L., Gould, S. and M.Alvares, J.: Built-in Foreground/Background Prior for Weakly-Supervised Semantic Segmentation, ECCV (2016).
Shimoda, W. and Yanai, K.: Distinct Class Saliency
Maps for Weakly Supervised Semantic Segmentation,
ECCV (2016).
Simonyan, K., Vedaldi, A. and Zisserman, A.: Deep inside convolutional networks: Visualising image classification models and saliency maps, ICLR WS (2014).
Springenberg, J. T., Dosovitskiy, A., Brox, T. and Riedmiller, M.: Striving for Simplicity: The All Convolutional Net, ICLR WS (2015).
Tokmakov, P., Alahari, K. and Schmid, C.: WeaklySupervised Semantic Segmentation using Motion Cues,
ECCV (2016).
Wei, Y., Liang, X., Chen, Y., Shen, X., Cheng, M., Zhao,
Y. and Yan, S.: STC: A Simple to Complex Framework
for Weakly-supervised Semantic Segmentation, ECCV(2016).
Zeiler, M. and Fergus, R.: Adaptive deconvolutional networks for mid and high level feature learning, ICCV(2011).
Zhou, B., Khosla, A., Lapedriza, A. and Oliva, A. Torralba, A.: Learning Deep Features for Discriminative Localization, CVPR (2016).

4