完全教師あり学習手法を用いた
弱教師あり領域分割におけるシード領域生成方法の改良
電気通信大学 総合情報学科

下田 和, 柳井 啓司ⓒ 2017 UEC Tokyo.

領域分割• 領域分割（Semantic segmentation）• 目的– 対象物体の位置を正確に求めたい– 対象物体の輪郭まで抽出したい
ピンク：人
緑：自転車
黒：背景
ⓒ 2017 UEC Tokyo.

領域分割の精度向上• 高精度（約40％(2012年) → 80％↑）[Chen et al, ICLR 2014][He et al, ICCV 2017][Zhao et al, CVPR 2017]ⓒ 2017 UEC Tokyo.

現在の領域分割の問題点• アノテーションコスト
– 教師情報の付与におけるコストが膨大ⓒ 2017 UEC Tokyo.

弱教師あり領域分割• 弱教師あり学習– ラベルのみで学習（クラス分類と等価）
完全教師あり学習

弱教師あり学習人馬車ⓒ 2017 UEC Tokyo.

関連研究• Visualization– クラス分類モデルの認識結果を可視化– Simonyan et al, Oquab et al• 弱教師による完全教師モデルの学習– 領域分割モデルを直接ノイズを含む教師データから学習– Wang et alⓒ 2017 UEC Tokyo.

Visualization• Backwardによる認識結果の可視化– Deep Inside Convolutional Networks: Visualising Image Classification Modelsand Saliency Maps
– Simonyan et al, ICLR WS 2014

– クラス分類において重要な領域は物体領域と相関がある– Back propagationにおける、勾配の大きさが物体の領域に対応[Simonyan et al, ICLR WS 2014]ⓒ 2017 UEC Tokyo.

差分を用いたVisualization• 逆伝搬値の差分による領域分割– Simonyan らの改良手法– マルチクラスに適応– 弱教師あり領域分割で高精度を達成[Shimoda et al. ECCV 2016]ⓒ 2017 UEC Tokyo.

弱教師による完全教師モデルの学習
Simple to complex(STC)• 事前に既存手法で前景物体を領域分割– 顕著性マップ（局所特徴量など使用）• 事前領域を教師情報として完全教師モデルを学習– Visualizationベースの手法の精度を大きく更新ⓒ 2017 UEC Tokyo.

Simple to complex(STC)[Wang et al. PAMI 2016]ⓒ 2017 UEC Tokyo.

本手法• Visualization＋弱教師による完全教師モデルの学習• 完全教師モデルの学習のための教師情報のクリーニング– 領域分割結果の精度を推定– よい領域シードをマイニングⓒ 2017 UEC Tokyo.

弱教師による完全教師モデルの学習• 完全教師モデルを用いる利点– 小さなノイズが吸収され、精度が向上する• 完全教師モデルを用いる上での限界– 初期値に悪い傾向があるとそれを学習する↓• 初期値を改善したいⓒ 2017 UEC Tokyo.

手法の概要
Ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ

Ｒｅｓｕｌｔｓ(noisy)
mining
再学習（Full supervised model）
ＩｍｇＳｅｇｍｅｎｔａｔｉｏｎ

Ｐｒｅｄⓒ 2017 UEC Tokyo.

Ｓｕｐｅｒｖｉｓｉｏｎ領域分割精度の推定• 領域分割に失敗する際の要因– クラス分類の精度– 物体の大きさなど受容野の広さにおける変化– クラス分類タスクと領域分割タスクのギャップ• 可視化結果の一貫性を用いて領域分割結果の精度を評価– 差分における可視化結果– 受容野の広さの違いにおける可視化結果ⓒ 2017 UEC Tokyo.

Backpropagationによる可視化について
Visualization
Training
Feature maps
FC

FCi

Recognition
resultWeights
Image label

Derivativeiclass
Optimize(Snake)error

Back-propagation[Simonyan et al, ICLR WS 2014]ⓒ 2017 UEC Tokyo.

差分における可視化結果

iii

GMP

Train

GMP

PersonGMP

Train‐Personⓒ 2017 UEC Tokyo.

手法の例

Simonyan et al.

ⓒ 2017 UEC Tokyo.

Ours差分をとった場合における領域分割結果の変化• 可視化結果の差分による評価– クラス分類の容易性との相関– シンプルな画像を優先
差分なし

差分あり

ⓒ 2017 UEC Tokyo.

差分なし

差分あり

領域分割における受容野の重要性• 受容野– １つのピクセルの推論の際に活用するピクセルの広さ• 受容野を変更する主な方法– 入力画像のサイズ, Dilation[Chen et al. CVPR 2016]ⓒ 2017 UEC Tokyo.

受容野の変化における領域分割結果の一貫性• 入力画像サイズの変化による評価ⓒ 2017 UEC Tokyo.

領域分割の容易性の推定例ⓒ 2017 UEC Tokyo.

実験• データセット– Pascal VOC 2012– 21 クラス（背景クラスを含む）– 10532 training images• 学習– Visualization : VGG16– Segmentation: Deep lab modelⓒ 2017 UEC Tokyo.

マイニング結果のtop5
Dog

Boat

ⓒ 2017 UEC Tokyo.

Table

ⓒ 2017 UEC Tokyo.

ⓒ 2017 UEC Tokyo.

教師データのマイニングによる精度変化• 閾値による教師情報の選択• 教師情報の質と量はトレードオフ• Data augmentationの効率化により精度向上– 上澄みでData augmentation、下澄みは切り捨てした際にもっともよい精度にⓒ 2017 UEC Tokyo.

領域分割精度の比較
Pascal VOC test set

完全教師あり
領域分割

Acc

O2P

47.6

SDS

52.6

Deeplab71.6

弱教師あり領域分割

年度

精度

Global pooling

2015

24.9

Simonyan (Backward)

2014

33.8

Ours (Backward)

2016

45.1

STC (re-training)

2016

51.2

SEC (re-training + unsupervised)

2016

51.7

Ours (Backward + re-training)

2017

52.8

Adversarial Erasing

2017

55.7

ⓒ 2017 UEC Tokyo.

領域分割結果例ⓒ 2017 UEC Tokyo.

まとめ・今後の課題• まとめ– Visualizationと完全教師モデルの学習を組み合わせた– 領域分割精度を推定し、教師データのマイニングを行った– Data augmentationと組み合わせることで精度が向上• 今後の課題– クラス分類タスクと領域分割タスクのギャップを埋める– Semi-supervised 手法を活用– Instanse segmentationへの応用ⓒ 2017 UEC Tokyo.