CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 22 回 画像の認識・理解シンポジウム

自己教師あり学習による変化領域の推論を活用した
弱教師あり領域分割
下田 和1,a)概要
画像における物体のカテゴリ情報のみから領域分割を学習する手法を弱教師あり領域分割と呼ぶ。弱教師あり学習による領域分割が可能となれば，領域分割における学習データを収集するための大幅なコストの削減が可能である。本研究においては, 自己教師あり学習による変化領域の推論を活用することにより, 弱教師あり領域分割の精度を向上させた。また, 提案手法を領域分割モデルの学習に組み込むことで, 更なる精度向上を達成した。

1. はじめに
領域分割は画像認識において重要なタスクの一つであるが，領域分割の学習に必要な教師情報はコストが膨大であり, この問題は領域分割を応用するうえで大きな障害になっている。領域分割における弱教師あり学習では，画像のクラスラベルのみを用いて領域分割のためのモデルを学習することで, 安価なコストで領域分割を行うことができる。代用が可能なほど弱教師あり領域分割の精度が向上すれば，大幅なコスト削減が期待できる。
領域分割結果の精度を改善する手法としては Conditionalrandom field(CRF) [5] が広く知られている。CRF は色や位置情報などを特徴量として活用し確率分布が領域の輪郭に沿うように最適化する手法であるが, 領域分割の精度向上を保証する手法ではないため精度低下を招いてしまう場合がある。Pixel-level aﬃnity(PSA)[1] は, 現在の弱教師あり領域分割において高精度を達成している手法の一つであるが, この手法においても CRF が取り入れられている。本
研究では PSA の領域分割結果に CRF を適用した際の精度低下を防ぐために, 自己教師あり学習による変化領域の推論を活用した領域分割結果の統合手法を提案する。提案
手法においては PSA における CRF 適用前と CRF 適用後の領域分割結果を入力として, これらの二つの領域分割結果について変化領域を推論する。この変化領域の推論結果から領域の信頼度を算出し, この信頼度を用いて領域分割結果を統合する。変化領域の推論の学習と, 変化領域の推論結果を用いて領域分割結果を統合する方法の概要を図 1に示した。また, 本研究においては, PSA の結果の改善のみでなく領域分割モデルの学習に提案手法を組み込む応用方法を示す。この試みにおいては, 学習中の教師情報におけるノイズを推定し, 正しいラベルに上書きをするという
1a)b)

電気通信大学 大学院情報理工学研究科 情報学専攻
shimoda-k@mm.inf.uec.ac.jp
yanai@cs.uec.ac.jp

柳井 啓司1,b)

難しい課題に挑戦したが, 提案手法は有効に働き, Pascal
VOC 2012 データセットの弱教師あり領域分割手法における最高精度を達成している。

2. 変化領域の推論を活用した領域分割結果の統合手法
本論文においては，二つの候補領域の変化領域を推論する新しいタスクを提案する。また, 変化領域の推論結果を用いて領域の信頼度を算出し, 領域分割結果を統合する手法を提案する。変化領域の推論においては, 画像から得られる特徴量と二つの候補領域のうちの一方を入力として与える。学習時にはどちらの候補領域を入力とした場合においても, 同様に各ピクセルでラベルが異なっている領域を出力するように学習するが, 実際には入力の違いにより結果が異なる。また, 推論が容易になる変化領域の傾向はCRF 適用前と CRF 適用後で異なっている。図 2 にこれらの傾向の違いについて示した。学習サンプルに類似した変化領域が多く存在すれば, 変化領域の推論は容易になると推測できる。このとき, CRF により変化した領域は基本的に精度が向上していると仮定すれば, CRF 適用前の入力において変化の推論が容易な領域は CRF により精度が向上する可能性が高い。CRF 適用後においては, CRF により大きく領域分割結果が変化すると, 領域分割結果が入力の特徴量とかけ離れた結果になり, 変化領域の推論が容易になる場合がある。このとき, CRF 適用前の入力が一定の精度を保っており特徴量が信頼できると仮定すれば, 変化領域の推論が容易な領域は CRF により精度が低下している可能性が高いと判断できる。CRF 適用後の推論においては, CRF 適用前の変化領域の推論と同様に, 学習サンプルの頻度が多いと推論が容易になる傾向があるが, 特徴量の分布と領域分割マスクの違いの影響のほうが大きかった。
そこで, 本提案手法においては, 推論が容易な変化領域は入

図 1 変化領域の推論の概略図。

1

第 22 回 画像の認識・理解シンポジウム

力の領域ラベルの信頼性が低いと考え, 変化領域の推論結果を入力マスクのラベルの信頼度マップとして扱い これに基づいて領域の統合を行う。

2.1 変化領域の推論による信頼度の算出とそれに基づいた領域分割結果の統合
本論文においては, 二つの候補領域について割り当てられたラベルが異なる領域のことを変化領域と定義し, この変化領域を推論するタスクを提案する。まず, 変化領域の推論について定式化を行う。候補領域を仮に (mbefore , mafter )とし， これらの候補領域の変化を M before,after とする。ただし, u ∈ {1, 2, .., n} はピクセルの位置を表すものとする。
このとき, 変化領域は以下の式で表すことができる。
Mubefore,after ={1if (mbefore= mafteruu )0

̸= mafter
if (mbeforeuu )(2)ただし， b̂ はそれぞれの領域分割マスクに対してのバイアスである。実験においてはグリッドサーチによる探索結果から b̂ = 0.4 とした。
信頼度の差 w に基づき, 領域の統合結果 mrefine を以下の式から得る。
mrefine=u{
mbeforeuaftermu

if (wubefore,after > 0)
if (wubefore,after < 0)

CRF 適用前と CRF 適用後における変化領域の推論の難易度の変化の傾向についての説明図。

(1)

変化領域を推論する際は, 二つの候補領域のペアから片方の領域情報を与え, 変化領域を推論する。また, 変化領域を推定する際には， 入力画像 x を Segmentation モデルの Backbone network に与えた際に得られる高次の特徴量 eh (x) と低次の特徴量 el (x) を用いる。高次の特徴量からは意味的な特徴量を低次の特徴量からは物体の輪郭についての情報が得られることが期待できる。Segmentation モデルの Backbone network には, PSA[1] と同様に Resnet38 を用いた。本論文においては, この推論を行うネットワークモデルを Diﬀerence Detection network(DD-net) とした。推定された変化領域の分布を以下の式で表す。d = DDnet(eh (x; θe ), el (x; θe ), m̂; θd ), d ∈ RH×W , ただし， m̂ は領域分割結果 m について各ピクセルにおけるラベル情報を One-hot vector としてバイナリ化したものである。 θd は推論モデルのパラメータであり, 領域分割モデルの学習とは独立している。また, このパラメータは二つの領域分割結果の組の変化の推論において共有されている。
これはパラメータを共有しなかった場合, 領域の推論結果にバイアスがかかるため推論結果を信頼度として平等に扱う場合に問題となるためである。この変化の推論を二つの候補領域 mbefore , mafter についてそれぞれ適用し dbefore , dafter を得る。
この推論結果を領域分割結果の信頼度として考え, 二つの候補領域の信頼度の差 w を以下の式で定義する。
beforewubefore,after = dafter+ b̂,u − du

図 2(3)た だ し, u は ピ ク セ ル を 表 し て い る 。本 研 究 で は 簡
単 化 の た め に こ の 領 域 補 正 処 理 を Self-Supervised Difference Detection module(SSDD module) と し て, 今 後
mrefine =SSDD(e(x; θe ), mbefore , mafter ; θd ) と記述する。また,
図 3 に本手法における領域の変化の推論のためのネットワークを示した。

図 3 Diﬀerence Detection Network (DD-Net) の図。C はカテゴリ数を示している。

3. 変化領域の推論を活用した領域分割結果の統合手法の弱教師あり領域分割への応用
本セクションでは, 変化領域の推論を活用した領域分割結果の統合手法を弱教師あり領域分割へ適用する方法について述べる。PSA[1] の領域分割結果に CRF を適用した際の精度低下を防ぐために, 変化領域の推論を活用した領域分割結果の統合を適用する。これを変化領域の推定を活用した領域分割結果の静的補正として, セクション 3.1 で述べる。さらに, 本手法を領域分割学習ネットワークに組み込み変化領域の推論結果の学習と領域分割結果の学習を同時に行う手法を変化領域の推定を活用した領域分割結果の動的学習として, セクション 3.2 において示す。

3.1 変化領域の推定を活用した領域分割結果の静的補正
Pixel-level aﬃnity(PSA)[1] は Pixel level の類似度を学習し, クラス分類の可視化結果を改善する手法である。本手法においては PSA の CRF 適用前と適用後の結果について変化領域を推論し, 領域の統合を行う。まず, 入力画像 x について, PSA を適用した結果を ppsa =P SA(x; θP ) とする。これについて CRF を適用した結果を pcrf0 とする。
またこれらの確率分布に対して最大値のインデックスを取ることにより領域分割マスクに変換したものを mpsa , mcrf0とする。これらの変化領域 M psa,crf0 についての推論結果を
以 下 の 式 か ら 得 る 。dpsa =f (eh (x; θe0 ), el (x; θe0 ), m̂psa ; θd0 ),dcrf0 =f (eh (x; θe0 ), el (x; θe0 ), m̂crf0 ; θd0 ).
ま た,領域 補 正 結 果 mssdd0 を 以 下 の 式 か ら 求 め る 。
mssdd0 =SSDD(e(x; θe0 ), mpsa , mcrf0 ; θd0 ).
図 4 に静的な領域補正の概略図を示した。
Training 変化領域の推論の学習においては以下のロスを最適化する。

2

第 22 回 画像の認識・理解シンポジウム

図 4Lchange =静的な領域候補の補正についての概略図。

1 ∑(J(M psa,crf0 , dpsa , u) + J(M psa,crf0 , dcrf0 , u)),|S| u∈S(4)

ただし, J(M, d, u) はピクセル u における σ(d) と M についての二値交差エントロピー誤差であるとする。σ() はシグモイド関数である。また, 本研究においては Segmentation
モデルの Backbone network からよい特徴量を得るために以下の式で Segmentation モデルを領域分割マスク mpsa を用いて学習し, θe0 ∈ θs0 を最適化する。ただし, thetas0 とthetad0 の学習は独立している。

Lseg = − ∑∑ ∑1|Sk | k∈C u∈S psapsalog(hku (x; θs0 )),(5)

図 5(a) 動的な領域補正の概略図。(b) Second SSDD module の学習図。(c) 領域分割モデルの学習図。)

Lseg-main = − ∑3.2 変化領域の推定を活用した領域分割ネットワークの動的学習
近年の弱教師あり領域分割手法においては弱教師あり条件下で生成した領域分割マスクで領域分割モデルを学習すると精度が更に向上されることが知られており, この方法は近年の弱教師あり領域分割において標準的に使われている。しかし, この際には生成した領域分割マスクの精度が直接領域分割モデルの精度の限界に繋がる。もし, 学習中に教師情報をよりよいものに置き換えることができればさらなる精度向上が期待できる。そこで, 本手法においてはセクション 3.1 において生成した領域分割マスクを用いて領域分割モデルを学習させる際, 学習中に更に提案手法を適用し教師情報を上書きする。 特に, 変化が推論可能な領域のみ置き換えが可能であるという条件を設定することで堅牢かつ精度の高い教師情報の上書きを実現した。
以下に提案手法の手順を示す。本手法においてはまず入力画像 x から領域分割モデルの出力 pseg =g(x; θs1 ) とその出力についての CRF の適用結果 pcrf1 を得る。ただし, gは領域分割モデルの関数である。 これらから得られるマスクを (mseg , mcrf1 ) であるとする. そして, 本手法においては補正された領域分割マスク mssdd1 を以下の式から得る。
mssdd1 =SSDD(e(x; θe1 ), mseg , mcrf1 ; θd1 ). 次に, 得られた領域分割マスク mssdd1 と学習前に弱教師あり条件化で事前に生成したマスク mssdd0 からさらに補正されたマスク mssdd2 を以下の式から得る。mssdd2 =SSDD(e(x; θe1 ), mssdd1 , mssdd0 ; θd2 ). 本
手法においては mssdd2 を学習中の各繰り返しにおいて生成し, これを領域分割の学習に使う。図 5-(a) に動的な領域補正の概略図を示した。
Training 生成された領域分割マスク mssdd2 を用いて領域分割モデルを以下の式から学習する。

|Sk | k∈C u∈S ssdd2ssdd2log(hku (x; θs1 )).

(7)

kkk∈Ck∈C

ただし, hku はピクセル u におけるクラス k についての確率である。本手法においては最終的に以下のロスを最適化する。
Lstatic = Lseg + Lchange(6)∑ ∑1(mseg と mcrf1 ) の変化の推論モデルは以下の式で学習する。
1 ∑(J(M seg,crf1 , dseg , u) + J(M seg,crf1 , dcrf1 , u)),|S|

Ldd-crf =u∈S

(8)
次に (mssdd1 , mssdd0 ) の変化の推論モデルの学習について述べる。(mssdd1 , mssdd0 ) の変化の推論は mssdd0 が学習の間常に一定であるので, 変化の推論が容易である。この場合変化の推論の難易度の差を作るのが困難になり, 提案手法の適用が難しくなる。そこで, 学習を安定化させるために本手法では新しい領域分割ブランチを作成する。このブランチから得られる確率分布を psub , 領域分割マスクを msub とする。そして, 変化領域の推論の学習においては, 以下のペアの領域候補 (mssdd0 , msub ) と (msub , mssdd1 ) の変化の推論を学習させる。この学習サンプルの置き換えは推論時における変化領域の推論を難しくし学習が発散するのを防ぐのに貢献した。この変化の推論は以下のロスを最適化し学習させる。
Ldd-seed =1 ∑ssdd0,subssdd0
ssdd1,subssdd1(J(M, d , u) + J(M, d , u)), (9)|S| u∈S

また, パラメータ θs1′ は以下の式で学習する。

Lseg-sub = αLssdd0 + (1 − α)Lssdd2 ,L

ssdd0= −∑∑ ∑1|Sk | k∈Cu∈S ssdd0
ssdd0(10)klog(hu (x; θs1′ ))kk∈CLssdd2= −∑∑ ∑1|Sk | k∈Cu∈S ssdd2
ssdd2

klog(hu (x; θs1′ )).

kk∈C

α は学習に用いるマスクについてのハイパーパラメータである。実験においては α = 0.5 とした。最終的なロスは以下の式に従う。
Ldynamic = Ldd-crf + Ldd-seed + Lseg-main + Lseg-sub(11)

図 5-(b)(c) に動的な領域補正の学習方法を示した。

3入力画像第 22 回 画像の認識・理解シンポジウム

PSA 59.0%

提案手法 61.4%(セクション 3.1)

提案手法 64.9%(セクション 3.2)

正解マスク

表 1 変化領域の推論モデルを使った静的な領域補正の効果の検証(† 再現実装における結果)

PSA
PSA+CRF
提案手法（静的な領域補正）

表 2

Raw seed(train set)
52.5
48.0
53.4

最新の弱教師あり領域分割手法との比較。

MethodFCN-MIL [8]ICLR2015
CCNN [7]ICCV2015
EM-Adapt [6]ICCV2015
DCSM [11]ECCV2016
BFBP [10]ECCV2016
SEC [4]ECCV2016
CBTS [9]CVPR2017
TPL [3]ICCV2017
MEFF [2]CVPR2018
PSA [1]CVPR2018
SSDD(提案手法, 動的な領域補正)(a)

Trained model(validation set)
58.4†
59.0†
61.4

(b)

(c)

(d)

Val
25.7
35.3
38.2
44.1
46.6
50.7
52.8
53.1
61.7
64.9

(e)

Test
24.9
35.6
39.6
45.1
48.0
51.7
53.7
53.8
55.6
63.7
65.5

(f)

図 7 Pascal VOC 2012 における領域分割結果.

5. おわりに(g)

本手法においては，弱教師あり領域分割において重要な役割を担っている CRF の問題点に着目し変化領域の推論を活用することで新しい領域補正手法を提案した。また，提案手法を Segmentation モデルの学習に組み込むことが可能であることを示した。さらに, 弱教師あり条件下における PASCAL VOC 2012 の最高精度を達成し提案手法の有効性を示した。
謝辞
本 研 究 は JSPS 科 研 費 17J10261, 15H05915,17H01745, 19H04929, 17H06100 の助成を受けたものです。
参考文献
[1]

図 6(a) 入力画像, (b)PSA の領域分割結果, (c) (b) についての変化領域の推論結果, (d) (b) についての CRF の適用結果, (e)(d) についての変化領域の推論結果, (f) 手印手法による領域補正結果, (g) 正解マスク. 最下段は提案手法を適用しても精度が改善しない場合の例である。

[2]

[3]

4. 実験
領域分割のベンチマークのデータセットとして PASCAL
VOC 2012 (21 class) を用いた。Pascal は 10582 枚の train
画像, 1449 枚の validation 画像, 1456 枚の test 画像から成る。評価の指標としては Mean IoU を用いた。
表 1 の左列に PSA を学習画像に適用した結果と静的な領域補正 (セクション 3.1) の適用結果を示した。単純に本手法を適用した場合 CRF の結果は元の PSA の領域分割結果と比較して大きく精度が落ちてしまったものの，本手法を適用することで精度が向上している。右列には左列の領域分割マスクで領域分割モデルを学習しこれを Validationset に適用した際の精度を示している。CRF の結果は左列の場合とは異なり CRF 適用前の結果を上回っているが，提案手法はこれをさらに上回っている。この結果から本手法が CRF の結果の改善に貢献していることがわかる。図
6 に提案手法による領域分割の補正結果を示した。
もうひとつの実験として動的領域補正の精度 (セクション 3.2) を近年の弱教師あり領域分割手法と比較した。表 2の結果から提案手法が弱教師あり領域分割において最高精度を達成していることがわかる。図 4 に本手法により得られた領域分割結果の例を示す。

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Ahn, J. and Kwak, S.: Learning Pixel-level Semantic Aﬃnity with Image-level Supervision for Weakly Supervised Semantic Segmentation, CVPR (2018).
Ge, W., Yang, S. and Yu, Y.: Multi-evidence filtering andfusion for multi-label classification, object detection and semantic segmentation based on weakly supervised learning,CVPR (2018).
Kim, D., Cho, D., Yoo, D. and Kweon, I.: Two-PhaseLearning for Weakly Supervised Object Localization, ICCV(2017).
Kolesnikov, A. and H.Lampert, C.: Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation, ECCV (2016).
Krahenbuhl, P. and Koltun, V.: Eﬃcient Inference in Fully
Connected CRFs with Gaussian Edge Potentials, Advancesin Neural Information Processing Systems (2011).
Papandreou, G., Chen, L.-C., Murphy, K. and Yuille, A. L.:
Weakly-and semi-supervised learning of a dcnn for semantic
image segmentation, ICCV (2015).
Pathak, D., Krahenbuhl, P. and Darrell, T.: Constrained
convolutional neural networks for weakly supervised segmentation, ICCV (2015).
Pathak, D., Shelhamer, E., Long, J. and Darrell, T.: Fully
convolutional multi-class multiple instance learning, ICLR
(2015).
Roy, A. and Todorovic, S.: Combining bottom-up, topdown, and smoothness cues for weakly supervised image
segmentation, CVPR (2017).
Saleh, F., Akbarian, M., Salzmann, M., Petersson,L., Gould, S. and M.Alvares, J.:
Built-in Foreground/Background Prior for Weakly-Supervised Semantic
Segmentation, ECCV (2016).
Shimoda, W. and Yanai, K.: Distinct Class Saliency Maps
for Weakly Supervised Semantic Segmentation, ECCV(2016).

4