社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

変化領域の推測による弱教師あり領域分割の精度向上
下田

和†

柳井

啓司†

† 電気通信大学 大学院情報理工学研究科 情報学専攻
あらまし

領域分割においては，学習画像における物体のカテゴリごとにピクセル単位の領域の教師情報が必要であり, 教師情報の付与は大きなコスト，時間を要する。一般に，高度な教師情報を必要とする手法を完全教師あり学習領
域分割，画像における物体のカテゴリ情報のみから学習する手法を弱教師あり学習領域分割と呼ぶ。弱教師あり学習による領域分割が可能となれば，大幅な学習データを収集するためのコストの削減が可能である。本研究においては，
弱教師あり領域分割の精度向上を目指す。CRF は近年の弱教師あり領域分割手法に幅広く取り入れられており，弱教師あり領域分割の精度向上において大きな役割を担っている。本手法においては CRF の問題点に着目し自己教師あり学習による手法でこれを緩和した。PASCAL VOC 2012 データセットで実験を行い、validation set において弱教師あり領域分割の State-of-the-art を達成し提案手法の有効性を示した。
キーワード

Convolutional Neural Network，領域分割, 弱教師あり学習

Wataru SHIMODA† and Keiji YANAI†† Department of Informatics， The University of Electro-Communications， Tokyo

1. は じ め に
近年，深層学習の進歩とともに画像の領域分割精度は飛躍的に向上している。しかしながら，領域分割の学習に必要な教師
情報のアノテーションコストの高さなどから実用面において課題が残っている。領域分割の教師情報のアノテーションコスト
を下げる手段の一つとして，弱教師ありの条件による学習がある。領域分割における弱教師あり学習では，画像のクラスラベ
ルのみを用いて領域分割のためのモデルを学習する。クラスラ
ベルのアノテーションは領域のアノテーションと比較して大幅に安価であり，弱教師あり学習による領域分割が可能であれば，大きなコスト削減が期待できる。
近年， 弱教師あり領域分割の研究は広く行われるようになり，
様々な手法が提案されてきた。弱教師あり領域分割においては，
クラス分類結果の可視化を用いた手法がある [1], [2]。クラス分類に寄与した領域と領域分割における対象領域との間には相関があり，画像におけるクラス分類に寄与した領域を推定することで弱教師あり条件下による領域分割が可能となる。クラス分
類結果の可視化手法としては Class Activation Map(CAM) [3]が標準的な手法として知られている。CAM の精度を改善する手法としては Wei ら [4] の研究が著名である。また， 弱教師
あり領域分割の精度を向上させる方法として， 可視化結果などを用いて仮の領域の教師情報を生成し，これを教師情報として領域分割モデルを学習する手法がある。この手法は単純ながら弱教師あり領域分割の精度を大きく向上させ，近年の弱教師あり領域分割で標準的に使われている。さらに弱教師あり領域
分割結果の精度を改善する手法としては Conditional random
field(CRF) [5] がある。CRF は色や位置情報などを特徴量として活用し確率分布を領域のエッジにフィッティングするように最適化する手法である。弱教師あり領域分割においても領域分割結果の確率分布を入力として， CRF を適用することで精度向上が可能であることが Chen ら [6]，Pathak ら [7] によって示されている。一方で， Kolesnikov ら [8] は学習中の領域分割の確率分布が CRF を適用したものに類似するよう KL divergence
で距離学習を行うことにより，精度改善が可能であるという報告もある。CRF は現在の最高精度を達成している手法をはじめとした多くの弱教師あり領域分割で幅広く取り入れられており，弱教師あり領域分割の精度向上を目指す上で重要な手法である。しかしながら，CRF は必ずしも精度の向上を保証する
手法ではなく， 精度低下を招いてしまう場合がある。図 1 にCRF が失敗する場合の典型例を示した。この CRF の問題点
は弱教師あり領域分割の精度向上の障害となっている側面がある。そこで， 本研究では自己教師あり学習を活用した CRF 適
用後の領域分割結果の改善手法を提案する。提案手法においては CRF 適用前の領域分割結果と CRF 適用後の領域分割結果を入力として、これらの二つの領域分割結果からできるだけ多くの正解領域を得ることを目的とする。これを達成するために，提案手法においては自己教師学習による変化領域の推論を行う。
自己教師学習とは、人手によるアノテーションを必要としない
タスクを解かせることで、よい表現を得る学習手段である。代表的なものとしては、色付けなどがある。本研究においては、
自己教師学習として、CRF 適用前の領域分割結果と CRF 適用
後の領域分割結果の変化を推論させる。二つの領域の変化は簡単な処理で得ることができ、学習にアノテーションを必要としないであり、変化の推論は自己教師あり学習の一種であるとい
える。

—1—

変化を推測する際には， ２つの候補領域のマスクをそれぞれ入力として与えることで２パターンの推論を行う。この２つの推論では異なる入力で同じ出力をするように学習をするが， 入力が異なるために推論の難易度が変化するはずである。本研究ではこの推論の難易度の違いから生じる変化を用いて２つの候補領域からより多くの正解領域を抽出する。また、この提案手法は CRF の改善のみに有効ではなく、任意の二つの候補領域に適用可能である。本研究では提案手法を領域分割の学習モデ
ルに組み込み、Seed 領域の Refinement にも提案手法が活用可能であることを示した。本研究では実験において、提案手法の静的な領域候補の補正の有効性と、動的な領域候補を行い、精度改善した。動的なりゅいき候補の補正の実験においては提案
手法のアイディアの限界と有効性両方を検証している。また、提案手法は既存の弱教師あり領域分割の手法において State of
the art を達成している PSA に適用しても有効性を発揮できた。この手法により提案手法は State of the art を大きく更新した。以下に本研究の Contribution を示す。
• ２つの領域候補について変化を推論するモデルを学習し，２つの候補領域からより多くの正解領域を抽出する手法を提案した。
• 上記の手法を領域分割モデルの学習に組み込み， 精度向上が可能であることを示した。
• 提案手法を既存の弱教師あり領域分割手法と比較し， 提案手法の有効性を示した。

図 1 CRF による領域補正の失敗例。

2. 関 連 研 究
クラス分類結果を可視化する手法を用いることで弱教師ありの条件で領域分割が可能である。認識結果の可視化においては，画像におけるクラス分類に寄与した領域を推定する。クラス分類に寄与した領域と領域分割における対象領域との間には相関があり，認識結果の可視化は弱教師あり領域分割の手法として活用できる。Zeiler ら [1] は畳み込み演算と同じ学習パ
ラメータによる逆畳み込み演算と逆 Pooling により，出力を入力空間に戻した際に，物体の位置に対応するピクセルが強く応答することを示した。Simonyan ら [2] は，Zeilar らと類似した手法で特定のクラスについての信号を逆伝搬させることで，CNN の認識結果に対するクラス応答を可視化させた。派生手法に Guided Backpropagation [9] がある。一方で, 下田ら [10],Jianming ら [11] の手法では Simonyan ら [2] による Backwardの可視化手法が対象がマルチクラスの場合に極端に精度が下がるという問題に着目し，各クラスの逆伝搬値について差分をとることでマルチクラスの場合にも高い精度で可視化が可能であることを示した。
Oquab ら [12]， Pathak ら [13] は FCN の最終層に Global
Pooling(GP) を用いることで，出力マップをクラス分類の CNNと同じ次元に変換し，画像ラベルのみを用いて FCN を学習させた。GP により学習させた FCN は大まかな物体の位置を推定することが可能であり，逆伝搬による可視化とは異なる形で
弱教師あり領域分割を実現した。その後，Pinheiro ら [14] やZhou ら [3] により，Global Pooling の派生手法についても研究がなされている。また，Chen ら [6]，Pathak ら [7] は Global
Pooling を用いずに，弱教師ありで FCN の出力を直接学習させた。FCN の出力の各ピクセルが画像ラベルに含まれていない
クラスを出力している場合には修正を加えるような形で，FCNの出力と画像ラベルから動的に領域の教師情報を生成し， これを用いて FCN の学習を行った。
領域分割モデルを学習する際に， 領域分割モデルの出力自身を教師情報にすることで精度改善が可能であることが知られている。Chen ら [6]，Pathak ら [7] は領域分割モデルの出力を領域の確信度とみなして，画像ラベル情報と前景領域と背景領域の割合などから領域分割結果で得られる結果を制限すること
で， 領域分割モデルを弱教師ありの条件下で学習させた。その後， Wei ら [15] は低次特徴量による物体顕著性マップを用いて学習画像の領域分割を行い，その領域分割結果を領域の教師情報として再学習を行った。Wei らの手法は単純ながら既存の弱教師あり領域分割の精度を大きく上回り，事前に領域分割マ
スクで学習する手法が広く行われるようになった。
一般に弱教師ありの条件で学習された DCNN から得られる物体の領域の確率分布は物体の輪郭が曖昧である。これを色特徴やエッジを用いた低次の特徴量を用いることでより正確な領域がえられることが知られている。特に CRF を使った領域の補正手法が有効であることが知られている。Chen ら [6]，Pathak
ら [7] は後処理としてＣＲＦを採用し， 弱教師あり領域分割の精度が改善することを示した。一方で， Tokmakov ら [16]，Saleh ら [17]， Kolesnikov ら [8] は領域分割モデルの学習中にCRF [5] の結果を教師情報として活用することで精度改善が可能であることを示した。Tokmakov ら [16] は動画から得られるモーションの Segmentaion と Gaussian Mixture Model における動画のフレームの Segmentation 結果を用いて領域分割結果の再学習を行っている。Kolesnikov ら [8] は KL-Divergenceによる CRF による平滑化結果との近似などを用いて高精度な弱教師あり領域分割を達成した。Saleh ら [17] は特徴マップについて CRF を適用した結果から再学習を行い高精度を達成した。Ahn ら [18] は， CRF で得た領域を教師情報として，ピクセルレベルの特徴量の類似度を学習する手法を提案した。また， Ahn ら [18] はこの類似度行列を用いて CAM の結果を大幅に改善することに成功している。このように CRF は弱教師あり領域分割の精度向上に大きく貢献している。しかしながらCRF は必ずしも結果の改善を保証するものではなく，むしろ結果を悪化させることがあり， これが弱教師あり領域分割の精度向上を妨げている側面がある。そこで， 本研究では弱教師あり領域分割における CRF の問題点に着目し，これを改善するために２つの領域候補について変化を推論するモデルを学習
し， ２つの候補領域からより多くの正解領域を抽出する手法を提案した。
領域分割モデルを学習する際に， 領域分割モデルの出力自身を教師情報にすることで精度改善が可能であることが知られている。Chen ら [6]，Pathak ら [7] は領域分割モデルの出力を—2—

領域の確信度とみなして，画像ラベル情報と前景領域と背景領域の割合などから領域分割結果で得られる結果を制限すること
で， 領域分割モデルを弱教師ありの条件下で学習させた。その後， Wei ら [15] は低次特徴量による物体顕著性マップを用
いて学習画像の領域分割を行い，その領域分割結果を領域の教師情報として再学習を行った。Wei らの手法は単純ながら既存の弱教師あり領域分割の精度を大きく上回り，事前に領域分割
マスクで学習する手法が広く行われるようになった。動的に教師情報を生成する手法としては CCNN や DSRG がある。これ
らの手法はこのような制限を設けていた。本手法においては、
CCNN などは前景の領域などで制限していた。

ついてそれぞれ適用し dp = f (eh (x; θ), el (x; θ), m̂p ; θd ), dq =f (eh (x; θe ), el (x; θe ), m̂q ; θd ) を得る。図 2 に本手法における領域の変化の推論のためのネットワークを示した。

3. 提 案 手 法
本手法においては， 弱教師あり領域分割の精度向上において重要な役割を担っている CRF の問題点に着目し， CRF を適用した際の領域分割結果を改善することで目的の達成を目指す。CRF は領域分割結果を改善するための手法であるが，場合によっては結果を悪化させてしまうことがある。そこで， 本
研究では CRF の結果から改善された領域のみを抽出する手法を提案する。提案手法においては CRF 適用前と適用後の領域
分割結果の変化領域を推論し， これを活用する。ここでの変化
領域とは， 任意の２つの領域候補 (mp , mq ) ∈ RH×W についての割り当てられたラベルが異なる領域のことを指す。この変化領域を M p,q とし，これを推定するタスクを変化領域の推定としている。変化領域を推論する際に mp , mq の両方が入力として与えられていた場合， この推論は非常に容易になる。しかし， 入力として２つの候補領域のうち一つのみが既知であるとした場合には， 推論は難しくなる。そこで， 本研究では２つの領域の変化の推定の際に， 片方の領域情報を与える。実際には， 一つの領域情報と推論を助けるための画像特徴量を入力とする。この推論を行う際， 異なる入力においても推論の対象は同一であるが， これらの入力の違いから推論の難易度が変化するはずである。本研究ではこの推論の難易度の変化を使って， 二つの候補領域からより多くの正解領域を抽出する。
3. 1 変化領域の推定
本セクションでは変化領域の推定を定式化する。提案手法においては２つの候補領域についての変化を推論するがここではこの候補領域を仮に mp , mq とし， これらの候補領域の変化をM p,q ∈ RH×W と定義する。また、u ∈ {1, 2, .., n} はピクセルの位置を表すものとする。
p,q
Mu =


1

q
if (mpu = mu )0

if (mp| mqu )
u =

(1)

図2

領域変化の推論モデルのネットワーク図。

3. 2 変化領域の推定結果を用いた領域分割結果の補正
このセクションにおいては推定の難易度の差を活用して二つの候補領域からより多くの正解領域を抽出する方法について述べる。二つの領域推定結果 dp , dq は同じ出力を行うように学習する。しかし， これらの間には入力の違いによる推論の難易度の差がある。変化領域は， 正解領域と， 誤り領域の二つに分けることができる。正解領域は物体の輪郭などに沿っており，
規則的であるのに対して不正解領域は不規則である。そこで，
正解領域の推定は誤り領域と比較して推定が容易であると仮定することで， 正解領域を抽出する。今回の実験では， この仮定された相関からより多くの正解領域を抽出する。以下に今回の手法で行う処理を定式化し記述する。変化領域の推論結果 dはピクセルレベルで変化があるかどうかの確率を表現する分布になっている。特に， 値の大きい部分は変化する可能性が高いと推論された領域， 値の小さい部分は変化する可能性が低いと推論された領域になる。この値の大きさの違いは確信度になっていると考えることできる。このとき， 変化する可能性が低いと推論された領域の入力マスクに対応する部分は， より信頼性の高い領域分割結果だと考えることができる。この信頼度の差
w を以下の式で定義する。
wu = dpu − dqu + bias

ただし， bias は定数値である。提案手法においては w に基づ
いてよい領域を抽出する。任意のマスク mp , mq から得られる補正されたマスク mr を以下の式で定義する。
r

mu =


mp
u
mq
u

次にこの変化領域 Mp,q を求めるためのネットワークを定義する。変化領域を推定する際には， 候補領域のみでなく推論を助けるために画像から得られる特徴量を入力として与える。
また特徴量には高次の層から得られる特徴量と低次の層から得られる特徴量の２つを用いる。画像のスペースを x ∈ X とする。また、すべての入力画像はチャンネル c, 高さ H, 幅 W による次元で表される。x ∈ RC×H×W 。この入力画像 x について、パラメータ θe で訓練されたネットワークにより得られる高次の特徴量を eh (x|θe ), 低次の特徴量を el (x|θe ) とする。変化領域を推定する関数を f としたとき推定された変化領域の分
布は d = f (eh (x; θe ), el (x; θe ), m̂; θd ), d ∈ RH×W と表すことができる。ただし， m̂ はカテゴリ数分のチャネルでバイナリ化されたマスク m̂ ∈ RC×H×W であるとする。パラメータ
θd は変化領域の推論のためのものであり、特徴のＥｍｂｅｄ
ｄｉｎｇとは独立している。これを二つの候補領域 mp , mq に

(2)

if (wu > 0)(3)

if (wu < 0)

本研究では簡単化のためにこの Change prediction を使った領域補正処理を今後 mr = Rf − CP (mp , mq ; θp,q ) として記述する。図 3 に提案手法による領域の補正結果を示した。

4. 変化領域の推定を活用した領域分割結果の静的補正[18] は Pixel level の類似度を学習し、CAM の結果を改善する手法である。[18] は現在の弱教師あり領域分割手法において最高精度を達成している手法の一つである。[18] では得られた確率分布に CRF を適用し、最終的な Seed 領域としているが、この際に精度が悪くなっているケースも存在する。
そこで、本手法においてはこの [18] の CRF 適用前と適用後の結果について変化領域を推論し、推論結果から良い結果を抽出する。まず、入力画像 x について、PSA を適用した結果—3—

においてはこのようなサンプルについては、単純にロスを計算しなかった。この処理を加えたロスを L0change とする。
P
if | γk | > 0 then Ľichange = 0 else Ľichange = Lichange
また、本研究においては、e(x; θenc ) を学習させるために、領域分割の推論を行った。領域分割のロスは以下の式で表すことができる。

Lseg = − X

1X X|ScP | k∈K u∈S P

log(hku (x; θseg ))

(7)

c

k∈K

ただし、θenc ∈ θseg であるとする。また、θenc の部分は Lseg
のみを用いて学習し、変化領域の推論とは独立している。
最終的なロスは以下のようになる。
P̃
Lstatic = LP,
d−r + Lseg

(8)

5. 変化領域の推定を活用した領域分割ネット
ワークの動的学習

図3 。

を p(x)P = P SA(x|θP ) とする。これについて CRF を適用した結果を p(x)P̃ とする。また、それぞれのピクセルについて最大値を返すインデックスをとり二次元のマスクに変換する。mP = arg max(p(x)P ), mP̃ = arg max(p(x)P̃ ). 変化領
域は M P,P̃ 、推論結果は dP = f (eh (x; θe ), el (x; θe ), m̂P ; θd ),dP̃ = f (eh (x; θe ), el (x; θe ), m̂P̃ ; θd ) である。このとき、変化領域の学習は以下のロスに従う。

Lchange (dP , dP̃ , M P,P̃ ) =1 X
J(M P,P̃ , dP , u)
|S| u∈S
+J(M

P,P̃

(4)

P̃

, d , u)

where
P,P̃
J(M P,P̃ , dP , u) = MuP,P̃ log dP) log(1 − dP
u + (1 − Mu
u)
(5)
P,P̃
) log(1 − dP̃
J(M P,P̃ , dP̃ , u) = MuP,P̃ log dP̃u)u + (1 − Mu(6)
提案手法は二つの候補領域からより多くの正解領域を抽出する手法である。そのために、候補領域のどちらか、あるいは両方に正解領域が全くない場合は効果を発揮しない。こういった
場合の変化の推論は不要であり、学習にこのようなサンプルが含まれていると本来の目的である変化の推論の学習を阻害する可能性がある。そこで、変化領域の推論をする際に、明らかにどちらかの候補領域が間違っている場合にはこれを簡単な判定で除外した。具体的には、候補領域の対象クラスにおけるピク
セルの変化が大きすぎる場合にこれを悪いサンプルであると判定し、クラス領域の変化量を閾値で処理した。
mP におけるクラス領域の数を NcP ， mP̃ におけるクラス
P̃
P
領域を NcP̃ とする。このとき変化量を δcP,P̃ = Ncm /Ncmと す る 。こ れ を 閾 値 で 簡 単 に 処 理 し 各 ク ラ ス の 判 定 結 果
γc を 得 る 。if δc > 0.5 then γc = 1 else γc = 0 本 研 究

領域分割モデルを学習する際に仮の領域分割結果を教師情報にして学習すると、その際の Seed 領域の精度が直接限界になるという問題がある。この限界を広げることができればより弱教師あり領域分割の精度が向上するはずである。??における提案手法は、CRF のみでなく任意のマスクに使える。本セク
ションでは提案手法を活用し、Seed 領域による制限を和らげる手法を提案する。動的に教師情報を生成する手法としてはCCNN や DSRG がある。これらの手法はこのような制限を設けていた。本手法では、変化領域を推測できる範囲内で Seedを変化し、教師情報を生成する。実際には、本手法においては、??の手法を一度の学習において二度適用する。入力画像
x を Segmentation model に与えて得られた確率分布 pr (x) をCRF に適用して CRF の確率分布 pr̃ (x) を得ることができる。
まず、この２つのマスクについて、??を適用する。この変化量を得て、これについて、??を適用し、mṙ = RfCP () を得る。
二番目に、mṙ と mo の変化領域を推測する。この変化の領域の推測は、Segmentation の結果と同じアプローチで行う。これについて、??を適用し、mr̈ = RfCP () を得る。このマスクを使って Segmentation model を学習する。

X X
1
Lref ine = − X r̈log(hku (x; θref ine ))|Sc | k∈K u∈S r̈

(9)

c

k∈K

これで得ることができる。mr を得る際の変化領域の学習について詳細を述べる。ms と ms̃ の変化の推論の学習は??と同じように以下のロスで学習する。

Lcrf (dr , dṙ , M r,ṙ ) =1 X
J(M r,ṙ , dr , u)
|S| u∈S
+J(M

r,ṙ

(10)

ṙ

, d , u)whereJ(M r,ṙ , dr , u) = Mur,ṙ log dru + (1 − Mur,ṙ ) log(1 − dru ) (11)J(M r,ṙ , dṙ , u) = Mur,ṙ log dṙu + (1 − Mur,ṙ ) log(1 − dṙu ) (12)
また、??と同じように、本セクションにおいても候補領域のどちらか、あるいは両方に正解領域が全くない場合は効果を発揮しないことが予測されるため、変化領域の推論をする際に、—4—

明らかにどちらかの候補領域が間違っている場合にはこれを簡r̃
r単な判定で除外した。変化量を δcr,r̃ = Ncm /Ncm とし各クラスの判定結果 γc を得る。if δc > 0.5 then γc = 1 else γc = 0
このようなサンプルについて、以下の処理を加えたロスを Lo,r̈
d
P
o,r̈
o,r̈
とする。if | γk | > 0 then Lo,r̈
=
0
else
L
=
L
。ま
d
d
d
た、このような場合に得られる Segmentation マスクもよい結果をもたらすことがないと推測されるため以下の処理を行う。
P
if | γk | > 0 then Lref ine = Ls else Lref ine = Lr̈
一方で、mṙ を得る際の変化領域の学習においては、mr とSeed 領域 mo の変化を学習させる。この変化の学習は Segmentation の出力と CRF の出力の変化についての推論とは異なり、Seed の出力が一定であるため、変化領域の学習が簡単であるという問題がある。この場合、本手法においては、変化領域の推論の難易度の差を活用するが、難易度の差を作るのが困難になる。そういった場合、生成される領域候補は Seed の領域を無視したものになり、目的である推測できる範囲内で Seed を変更するという制限をつくるという目的から外れてしまう。そこで、学習を安定化させるために、直接の変化を推測するのではなく、間接的に変化を推測する。mṙ だけでなく、Seed 領域
mo を使って学習するブランチを作り、この結果との変化を推論する。このブランチにより得られる領域分割の確率分布を
ps , マスクを ms = arg max(p(x)s ) とする。具体的には、学習時においては、mo と, ms の変化と mr̈ と ms の変化をそれぞれ学習する。これにより、推論が簡単になりすぎることを防ぎ、学習が安定する。以下に、この場合の変化領域の学習のロスを示した。
or̈sLo,r̈d (e(x; θseed ), m , m , m ) =1 X
J(M o,s , do , u)
|S| u∈S+J(M r̈,s , dr̈ , u)
(13)

where
J(M o,s , do , u) = Muo,s log dou + (1 − Muo,s ) log(1 − dou ) (14)J(M r̈,s , dr̈ , u) = Mur̈,s log dr̈u + (1 − Mur̈,s ) log(1 − dr̈u ) (15)
また、パラメータ θseed は以下の式で学習する。そのためSeed と refine 両方使う図に示した。Seed を学習する。

Lseed = Ls + Lref ine

(16)

where
X X
1
Ls = − X olog(hku (x; θseed ))|Sc | k∈K u∈Sco

(17)

k∈K

and
X X
1
log(hku (x; θseed ))Lr̈ = − X r̈|Sc | k∈K u∈S r̈

(18)

c

k∈K

最終的なロスは以下のようになる。
P̃
Ldynamic = LP,
d−r + Lseg

6. 実

(19)

験

表 1 変化領域の推論モデルを使った静的な領域補正の効果の検証

PSA
PSA+CRF
PSA+CRF+
提案手法（静的な領域補正）

Raw seed(train set)
52.5
48.0

Trained model(validation set)
58.4
59.0

53.4

61.4

表 2 変化領域の推論モデルを使った動的な領域補正の効果の検証
mIoU

PSA (再現値)
PSA (文献値)
PSA+
提案手法（動的な領域補正）

58.4
61.7
63.1

VOC 2012 [19] を用いた。PASCAL VOC 2012 における領域
分割ベンチマークでは, 20 の異なるクラスと Back Ground クラスを含む 21 のクラスの領域分割の精度を比較する。また, 1464
枚の train 画像, 1449 枚の validation 画像, 1456 枚の test 画像があるが, 近年は [20] により提供された 10582 枚の train aug
画像を用いるのが一般的となっている。本実験においてもこれを学習画像として用いた。
6. 1 変化領域の推論を活用した領域候補補正の有効性の検証
本研究においては， 提案手法の有効性を確かめるために二種類の実験を行った。まず， 変化領域の推論モデルのみを学習させ， CRF 適用前と適用後の領域分割結果を使い， 精度向上が可能であるかを確かめた。表 1 の左列にその結果を示した。結果としては， 単純に本手法を適用した場合 CRF の結果は元のＳｅｅｄ領域にと比較して大きく精度が落ちてしまったものの，本手法を適用することで， 精度を向上させることができた。また， これらの領域分割結果を教師情報として使って領域分割モデルを学習した場合の精度を右列に示した。領域分割モデルの学習においては， CRF の結果は元の Seed の結果を上回っているが， 提案手法はこれをさらに上回っている。この結果から本手法が CRF の結果の改善に貢献していることがわかる。
もうひとつの実験として Sec. 5. で提案した変化領域の推定を活用した領域分割ネットワークの動的学習の有効性について検証を行う。本手法は現在の弱教師あり領域分割手法において最高精度を達成している Ahn ら [18] の手法をベースにしている。そこで， 今回は提案手法をこれに適用して精度が向上するかどうかという観点から提案手法の有効性を確かめる。表 2に PSA を著者らの環境で再現した場合の精度と文献から確認できる精度と今回の提案手法の精度を示した。結果としては，本手法は PSA を再現する際には 3%近く劣った結果になっていたものの，提案手法を適用することで， 5%近く精度が向上し，
PSA の文献値の値を上回った。このことから本手法が動的な学習においても有効であることがわかる。
6. 2 既存手法との比較
本セクションでは提案手法と既存の弱教師あり領域分割の精度の比較を行う。表 3 は PASCAL VOC 2012 val set における既存手法の結果と提案手法の結果を示している. 本手法は前の実験で示したとおり， 現在の弱教師あり領域分割において最高精度を達成している PSA [18] の精度を上回っている。また，提案手法は他の CRF を活用している手法 [6], [8], [10], [15], [17]と比較しても高い精度を達成している。図 4 に本手法により得領域分割のベンチマークのデータセットとして PASCAL

—5—

図4

7. お わ り に
本手法においては，弱教師あり領域分割において重要な役割を担っている CRF の問題点に着目し変化領域の推論を活用することでこの問題を緩和する手法を提案した。また， 提案手法
を Segmentation モデルの学習に組み込むことが可能であること，CRF のみだけでなく Seed 領域の改善にも役立つことを示した。また本手法は PASCAL VOC 2012 の validation set において弱教師あり領域分割の State-of-the-art を達成した。

謝

辞

本研究は JSPS 科研費 17J10261 の助成を受けたものです。

文

train

sofa

sheep

plant

motor

horse

dog

table

mIoU

本手法により得られた領域分割結果の例.

cow

tv

られた領域分割結果の例を示す。

chair

cat

car

bus

bottle

boat

bird

bike

25.7
38.2
34.5
36.6
37.8
42.0
44.6
46.6
49.8
50.7
52.6
55.0
61.7
63.1

aero

65.9 23.8 17.6 22.8 19.4 36.2 47.3 46.9 47.0 16.3 36.1 22.2 43.2 33.7 44.9 39.8 29.9 33.4 22.2 38.8 36.3
77.2 37.3 18.4 25.4 28.2 31.9 41.6 48.1 50.7 12.7 45.7 14.6 50.9 44.1 39.2 37.9 28.3 44.0 19.6 37.6 35.0
78.6 46.9 18.6 27.9 30.7 38.4 44.0 49.6 49.8 11.6 44.7 14.6 50.4 44.7 40.8 38.5 26.0 45.0 20.5 36.9 34.8
79.6 50.2 21.6 40.6 34.9 40.5 45.9 51.5 60.6 12.6 51.2 11.6 56.8 52.9 44.8 42.7 31.2 55.4 21.5 38.8 36.9
77.8 46.1 25.2 42.4 24.9 35.2 60.2 53.1 51.3 16.3 47.0 32.9 53.1 49.9 58.8 52.1 38.7 56.7 31.8 43.1 40.1
79.2 60.1 20.4 50.7 41.2 46.3 62.6 49.2 62.3 13.3 49.7 38.1 58.4 49.0 57.0 48.2 27.8 55.1 29.6 54.6 26.6
84.5 68.0 19.5 60.5 42.5 44.8 68.4 64.0 64.8 14.5 52.0 22.8 58.0 55.3 57.8 60.5 40.6 56.7 23.0 57.1 31.2
82.4 62.9 26.4 61.6 27.6 38.1 66.6 62.7 75.2 22.1 53.5 28.3 65.8 57.8 62.3 52.5 32.5 62.6 32.1 45.4 45.3
83.4 71.1 30.5 72.9 41.6 55.9 63.1 60.2 74.0 18.0 66.5 32.4 71.7 56.3 64.8 52.4 37.4 69.1 31.4 58.9 43.9
88.2 68.2 30.6 81.1 49.6 61.0 77.8 66.1 75.1 29.0 66.0 40.2 80.4 62.0 70.4 73.7 42.5 70.7 42.6 68.1 51.6
88.6 64.9 30.7 85.9 51.8 54.1 79.9 74.4 80.4 32.8 80.7 38.6 80.9 76.9 72.1 68.8 9.0 86.8 41.4 70.5 55.6

bg

methods
MIL-FCN [13]EM-Adapt [6]CCNN [7]MIL-sppxl [14]MIL-bb [14]MIL-seg [14]DCSM [10]F/B prior [17]STC [15]
SEC [8]AF-SS [21]AE-PSL [4]
PSA [18]
Ours

person

表 3 Results on PASCAL VOC 2012 val set.

献[1] M. Zeiler and R. Fergus. Adaptive deconvolutional networks
for mid and high level feature learning. In ICCV, 2011.
[2] K. Simonyan, A. Vedaldi, and A. Zisserman. Deep inside convolutional networks: Visualising image classification
models and saliency maps. In ICLR WS, 2014.
[3] B. Zhou, A. Khosla, A. Lapedriza, and A. Oliva, A. Torralba. Learning deep features for discriminative localization.
In CVPR, 2016.
[4] Y. Wei, J. Feng, X. Liang, M. Cheng, Y. Zhao, and S. Yan.
Object region mining with adversarial erasing: A simple
classification to semantic segmentation approach. In CVPR,
2017.
[5] P. Krahenbuhl and V. Koltun. Efficient inference in fully
connected crfs with gaussian edge potentials. In Advancesin Neural Information Processing Systems, 2011.
[6] G. Papandreou, L.-C. Chen, K. Murphy, and A. L. Yuille.
Weakly-and semi-supervised learning of a dcnn for semantic
image segmentation. In ICCV, 2015.
[7] D. Pathak, P. Krahenbuhl, and T. Darrell. Constrained convolutional neural networks for weakly supervised segmentation. In ICCV, 2015.
[8] A. Kolesnikov and C. H.Lampert. Seed, expand and constrain: Three principles for weakly-supervised image segmentation. In ECCV, 2016.
[9] J. T. Springenberg, A. Dosovitskiy, T. Brox, and M. Riedmiller. Striving for simplicity: The all convolutional net. In
ICLR WS, 2015.
[10] W. Shimoda and K. Yanai. Distinct class saliency maps forweakly supervised semantic segmentation. In ECCV, 2016.
[11] Z. Jianming, L. Zhe, B. Jonathan, S. Xiaouhui, and
S. Sclaroff. Top-down neural attention by excitation backprop. In ECCV, 2016.
[12] M. Oquab, L. Bottou, I. Laptev, and J. Sivic. Learning andtransferring mid-level image representations using convolutional neural networks. In CVPR, 2014.
[13] D. Pathak, E. Shelhamer, J. Long, and T. Darrell. Fully convolutional multi-class multiple instance learning. In ICLR,
2015.
[14] P. Pinheiro and R. Collobert. From image-level to pixel-level
labeling with convolutional networks. In CVPR, 2015.
[15] Y. Wei, X. Liang, Y. Chen, X. Shen, M. Cheng, Y. Zhao,
and S. Yan. Stc: A simple to complex framework for weaklysupervised semantic segmentation. In ECCV, 2016.
[16] P. Tokmakov, K. Alahari, and C. Schmid.
Weaklysupervised semantic segmentation using motion cues. In
ECCV, 2016.
[17] F. Saleh, M. Akbarian, M. Salzmann, L. Petersson, S. Gould, and J. M.Alvares.
Built-in foreground/background prior for weakly-supervised semantic
segmentation. In ECCV, 2016.
[18] J. Ahn and S. Kwak. Learning pixel-level semantic affinity
with image-level supervision for weakly supervised semantic—6—

segmentation. In CVPR, 2018.
[19] M. Everingham, S. M. A. Eslami, L. Van Gool, C. K. I.
Williams, J. Winn, and A. Zisserman. The pascal visual object classes challenge: A retrospective. International Journal of Computer Vision, Vol. 111, No. 1, pp. 98–136, 2015.
[20] B. Hariharan, P. Arbelaez, L. Bourdev, S. Maji, and Malik. J. Semantic contours from inverse detectors. In ICCV,
2011.
[21] X. Qi, Z. Liu, J. Shi, H. Zhao, and J. Jia. Augmented feedback in semantic segmentation under image level supervision. In ECCV, 2016.

—7—