不確実性の導入による Attention Branch Network の高精度化

2.Neural Network における不確実性の推定
Neural Network（NN）における不確実性の推定手法として，BNN および Monte Carlo dropout（MCDO）[2]がある．以下にこれらの手法について説明する．

2.1.Bayesian Neural Network
BNN は，複数の確率変数の定性的な依存関係をグラフ構造によって表し，変数間の定量的な関係を条件付き確率で表した確率モデルである．一般的な NN の重みは，一意的であるため点推定となる．そのため，一般的な NN で不確実性を推定することは不可能である．BNN は一般的なNN とは異なり，ネットワークモデルの重みを確率分布で表現し，推論結果とともに不確実性を推定することが可能となる．

2.2.Monte Carlo dropout
BNN を CNN に適用するには計算コストがかかり，最適化が難しいという問題がある．この問題を解決するために，MCDO が提案されている．MCDO はネットワークモ
デルの重みをベルヌーイ分布で表すことで，近似的に重みの確率分布のモデル化を可能にする手法である．ユニット
j = 1, . . . , Ki−1 ，レイヤー i = 1, . . . , L の重みの近似変分
分布 qθ∗ (wi ) は式 (1) のように定義できる．このとき，ベルヌーイ分布により得られた確率変数ベクトル z i,j と変分パラメータ mi の分布からガウス過程の近似モデルが得られる．また，この定義はドロップ率 pi の Dropout によって，ネットワークモデルのユニットをランダムに 0 にすることに等しい．出力ラベルの予測分布は，Dropout を適用したサンプリングの平均から得られ，予測分布の分散やエントロピーにより不確実性を表す指標が得られる．
()iqθ∗ (wi ) = mi · diag [z i,j ]K
j=1z i,j ∼ Bernoulli (pi )Perception branch

OutputUncertainty

Sampling
Sampling

GAP

SoftmaxConv.

Conv.

Softmax+Attention branch

Dropout

Feature extractor

Conv.
Convolution
layersResidual
Block 4+

Dropout

Residual
Block 3

Attentionmap
Residual
Block 2

Input image

Attention Branch Network（ABN）[1] は，Attention
機構を導入することで，推論時の注視領域の可視化および認識精度を高精度化できる Convolutional Neural Network（CNN）の手法である．ABN を含めた従来の CNN では，推論結果に対する不確実性が考慮できていないため，推論結果をどれだけ信頼して良いのか不明であるという問題がある．これは，CNN を実用化するにあたり，誤判断を引き起こす原因となると考えられる．そこで，推論結果に対する不確実性を考慮することで，認識精度の向上や誤判断の抑制につながると考えられる．本研究では，Bayesian NeuralNetwork（BNN）を ABN に導入することで，推論結果に対する不確実性を考慮し，CNN における認識精度の向上を実現する．

Convolution layer 1

1. はじめに

Uncertainty

指導教授：藤吉弘亘

ER15044 塚原拓也

図 1 : Bayesian ABN の構造{()
patt H (patt ) < H pper()
y=pper H (patt ) ≧ H pper

(3)

4. 評価実験

提案手法を評価するために，Residual Network（ResNet），ResNet をベースとした ABN および Bayesian ABN を用いて一般物体認識の実験を行う．一般物体認識における認識精度を比較し，不確実性の有効性を評価する．

4.1. 実験概要
評価データには，CIFAR-100 データセット [3] を用いる．CIFAR-100 データセットは，32×32 ピクセルのカラー画像で構成されており，クラス数は 100 である．本実験では，学習に 50, 000 枚，評価に 10, 000 枚を使用する．また，MCDO によるサンプリング回数を 50 とし，Dropoutにおけるドロップ率を 0.3 とする．

4.2. 実験結果
ResNet，ABN および Bayesian ABN の認識精度を表 1に示す．Top-1 Accuracy および Top-5 Accuracy のいずれの場合においても，Bayesian ABN が最も高い認識精度を達成した．
表 1 : 各種法の認識精度
手法

ResNetABN
Bayesian ABN

Top-1 Acc. [%]Top-5 Acc. [%]

75.86
76.09
78.97

−92.8094.58

ABN および Bayesian ABN を用いて，モデルの信頼度および不確実性による閾値を設けた場合の認識精度の推移を図 2 に示す．高い値ほど閾値を設けている．不確実性は，
ABN のモデル信頼度と比較して認識精度が高く，Bayesian
ABN のモデル信頼度と比較して認識精度との強い相関があることが確認できる．

(1)

3. 提案手法
本研究では，ABN に不確実性を導入した Bayesian Attention Branch Network（Bayesian ABN）を提案する．
Bayesian ABN の構造を図 1 に示す．Bayesian ABN は，推論時に MCDO を用いることで，BNN として扱うことが可能となる．Dropout を用いて Bayesian ABN の出力結果のサンプリングを行い，平均から予測分布 p を得る．
また，不確実性は，クラス c = 1, . . . , C の予測分布 Pc のエントロピーにより推定する．不確実性 H (p) は，式 (2)で表される．
∑(2)
H (p) = − C
c=1 Pc ln Pc
ABN では Attention branch で注視領域の可視化を行い，Feature extractor の特徴マップに反映し，Perception
branch で推論結果を出力することで認識精度の高精度化を実現している．Bayesian ABN は，Attention branch お
よび Perception branch それぞれの不確実性を推定し，不確実性の低い branch の予測分布を推論結果として用いることで，認識精度の向上を図る．Attention branch の予測分布を patt ，Perception branch の予測分布を pper とす
ると，推論結果 y は式 (3) で表される．

図 2 : 閾値を設けた場合の認識精度の推移

5. おわりに本研究では，ABN に不確実性を割り当て，CNN を高精度化する手法を提案した．今後は，これらの指標を能動学習に取り入れ，認識精度の向上や学習コストの削減を目指す．

参考文献[1] H. Fukui, et al., “Attention Branch Network: Learning of Attention Mechanism for Visual Explanation”,
arXiv:1812.10025, 2018.
[2] Y. Gal, et al., “Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning”, ICML, 2016.
[3] A. Krizhevsky, “Learning Multiple Layers of Featuresfrom Tiny Images”, Technical Report, University ofTront, 2009.