情報処理学会研究報告
IPSJ SIG Technical Report

ブラックボックス条件下における画像解釈器の脆弱性検証の試み
廣瀬 雄大†1,a)

梶浦 梨央†1,b)

小野 智司†1,c)

概要：深層ニューラルネットワーク (DNN) の普及により，DNN モデルの判断根拠を明らかにするための研究の重要性が高まっている．一方，DNN には画像に対して特殊な摂動を加えることで誤分類を引き起こす敵対的事例 (Adversarial Examples： AE) と呼ばれる脆弱性が存在する．このような脆弱性は画像解釈器にも存在するため，画像解釈器を安全に使用するために脆弱性の調査が不可欠である．本研究では，
DNN モデルや解釈器の内部構造が未知であるブラックボックス条件下で解釈結果の注視領域を誤誘導する敵対的事例を生成する手法を提案する．実験により提案手法は予測ラベルを変えずに解釈器の解釈結果
のみを誤誘導することに成功した．

Attempt to verify vulnerability of image interpreters under black box
conditions
Abstract: With the spread of deep neural networks (DNNs), it has become increasingly important to clarify
the basis for DNNs’ decisions. On the other hand, DNNs have vulnerabilities called Adversarial Examples(AEs), which can cause misclassiﬁcation by adding special perturbations to images. Since such vulnerabilities
can also exist in image interpreters, it is essential to investigate them to ensure safe use of image interpreters.
In this study, we propose a method to generate adversarial cases that misguide the gazing region of theinterpretation result under black box conditions where the internal structures of the DNN model and theinterpreter are unknown. Experimental results showed that the proposed method successfully misled only
the interpretation result of the interpreter without changing the prediction label.

1. はじめにうな特殊な摂動を入力データに加えることで誤った判断を引き起こす敵対的事例（Adversarial Examples: AEs ）と深層ニューラルネットワーク（Deep Neural Network:

呼ばれる脆弱性が存在することが明らかにされている [1]．

DNN）は画像分類，医療画像診断，物体検出などの幅広このような脆弱性はセキュリティが重要な応用サービスにい分野で高い性能を示しており，実問題への応用が進んでとって深刻な問題である．例えば，自動運転における道路

いる．また近年，人の意思決定に関わる業務を DNN に代標識の誤認識や顔認証システムでのなりすましなど重大な替させる取り組みが増えている．しかしこのような場面でインシデントにつながる可能性があり，脆弱性の検証が必

は，出力に公平性や倫理面などの妥当性，モデルの不透明要である．

性などが生じることが問題となる．これを軽減するためにこのような脆弱性は画像分類での XAI である画像解釈器

DNN の推論根拠を説明する説明可能 AI（eXplainable AI:

でも存在することが明らかになっている [2,3]．例えば医療XAI）の研究が活発に行われている．

画像診断において誤った病変部位と異なる場所が注視領域

一方，DNN に基づくモデルは，人間には知覚できないよ
1
†1
a)
b)
c)

鹿児島大学
Korimoto, Kagoshima, Kagoshima 8900065, Japan
現在，鹿児島大学
Presently with Kagoshima University
k4648853@kadai.jp
k0301280@kadai.jp
ono@ibe.kagoshima-u.ac.jp

c 2023 Information Processing Society of Japan⃝として提示されることにより，誤診による医療事故を招く
恐れや，予測ラベルと関連しない領域を注視領域とすることで利用ユーザの DNN や画像解釈器に対する信頼性の低下につながるため脆弱性の検証を行うことは重要である．
本論文では分散共分散行列適応進化戦略（CovarianceMatrix Adaptation Evolution Strategy: CMA-ES）におけ1

情報処理学会研究報告
IPSJ SIG Technical Report

る分散共分散行列を対角成分のみに制限することで高次元

マップ Mc (x, y) は式 (3) で表される．CAM を用いたヒーの最適化問題への適用を可能にした Sep-CMA-ES を用い

c
トマップ MCAM
は最終畳み込み層の特徴マップに対してた画像解釈器への敵対的攻撃手法を提案する．目的関数が対応する重みを乗算することで得ることができる．

未知であるブラックボックス (BlackBox: BB) 最適化問題
に対して最も優れたアルゴリズムとして知られる CMA-ES

c
MCAM
=

を用いることでモデルの内部情報を利用せずに敵対的攻撃∑

wkc fk (x, y)(3)kを可能にする．また，画像分類器の誤認識を誘因する攻撃

CAM は特徴マップに乗算する重みにおいて GAP 層のについては広く研究されていること，画像解釈器の脆弱性結果を利用していたため，GAP 層を含むモデルでないとを検証することが目的であることから画像の予測ラベルを利用できないという問題があった．この問題を解決するた

変えることなく，画像解釈器の解釈結果のみを誤誘導させめに Selevaraju らは重みの部分を逆伝播時の勾配で代用ることのできる脆弱性を検証する．評価実験により提案手することで様々なモデルで予測根拠の可視化を行うことの法は画像の予測ラベルを原画像から変化せずに解釈結果のできる手法 Grad-CAM を提案した [5]．解釈ヒートマップ

みを変化させることができること，また注視領域を特定の

c
Mgradcam
算出の式は (4)，(5) で表される．

箇所に向けることができる脆弱性を確認した．

αkc =2. 関連研究2.1 画像解釈器
近年，DNN が発達し幅広い分野で高い性能を示してお1 ∑ ∂Scxy xy ∂fk (x, y)cMgradcam= ReLU (∑αkc fk (x, y))

(4)

(5)

k

り，実問題への応用が進んでいく中で，出力に公平性や倫

この時，クラス c に対する k 番目の重みを表す αkc と，k 番

理面などの妥当性，モデルの不透明性などが生じることが目の特徴マップ fk (x, y) の線形結合において，対象クラス c

問題となっている．例えば医療画像診断において「癌」とに正の影響を与える部分が特に重要であることから ReLU

予測された画像において医療画像分類モデルが画像のどの関数を適用している．

領域を見て「癌」であると判断したのかが不明であるとき，ユーザはそのモデルを信頼することができなくなることか

2.2 画像解釈器の脆弱性

ら特にこのような繊細な分野においては予測根拠の可視化

Ghorbani らは DNN の決定境界は区分的線形性というが非常に重要である．以下に画像分類における予測根拠の特徴を持ち，入力空間において微小な摂動 δ を加えること解釈手法について述べる．

により損失関数に対する勾配の方向を容易に変更できるこ

Zhou らは畳み込みニューラルネットワーク（Convolu-とから，複数の勾配に基づく解釈手法が微小な摂動に敏感

tional Neural Network: CNN）の予測根拠の可視化手法でであり，画像の予測ラベルを変えずに解釈結果のみを変えある，クラス活性化マップ（Class Activation Map: CAM）

ることができる脆弱性を示した [6]．

を提案した [4]．この手法は ResNet や VGG などの Global

Zhan らはブラックボックス条件下において，従来手法

Average Pooling（GAP）を使用しているモデルに適用でで作成された敵対的事例に対して，1 ピクセルずつランダきる手法である．GAP 層，全結合層，softmax 層の順番かムに摂動を加え，ヒートマップ間の類似度を高くするようらなるモデルを考えたとき，k 番目の特徴マップに GAPに最適化を行うことで解釈ヒートマップが原画像と変化し層を適用したものを Fck ，あるクラス c の softmax 層を通す前のスコアを Sc とし，wkc はクラス c と接続する k 番目

ない手法 (Dual Black-box Adversarial Attack: DBAA) を提案した [7]．

の重み，fk (x, y) は最終畳み込み層の k 番目の特徴マップ

Heo らは画像分類モデルのパラメータを変更することでの x 座標，y 座標とする．この時，Fck は式（1），Sc は式

分類精度を損なうことなく画像解釈器の注視領域を変更す（2）で表される．

る攻撃手法を提案した [3]．中止させたい部分を 1 に，そ

Fck =

Sc =

∑

1 ∑
fk (x, y)xy x,y

れ以外の場所を 0 に設定した 2 値マスクを用いて，通常の(1)損失関数に加えて，注視領域に関する項を追加し学習を行うことで，注視領域が本来とは異なる部分を注視する脆弱性を発見した．

wkc Fckk

1 ∑∑ cwk fk (x, y)=
xy x,y(2)

2.3 先行研究: 画像解釈器に対するホワイトボックス攻撃
Subramanya らは画像分類器と画像解釈器の両方を誤認

kさせる敵対的パッチを生成することに成功した [8]．原画

そして最終的に得られるクラス c に対する解釈ヒート

像の一部にパッチを載せることで予測ラベルが変化した

c 2023 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

とき，その原因はパッチ部分にあると考えられるため画像提案手法はブラックボックス条件下での敵対的攻撃を行

解釈器はパッチ部分を注視領域として示すはずであるが，うために，下記の方針にもとづいて最適化を行う．

パッチ部分が注視領域として示されないようにするため，

方針 1: 高次元の最適化問題への適用が可能な Sep-CMA-

以下の式 (6) と式 (7) の損失関数を最適化することでパッ

ES を使用する．提案手法では分散共分散行列適応進化

チ部分を注視しないような敵対的パッチの生成に成功し，戦略（Covariance Matrix Adaptation Evolution Strategy:

画像解釈器の脆弱性を示した．

CMA-ES）を用いることにより，目的関数の勾配を用いるこL = argmin[lce (x̃, t) + λz∑(G̃t (x̃) ⊙ m)]

(6)

i,j

∂L
z
= z − ηSign()(7)∂z
ここで，z は最適化したいパッチ，x̃ は原画像にパッチをn+1

nとなく大域的最適化を行う．ただし，(µ/µw , λ)-CMA-ESなどの一般的な CMA-ES は，通常 100 次元程度までの規模の最適化問題を対象としており，設計変数の次元数 n に対して，時間計算量が O(n3 )，空間計算量が O(n2 ) である
ことから，本論文のような高次元の最適化問題への適用が載せた画像，t は予測ラベルの標的カテゴリ，λ はハイパー困難である．このため，分散共分散行列を対角成分のみにパラメータ，G̃t (x̃) は画像 x̃ のカテゴリ t に対する解釈結制限し，学習率を変更することで，時間計算量と空間計算

果，m はパッチを載せたい部分を 1，それ以外を 0 とする

量を O(n) に低減する Sep-CMA-ES [10] を使用する．
方針 2: 画質評価指標として使用される SSIM を用いて解2 値マスク，⊙ はアダマール積を表す．
Song らは画像の予測ラベルを変えることなく画像解釈

候補を評価する．先行研究で利用される式 (8) から式 (10)

器の注視領域を誤誘導する攻撃手法を提案した [9]．注視の目的関数は画素単位でヒートマップの評価を行っているを向けたい領域を 1 に，それ以外の領域を 0 にした 2 値マため，解釈器が出力する注視領域の空間的な特徴を十分にスクを作成し，2 値マスクが 1 の部分を注視するような以考慮していない．このため，提案手法では，画像の空間的下の式 (9) の位置重要度損失関数 lloim (h, m) とクロスエン

特徴を考慮し，人間の主観に近い評価が可能な SSIM を目

トロピーからなる以下の式 (10) の目的関数を用いて，摂動を最適化することで予測ラベルを変えずに画像解釈器の注的関数として利用する．
なお，本論文では，先行研究 [8] とは異なり，画像分類器の予測ラベルを原画像から変化させることなく，画像解釈

視領域のみを誤誘導させることに成功した．

器の出力する注視領域のみを誤誘導する敵対的事例を生成

x̃ = x + z ⊙ m(8)lloim (h, m) = ||h(x̃) − m||2(9)

L = lce (x̃; c) + λlloim (h, m)(10)する．分類器の予測ラベルが変化する場合に解釈器が注視する領域が変化することは自然であるため，分類器の予測
ラベルを変化させない制限はより挑戦的な問題設定となる．

ここで，x は入力画像，x̃ は摂動を載せた画像，z は最適化

3.2 定式化

する摂動，m は 2 値マスク，h は解釈手法，c は原画像の3.2.1 設計変数

予測ラベル，λ は位置重要度損失の影響度合いを考慮する
ハイパーパラメータを表す．

提案手法は，画像認識における敵対的攻撃の一般的な手法と同様に，画像に加える摂動を最適化することによりこれらの手法は目的関数の勾配を利用する必要があるこ

求める．画像に加える摂動の次元数は赤，緑，青の 3 チャとから先ほどと同様にホワイトボックス手法であるため，

ンネルそれぞれの画素数の和によって決まる．つまり設商用モデルやサービスの脆弱性を検証するという点で現実

計変数の総数 N は，入力画像 x の解像度 w × h に対して的ではない．また，これらの手法はパッチや摂動，最適化

チャンネル数である 3 を乗じた数（N = 3wh）となる．

後の注視領域が矩形であることから知覚されやすくなる可本論文では w = h = 224 とするため，最適化の次元数は能性がある．

N = 224 × 224 × 3 となり，約 15 万次元の最適化となる．

3. 提案手法
3.1 基本アイデア

また，画像類似度算出に用いる解釈ヒートマップは全て[0, 1] で正規化して使用する．
3.2.2 目的関数

本論文では，画像解釈器の示す注視領域を誤誘導させる

ここでは画像解釈器に対する非標的型攻撃の目的関数に敵対的攻撃手法を提案する．提案手法は特に，識別モデル

ついて述べる．目的関数は，予測ラベルを原画像から変化

および画像解釈器の内部情報を利用せずに敵対的事例の生させることなく，注視領域のみを誤誘導させるために，AE成を行うブラックボックス攻撃を行う点に特徴がある．こ

候補の解釈ヒートマップを原画像の解釈ヒートマップからのため，対象とする識別モデルや画像解釈器を限定せず，遠ざける．つまり解釈ヒートマップ間の類似度を最小化す

特にソースコードが公開されていない商用のフレームワー

る必要がある．また予測ラベルが原画像から変化しないよ

クやサービスに対しても応用が可能である．

うにするため，AE 候補の中で予測ラベルが変わっているc 2023 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

ものがあれば何らかのペナルティを与える必要がある．一ルが原画像の予測ラベルと同一の敵対的事例候補が存

般的に SSIM は画像に対して様々な処理を加えるなどして在する場合，最良個体 x̃best を更新する．

劣化した際にどの程度劣化したのかを評価する画質評価指

STEP 4： Sep-CMA-ES のパラメータ更新（10 行目）
生成した解候補群のなかで，評価値が良い上位 λ2 個体標である．

をもとに Sep-CMA-ES アルゴリズムの平均ベクトル提案手法では，原画像解釈ヒートマップと摂動を載せた
画像の解釈ヒートマップの 2 枚の画像の類似度計算に使用

m などのパラメータを更新する．

し，最小化する最適化を行うことで予測ラベルを変えずにSTEP 5： 新しい解候補を生成（3 行目）

解釈ヒートマップの注視領域のみを誤誘導させる AE を作

終了条件を満たしていないとき，更新したパラメー成する．SSIM は，輝度，コントラスト，構造の 3 つの要

タをもとに新しい分布から新しい解候補を生成する．

素から計算される SSIM を使用することで空間的特徴に関STEP 1 から STEP 4 の操作を終了条件を満たすましても考慮することでより効果的にヒートマップ間の類似で繰り返す．

STEP 6： 最良解の出力（12 行目）

度を下げることができると考える．

設定した世代数に達したときにその時点での最良個体

原画像の解釈ヒートマップと原画像に摂動を載せた画

x̃best と最良個体のラベル g(xbest ) を出力する．

像の解釈ヒートマップの 2 枚の画像の間の画像類似度をSSIM により算出する．また，予測が原画像から変化した
際に加えるペナルティ関数，摂動量が一定量を超えた際に加えるペナルティ関数を組み合わせることで目的関数としAlgorithm 1 提案手法のアルゴリズム

これを最小化する．

Input: 原画像 xori ，画像分類器 g(·)，画像解釈器 h(·)
Output: 最良敵対的画像ヒートマップ h(xbest )，最良敵対的

minimizef (x̃) = αs s(h(x̃), h(x))

画像予測ラベル g(xbest )(11)+ αp1 p1 (x̃) + αp2 p2 (x̃){
p1 (x̃) ={p2 (x̃) =||x̃ − x||20||x̃ − x||20

if ||x̃ − x||2 ≥ 30
otherwise
if g(x̃) ̸= g(x)otherwise

1: gen = 0
2: while gen ≤ gen max do

(12)

(13)

ここで x̃ は原画像 xori に摂動を載せた画像，s(·, ·) は 2 枚の画像の SSIM の算出，h(·) は画像を入力したときの解釈ヒートマップ，p1 (·) は摂動量に関するペナルティ関数，p2 (·) は予測に関するペナルティ関数，αs ，αp1 ，αp2 はそれぞれの項の影響度合いを調節するパラメータを表す．

3.3 処理手順
提案手法により，非標的型攻撃で AE を生成するアルゴ

3:/*敵対的事例候補の生成*/

4:= N (m(gen) , σ (gen) C (gen) ) (k = 1, 2, . . . , λ)
x̃gen
k

5:

敵対的事例候補 x̃gen(k = 1, 2, . . . , λ) の評価
k6:/*最良解の更新*/

7:

if g(x̃genk )8:s(h(xori ), h(x̃best )) and ||x̃gen− xori ||2 ≤ 30 thenkx̃best = x̃genk

9:

end if10:

Sep-CMA-ES のパラメータを更新

2=

g(xori ) and s(h(xori ), h(x̃genk ))<11: end while
12:x̃best ，g(x̃best ) の出力

図 1: 提案手法での AE 生成手法

リズムを図 1，2 と以下に示す．

STEP 1： 解候補群の生成（3 − 4 行目）
多変量正規分布に基づいて λ = 4 + ⌊3ln(n)⌋ 個（nは 次 元 数 ）の 敵 対 的 事 例 候 補 を サ ン プ リ ン グ し ，

3.4 CMA-ES
分散共分散行列適応進化戦略（Covariance Matrix Adap-

gen
x̃gen
. . . x̃genを生成する．
1 , x̃2
λtation Evolution Strategy: CMA-ES）は，目的関数が未知

STEP 2： 解候補群の評価（5 行目）

である BB 最適化問題に対して優れたアルゴリズムの一つ

gen
生成した敵対的事例候補 x̃gen. . . x̃genを画像解
1 , x̃2λとして知られている [11]．

釈器 h(·) に入力し解釈結果のグレースケールヒート

CMA-ES は，進化戦略（Evolution Strategy: ES）に分

マップ間の画像類似度 s(h(x̃genk ), h(xori )) などから目散共分散行列を導入したアルゴリズムであり，多変量正規的関数値を算出する．

分布 N (m, σ 2 C) に従って解候補群を生成し，より良い評

STEP 3： 最良個体の更新（6 − 9 行目）

価値を得た解候補を用いて分布の変数 (平均 m ∈ Rn ，分各解候補の SSIM の値がその時点での最良解の SSIM

散共分散行列 C およびステップサイズ σ > 0) の更新をよりも低く，摂動量が 30 以下である，かつ予測ラベ

行う．そして，分布の更新と個体の生成を繰り返して分布c 2023 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

3.6 Structural Similarity: SSIM
Structural Similarity（SSIM）とは画像構造の類似度が人間の画質劣化の知覚に影響を与えるという仮説をもとにWang らによって提案された画質評価指標である [14]．従来の画質評価指標である Peak Signal to Noise Ratio（PSNR）
は以下の式 (14) で算出することができる．ここで，M AX
は画像が取りうる最大画素値（8bit 画像であれば 255），

MSE は平均二乗誤差表す．PSNR では主観評価において
画像の一部が集中的に劣化していた場合と画像全体が少しずつ劣化していた場合の PSNR 値は同じになってしまう．
図 2: 提案手法の概要図

これは人間の主観評価と差が生まれている．このような問題を解決するために提案された．SSIM の式を以下の (15)の最適化を行うことにより解を探索する．CMA-ES の特から (17) に示す．(15) は輝度に関する式，(16) はコント

徴として，分散共分散行列の効果的な更新方法により，変ラストに関する式，(17) は構造の比較に関する式である．

数分離不能かつ悪スケールな単峰性関数を目的関数にもつ

この 3 つの式を乗算することで (18) の SSIM 値を求めるこ

最適化問題において，優れた探索が可能となる．また，平とができる．ここで µ は輝度の平均値，σ は標準偏差，σxy

均の初期値のように最適化問題の探索領域に依存して決が共分散を表し，C1 = (K1 L)2 , C2 = (K2 L)2 , C3 = C22 ，

めなければならないパラメータを除けば，各内部パラメー

K1 = 0.01, K2 = 0.03，L は画像が取りうる最大画素値とタに推奨値が設けられている [12]．推奨される解候補数はする．

M AX 2
M SE 22µx + µy + C1
l(x, y) =µ2x µ2y + C1

4 + ⌊3ln(n)⌋（n は次元数）と少なく，単峰性関数におけるP SN R = 10 log10解への収束が高速である．

CMA-ES のパラメータの更新方法はいくつか存在する．
現在広く用いられている更新方法は，生成された λ 個の解c(x, y) =候補の内，評価値の良い上位 µ 個体を使用して分散共分散(16)σxy + C3σ x σy + C 3(17)s(x, y) =s(x, y) =3.5 Sep-CMA-ES
本研究では，分散共分散行列を対角成分に限定することで時間・空間計算量を低減した Sep-CMA-ES を用いる [10]．

CMA-ES の問題として，設計変数の次元 n に対し，時間
3

2

(15)

2σx σy + C2
σx2 + σy2 + C2

行列 C とステップサイズ σ の進化パス pσ ，pc を学習し，パラメータの更新を行う (µ/µw , λ)-CMA-ES である [13]．

(14)(2µx + µy + C1 )(σxy + C2 )(µ2x µ2y + C1 )(σx2 + σy2 + C2 )(18)

4. 評価実験
4.1 実験設定

計算量が O(n )，空間計算量が O(n ) であることから，提案手法の有効性を検証するために複数の画像認識モデ

高次元な最適化問題への適用が困難な点が挙げられる．

ル，画像解釈手法を対象として AE 生成を試みた．自然画

Sep-CMA-ES は，目的関数が高次元で CMA-ES の適用が像では VGG19 [15]，ResNet50 [16]，DenseNet121 [17] の困難である問題を解決するために，CMA-ES における分

3 つの画像認識モデルを使用した．画像解釈器は，Grad-

散共分散行列を対角成分に限定したアルゴリズムである．

CAM [5]，GradCAM++ [18]，Eigen-CAM [19]，Layer-

Sep-CMA-ES では，変数間の依存関係を考慮せず各次元独CAM [20] の 4 つを使用した．Sep-CAM-ES の学習率など立してサンプリングする代わりに，時間計算量・空間計算のパラメータは Hansen ら [12] の推奨値を使用し，σ = 0.01，

量をともに O(n) に低減した．

世代数の上限 gen は 500 とした．

Sep-CMA-ES は，(µ/µw , λ)-CMA-ES と比較して，（1）

使用する画像データは，Imagenet（ILSVRC2012）[21]

分散共分散行列 C を対角成分に限定すること，（2）分散の検証データにおいて，Top-1 クラスラベルが攻撃対象モ

共分散行列の学習率を増加すること，の 2 つの変更が行わ

デルによって正しく分類される画像のうち 4 枚を使用する．

れた．
（2）の変更は，分散共分散行列 C が対角に制限された

4.2 実験結果

ことで，分散共分散行列の学習率を再調節するために行図 3 に，提案手法の最適化において，各世代の最良解にわれた．Ros ら [10] は，設計変数の次元を n としたとき，おける SSIM の値と，初期個体，100 世代，200 世代，およrank-one 更新の学習率と rank-µ 更新の学習率に (n+2)
を3

び 500 世代における敵対的画像ヒートマップを示す．初期係数に乗じることで調節を行った．

解ではハリネズミ全体を注視しているが，得られた最良解c 2023 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

[5]

[6]

[7]

[8]

図 3: 世代ごとの SSIM の変化
ではハリネズミ以外の関連しない箇所を注視していること

[9]

がわかる．
図 4 に DenseNet121 の GradCAM に対する提案手法の結果の一例を，図 5 に ResNet50 の GradCAM++に対する提案手法の結果の一例を示す．表 4，表 5 より，提案手[10]法が様々な画像分類器，画像解釈器において，敵対的画像
解釈ヒートマップが原画像の解釈ヒートマップから大きく変化していることがわかる．
[11]

5. 結論
本論文では，Sep-CMA-ES を用いることで，ブラックボックス条件下で予測ラベルを変えずに解釈結果のみを誤[12]らせる画像解釈器への敵対的攻撃手法を提案した．実験に
より画像分類器と画像解釈器の多様な組み合わせに対して提案手法が有効であることを確認した．今後は摂動量の削[13]

減や指定した箇所を注視する標的型攻撃についての手法を
検討する．
参考文献
[1]

[2]

[3]

[4]

Christian Szegedy, Wojciech Zaremba, Ilya Sutskever,Joan Bruna, Dumitru Erhan, Ian J. Goodfellow, andRob Fergus. Intriguing properties of neural networks. In
Yoshua Bengio and Yann LeCun, editors, 2nd International Conference on Learning Representations, ICLR
2014, Banﬀ, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.
Ann-Kathrin Dombrowski, Maximilian Alber, Christopher J. Anders, Marcel Ackermann, Klaus-RobertMüller, and Pan Kessel. Explanations Can Be Manipulated and Geometry is to Blame. Curran Associates
Inc., Red Hook, NY, USA, 2019.
Juyeon Heo, Sunghwan Joo, and Taesup Moon. Fooling neural network interpretations via adversarial model
manipulation. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors,
Advances in Neural Information Processing Systems,
volume 32. Curran Associates, Inc., 2019.
B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Tor-c 2023 Information Processing Society of Japan
⃝

[14]

[15]

[16]
[17]

[18]

[19]

[20]

ralba. Learning deep features for discriminative localization. In 2016 IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), pages 2921–2929, Los
Alamitos, CA, USA, jun 2016. IEEE Computer Society.
Selvaraju et al. Grad-cam: Visual explanations fromdeep networks via gradient-based localization. In 2017
IEEE International Conference on Computer Vision(ICCV), pages 618–626, 2017.
Amirata Ghorbani, Abubakar Abid, and James Zou.
INTERPRETATION OF NEURAL NETWORK ISFRAGILE, 2018.
Yike Zhan, Baolin Zheng, Qian Wang, Ningping Mou,
Binqing Guo, Qi Li, Chao Shen, and Cong Wang.
Towards black-box adversarial attacks on interpretabledeep learning systems. In 2022 IEEE International Conference on Multimedia and Expo (ICME), pages 1–6,
2022.
Akshayvarun Subramanya, Vipin Pillai, and Hamed Pirsiavash. Fooling network interpretation in image classiﬁcation, 2018.
Qianqian Song, Xiangwei Kong, and Ziming Wang. Fooling neural network interpretations: Adversarial noise toattack images. In Artiﬁcial Intelligence: First CAAIInternational Conference, CICAI 2021, Hangzhou,
China, June 5–6, 2021, Proceedings, Part II, page
39–51, Berlin, Heidelberg, 2021. Springer-Verlag.
Ros et al. A simple modiﬁcation in cma-es achieving linear time and space complexity. In Proceedings of the 10th
International Conference on Parallel Problem Solvingfrom Nature — PPSN X - Volume 5199, page 296–305,
Berlin, Heidelberg, 2008. Springer-Verlag.
N. Hansen and A. Ostermeier. Adapting arbitrary normal mutation distributions in evolution strategies: thecovariance matrix adaptation. In Proceedings of IEEE
International Conference on Evolutionary Computation, pages 312–317, 1996.
Nikolaus Hansen and Anne Auger. Principled design ofcontinuous stochastic search: From theory to practice. In
Theory and principled methods for the design of metaheuristics, pages 145–180. Springer, 2014.
Nikolaus Hansen. The cma evolution strategy: A tutorial. arXiv preprint arXiv:1604.00772, 2016.
Zhou Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli. Image quality assessment: from error visibility to
structural similarity. IEEE Transactions on Image Processing, 13(4):600–612, 2004.
Karen Simonyan and Andrew Zisserman. Very deep
convolutional networks for large-scale image recognition,
2014.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian
Sun. Deep residual learning for image recognition, 2015.
Gao Huang, Zhuang Liu, Laurens van der Maaten, andKilian Q. Weinberger. Densely connected convolutional
networks, 2016.
Aditya Chattopadhay, Anirban Sarkar, Prantik
Howlader, and Vineeth N Balasubramanian. GradCAMplusplus:
Generalized gradient-based visualexplanations for deep convolutional networks. In 2018
IEEE Winter Conference on Applications of Computer
Vision (WACV). IEEE, mar 2018.
Mohammed Bany Muhammad and Mohammed Yeasin.
Eigen-CAM: Class activation map using principal components. In 2020 International Joint Conference on
Neural Networks (IJCNN). IEEE, jul 2020.
Peng-Tao Jiang, Chang-Bin Zhang, Qibin Hou, Ming-

6

情報処理学会研究報告
IPSJ SIG Technical Report[21]

Ming Cheng, and Yunchao Wei. Layercam: Exploringhierarchical class activation maps for localization. IEEE
Transactions on Image Processing, 30:5875–5888, 2021.
Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause,
Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej
Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual
Recognition Challenge. International Journal of Computer Vision (IJCV), 115(3):211–252, 2015.

c 2023 Information Processing Society of Japan⃝7

情報処理学会研究報告
IPSJ SIG Technical Report

画像分類モデルDenseNet121

画像解釈手法GradCAM

原画像

敵対的画像

原画像予測ラベル

Shetland sheepdog

porcupinemousetrap

brain coral

敵対的画像予測ラベル

Shetland sheepdog

porcupinemousetrap

brain coral

原画像解釈
ヒートマップ

敵対的画像解釈ヒートマップ

図 4: 提案手法の実行結果の例 (1)
画像分類モデル

ResNet50

画像解釈手法GradCAM++

原画像

敵対的画像

原画像予測ラベル

Shetland sheepdog

porcupinemousetrap

brain coral

敵対的画像予測ラベル

Shetland sheepdog

porcupinemousetrap

brain coral

原画像解釈
ヒートマップ

敵対的画像解釈ヒートマップ

図 5: 提案手法の実行結果の例 (2)c 2023 Information Processing Society of Japan⃝

8