日本ソフトウェア科学会第 35 回大会 (2018 年度) 講演論文集

周波数に着目した Adversarial Examples に対する頑健性の向上
高橋 賢

首藤 一幸

機械学習モデルの精度を極端に悪化させる adversarial examples に対する防御手法を提案する．既存の研究では，学習時に内部モデルを工夫することで頑健性を高めているが，学習済みモデルに直接適用できず再学習が必要なため計算コストが高いなどの問題点がある．我々の提案手法では再学習をせずに学習済みモデルに直接適用することで頑健性を向上させる．実験では画像認識モデルを用い，元画像，adversarial examples および摂動の周波数を解析し，それぞれの特徴を観察した．また，摂動の特徴をカットするフィルタを学習済みモデルに適用することで認識精度を向上させる．

adversarial examples を生成できてしまうことは大き1 はじめにな問題である．

機械学習を用いた画像認識は，画像加工アプリかこの問題を解決する防御手法として，モデルを学ら自動運転や医療分野まで様々な場面で適用されて習にかける段階からデータセットとして adversarial

いる．特に，深層学習による大幅な認識精度向上に伴examples を用意し学習させることで認識率を高め

い，近年は顔認証を用いたセキュリティシステムや自る adversarial training [1] や各クラスの類似度も踏動運転技術などの，より高い信頼が求められるシステ

まえた上でノイズへの耐性を向上させる defensive

ムへの応用が広がっている．また，画像のある程度のdistillation [4] などが挙げられる．このような従来の変動に対して正しく認識が行えるような頑健性を向上

防御手法は学習時に行われるため，学習済みモデルするために，学習画像のコントラストやぼかしを調整に直接適用できず，また新しい攻撃手法ごとに再学習するデータ拡張 (data augmentation) や，深層学習が必要になる．したがって本研究では，既存のモデにおいて過学習を避け性能を向上させる dropout [7]ルへの適用を従来より容易にすることを目標とする．

といった技術が提案されている．

すなわち，学習済みモデルの内部情報は使用せずに，その一方で，人には気づかない程度の摂動 (pertur-bation) を入力画像に施すことで誤分類を引き起こ与えられた入力画像に適用するだけで頑健性が向上する手法を提案する．

す adversarial examples という攻撃手法がある [1]．

本研究の取り組みとして，周波数に着目し adver-

これを利用して，セキュリティシステムや自動運転

sarial examples，摂動および元画像に対してフーリエで使用されている機械学習モデルに対して有効な変換による画像解析を行う．その結果としてそれぞれの画像に対して特定の周波数に特徴が見られたので，

A Frequency-based Technique for Robustness Improvement against Adversarial Examples
This is an unrefereed paper. Copyrights belong to theAuthors.
Ken Takahashi Kazuyuki Shudo, 東京工業大学情報理工学院, Dept. of Mathematical and Computing Science, Tokyo Institute of Technology.

摂動の特徴をカットするようなフィルタを提案する．

2 準備
機械学習手法を用いた画像認識は従来から研究されているが，2012 年の ILSVRC (Imagenet LargeScale Visual Recognition Challenge) で Hinton らが深層学習を適用して精度を飛躍的に向上させた [3]．
これにより深層学習を用いた画像認識に対する様々な手法が提案され，今日では画像認識は深層学習が適用されている例が多い．また，これに対し深層学習を対象として adversarial examples を生成するいくつかの方法も提案されている [1] [5] [6]．

図1

adversarial examples [1]本研究では物体識別問題における深層学習の ad-versarial examples の問題に焦点を絞り，フーリエ変adversarial examples を生成する手法はいくつか換によって導出される周波数に着目して adversarial存在する．Fast Gradient Sign Method (FGSM) [1]examples の分析を行う．また，分析の結果から認識は認識モデルの内部情報や訓練用データセットをモデルの頑健性を向上する手法を提案する．

既知として, なるべく小さい摂動で元のクラスでは本章では本研究の取り組みで必要となる adversarialないクラスに誤分類させるように生成する．FGSM

examples とフーリエ変換による周波数解析については本研究での実験に用いる手法のため，次節に詳まとめる．

細を示す．Jacobian-Based Saliency Map Approach(JSMA) [5] は FGSM と同じく内部情報を必要とす
2. 1 Adversarial Examples

るが，この手法は指定するクラスへ誤分類させるよadversarial examples は，肉眼では分からないが認うに adversarial examples を生成することができる．

識モデルの認識率を大幅に低下させるような微小なまた，モデル内部の情報などは一切用いず入力の情報変化を元画像に加えることで生成される画像である．と出力の結果だけで adversarial examples を生成す

その微小な変化を摂動と呼ぶ．例えば，図 1 はパンる black-box attack [6] と呼ばれる手法も存在する．

ダの元画像（左）に対して摂動を加えることで，肉眼では変化が見られない右のような画像が生成するこ

2. 2 FGSMとができる．この画像は 99.3 ％テナガザルであると

本研究では adversarial examples の生成方法とし誤分類される．て FGSM を使用する．前節では，単純なモデルに対誤分類を引き起こす原因として非線形の特性や過学して adversarial examples が高次元の線形性に与え習が考えられてきたが，2014 年に Goodfellow らはる影響を説明したが，この線形的な観点はニューラ高次元の線形性で説明できると主張した [1]．元画像

ルネットワークにも当てはまる．結合が複雑なネットの入力を x，加える摂動を η とすると，adversarialワークに対しても，活性化関数はパラメータの最適

examples の入力は x̃ = x + η と表せる．今，摂動は化がしやすいように単純な関数を用いる場合が多い．

元画像の見た目を極端に変えない小さい値なので, 十したがって，一般的な多層ニューラルネットワークに分小さな値 ε を用いて ∥η∥∞ < ε とする．x̃ と重み対しても摂動を加えるだけで十分誤分類を引き起こ

w との内積はすことが可能である．

wT x̃ = wT x + wT η

擬似コードは図 2 に示す．FGSM ではモデルのパで表される．この時 η = sign(w) とし，n 次元の重ラメータ群を θ ，入力を x，y を出力（ここでは x をみ w の要素の平均を m と表すと右辺第 2 項は εmn分類した結果）そして J(θ, x, y) をニューラルネット程度になる．この項は高次元であるほどが大きくなワークの学習の際に使用される損失関数とし，摂動をり，出力に影響を与える．すなわち，高次元の線形性

η = εsign(∇x J(θ, x, y)) , ε ∈ (0, 1]により摂動を工夫することで入力の変化自体は小さと定義する．この摂動を元画像 x に加えることで，活くても特徴の抽出の際には大きな影響が出てくる．

性化関数の計算時に大きな影響を与え誤分類を引き

図2

表1

Fast Gradient Sign Method

1: function FGSM(model, x)

OS

実験環境

Ubuntu 16.04.2 LTS

2:t ← model.predict(x)Linux

4.8.0-59-generic3:l ← model.cross entropy(x)CPUIntel Xeon CPU E5-2698 v4

4:l.backward( )GPU

Nvidia 社 Tesla P100
（PCIe 接続, メモリ 16 GB）

5:J ← x.grad6:η ← ε · sign(J )pythonPython 3.5.2

7:x̃ ← x + ηchainer

Chainer v3.2.0

8:

return x̃個の割合でデータがサンプリングされる．この時，サ9: end function

ンプリングした中で表現できる周波数の最大値をナ起こす．なお，本研究の実験では ε = 0.2 とした．

イキスト周波数 fn と呼ぶ．fn は標本化定理によりサンプリング周波数 fs の半分であるので，fn は高速

2. 3 周波数解析

フーリエ変換 (Fast Fourier Transform, FFT) の有

任意の周期信号は周波数や振幅，位相などが異なる効範囲を定める．逆に，FFT で正確に周波数解析を様々な正弦波の合成で表現することができる．画像に行う場合には入力の最大周波数の 2 倍以上のサンプ

おける周波数とは，単位ピクセル内での画素値の変化リング周波数でサンプリングする必要があることに量である．1px 移動した時の画素値の変化量が大きい

注意する．

ほど，周波数が大きく高周波数となる．すなわち，一般的な画像において物体のエッジ部分は高周波帯域，3 予備実験：画像解析

塗りつぶされたような単色の部分は低周波帯域であ学習済み認識モデルに対し，一般的に頑健性を向上

る．ホワイトノイズなど人為的に生成されるノイズさせるフィルタを構築するためには，認識モデルの内は，一般的に画素ごとに任意の値をとり周期性が通常部の情報を用いずに入力データのみを用いる必要がの画像より低いため高周波帯域である．

ある．そこで，画像処理により adversarial examples

フーリエ変換は画像などの空間領域を空間周波数を分析し，誤分類を引き起こす要因を調べる．本予備領域へと変換することができる．空間周波数領域の周実験では特に周波数に着目した分析を行い，MNIST波数分布やスペクトルを分析することで，画像の特徴データを用いて生成した adversarial examples の摂を得られる．フーリエ変換は次式で表される．
∫ ∞F (ω) =
f (t)e−jωt dt

動の周波数帯が，元画像の周波数帯と比べて特徴的な点が存在することを明らかにした．

−∞

本研究では画像データ，すなわち二次元データを扱うため，ここでの f (t) は任意の周期信号の空間領域,

3. 1 実験環境

F (ω) は空間周波数領域である．フーリエ変換から得今回，実験環境として GPU 搭載のマシンで Python

られるスペクトルはいくつか種類が存在するが，画像及び Chainer を使用して学習及び認識を行った．詳に対する周波数分布を解析したいため，振幅スペクト

細を表 1 に示す．

ルを用いて周波数解析を行う．
解析にあたって，一般的に全てのデータを取得して3. 2 adversarial examples の生成解析するのは膨大な計算コストがかかるため，支障が本予備実験では FGSM（2.3 節）を用いて生成しない範囲で周波数のサンプリングを行う．1 秒間にサた adversarial examples を分析する．対象データはンプリングされるデータ数をサンプリング周波数 fs

表 2 に示した手書き文字認識の学習データセットであと呼ぶ．例えば fs が 200[Hz] ならば，1 秒間に 200

表2に示す．

データセットの内容

MNIST
28 × 28 pixel

画像のデータサイズ

3. 3 解析方法

訓練用データセットサイズ

60,000 examples

本研究では，元画像の特徴を生かしたまま摂動の特テスト用データセットサイズ

10,000 examples

徴のみを除去したい．そのため摂動生成方法は FGSM

10で既知とし，adversarial examples，摂動及び元画像クラス数それぞれの解析を行う．フーリエ変換を用いた 2 次元
る MNIST∗ を使用し，MLP (Multi-Layer Percep-

振幅スペクトルの解析を行い，各々の画像においてどtron) の学習済み認識モデルから，手書き文字の画像のような特徴が出るかを観察し，フィルタでカットすに対する adversarial examples を生成する．本節でる周波数帯域を決定する．図 4 の各画像の右側に示は MNIST の分類で用いたモデルの説明をした後にしているのが振幅スペクトルである．画像の中心ほどadversarial examples の生成方法を説明する．

低周波領域であり，外側に向かうほど高周波となる．

3. 2. 1 対象とする認識モデル

画素が白いほどその領域の周波数を多く含んでいる．

隠れ層の活性化関数は次式で表される ReLU を用いる．

f (x) =x

3. 4 結果と考察(x > 0)03.3 節で記述した認識モデルで MNIST のテスト

(x ≤ 0)
入力層の活性化関数は入力をそのまま出力とする恒セットを分類した結果を表 3，このモデルから生成し等関数．出力層は次式で表されるソフトマックス関数

す．表中の黄色の網掛け部分は認識で出力したラベル(softmax function) を使用する．
exp(xk )yk = n∑exp(xi )と対応している．認識モデルは通常の画像の場合 99.2

i=1

た adversarial examples を分類した結果を表 4 に示％の精度を保っているが，adversarial examples では10.6 ％まで低下しているため，十分精度の高い認識MLP，損失関数及び最適化手法の擬似コードは表 ??

モデルに対して FGSM が有効であることがわかる．に示す．損失関数は次式で表される交差エントロピー

入力画像に対して生成された摂動および adversarial

誤差を用いる．

E=∑examples の画像を図 3，各画像をフーリエ変換した
tk log ykk

ここで，k はクラス，tk は正解ラベル，yk はニューラ
ルネットワークの出力を表す．最適化手法は Adam [2]を用いる．

mt+1 = β1 mt + (1 − β1 )∇E(wt )振幅スペクトルを図 4，振幅スペクトルをグラフにしたものを図 5 および図 6 に示す．なお 3 の摂動画像は見やすさを考慮して ε = 1 としたものであり，実際に元画像に加える時には ε = 0.2 である．また，振幅スペクトルのグラフを取得するにあたってはサンプ

vt+1 = β2 vt + (1 − β2 )∇E(wt )2mt+1m̂ =1 − β2tvt+1v̂ =1 − β2tm̂
wt+1 = wt − α √v̂ + ε
ここで，t は更新回数，E は損失関数，w は重み，ル周波数は 100Hz とした．図 4 を見ると，摂動のス

m と v は初期値 0 の媒介変数を表す．パラメータはを観察すると，0Hz 周辺のみ非常に振幅が大きくなっ

α = 0.001，β1 = 0.9,β2 = 0.999，ε = 10−8 とする．ている．また，元画像のスペクトルは標本化定理からMNIST を分類する認識モデルの擬似コードは表 ??

ナイキスト周波数は 50Hz なので，50Hz 以降の周波∗ http://yann.lecun.com/exdb/mnist/

数は無視するものとすると，高周波カットをしてノイペクトルは全体的に白がかっていて，どの周波数もほぼ均等にかかっていることがわかる．また，元画像にはある程度低周波領域に特徴が見られ，精度を保つためにはこの特徴を打ち消さずにフィルタを作成しなければならない．一方，グラフで摂動のスペクトル

表3

MNIST 分類を行なった認識モデルの精度表

表4

adversarial examples の分類結果

ズの影響を軽減できる可能性がある．

図3

元画像，摂動及び adversarial examples

これらの結果から，0Hz 近傍及び高周波数をカットすることで頑健性を向上させるフィルタを作成する手向上しているかどうかを確かめる．

法を提案する．

5 実験
4 提案手法

本実験の目的は摂動が影響を与えている特定の周前章の結果から，元画像は低周波数を多く含み，摂波数帯をカットするフィルタを作成し，画像処理後の動は全体的に微小なノイズがあるものの 0Hz 部分にデータを認識モデルの入力とすることで実際に頑健非常に大きな振幅の周波数を持っており，相対的に他性が向上しているかを確認することである．なお，本の周波数の特徴に影響していると考察した．したがっ

実験の実験環境及びデータセットは，予備実験と同様て，本研究では adversarial examples に対して 0Hzである．

カット及びローパスフィルタを適用することで頑健性を向上させる手法を提案する．

5. 1 フィルタの作成

入力データが adversarial examples だと仮定し，認フィルタの役割は高周波数帯のカットと 0Hz 帯軽識モデルで分類をする前に提案手法のフィルタを適減の 2 つである．前者は一般的なローパスフィルタを用する．入力データに対して一度フーリエ変換を行作成することで，後者はフーリエ変換後に直接 0Hzい，周波数領域に変換した上で 0Hz 帯の周波数及びを減らすことで実現する．擬似コードは表 5 に示す．

50Hz 以降の高周波帯をカットした上で，逆フーリエローパスフィルタとは，低周波数帯のみを通過させる変換を施し画像データに戻す．画像処理後の画像デーフーリエ変換を用いた画像処理フィルタである．入力

タを認識モデルの入力とすることで，実際に頑健性が画像の中心にフィルタを被せ，重なる部分は入力画像

横軸：周波数
図5
図4

縦軸：振幅

各画像の振幅スペクトル (0〜4)

各画像の振幅スペクトル

リエ変換後配列シフトをし，中心に低周波を移動さ
表5

提案手法のフィルタ

1: function zeroHighCut(x, a, b)2:

img ← fft(x)3:cy,cx ← center of x4:

f h,f w ← a · cy, a · cx

5:

img ← fftShift(img)

6:f img[filter part] ← img[filter part]7:

f img ← f img[cy, cx] · b

8:f img ← fftShift(fimg)

9:

f img ← ifft(fimg)

10:

return fimg

せる．その後中心の値を b 倍することで 0Hz を軽減している．表 5 の 7 行目に該当する．fft，fftshit，ifft は numpy で提供されるメソッドであり，それぞれフーリエ変換，配列シフト，フーリエ逆変換をする▷ フィルタサイズ

11: end function

メソッドである．

5. 2 結果と考察
adversarial examples を上記のフィルタにかけ，認識モデルに分類させた結果を表 6 に示す．結果は1000 枚のテストデータセットを用いて adversarialexamples を生成し，それに対して提案手法を適用して分類をする実験を 10 回行い平均値をとった数値であり，認識率を表す．a はローパスフィルタのフィルの値，そうでない場合は 0 を新しい配列に格納しそ

タサイ ズのパラメータ，b は 0Hz 軽減のパラメータでれを返す．表 5 の６行目に該当する．次に，0Hz 帯ある．adversarial examples の認識率は 10.6 ％だっを軽減するフィルタを作成する．直感的には縞模様たため，フィルタを通すことで精度がある程度向上すのない薄白いノイズを加えられているので，それをることが分かった．

全体的に押さえることでその影響を軽減する．フー

a=1 は，フィルタの 1 辺が画像の 1 辺の半分で最表6横軸：周波数
図6

フィルタ適用後の分類結果

縦軸：振幅各画像の振幅スペクトル (5〜9)大のフィルタとなり，b=0 は 0Hz を完全にカットするように設計されている．a=1 以外では，b=1，す

図7

Feature Squeezing

なわち 0Hz をカットしない方が精度が良いが，a=1の画像処理を施した後に認識した結果の 3 つを用の時は精度は逆転している．これは，a の値が小さい

いて，それらの誤差が設定したしきい値以上ならばほどフィルタサイズも小さいので，高周波のノイズをadversarial examples であり，それ以下なら正常な画除去することで MNIST の特徴である低周波の特徴像であると認識する．画像処理としては現在，画像のをよく捉え，フィルタが画像サイズの半分を越えるとカラービット数削減と平滑化を採用している．提案手高周波の割合が高くなり，相対的に 0Hz の影響が大法を Feature Squeezing に組み込むことで，判別の精きくなってしまうためであると考える．

度を高められる可能性がある．

6 関連研究7 まとめと今後の課題

本研究の関連研究として，与えられた入力画像が本研究では，深層学習モデルの内部情報や訓練デー

adversarial examples かどうかを判別する Feature

タセットを使用せずに，学習後の認識モデルに適用でSqueezing [8] という手法が存在する．この手法は，きるフィルタを提案した．また，この提案手法を実験

adversarial examples は画像処理を施すことで認識モした結果，ローパスフィルタは adversarial examples

デルによる認識結果が左右しやすいという性質を利の防御手法として有効であり，0Hz 帯の削減は場合用したものである．

によっては有効であることを示した．一方で，以下の図 7 のようにインプットを通常のモデルに通した結果，ある画像処理を施した後に認識した結果，他ような課題もまだ残っている．

• FGSM 以外の既存のあらゆる攻撃手法に対する頑健性の測定．

• 頑健性が最も向上する最適なパラメータの決定
方法．

• 入力が adversarial examples 前提での手法なので，悪意があるか分からない一般の入力に対しての頑健性の保証．
また，関連研究で述べた Feature Squeezing における画像処理手法の一つとして本研究の手法を適用することが可能であると想定している．そのため，以下の追加実験も今後の課題として挙げられる．

• 先行研究で行われた画像処理手法と本研究の手法とで，adversarial examples に対する認識精度の比較を行う．

• 本研究の手法を適用した Feature Squeezing で先行研究と同等以上の認識精度を保てるかどうかを確認する．
機械学習にかかわらず，ある技術・手法への攻撃とそれに対する防御は，常に情報科学を取り巻く問題である．既存の防御手法では防げない新たな攻撃手法が提案された場合，それに関わる技術や社会は大きな課題を抱えることになる．後手に回る防御ではなく，常にあらゆる攻撃手法に耐性のある防御を考えなければならない．

参 考 文 献[1] Goodfellow, I. J.: Explaining and harnessing adversarial examples, Proceedings of the ICLR, 2015.
[2] Kingma, D. P.: Adam: a method for stochasticoptimization, Proceedings of the ICLR, 2015.
[3] Krizhevsky, A., Sutskever, I., and Hinton, G. E.:
ImageNet Classification with Deep Convolutional
Neural Networks, Advances in Neural Information
Processing Systems 25, Pereira, F., Burges, C. J. C.,
Bottou, L., and Weinberger, K. Q.(eds.), Curran
Associates, Inc., 2012, pp. 1097–1105.
[4] Papernot, N.: Distillation as a defense to adversarial pertubations against deep neural networks,
Proceedings of the 37th IEEE Symposium on Security and Privacy, 2016, pp. 582–597.
[5] Papernot, N.: The limitation of deep learning in adversarial settings, Proceedings of the 1thIEEE European Symposium on Security and Privacy, 2016.
[6] Papernot, N.:
Practical black-box attacks
against machine learning, Proceedings of the ASIA
CCS’2017, Apr. 2017, pp. 506–519.
[7] Srivastava: Dropout: A simple way to prevent neural networks from overfitting, The Journal of Machine Learning Research, Vol. 15(2014),
pp. 1929–1958.
[8] Xu, W.: Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks, Proceedingsof the In Network and Distriuted Systems Security
Symposium (NDSS) 2018, Feb. 2018.