DEIM Forum 2019 A2-1

特徴量抽出器を用いた個人照合に対する敵対的サンプル生成法
柿崎 和也†

吉田

光佑†

高橋

翼††

† 日本電気株式会社 〒 211–8666 神奈川県川崎市中原区下沼部 1753†† LINE 株式会社 〒 160-0022 東京都新宿区新宿 4-1-6 JR 新宿ミライナタワー 23 階
E-mail: †k-kakizaki@ay.jp.nec.com, †k-yoshida@hq.jp.nec.com, ††tsubasa.takahashi@linecorp.com
あらまし機械学習モデルに対して出力を意図的に誤らせる敵対的サンプルによるリスクが，特徴量抽出器を用いた個人照合においても同様に存在する．リスクを適正に把握するためには，高い精度で誤照合を引き起こす強力な敵対的サンプルの生成方法の実現が課題である．本稿では，特徴量抽出器を用いた個人照合に対してより高い精度で誤照合を誘発する敵対的サンプルの生成法を提案する．評価実験を通して，提案手法が複数のデータセットに対して既存手法よりも有用性が高いことを示す．
キーワード 敵対的サンプル，深層学習

1 はじめに
近年，機械学習モデルへの入力データに人が認識できない微小な摂動を加えることで，意図的に誤った推論結果を誘導する
敵対的サンプルが機械学習・AI の活用に安全上の懸念を生じさせている [1] [2] [3]．顔や声といった生体情報を用いた個人照合
タスクでは，悪意を持った敵対者が特定のターゲットになりす
ましを行うリスクが存在する [4] [5]．
顔画像や声データを用いた個人の照合では，学習段階で全ての潜在的なユーザのデータを訓練データとして用意することが難しい．そのため，当該分野では，不特定多数の個人を識別し

図 1: なりすまし（ターゲットクラスへ誤照合）を誘発する敵対的サン
プルの探索．図内の輪は，摂動の大きさを固定したときに決定される敵
対的サンプルの生成範囲を表す．既存手法 [7] [8] は生成範囲内でター得る特徴量を獲得するため，収集した訓練データから特徴量抽ゲットクラスとの最小距離点を探索するが，ターゲット以外との関係

出器を学習する [6]．そして運用段階では，あらかじめ登録されを考慮していない．提案法はテンプレート集合内でターゲットが最もている個人データの集合（テンプレート集合と呼ぶ）を用いて，近くなる点を探索する．

入力データと最も近い特徴量を持つ個人を照合結果とする．このような個人照合タスクの敵対的サンプルに対する脆弱性を評

個人になるようにする．図 1 は，摂動の大きさを固定した際に価するためには，特徴量抽出器を騙す敵対的サンプルについて

既存手法と提案手法がそれぞれ生成する敵対的サンプルの違い研究することが重要である．

を表した例である．既存手法は，ターゲットクラスとの最小距

End-to-End の分類器を騙す従来の敵対的サンプルとは異な離となる敵対的サンプルを生成するため，結果としてターゲッ

り，特徴量抽出器を騙す手法として，[7] や [8] が挙げられる．こトデータよりも近いテンプレートデータが存在し，ターゲット

れらの手法は，敵対的サンプルの元になるデータ（ソースデー

へのなりすましが成功しない．それに対して，提案手法は，テタと呼ぶ）に摂動を加えることで，ターゲットとなる個人デー

ンプレート集合内の全ての個人データとの距離関係を考慮して，

タ（ターゲットデータと呼ぶ）と特徴量が近い敵対的サンプル

テンプレート集合内でターゲットが最も近くなる敵対的サンプを生成することが可能である．しかしながら，なりすましを図

ルを生成するためにターゲットへのなりすましが成功する．

るにあたって、これらの手法は十分とは言えない．なぜなら，

本稿では，複数の大規模データセットを用いた評価実験によテンプレート集合内全てのデータとの相対的な距離関係により

り，実際に提案手法は，既存手法と比較してターゲットに対す照合先が決定される個人照合タスクでは，ソースデータをター

るなりすましの成功率が高いことを示す．

ゲットデータに近づけるだけでは、照合先がターゲットデータ

本論文の貢献：本稿の貢献は以下の通りである．

以外の個人データになる可能性が排除できないからである．
そこで本稿では，摂動を算出する際にテンプレート集合内全(i) 特徴量抽出器とテンプレート集合を用いた個人照合において，新たな敵対的サンプル生成手法の提案する．

体を考慮に入れた敵対的サンプルの生成手法を提案する．具体(ii) 実顔画像データセットを用いて既存手法との比較実験

的には、テンプレート集合内の全ての個人データとの特徴量空を行い、提案手法の方がターゲットに対するなりすましの成功

間での距離を元に摂動の算出を行い照合先がターゲットとする率が高いことを実験的に示す．

本稿の以下のように構成されている．まず，2 章では，本研

表 1: 記号表

究に関連する既存研究を示すことで，本研究の提案手法の位置づけを明確化する．次に，3 章で個人照合タスクの詳細と脅威

記号

定義

x

クエリデータ (任意次元のベクトル)

モデルについて説明し，4 章で提案手法の定式化を行う．5 章

xs

ソースデータ (x と同次元のベクトル)では，複数の顔データセットを用いて既存研究との比較実験を

xadv

敵対的サンプル (x と同次元のベクトル)

行い，提案手法が既存手法と比較してより高い精度でなりすまxi

テンプレートデータ (x と同次元のベクトル)

しが成功する敵対的サンプルが生成できることを示す．最後に，

xt

ターゲットデータ (x と同次元のベクトル)

6 章では考察と残課題について議論する．

T

テンプレート集合

2 関連研究本章では，関連研究について説明し，本研究の位置づけを明確化する．
分類器に対する敵対的サンプル：分類器に誤分類を引き起こすf

特徴量抽出器w

代替パラメータ (x と同次元のベクトル)l

学習率 (スカラー)c

目的関数調節パラメータ (スカラー)cinit

c の初期値 (スカラー)cmax

c の最大値 (スカラー)cmin

c の最小値 (スカラー)

敵対的サンプルの生成に取り組んだ代表的な研究として [2] [3] [9]M1

c のバイナリサーチ回数 (スカラー)などが挙げられる．いずれも分類器から算出される勾配を元に，

M2

w の更新回数 (スカラー)

微小な摂動をソース画像に加えることで敵対的サンプルを生成

ϵ

摂動の大きさ (スカラー)する．また，誤分類を引き起こすことが可能な眼鏡やシールの生成に取り組んだ研究なども挙げられる [4] [5] [10]．これらの手法はいずれも分類器をターゲットとして提案された手法であ3 準

備り，本稿が対象とする特徴量抽出器に基づく個人照合に対する敵対的サンプルを生成するには，さらなる工夫が必要である．

本章では，対象とする個人照合タスクの詳細，および提案手

特徴量抽出器に対する敵対的サンプル：特徴量抽出器に対す法の前提となる脅威モデルに関して説明する．なお，本稿で用る敵対的サンプル生成手法として [7] と [8] がある．[7] では，顔いられる記号は表 1 の通りである．

照合のための特徴量抽出器に対して敵対的サンプルを生成する

3. 1 個人照合タスク

手法を提案している．著者らは，特徴量抽出器 f が与えられた
ときソースとなる顔画像 xs の特徴量と任意のターゲットの顔画像 xt の特徴量を近づけることで，敵対的サンプルが生成されることを示している．具体的には，ソースとなる画像 xs に対して，勾配方向 ∇xs ∥f (xs ) − f (xt )∥2 の摂動を加える．これを誤照合が引き起こされるまで繰り返し行っていくことで敵対的サンプルを生成することができる．[8] では，小さい摂動で特徴量抽出器を騙す敵対的サンプルを生成するために，以下の制約付き最適化問題を解いている．

特徴量抽出に基づく個人照合タスクでは，クエリデータ x とテンプレート集合 T = {x1 , ..., x|T | } を用いて，x と最も近い特徴量をもつ xi ∈ T の個人 i を照合結果として返す．テンプレー
ト集合とは事前に登録した照合先のデータ xi の集合で，各個人に一つのデータのみ含む．特に本稿の特徴量抽出器 f : X → Z
は，式 (2) のようにテンプレート集合内のデータ xiが最も小さくなる個人 i を照合結果とする．

i = arg min ∥f (x) − f (xi )∥2 ．

min ∥f (x) − f (xt )∥2∈ T と，

入力データ x の特徴量空間における L2 距離 ∥f (x) − f (xi )∥2

(2)

i

x

s.t. ∥x − xs ∥∞ < δ.

(1)

3. 2 脅威モデル

制約条件である式 (1) を加えることで，摂動が元のデータ空間

本稿では，真に特徴量抽出器のリスクを評価するために，ワーで一定の値を下回ることを保証している．このとき δ が小さ

ストケースを想定する．具体的には，敵対者は学習済み特徴

いほど，摂動が小さくなり人間が認識するのが難しくなる．[7]量抽出器 f のパラメータ及びアーキテクチャに加えて，テンプ

や [8] の手法を用いると，特徴量空間上でターゲットデータ

レート集合 T についても知っているものと仮定する．

tx と距離が近い敵対的サンプルを生成することができる．しかし，これらの手法では，ターゲット t とテンプレート集合

4 提案手法T = {x1 , ..., x|T | } に対して，ターゲット以外のテンプレート集

本章では，テンプレート集合内の全てのデータを考慮する新合内のデータ T − {xt } との距離が考慮されていない．従って，たな敵対的サンプル生成手法を提案する．本手法では，テンプ

テンプレート集合内全てのデータとの距離関係に基づく個人照レート集合内の全ての個人データとの特徴量空間での距離を元合タスクに即した個人照合タスクに即した手法ではなく，なりに，小さな摂動でターゲットとして照合される敵対的サンプル

すましが成功する精度が低くなる．

の生成を目指す．特に，ターゲットクラスとの距離が，それ以本稿は，これら先行研究を改良した手法を提案し，提案手法
が既存手法よりなりすましが成功する精度が高いことを示す．

外のクラスよりも近くなるような点を探索することで，なりすましの成功率の向上を図る．

4. 1 問題の定式化

Algorithm 1 Find Adversarial Examplet

特徴量抽出器 f ，ソースデータ xs ，ターゲットデータ x ，テンプレート集合 T = {xi , ..., x|T | } が与えられたときに，前述の問題を解決する敵対的サンプルは，以下の制約付き最適化問
題で定式化できる.

Require: Source:xs , Target:xt , Template:T , learning rate:l,Parameter:cinit , cmax , cmin , M1 , M2
Ensure: Adversarial Example xadv
1: S = {}: Set of adversarial examples
2: c ← cinitmin ∥xadv − xs ∥2(3)s.t. h(xadv , xt , T ) < 0,

(4)

xadv

ここで，

min

xi ∈T :xi =x| t∥f (xadv ) − f (xi )∥2 ,4:

set initial value to w0

5:

for j = 1 to M2 do

6:

wj ⇐ wj−1 − l · ∇w J(w, xs , xt , T, c)7:

if h(wj , xt , I) < 0 thenS ← S ∪ {xadv }8:h(xadv , xt , T ) =∥f (xadv ) − f (xt )∥2−

3: for i = 1 to M1 do

(5)

である．

9:

end if

10:

end for11:

if h(wM2 , xt , I) < 0 then12:

式 (5) は，h(xadv , xt , T ) < 0 を満たすとき，xi ∈ T に対し

cmax ← c

13:て t = arg min ∥f (xadv ) − f (x )∥2 が成り立ち，敵対的サンプ

c ← c+c2min

14:

ル xadv がターゲット t へのなりすましが成功することを示す．

15:

cmin ← c

従って，制約 (4) の下で式 (3) を最小化することで，なりすま

16:c ← c+c2max

ii

しが成功する中で摂動が最小な敵対的サンプルが生成される．
これにより，同じ摂動の大きさで比較した際に，既存手法に比

17:

else

end if

18: end for
19: wopt ← arg min ∥g(w) − xs ∥2w∈S

べてなりすましの成功率が高くなると期待できる．
上記の最適化問題はラグランジュ未定乗数法を用いて，以下

20: return g(wopt )の目的関数を最小化する問題に帰着される．

J(w, xs , xt , T, c) = ∥g(w) − xs ∥2 + c · h(w, xt , T ).

ターゲットデータ xt ∈ T ，テンプレート集合 T ，学習率 l，定(6)

数 c の初期値 cinit ，最大値 cmax ，最小値 cmin ，c に対するバイナリーサーチの探索回数 M1 ，勾配法による w の更新回数 M2

ただし，がそれぞれ入力として与えられる．攻撃が成功した場合（すなh(w, xt , T ) =∥f (g(w)) − f (xt )∥2−minxi ∈T :xi =x| t∥f (g(w)) − f (xt )∥2 ,d(tanh(w) + 1),2であり，c は c > 0 を満たす定数であり，d は xadv の各要素のg(w) =

上限値を表す．
上記の最適化問題では，xadv に代わり，新たに導入した x と同じ次元で表される代替パラメータ w に対して目的関数を最小化する．[3] と同様に，得られる画像が実現可能な定義域から外れることがないよう，任意の w で 0 <= g(w) <= d を満たす新たな関数 g(w) = xadv を用いる．本稿では，画像データを対象とするため，d = 255 を用いる．

わち h(w, xt , T ) < 0 が成立する場合）の中で，最も摂動の小さい敵対的サンプルを出力する．このアルゴリズムは，更新回数

M1 回の外側のループと M2 回の内側のループの二重ループで構成されている．内側のループでは，ある c > 0 が与えられた時に勾配法を用いて M2 回 w の更新を行い (5〜9 行)，外側のループでは，なりすましが成功するかどうかを元にバイナリー
サーチを用いて次の定数 c を決定する (11〜17 行)．ここで，バイナリサーチでは，なりすましが成功した際には，さらに大きな値を次の c として設定され (13 行)，なりすましが失敗した
し際には，さらに小さな値を次の c として設定される (16 行)．

5 実験

また，c > 0 は摂動の大きさを表す第一項とテンプレート集

本章では，実顔画像データと顔特徴量抽出器から成る個人照合内のテンプレートデータとの距離を表す第二項のバランスを合に対して，提案手法と既存手法を用いて敵対的サンプルを作決めるハイパーパラメータである．

成し，提案手法がより高い精度でなりすましが成功する敵対的4. 2 敵対的サンプル生成アルゴリズム
Algorithm 1 に敵対的サンプル生成アルゴリズムを示す．式(6) は，定数 c により第一項と第二項のバランスが決定される．
そのため，なりすましが成功する中でより摂動が小さな敵対的サンプルを生成できることを実験的に示す．

5. 1 実 験 設 定
評価指標：本実験では，なりすまし成功率 Accuracy(ϵ) と，
敵対的サンプルの摂動サイズを評価指標として用いた．

サンプルを生成するために，Algorithm 1 では c の値をバイナ

なりすまし成功率 Accuracy(ϵ) は，生成された敵対的サンプ

リサーチにより変更しながら，勾配法を用いることで敵対的

ルのうち，摂動の大きさがε以下でなりすましが成功した敵対サンプルを生成していく．Algorithm 1 は，ソースデータ xs ，

[8] の手法は，摂動の L∞ ノルムを制約として，ターゲット

表 2: VGGFace 特徴量抽出器の照合精度
照合精度

データと敵対的サンプルの L2 距離を最小化することで敵対|T | = 3 |T | = 5 |T | = 10

VGGFace データセット

0.985

0.973

0.958

的サンプルの生成を行う．しかし，摂動の L2 ノルムを最小化

Pubfig データセット

0.894

0.828

0.774

する提案手法との公正な比較を行うため，本実験では制約式の L∞ ノルムを L2 ノルムに変更し敵対的サンプルの生成を行

的サンプルの割合を評価する．なりすまし成功率 Accuracy(ϵ)
を式 (7) で定義する．

う．そして，提案手法と同様にラグランジュ未定乗数法を用い

Algorithm 1 と同様に敵対的サンプルの生成を行った．この際，各種パラメータは Algorithm 1 と同様の値を用いた．

|{x|d(x, xs ) < ϵ, xt = r(x, T ), x ∈ AX}|
Accuracy(ϵ) =,|AX|異なる三つのケース (|T | = {3, 5, 10}) について評価を行った．

(7)

それぞれのテンプレート数に対して，評価に用いるテンプレー

敵対的サンプル生成の手順：本実験では，テンプレート数がト集合 T ，ソース画像 xs 及びターゲット画像 xt は，ランダム

ここで，に 10 セット，個人の重複がないように選択した．ただし，ターd(x, xs ) = ∥f (x) − f (xs )∥2 ,(8)r(x, T ) = arg min ∥f (x) − f (xi )∥2 ,xi ∈TAX は生成された敵対的サンプルの集合，f は特徴量抽出器，ゲット画像はテンプレート画像の中からランダムに選択した．
また，各セットについてそれぞれ 10 個人のソース画像について敵対的サンプルを生成し，合計 10 個人 × 10 セット = 100枚の敵対的サンプルを生成し評価した．

t

x はターゲット画像，xs は敵対的サンプルのソース画像，Tはテンプレート集合を表す．
摂動サイズは，生成された敵対的サンプルの摂動の大きさを評価する．摂動サイズを式 (8) で定義する．
データセット：本実験では，多様な顔画像を含む大規模なデー
タセットとして，VGGFace データセット [11] と Pubfig データ
セット [12] を用いた．VGGFace データセットは VGGFace の学習に用いられた 2,622 個人の 2,604,175 枚の顔データである．

Pubfig データセットは、200 個人の 58797 枚の顔画像である．
特徴量抽出器：本実験では，顔データに対する特徴量抽出器として学習済み VGGFace 特徴量抽出器を用いた [11]. VGGFace
特徴量抽出器は，VGGFace データセットで学習されたもので，FC7 層の出力を特徴量抽出器の出力と見なすことで，顔画像に対する特徴量抽出器として使うことができる．

VGGFace データセットと Pubfig データセットにおける，
VGGFace 特 徴 量 抽 出 器 の 照 合 精 度 を ，テ ン プ レ ー ト 数|T | = {3, 5, 10} の条件で評価した．各データセットからランダムに |T | 人選択し，|T | 人からそれぞれランダムに選択される 10 枚のクエリ画像と評価テンプレート 1 枚を用いて照合精度を評価した．この操作を 100 回繰り返し，照合精度の平均を，各特徴量抽出器の照合精度として計測した．照合精度を
表 2 に示す．いずれのテンプレート数においても，VGGFace
データセットでは照合精度は 95% 以上，Pubfig データセット
においては 77% 以上であった．
各敵対的サンプル生成手法の設定：本実験では，提案手法，[7]の手法及び [8] の手法により敵対的サンプルを生成した．ここで，本実験における各手法の設定について説明する．
提案手法では，パラメータ cinit = c−3 , cmax = 1010 , cmin =0, M1 = 9, M2 = 100 を用いて敵対的サンプルの生成を行った．
[7] の手法は，本来摂動が加えられた後ピクセルの整数値への丸め込みが行われる．しかし，丸め込みを実施しない提案手法との公正な比較を行うため，本実験では丸め込みを行わない．
また，摂動を加える最大回数は 100 回とした．

5. 2 評 価 結 果
図 2 は横軸を摂動の大きさ ϵ としたとき，各手法のなりすま
し成功率 Accuracy(ϵ) を示している．図 2 を見ると，いずれの
データセットおよびテンプレート数においても，全ての手法のなりすまし成功率が，ϵ が大きくなるにつれてそれぞれ同じ値に漸近していることが確認できる．また，提案手法は既存手法と比較して，より早くなりすまし成功率がある値に漸近していることが確認できる．従って，いずれの ϵ においても提案手法
は既存手法と比べて同等以上のなりすまし成功率であり，小さな ϵ では提案手法の方がなりすまし成功率が高いと言える．具体的には，ϵ = 500 において，VGGFace データセットでは [7]の手法と比較して最大 31%， [8] の手法と比較して最大 19% な
りすまし成功率は高く，Pubfig データセットでは [7] の手法と比較して最大 36%，[8] の手法と比較して最大 16.9% なりすま
し成功率は高い．よって，既存手法と比較して提案手法はより高い精度でなりすましが成功する敵対的サンプルを生成できていると言える．
また，表 3 は，同じなりすまし成功率のときの摂動の大きさの平均と標準偏差を表している．提案手法は，VGGFace デー
タセットでは [7] の手法と比較して最大 67.5%， [8] の手法と比較して最大 42.5% 摂動平均が小さくなり，Pubfig データセッ
トでは [7] の手法と比較して最大 64.4%，[8] の手法と比較して最大 27.5% 摂動平均が小さくなった．なりすまし成功率が同じとき，摂動が小さいほどより強力な攻撃であると言えるので，提案手法の優位性が言える．
また，図 3 に提案手法により生成された敵対的サンプル，そのソース画像，及びターゲット画像のペアの一例を示す．いずれの例でも，ターゲット画像と敵対的サンプルの間に差異を目視で確認することは難しく，小さな摂動の大きさで敵対的サン
プルが生成できていることが確認できる．

|T | = 3(VGGFace データセット)|T | = 5(VGGFace データセット)|T | = 10(VGGFace データセット)|T | = 3(Pubfig データセット)|T | = 5(Pubfig データセット)|T | = 10(Pubfig データセット)

図 2: 生成された敵対的サンプルのなりすまし成功率
表 3: 生成された敵対的サンプルにおけるなりすまし成功率と摂動の平均，標準偏差|T | = 3(VGGFace データセット)
成功率|T | = 5(VGGFace データセット)

平均 標準偏差成功率|T | = 10(VGGFace データセット)

平均

標準偏差

平均

標準偏差

提案手法

0.99 137.1

170.0

提案法

0.99 233.8

206.6

提案法

0.99 356.5

266.3

[7]

0.99

422.1

368.4

[7]

0.99

564.6

419.8

[7]

0.99

772.8

523.1

[8]

0.99

238.8

247.5

[8]

0.99

324.4

276.2

[8]

0.99

479.8

328.8

|T | = 3(Pubfig データセット)
成功率

成功率

|T | = 5(Pubfig データセット)

平均 標準偏差

成功率

平均

標準偏差

|T | = 10(Pubfig データセット)
成功率

平均

標準偏差

提案手法

0.97 137.9

160.4

提案手法

0.93 163.9

163.5

提案法

0.90 303.2

359.6

[7]

0.97

371.3

378.0

[7]

0.93

460.6

393.2

[7]

0.90

696.7

529.1

[8]

0.97

190.3

240.7

[8]

0.93

215.0

214.8

[8]

0.90

413.3

393.9

文

6 終わりに
本稿では特徴量抽出器を用いた個人照合に対する敵対的サ
ンプル生成手法を検討した．先行研究 [7] [8] は，敵対的サンプルを生成するために，ターゲットとなる個人データと特徴量が近くなるように摂動を算出するのに対して，本稿では，テンプ
レート集合内の全てのデータとの特徴量空間での距離を考慮し，なりすましが成功するように摂動を算出する手法を提案した．2
つの顔画像データセットを用いた評価を通して，提案手法が既存手法よりも高い精度でなりすましが可能であることを示した．
本稿の結果を踏まえ，個人照合のために特徴量抽出器を用いる際には，敵対的サンプルへの対策を講じることを考慮すべきである．対策方法の一つとしては，敵対的サンプルを訓練デー
タに混ぜてモデルの学習を行う Adversarial Training が挙げられる [13]．また，分類器においては，敵対的サンプルに対して所定のロバスト性を担保しつつ分類器を学習する方法 [14] [15]が近年提案されている．分類器同様，特徴量抽出器のロバスト性を担保した学習方法の実現が今後の課題として挙げられる．

献[1] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan
Bruna, Dumitru Erhan, Ian J. Goodfellow, and Rob Fergus.
Intriguing properties of neural networks. In International
Conference on Learning Representations (ICLR), 2014.
[2] Ian Goodfellow, Jonathon Shlens, and Christian Szegedy.
Explaining and harnessing adversarial examples. In International Conference on Learning Representations (ICLR),
2015.
[3] Nicholas Carlini and David Wagner. Towards evaluating therobustness of neural networks. In 2017 IEEE Symposium
on Security and Privacy (SP), pp. 39–57, 2017.
[4] Mahmood Sharif, Sruti Bhagavatula, Lujo Bauer, andMichael K Reiter. Accessorize to a crime: Real and stealthy
attacks on state-of-the-art face recognition. In Proceedingsof the ACM SIGSAC Conference on Computer and Communications Security (CCS), pp. 1528–1540, 2016.
[5] Mahmood Sharif, Sruti Bhagavatula, Lujo Bauer, andMichael K Reiter. Adversarial generative nets: Neural network attacks on state-of-the-art face recognition. arXiv
preprint arXiv:1801.00349, 2017.
[6] Wang Mei and Weihong Deng. Deep face recognition: A
survey. arXiv preprint arXiv:1804.06655, 2018.
[7] Andras Rozsa, Manuel Günther, and Terranee E Boult. Lots

[8]

[9]

[10]

[11]
[12]

[13]

[14]

[15]

about attacking deep features. In International Joint Conference on Biometrics (IJCB), pp. 168–176, 2017.
Sara Sabour, Yanshuai Cao, Fartash Faghri, and David J
Fleet. Adversarial manipulation of deep representations.
In International Conference on Learning Representations(ICLR), 2016.
Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar
Fawzi, and Pascal Frossard. Universal adversarial perturbations. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
Tom B Brown, Dandelion Mané, Aurko Roy, Martı́n Abadi,
and Justin Gilmer. Adversarial patch. arXiv preprint
arXiv:1712.09665, 2017.
O. M. Parkhi, A. Vedaldi, and A. Zisserman. Deep facerecognition. In British Machine Vision Conference, 2015.
N. Kumar, A. C. Berg, P. N. Belhumeur, and S. K. Nayar. Attribute and Simile Classifiers for Face Verification.
In IEEE International Conference on Computer Vision(ICCV), 2009.
Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt,
Dimitris Tsipras, and Adrian Vladu. Towards deep learning models resistant to adversarial attacks. In International
Conference on Learning Representations(ICLR), 2018.
Yusuke Tsuzuku, Issei Sato, and Masashi Sugiyama.
Lipschitz-margin training: Scalable certification of perturbation invariance for deep neural networks. In Advancesin Neural Information Processing Systems (NeurIPS), pp.
6542–6551, 2018.
Hajime Ono, Tsubasa Takahashi, and Kazuya Kakizaki.
Lightweight lipschitz margin training for certified defense against adversarial examples. arXiv preprint
arXiv:1811.08080, 2018.

図 3: 提案手法により生成された敵対的例: 左の列はテンプレート画像の中から選択されたターゲット画像，中央の列は，敵対的サンプルのソース画像，右の列は生成された敵対的サンプルを表し，それぞれの行が，ターゲット画像，
ソース画像，敵対的サンプルの一組のペアを表す．また，上２行は VGGFace データセットの例，下２行は Pubfig
データセットの例を表す