特別賞

AI・深層学習への敵対的サンプル攻撃に対する新たな防御手法の提案

中央大学大学院 理工学研究科 電気・情報系専攻
博士課程後期課程 2 年

田崎 元

1 ．緒

言

近年、人工知能（AI）や深層学習は技術の著しい発展により、自動運転や顔認証、音声認識などをはじめに、人々の生活や安心・安全を支える社会インフラ技術となってきている。
しかし、2014 年には故意に AI・深層学習の判断を誤らせる不正なデータ（敵対的サンプル）が存在するという AI・深層学習の信頼性を損ねるような研究結果が報告されている［1］。その敵対的サンプルは、摂動と呼ばれる微小なノイズをデータに付加することで生成され、観測者には正規データとの違いを区別することが困難でありながら AI・深層学習の誤判断を引き起こす。このような AI・深層学習の中核技術であるニューラルネットワークが抱える深刻な脆弱性は、攻撃者による悪用が懸念されている。すでに、自動運転車に対して標識を誤認識させる研究［2］や動画投稿サイトの著作物検出機構を回避する研究［3］、がん診断や網膜症検出などの医療画像処理システムへの敵対的サンプル攻撃に関する研究［4］、顔認証システムに対するなりすまし攻撃［5］［6］［7］など、様々な対象への敵対的サンプル攻撃に関する研究が報告されている。この現象は、まさに AI・深層学習における情報セキュリティの問題であって AI Safety や AI セキュリティと呼ばれ、広く認知され始めている。さらに、この影響は AI 技術を活用したシステムやサービスの信頼性に直結することから問題視され、産業技術総合研究所の機械学習品質マネジメントガイドライン［8］や欧州連合の一機関である ENISA による自動運転における AI 技術に対するセキュリティレポート［9］などが発行されており、いずれも敵対的サンプルに対する注意事項や対策手法が盛り込まれている。

図 1 ．犬と認識される猫の敵対的サンプル画像の例

その一方で、敵対的サンプルの存在自体が既存理論に矛盾する不思議な現象で、その発生原因を明らかにするため、長らく研究が続けられてきた。その中で、ニューラルネットワー
クの過学習による汎化の失敗や学習データの不足が原因と有力視されており、そのほかにもニューラルネットワークの非線形性やデータ空間の高次元性に起因するという説［10］が知られている。しかし、深層学習が複雑で難解であるため、従来の仮説や解釈では、この現象を解明することができず、対策の確立まで至らなかった。
そこで、本研究では敵対的サンプル攻撃に脆弱である従来の AI・深層学習に対して、攻撃による誤判断を起こさない新しい AI・深層学習の提案を目指し、敵対的サンプル攻撃に対する防御手法を提案する（図 2）。筆者らは、微分多様体という高度な数学を駆使することで、これまでと全く異なる新たな理論の構築と防御方式の提案に至った。まず、防御手法に先行して、学習データの多様体構造に着目した敵対的サンプルの発生メカニズムを文献［12］― 2 ―で発表し、従来は説明できなかった敵対的サンプルの特性を解明し、既存理論との矛盾点が解消できることを示した。提案手法は、この発生メカニズムに基づき、敵対的サンプルに対して学習データの多様体構造に基づく成分の抽出を行い、誤分類を起こす直交補空間に存在する成分を取り除くことにより、正規のクラスへの分類を可能にする。この有効性を検証するため、複数の攻撃手法で生成された敵対的サンプルに適用し、防御性能を評価するとともに、正常画像に対する分類精度の劣化がないことを示す。

図 2 ．AI・深層学習の現状と本研究の位置付け

2 ．敵対的サンプルに関する先行研究
2.1 ．敵対的サンプルを生成する攻撃手法
敵対的サンプルは、観測者には知覚困難な大きさの摂動をデータに付加して生成され、正常データ と摂動 を用いて、敵対的サンプル が = + と表される。この摂動 の生成
手法は、いくつも提案されており、ニューラルネットワークで利用される損失関数の勾配に基づく手法と摂動の最適化に基づく手法に大きく分けられる。本稿では、勾配に基づく手法
として、Fast Gradient Sign Method（FGSM）［10］と Projective Gradient Descent（PGD）［13］を説明し、最適化に基づく手法として、Carlini&Wargner attack（C&W attack）［14］を説明する。
まず FGSM は、Goodfellow らによって提案された手法で、分類器のニューラルネットワー
クにおける損失関数の勾配情報を利用して、摂動を生成する。この手法はデータ に対する
ラベル の損失関数を （ , , ）とするとき、敵対的サンプルは、（1）で求められる。この摂動の生成は、ニューラルネットワークが学習した重み と入力データに対する勾配情報を取得できれば、1 ステップで敵対的サンプルを生成できる高速な手法として知られている。
次に、PGD は Madry らによって提案された手法で、FGSM の摂動生成を反復的に行うことにより、敵対的サンプルを生成する。この摂動生成は、式（1）における摂動生成を、より小さな変化量で勾配計算を繰り返し行うため、FGSM よりも緻密な攻撃となると言われている。
最後に、C&W attack は、Carlini らによって提案された手法で、誤分類を起こしながら、最小の摂動を求める最適化問題を解くことで、摂動を算出する。

― 3 ―

（2）
ここで、 （ ）を入力データ に対する中間層の最終出力であるロジットとし、関数 を−（ ））（ ≠ ）とする。Carlini らは、目的関数やパラメータに関して、幅広=（max （ ）く調査を行い、この調査に基づく手法をいくつか提案している。本稿では、そのうち 2attack を説明する。 2 attack は、（3）で定義され、 は摂動の 番目成分との関係た変数とし、関数 は、

1= 2（tanh（ ）+1）− を満たすよう導入され（4）と設定される。これに対し、κ= 0 のときに、攻撃として最適な摂動が算出されると報告されている。なお、従来の防御手法では、この攻撃を防ぐことができなかったことから、最も強力な攻撃の 1 つであり、安全性検証のベンチマークとして利用することを推奨している。
2.2 ．敵対的サンプルに対する防御手法
敵対的サンプルに対する防御手法は、これまで数々の手法が提案されており、敵対的サンプル自体を学習データに含めてモデルを学習する Adversarial Training（AT）［13］やロバストなモデルを生成する Defensive distillation［15］、Generative Adversarial Network（GAN）
やオートエンコーダを用いた摂動の除去
［16］
［17］
［18］などが知られている。しかし、従来手 法 に は 問 題 点 が あ り、 対 策 と し て 十 分 な 手 法 は 確 立 さ れ て お ら ず、 特 に Defensive
distillation と GAN に基づく防御手法は回避可能という研究も報告されている
［19］
［20］
。
本稿では、これらの中でも有力視される AT について述べる。AT の基本的なコンセプト
は、Szegedy らの文献［1］で提案されたが、文献［13］で PGD による頑健性の向上が可能であるとで発表された。AT はデータセット D のデータ に対して、重みパラメータ を固定したニューラルネットワークへの PGD による敵対的サンプル を生成する。生成した敵対的サンプル を用いて、元データ のクラスラベル との誤差が最小となるように、学習を行う。この手法は、式（5）のように定式化される。
（5）
AT により、敵対的サンプルに対する頑健性の向上できると報告されているが、摂動を含むデータを学習するため、正常データに対する分類精度の劣化を起こすと指摘されている［21］。

3 ．提案手法：データ多様体の埋め込み幾何学に基づく防御手法
3.1 ．データ多様体と多様体仮説
深層学習が扱うデータは、一般に高次元空間に埋め込まれた非線形な低次元の多様体上に集中して存在するという 多様体仮説 が知られている［22］。これは、図 3 に示す 3 次元空間に存在する曲線や曲面のように、データ点群が空間全体を満たすのではなく、低次元の限ら― 4 ―れた部分空間に存在することを意味している。この分布はデータの特徴を示しており、低次元に分布するデータ点群に対する幾何学的な構造解析や特徴抽出を行う手法が提案されている
［23］
［24］
［25］
。本研究では、データ点は可微分多様体からの標本点として、その標本点による多様体をデータ多様体と呼ぶ。そして、微分多様体の数学理論に基づき、この多様体上の接空間解析など、局所的な埋め込み幾何学を導入する。
3.2 ．敵対的サンプルの発生メカニズム

図 3 ．3 次元空間に存在する多様体の例筆者らは、敵対的サンプルによる誤分類に対して、ニューラルネットワークの学習データが形成するデータ多様体の埋め込み幾何学に着目することで、その発生メカニズムを文献［11］で明らかにした。本稿で提案する防御手法は、この発生メカニズムに基づく手法である
ため、その概要を述べる。
入力データが存在するデータ多様体 は、ユークリッド空間 であるデータ空間 に埋め込まれた 次元多様体とする。ニューラルネットワークの各ノードにおける重みベクト
ルを 、バイアスをθ∈ 、関数 を活性化関数とするとき、入力データ の出力 は、 =（+θ）である。ここで、データ空間 に存在する点 ∈ に対する射影空間への変換を+1=（ , 1）とするとき、射影空間 （：=）におけるデータ多様体 は、 = { =（ , 1）￨∈ } と表せて、重みベクトルも同様にして、 =（ , θ）と表せる。これらを用いて、ニューラルネットワークのノードにおける出力は、 = （）で求められる。ここで、空間の次元 と多様体次元 の関係は > であり、データ多様体 上の任意の点 における空間 内の接空間は、データ多様体 の接空間とその直交補空間 ⊥ への直和分解が可能で、（6）となる。これは、局所空間 はデータ多様体 上の成分と多様体外の成分に分解可能であることを意味しており、点 ∈ において、データ点 と重みベクトル は、（7）（8）と分解することができる。これをもとに、敵対的サンプルに対する内積計算を考えると、― 5 ―（9）と表せる。ここで、データ多様体 の方向は、手書き文字であれば文字の変形、顔画像であれば表情変化のように、データ自身の変形を表す方向である。したがって、データ多様体の方向に成分が変化すると、その変化は人間の目にも気づきやすく、観測者に知られることなく誤分類を起こす敵対的サンプルの摂動は、主にデータ多様体 とは直交する方向に成分⊥を持つと考えられるため、である。また、一般的に、データ はデータ多様体 に直交する方向には成分を持たず、 ⊥ ＝ 0 と考えられる。多様体上に存在するデータ でニューラルネットワークを学習しようとしても、データが存在しない空白領域は正確に学習できないため、ニューラルネットワークは 1 つの連続写像を定義するよう学習することから重みの直交成分は ⊥ ≠ 0 となる。このように、摂動及び重みベクトルが互いに直交成分を持つことから、式（9）における第 3 項が誤分類を起こす要因となる。
文献［12］では、FGSM［10］及び Szegedy 法［1］によって生成された敵対的サンプルには、接空間方向の成分に比べて、直交補空間方向の成分が多く含まれることが確認されている。
3.3 ．データ多様体の埋め込み幾何学に基づく防御手法
3.2 節で述べた敵対的サンプルの発生メカニズムでは、学習データの多様体に対する埋め込み幾何学を解明することで、敵対的サンプルの元となるデータ成分と誤分類を起こす摂動成分に分解できることを示した。
そこで、データ多様体の空間構造に着目して解明した発生メカニズムに基づき、新たな防御手法を提案する。3.2 節で述べた通り、敵対的サンプルによる誤分類には、式（9）における第 3 項、すなわち摂動及び重みベクトルの直交補空間方向の成分が大きく寄与していると考えられる。そこで、入力データが敵対的サンプル であっても、図 4 に示すように、ある点における接空間に射影し、摂動の直交補空間方向の成分を取り除くことで、その元となる入力の正しいクラスへの分類の実現する。

図 4 ．多様体上の接空間と敵対的サンプルの関係

提案手法の説明にあたり、事前準備として、データ多様体 を構成する点群 = { ￨（ , 1 ）￨ ∈ } を算出する。ここでデータ= 1 , , } を射影空間 に埋め込み、 = { =多様体 はニューラルネットワークの学習データで構成されることを想定する。これらを― 6 ―もとに、分類対象とする入力データ に対する防御処理のステップを以下に示す。
入力データ に対する防御処理ステップ：+1
Step．1 入力データ ∈ を射影空間 に埋め込み、空間 における座標表現 ∈を得る。
Step．2 入力データ からの距離が最短となる点 0 を点群 から探索する。点 0 のクラス
ラベル と同一のクラスラベルを持ち、点 0 からの距離が近い点 k 点を取得し、入力データ の近傍とする。
Step．3 点 0 の近傍において特異値分解を適用し、降順に特異値σ1 , , σ 及び特異値に対応した左特異ベクトル 1 , , を算出する。この k 個の特異ベクトルに対する累積寄与率を計算し、あらかじめ定めた閾値λに対し、λとなる特異値の数 を、データ多様体 の接空間における基底の数ととらえ、接空間の次元を dim（ 0 ）= = +1 と推定する。
=［ 1,Step．4 データ多様体 の次元をもとに、特異ベクトル 1 , , +1 による行列を, +1 ］とする。
Step．5 特異ベクトル 1 , , +1 を接空間 0 の基底として接空間に直交射影し、入力を、=で抽出する。
データ の接空間方向の成分
Step．6 接空間の方向成分∈ に対して、 =（ 1 / +1 , , / +1）を計算し、アフィンを抽出したアフィ空間 における座標表現を得る。入力データ の接空間成分
ン表現 に対する分類を行うことで、仮に入力データが摂動を含む敵対的サンプルであっても、正規の分類結果を得る。
以上のステップのように、従来は必要としていた分類器の再学習や防御手法の事前学習は不要で、提案手法は学習データを利用できれば適用可能である。そのため、学習済みの分類モデルに対しても導入することができる。また、敵対的サンプルではない正規の入力データ〜は、データ多様体 からサンプリングされた点であり、 〜と考えられ、提案手法による分類精度への影響はほとんどないと考えられる。

4 ．実

験

提案手法の防御性能の評価と正常画像に対する分類精度の劣化を検証するため、実験を行った。
4.1 ．実験設定
本実験では、手書き文字データセット MNIST の分類を対象とし、事前に分類器の学習と攻撃画像の生成を行った。実験に用いる分類器は、中間層 1 層の多層パーセプトロンであり、入力層は 784 ノードの全結合層とし、中間層はシグモイド関数を活性化関数とした 200 ノードの全結合層とし、最終層はソフトマックス関数を活性化関数とした 10 ノードの全結合層で構成される。この分類器は MNIST に含まれる訓練データの画像 60,000 枚で学習を行った。
学習したモデルの分類精度を評価するため、テストデータ 10,000 枚に対する分類を行うと、Accuracy は 98.00% であった。ここで、Accuracy は、式（10）で定義され、データ全体のうち、正しく分類できたデータの割合を表している。

― 7 ―Accuracy =正しく分類できたデータ数
データの総数（10）

次に、攻撃画像の生成について、Cleverhans Library v4.0.0［27］で実装される FGSM とPGD、C&W attack を利用した。これらの手法に対して、分類器の性能評価に用いた 10,000枚のテストデータをもとに攻撃画像を生成した。さらに本実験では、提案手法に対する防御性能の評価を目的とするため、元画像は分類器により正しく分類され、攻撃画像は誤分類を起こす画像のみを生成された画像から抽出した。画像の生成で設定したパラメータと攻撃データセットとして抽出された画像の枚数は表 1 の通りである。また、図 5 に生成された敵対的サンプル画像を示す。いずれの敵対的サンプルも、図 5（a）の元画像と見比べても区別しづらい画像が生成されている。また、生成された画像は、いずれも左の手書き文字 0 から順に 7 、2 、3 、5 、9 、3 、5 、3 、3 、3 のように誤分類を起こす。
表 1 ．敵対的サンプル画像生成のパラメータと攻撃データセット
生成手法

パラメータ設定

抽出した画像枚数

FGSM

ε= 0.05

5,288 枚FGSM

ε= 0.10

8,455 枚PGD
C&W attack

ε= 0.01,= 10

default

9,382 枚9,540 枚図 5 ．実験に用いる敵対的サンプル画像

提案手法におけるパラメータとして、近傍内の点の個数 k を k =150 、累積寄与率の閾値λをλ= 0.99 と設定し、実験を行った。評価指標には、式（10）で説明した Accuracy を用いて、防御性能の評価及び正常画像に対する分類精度の劣化の検証を行った。

― 8 ―4.2 ．実験結果
攻撃画像に対する防御性能の評価結果を表 2 に示す。本実験において、各攻撃手法に対して、91.5% 以上の防御に成功した。また、最も強力な攻撃とも言われる C & W attack に対する防御の成功率は最も高い 96.5% であり、提案手法は十分に高い水準で防御可能であることを示した。
次に、正常画像に対する評価結果を表 3 に示す。提案手法の適用前後で比較すると、提案手法を適用することで、Accuracy が向上する結果が得られた。これより、提案手法は分類精度に対する悪い影響がないことが確認された。さらに、多様体構造を正しく推定し攻撃成分を取り除くとともに、誤認識をもたらす雑音などを除去し、分類に関して本質的な情報を抽出できることが実証されたと考えられる。
表 2 ．攻撃画像に対する防御性能の評価結果
攻撃手法

Accuracy

FGSM（ε= 0.05）

94.5 %

FGSM（ε= 0.10）

91.5 %

PGD

94.4 %

C&W attack

96.5 %

表 3 ．正常画像に対する分類精度の評価結果

Accuracy5 ．結

適用前

適用後

98.00 %

98.36 %

論

AI・深層学習への重大な脅威とされる敵対サンプル攻撃に対して、学習データの多様体構造を解明し、誤分類を起こす直交補空間に存在する成分を取り除くことで正規のクラスへの分類を可能にする新たな防御手法を提案した。提案手法は、敵対的サンプルの発生メカニズムに基づくことから、入力データに対する判断根拠や計算過程の説明可能性を備えつつ、防御のために必要な知識は学習データのみであって、事前学習を必要としないという大きな特徴を持つ。さらに、実験で示したとおり、敵対的サンプルに対する防御性能は十分に高く、正常画像に対する分類精度に大きな影響を与えないことから、敵対的サンプルの防御手法として有効な手法のひとつになることが期待でき、今後はデータ多様体構造の推定精度改善による防御性能のさらなる向上を目指したい。
また、本提案に用いた深層学習における微分多様体論の手法と知見を、データの特徴抽出や識別・予測に活用することで、AI の認識精度や頑健性、安全性の向上など、AI・深層学習や機械学習のさらなる発展が期待できる。

― 9 ―

参考文献
[1]C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I.J. Goodfellow, and R.
Fergus, Intriguing properties of neural networks, in Proceedings of the 2014
International Conference on Learning Representations. Computational and Biological
Learning Society, 2014.
[2] I. Evtimov, K. Eykholt, E. Fernandes, T. Kohno, B. Li, A. Prakash, A. Rahmati andDawn Song, "Robust Physical-World Attacks on Machine Learning Models", arXiv,
http://arxiv.org/abs/1707.08945, 2017.
[3] P. Saadatpanah, A. Shafahi, and T. Goldstein, Adversarial attacks on copyrightdetection systems, International Conference on Machine Learning, PMLR, pp.8307‑8315 2020.
[4] Xingjun Ma, Yuhao Niu, Lin Gu, Yisen Wang, Yitian Zhao, James Bailey, Feng Lu,
Understanding Adversarial Attacks on Deep Learning Based Medical Image
Analysis Systems , CoRR, abs/1907.10456, 2019.
[5] F. Vakhshiteh, A. Nickabadi and R. Ramachandra, "Adversarial Attacks Against
Face Recognition: A Comprehensive Study," in IEEE Access, vol. 9, pp. 92735-92756,
2021.
[6] M. Sharif, S. Bhagavatula, L. Bauer, and M. K. Reiter, "A general framework foradversarial examples with objectives", ACM Transactions on Privacy and Security,
Vol. 22, Issue 3. No.16, pp 1‑30, 2019.
[7] Y. Xu, K. Raja, R. Ramachandra, R. Vera-Rodriguez and C. Busch, "Adversarial
Attacks on Face Recognition Systems", In: Rathgeb, C., Tolosana, R., Vera-Rodriguez,R., Busch, C. (eds) Handbook of Digital Face Manipulation and Detection. Advancesin Computer Vision and Pattern Recognition. Springer, Cham, 2022.
[8] 国立研究開発法人産業技術総合研究所， 機械学習品質マネジメントガイドライン 第 3版 , Aug. 2022 ．
[9] European Union Agency for Cybersecurity (ENISA), Cybersecurity challenges in
the uptake of artiﬁcial intelligence in autonomous driving, Feb. 2021.
[10] I.J. Goodfellow, J. Shlens, and C. Szegedy, Explaining and harnessing adversarial
examples, 3rd International Conference on Learning Representations, ICLR2015,2015. http://arxiv.org/abs/1412.6572[11] 田崎 元，金子勇次，趙 晋輝， 埋め込み空間におけるデータ多様体構造に基づく敵対的サンプルの発生メカニズムに関する考察 , 信学技報，第 121 巻，pp.17‑21 ，2021 ．
[12] H. Tasaki, Y. Kaneko, and J. Chao, Curse of co-dimensionality: Explaining adversarial
examples by embedding geometry of data manifold, 2 0 2 2 2 6 th International
Conference on Pattern Recognition (ICPR), pp.2364‑2370, 2022.
[13] A. Madry, A. Makelov, L. Schmidt, D. Tsipras, and A. Vladu, Towards deep learningmodels resistant to adversarial attacks, International Conference on Learning
Representations, 2018.
[14] N. Carlini and D. Wagner, Towards evaluating the robustness of neural networks,― 10 ―

2017 IEEE Symposium on Security and Privacy (SP), pp.39‑57, 2017.
[15] N. Papernot, P. McDaniel, X. Wu, S. Jha, and A. Swami, Distillation as a defense toadversarial perturbations against deep neural networks, 2016 IEEE Symposium onSecurity and Privacy (SP), pp.582‑597, 2016.
[16] Jin, G., Shen, S., Zhang, D., Dai, F., and Zhang, Y. Ape-gan: Adversarial perturbation
elimination with gan. In ICASSP 2019 - 2019 IEEE International Conference onAcoustics, Speech and Signal Processing (ICASSP), pp. 3842‑3846, 2019.
[17] Meng, D. and Chen, H. Magnet: a two-pronged defense against adversarial examples.
In Proceedings of the 2017 ACM SIGSAC conference on computer and communications security, pp. 135‑147, 2017.
[18] Yang, R., Chen, X.-Q., and Cao, T.-J. Ape-gan++: An improved ape-gan to eliminate
adversarial perturbations. IAENG International Journal of Computer Science, 48(3): 827‑844, 2021.
[19] Carlini, N. and Wagner, D. Defensive distillation is not robust to adversarial
examples. arXiv preprint arXiv:1607.04311, 2016.
[20] Carlini, N. and Wagner, D. Magnet and efficient defenses against adversarial
attacks are not robust to adversarial examples. arXiv preprint arXiv:1711.08478,
2017b.
[21] 足立浩規，平川 翼，山下隆義，藤吉弘亘， [ サーベイ論文 ] adversarial training, 信学技報，第 121 巻，pp.78‑90 ，2022 ．
[22] S. Rifai, Y.N. Dauphin, P. Vincent, Y. Bengio, and X. Muller, The manifold tangent
classiﬁer, Advances in neural information processing systems, vol.24, pp.2294‑2302,
2011.
[23] J. Wang, Geometric Structure of High-Dimensional Data and Dimensionality
Reduction, Springer Berlin Heidelberg, 2012.
[24] H.-M. Lu, Y. Fainman, and R. Hecht-Nielsen, Image manifolds, Applications ofArtiﬁcial Neural Networks in Image Processing III, vol.3307, pp.52‑63, 1998.
[25] H. Tasaki, R. Lenz, and J. Chao, Simplex-based dimension estimation of topologicalmanifolds, 2016 23rd International Conference on Pattern Recognition (ICPR),
pp.3609‑3614, 2016.
[26] 田崎 元，趙 晋輝， 敵対的サンプル攻撃に対するデータ多様体の埋め込み幾何学に基づく防御手法 , 情報科学技術フォーラム講演論文集 (FIT)，第 21 巻，pp.47‑50 ，2022 ．
[27] N. Papernot, F. Faghri, N. Carlini, I. Goodfellow, R. Feinman, A. Kurakin, C. Xie, Y.
Sharma, T. Brown, A. Roy, A. Matyasko, V. Behzadan, K. Hambardzumyan, Z. Zhang,
Y.-L. Juang, Z. Li,R. Sheatsley, A. Garg, J. Uesato, W. Gierke, Y. Dong, D. Berthelot, P.
Hendricks, J. Rauber, and R. Long, Technical report on the cleverhans v2.1.0
adversarial examples library, arXiv preprint arXiv:1610.00768, 2018.

― 11 ―