パネルディスカッション「AIセキュリティ」
その脅威と対策を考える
JNSA NSF 2020
IoTセキュリティWG
2020/1/21
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

パネルディスカッション〜「AIセキュリティ」その脅威と対策を考える〜「システム開発の５０％が機械学習」といわれる昨今、機械学習を⽤いたシステムの品質確保に注⽬が集まっております。⼀⽅で論⽂ベースながら「機械学習の脆弱性を狙った攻撃」も数多く取り上げられており、今後は「機械学習におけるセキュリティ」が注⽬を浴びると考えられます。
海外論⽂等で取り上げられている「機械学習に特有なセキュリティ上の脅威とその対策」を紹介し、その有効性、今後の脅威、課題などを様々な視点から議論します。

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

2パネリスト紹介

⽯川 冬樹先⽣
国⽴情報学研究所 アーキテクチャ科学研究系 准教授
先端ソフトウェア⼯学・国際研究センター 副センター⻑
機械学習⼯学研究会（MLSE）主査
AIプロダクト品質保証コンソーシアム 副運営委員⻑

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

3パネリスト紹介

福⽥ 尚弘
パナソニック株式会社 LS社 技術本部 イノベーションセンター
JNSA IoTセキュリティWGメンバー

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

4パネリスト紹介

松岡 正⼈

⽇本シノプシス合同会社ソフトウェア
インテグリティ グループ
シニアプロダクトマーケティングマネージャー
IoTセキュリティWGリーダー
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

5

何故AIセキュリティか︖
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

6

JNSA IoTセキュリティWGの活動成果と課題〜脅威分析の例（ガイドライン等）〜

JNSAコンシューマー向けIoTセキュリティガイド（2015）JPCERT/CC IoTセキュリティのためのチェックリスト（2018）AIシステムに特有の｛脅威、対策｝がない
出典[3]︓https://www.jnsa.org/seminar/2018/0226/data/3_koshiishi.pdf
出典[4]︓https://www.jpcert.or.jp/tips/2016/wr162501.html

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

7

JNSA IoTセキュリティWG〜AIセキュリティ調査の動機〜明確化
対策例

機械学習の脅威と対策を明確化
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

8機械学習システムの基礎知識
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

9機械学習システムの基礎知識「ML(機械学習)とは」“学習分野であり、明⽰的にプログラムしなくてもコンピュータに学習機能を提供する。”
アーサー・サミュエル、1959”Pで測定されるTでのパフォーマンスが経験Eで向上する場合、コンピュータープログラムは、あるタスクTおよびいくつかのパフォーマンス測定Pに関する経験Eから学習する”
トム・ミッチェル、1997*Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition
https://learning.oreilly.com/library/view/hands-on-machine-learning/9781492032632/
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

10機械学習システムの基礎知識「ML(機械学習)の仕組み」
典型的な機械学習

⼊⼒データ

特徴量エンジニアリング

特徴量典型的な機械学習モデル

出⼒

深層学習

⼊⼒データ

深層ニューラルネットワーク(DNN)による学習

出⼒*ACM:Techniques for Interpretable Machine Learning
https://cacm.acm.org/magazines/2020/1/241703-techniques-for-interpretable-machine-learning/fulltext
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

11機械学習システムの基礎知識「⼈間との違い」
⼈⼯ニューロンは⾮常に多くの層で構成できるが単⽅向のみ、⼈間のニューロンは複数⽅向で接続*TechCrunch:数学知識もいらないゼロからのニューラルネットワーク⼊⾨
https://jp.techcrunch.com/2017/04/15/20170413neural-networks-made-easy/
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

12機械学習システムの基礎知識「学習」
正解と不正解のデータを与え、画像の特徴を認識して判断させる*TechCrunch:数学知識もいらないゼロからのニューラルネットワーク⼊⾨
https://jp.techcrunch.com/2017/04/15/20170413neural-networks-made-easy/
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

13機械学習システムの基礎知識「NNの評価」
精度を向上させるにはニューロンに修正（重み）を加え、学習を繰り返す他ない*TechCrunch:数学知識もいらないゼロからのニューラルネットワーク⼊⾨
https://jp.techcrunch.com/2017/04/15/20170413neural-networks-made-easy/
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

14機械学習システムの基礎知識
⽤語の整理• ANN︓⼈⼯ニューラルネットワーク• ⼈為的に作成されたニューラルネットワーク(NN)の総称• MLP︓多層パーセプトロン• ⼊⼒、出⼒の各層との間にひとつの隠れ層を含むNN• DNN︓深層ニューラルネットワーク• 複数層で構成されるMLP• CNN︓畳み込みニューラルネットワーク• 格⼦状に特徴をつかむ構造のNN• RNN︓再帰型ニューラルネトワーク• NNの出⼒を他のNNの⼊⼒に使う再帰的構造のもの

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

15機械学習システムの基礎知識
MLの課題
ブラックボックス化された複雑なモデルによって動作するため、予期せぬ結果を招く場合がある• スパムフィルターをフィッシングメールがすり抜ける• アンチウィルスソフトによるマルウェアの誤検知• ⾃動翻訳における誤訳• ⾃動運転⾞の誤認識による事故など
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

16機械学習特有の脅威／攻撃
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

17機械学習と脅威
回避攻撃

中毒攻撃
セキュリティ
脅威

攻撃者
推論段階

学習段階
機械学習
プロセス

物理
情報

セキュリティ
対策

Copyright 2020

移転攻撃

学習データ

学習モデル

（再学習）

データ・サニタ
リゼーション

NPO⽇本ネットワークセキュリティ協会

アルゴリズム
堅牢化拡張

18

性能評価

セキュリティ
評価・検証

学習
システム

（アプリ）

プライバシー
保護機械学習と脅威（フロー）
学習データ提供者

機械学習
フロー

学習実施者

推論実⾏者

学習データ
学習モデル
（再学習データ）

セキュリティ
脅威

Copyright 2020

システム利⽤者

攻撃者

データー
推論（出⼒）①②③

中毒攻撃回避攻撃

移転攻撃

NPO⽇本ネットワークセキュリティ協会

19

AI特有の脅威

機械学習への攻撃
攻撃（脅威）

サブ分類

内容

回避攻撃
(EvasionAttacks)

・透明化攻撃(Stealth）
・なりすまし攻撃(Impersonate)

⼈間には認識できない「摂動を含んだデータ⼊⼒」により、⼈間と機械学習の推論エンジンとで異なる認識を起こす攻撃（画像、⾳声、⽂字等）

中毒攻撃(PoisoningAttacks)

・可⽤性攻撃(Availability)
・バックドア攻撃(Backdoor)

学習データへの「不正データの⼊⼒（注⼊）」により、学習モデルの境界を何らかの⽅法によりシフトする攻撃（機械学習のモデル境界を⼤量の不良データの注⼊により使⽤不能とする可⽤性攻撃と、少量の洗練されたデータ注⼊によりバックドアを⽣成するバックドア攻撃がある）

移転攻撃(InversionAttacks)

・プライバシー攻撃(Privacy)
・メンバーシップ
推論攻撃（Membership)

機械学習の「推論エンジンへのデータ⼊出⼒または反応」によって、元データなどの機密情報（またはモデル⾃体）を抽出する攻撃（メンバーシップ推論攻撃では、敵対者が⼿元データが相⼿のデー
タセットに含まれているかを探る攻撃）※違う名称、分類もあるが、ここでは３つの攻撃まとめた
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

20

回避攻撃(Evasion Attack)③推論結果の操作（認識ズレ）
パンダ ＋ 摂動 → ギボン

データ

学習モデル

推論
開発者
完全性×

ユーザー
②

①

シール貼り

回避攻撃

（摂動を⼊⼒）情報収集

Copyright 2020

ML推論に対し、パンダの画像に「摂動」を挿⼊、⼈の⾒た⽬にはパンダ（クラスA）と認識、ML推論をギボン（クラスB）と認識させる
出典[5] “EXPLAINING AND HARNESSING ADVERSARIAL
EXAMPLES”

NPO⽇本ネットワークセキュリティ協会

攻撃者
21

ML推論に対し、STOP標識（クラスA）を速度規制（クラスB）として認識させる
出典[6] “Robust Physical-World Attacks on
Machine Learning Models”

中毒攻撃(Poisoning Attack)②推論結果の操作（なりすまし）

データ（学習）
再学習

モデル

推論

（推論確認後に再学習＝経年変化を学習）

開発者
完全性×
可⽤性×

①

適応型の顔認識システム

中毒攻撃（不正データの注⼊）・権限者と攻撃者のモーフィング等
再学習時に徐々に権限者に扮装する

ユーザー
（権限者）

カメラ
攻撃者
（⼀般者）

出典[11]: A Survey on Security Threats andDefensive Techniques of Machine Learning: A Data
Driven View

再学習1〜N
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

攻撃者のクラスが権限者のクラスに近づく

22

移転攻撃(Inversion Attack)
プライバシー攻撃(Privacy Attack)
ML推論にアクセスし、学習に使ったデータ（顔画像）を類推

データ

学習
モデル

推論
開発者
秘匿性×
ユーザー
①

移転攻撃／
プライバシー攻撃

攻撃によって類推した新モデルを使って復元した画像

旧モデルの訓練に使った画像

出典[7] “Model Inversion Attacks that ExploitConfidence Information and BasicCountermeasures”

ツール② 元データ推測
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

23

攻撃者

回避攻撃の分類
攻撃パターン

概要

備考

勾配ベース

・モデルの勾配へのアクセスを必要とするホワイトボックス攻撃の⼀種。
攻撃者は、モデルの勾配の詳細な理解により、攻撃を数学的に最適化する。
「強化モデル」を攻撃する最適な⼿法でもある。攻撃者がモデルの勾配にアクセスできる場合、攻撃者は常にモデルを欺く敵対的な新しいセットを作成できる。
（隠蔽によるセキュリティ以外の防御はかなり困難）

信頼スコア

・出⼒された分類信頼度を使⽤してモデルの勾配を推定し、上記の勾配ベースの攻撃と同様のスマート最適化を実⾏する。（攻撃者がモデルについて何も知らなくてもよい、ブラックボックス攻撃の⼀種）

ハードラベル・モデルによって出⼒されたラベル（cat、dog、hotdog等）のみに依存し、信頼スコアを必要としない。攻撃は弱いが、より現実的な攻撃。
（回避攻撃で最も強⼒な攻撃は、境界攻撃）

代理モデル・追加の⼿順が必要なことを除いて、勾配ベースの攻撃と⾮常に似ている。 リバースエンジニアリング
敵がモデルの内部にアクセスできないが、ホワイトボックス攻撃を仕掛けコピー作成たい場合、最初にターゲットのモデルを⾃分のマシンで再構築しようとすることができる。
敵対的な例を⽣成

ブルートフォー
ス・最適化をまったく使⽤せずに敵対的な例を⽣成し、代わりに左記の単純な攻撃を⾏う。

境界攻撃

画像をランダムに回転/平⾏移動
⼀般的な摂動の適⽤
ガウスノイズを追加

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

24

中毒攻撃の分類
攻撃パターン

概要

備考

ロジック変造最も危険攻撃。攻撃者がアルゴリズムと学習⽅法を変更できる場合、ロジックの変造が起こせる。（攻撃者は必要なロジックを簡単にエンコードできる。

学習を信頼できない誰かに任せた場合、HTTPなど⾮暗号通信を傍受され盗聴・改ざんされた場合、モデルファイルを改ざんされた場
合など

データ変更

攻撃者はアルゴリズムにアクセスできないが、訓練データを変更、追加、削除できる。（ラベルの操作または洗練された攻撃者によるデータ⼊⼒操作）

ラベルの操作（バックドア攻撃）
ラベルの操作（可⽤性攻撃）データ⼊⼒操作（分類境界シフト）
データ⼊⼒操作（クラスター距離変更）
データ⼊⼒操作（透明透かし追加）

データ挿⼊

データ変更であるが「追加」に限定。攻撃者が新しいデータを訓練プールに注⼊できる場合

転移学習最も弱い攻撃。2回⽬のトレーニングを⾏うにつれて、元のメモリ（毒を含む）が希釈されるため。

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

25

トラフィックに摂動を挿⼊

移転攻撃／プライバシー攻撃の分類
攻撃パターン

概要

詳細

データ

攻撃者が⼿元にデータポイントを持っており、元のデータセットに属しているかどうかを知りたい場合
例）名前が機密性の⾼い医療リストに含まれているかどうかを知りたい場合

元のターゲットモデルに基づいて構築された「シャドー」モデルを使⽤。
患者が退院データセットに「⼊っている」などを判断する⼿法

モデル

ブラックボックスアクセス権を持つが、MLモデルのパラメーターまたはトレーニングデータに関する予備知識がない攻撃者が、モデルの機能を複製（モデル抽出）を実⾏。
（⼊出⼒ペアを観察してモデルパラメーターを抽出する。
ただし、信頼スコアへのアクセスに依存）

APIにいくつかのクエリを送信するだけでモデル全体をダウンロード

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

26

モデルの勾配にアクセスして作成された回避攻撃（ホワイトボックス回避攻撃）

機械学習でのセキュリティ対策
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

27機械学習での脅威とセキュリティ対策
セキュリティ
評価・検証

アルゴリズム
堅牢化拡張

データサニタリゼーション

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

プライバシー
保護28

機械学習での脅威と対策（詳細）対中毒攻撃

異常値検出／モデル精度に与える
影響分析

対回避攻撃

全網羅／経験的防御・⼊⼒を意図的に摂動（STRIP）
・境界シフトの警告（LOOP）
・回帰（TRIM）

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

・摂動攻撃パターンの網羅（困難）・敵対的訓練（中毒攻撃の副作⽤）・勾配マスキング
・⼊⼒変更（ノイズ除去）
・検出技術
・NULLクラス
29

対移転攻撃

API強化／サニタイズ／モデル強化／検出／差分プライバシー
・API⾮公開・漏らしたくないデータの除去
・モデル選択／フィット制御／知識管理・攻撃パターンの異常性判定
・ユーザー⼊⼒のランダム化

機械学習への対策（回避攻撃）
攻撃

対策

概要

備考

回避攻撃

全網羅

摂動を含むパターンの全網羅

現実に不可能

経験的防御

敵対的訓練

中毒攻撃をもたらす危険性あり

勾配マスキング

資産移転が可能とされ効果少ない

⼊⼒変更ノイズ除去等検出

畳み込みフィル
ターなど

追加クラス（NULLクラス）

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

30機械学習への対策（中毒攻撃）
攻撃

対策

概要

備考

中毒攻撃

異常検出

異なるデータの注⼊と検出

中毒攻撃の特徴を検出モデルの精度に影響する内容の影響度分析

⼊⼒を意図的に摂動

STRIP

境界シフトの警告

LOOP

回帰TRIM

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

31機械学習への対策（移転攻撃）

⾚字︓AI特有でない対策

攻撃

対策

概要

備考

移転攻撃

API強化

APIを⾮公開

アクセス制限信頼スコアでなくハードラベルのみ公開

匿名化（属性削除）

信頼性スコア公開の場合は｛⾼、中｝など抽象化

匿名化（属性情報の⼀般化）

データサニタイズ漏らしたくないデータ除外（クレジットカードなど）

匿名化（属性削除、攪乱ノイズ付加）

モデル強化

モデル選択（ベイジアンは決定⽊より堅牢など）
フィット制御（オーバーフィットからモデルよりデータ抽出・正規化）
知識管理（モデルを少数共有に制限）

検出

クエリーパターンを⼀般ユーザーと⽐較、異常性を判定

差分プライバシー

ユーザー⼊⼒のランダム化
元データのランダム化

アクセス制限匿名化（攪乱、疑似データ⽣成）

モデルのパラメーターの摂動
損失関数の摂動

匿名化（攪乱）推測中の出⼒の摂動

プライバシー
保護ELM
Copyright 2020

多⼊⼒依頼計算型プライバシー保護機械学習

NPO⽇本ネットワークセキュリティ協会

32

加法準同型暗号
PP-ELM: Privacy Preserving
Extreme Learning Machineその他（対策関連）
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

33その他︓｛ホワイト、ブラック、グレー｝ボックス
ターゲットの情報

内容

ホワイトボックス

ターゲットの基礎となるデータ分布、モデルのアーキテクチャー、使⽤される最適化アルゴリズム、重み、バイアスなどがわかっている

ブラックボックス

ターゲットの情報を何も知らない

グレーボックス

上記の中間（例︓攻撃者はターゲットのモデルを類推できるがデータはわからない、など）

ノーボックス

代理モデル（攻撃者は標的のMLシステムの理解に基づいてモデルを再構築）(例︓ニューラルネットワークなどで構築）

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

34その他︓制限（攻撃を制限する⽅法）
対象

内容

画像

画像では、摂動空間を「距離」メトリックで制限するのが⼀般的

マルウェア

マルウェアでは、攻撃者は特定の場所／特定の⽅法でのみファイルを攻撃できる

物理デバイス

物理デバイス（衛星、⾞、ドローン、監視カメラ）に展開されたシステムでは、攻撃者は物理ドメインの⼊⼒の変更に制限される場合がある

訓練

訓練時の攻撃では、攻撃者は以下の点を必要とする。
a）システムが新しいデータに基づいて継続的に再訓練を⾏う（そうでなければ、悪意のデータを注⼊できない）
b）システムが外部ソースからデータを取り込み、何らかのループを形成して承認する

プライバシー

プライバシー攻撃では、⼀般に攻撃者はクエリ制限のないパブリックエンドポイントを必要とし、信頼スコア（95%など）の出⼒応答を期待する（信頼スコアは限定的。ほとんどのウイルス対策製品は、ファイルが「悪意のある」または「良性」であると判断した場合に、詳細な情報を提供しない）

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

35その他︓｛誰、何故、如何｝に︖
誰（WHO）

何故（WHY）

備考

スマートな研究者／技術者

フーリングアラウンド（弄ってみるレベル）

賞⾦稼ぎプログラムに参加する
ホワイトハット

賞⾦稼ぎ

ペンテストを⾏うレッドチーム

ペンテスト

商⽤MLシステムを攻撃するハクティビスト

主張の証明

商⽤MLシステムを攻撃するブラックハット

⾦銭的報酬（エクスプロイト展開、ダークネット販売）

商⽤MLシステムを攻撃する
組織的ブラックハットグループ

各々（⾦銭、証明、政治的⽬的達成）（Anonymous、The Shadow
Brokers、Legion of Doom）

国家が後援する組織

サイバー戦争の⽬的達成如何に（HOW）（軸）

備考

タイミング

トレーニング、推論機能

ホワイト、ブラック、グレー・ボックス

制限

摂動空間（ズレ幅）、機能性、領域、再トレーニング頻度

代替案
出典︓[2] “Calypso AI、Ilja Moisejevs⽒“の機械学習に関するセキュリティブログ (Toward Data Science)
Copyright 2020

NPO⽇本ネットワークセキュリティ協会36まとめ／仮説• 機械学習の攻撃（脅威）を分類

1. ｛回避、中毒、移転｝攻撃に分類
2. 各攻撃に様々な⼿段がある
3. 攻撃のしやすさは｛回避＞中毒、移転｝攻撃の順• 脅威に対応するセキュリティ対策

1. ｛回避＞中毒、移転｝攻撃の順で守りにくい
2. ｛ホワイト＞ブラック｝ボックスの順で守りにくい
3. 移転攻撃はAIによらないセキュリティで保護（差分プライバシー）• 可能な限り攻撃を制限する• 攻撃者が誰かを⾒極めて対策を強化
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

37機械学習を使った攻撃
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会38強化学習について（Q-学習）
Q-学習︓報酬付きの状態遷移表
S
(0,0)

(0,1)
（0,2）

状態⾏動 報酬(0,0)

上-1

右50

下-1

左-1

上-1

右-1

下50

左50上50

右-1

下100

左-1(0,1)

G(0,2)

3状態×4⾏動＝12パターン
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

39

強化学習について（Q-学習）
状態

⾏動 報酬

???

???

???

???

???

???

???

???

???

47

〜10チェス（8x8）

規模が⼤きいと機能しない（次元の呪い）
Copyright 2020

NPO⽇本ネットワークセキュリティ協会40

強化学習（ニューラルネットワーク）

報酬
⼊⼒

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

NN

41

出⼒

強化学習（ニューラルネットワーク）

報酬（良い、悪い）（状態）

⼊⼒

Copyright 2020

NPO⽇本ネットワークセキュリティ協会（⾏動＝移動）

NN

42

出⼒

強化学習（SQL攻撃）
HTTP: （200、500）

報酬
SELECT⽂ （状態）⼊⼒

⽂字抽出 （⾏動＝移動）NN

出⼒

出典[8] DEFCON 25 2017 Weaponizing Machine Learning
Copyright 2020

NPO⽇本ネットワークセキュリティ協会43

ファジング（Fuzzing）
予測不可能な「⼊⼒データ」を与えることで意図的に例外を発⽣させ、その例外の挙動を確認する⼿法
⼿法

概要

テストケースの事前⽣成問題を⽣じる可能性が⾼いもの（0、1、その他境界値周辺の値など）を事前に⽣成（最低品質の確認）

ランダムテストデータをランダムに⽣成突然変異、ブルートフォース

⼊⼒データを連続的に変化させてテスト（時間かかる）（突然変異は指定値からの変動、ブルートフォースは総当たりで⼊⼒データを連続的に変化させる）

⾃動プロトコル⽣成

⼊⼒データのプロトコル仕様から、静的に決定する部分と動的に決定する部分を切り分け、動的部分に対して変動の⾃動化を図る（静的部分と動的部分が記された定義ファイルの作成が必要）

既存のファジングは⾃動化に対応しているが設定は経験値によるところが⼤きい
Copyright 2020

NPO⽇本ネットワークセキュリティ協会

44

ファジングの課題
既存のファジングの課題＝次に⼊⼒（ファズ）すべき値を何にするか︖①ランダムに頼る②コード網羅率を最⼤（図A〜D）にするように設定を調節
IFA

試⾏
ファジング装置応答次︖

IFターゲット

B
IFC

IF
D

③「次」の値を決めるのにQ-学習を⽤いる

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

45機械学習を⽤いたファジングの例
ポイントは報酬をどう作るか︖①新しい処理ブロックを⾒つけた②実⾏パス⻑
③実⾏時間など
報酬

変異を起こす装置

状態

⾏動(⼊⼒）
ターゲット

I挙動の観測装置
出典[10] “Deep Reinforcement Fuzzing”

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

46まとめ／仮説• データの次元数が⼤きくなり過ぎると機能しない• アルゴリズム（数式等）の⽅が効率的な場合もある• ファジングでは報酬をどうするかが難しい• 機械学習のファジング適応の論⽂では、ランダム等のファジングに⽐べ⾼々｛7％、30％｝向上

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

47機械学習のユースケースと攻撃
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

48機械学習のユースケースと脅威・対策
ユースケース

攻撃脅威中毒攻撃移転攻撃

堅ア
牢ル
化ゴ
拡リ
張ズ
ム

サデニ
タタリ
ゼシン

⾃動運転（運輸）標識詐称（⾒た⽬にわからない標識）〇

スパムフィルター（サイバーセキュリティ）マルウェア検知をバイパス（対策者有利、フィルターの⾒逃ししかない）〇

顔認識（⼩売り）・顔認識をバイパス・なりすまし（サンプルの周辺の⼊⼒をランダムサンプリングし、敵対的な例を⾒つける＝カーネル法）
・顔データ窃盗︓オラクル攻撃（→ビヘイビア検知）〇

⾳声コマンド（スマートホーム）

⾳声コマンド偽装〇

Web評判（メディア）

映画・レビュー、ホテル評判をだます
政治誘導（ディープフェイク）ーー

マネー（⾦融）

トリック、不正検知をだますーー

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

49

〇

〇

︵プ差ラ分イプバラシイバ保シ護︶︵セキによリらテない評︶価・
検証

AI

回避攻撃

対策〇

〇

〇

〇

〇

〇

〇〇〇〇ーーーーーーーーーー〇

パネルディスカッション
パネルディスカッション「AIセキュリティ」
その脅威と対策を考える

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

50

議題（AIセキュリティについて）
１．AIでのセキュリティ対策（〜近い将来、〜課題）
２．AIによる攻撃（〜近い将来、〜課題）
３．AI脅威論とセキュリティについて（10年後、セキュリティ対策・運⽤の現場はどうなるか︖）

Copyright 2020

NPO⽇本ネットワークセキュリティ協会

51

参考⽂献
[1] A Survey on Security Threats and Defensive Techiniques（ IEEEAccess、2018）https://www.researchgate.net/publication/323154427_A_Survey_on_Security_Threats_and_Defensive_Techniques_of_Machine_Learning_A_Data_Driven_View[2] “Calypso AI、Ilja Moisejevs⽒“の機械学習に関するセキュリティブログ (Toward Data Science)https://towardsdatascience.com/@iljamoisejevs
https://aibusiness.com/ai-researchers-develop-backdoor-security-threat/[3] JPCERT/CC IoTセキュリティのためのチェックリスト（2018）https://www.jpcert.or.jp/tips/2016/wr162501.html[4] JNSAコンシューマー向けIoTセキュリティガイド（2015）
https://www.jnsa.org/seminar/2018/0226/data/3_koshiishi.pdf[5] EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES, Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy Google Inc., conference paper at ICLR 2015
https://arxiv.org/abs/1412.6572[6] Evtimov, Ivan, et al. “Robust Physical-World Attacks on Machine Learning Models” Cornell University, 7 Aug. 2017https://arxiv.org/abs/1707.08945[7] Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures, Matt Fredrikson Carnegie Mellon University, Somesh Jha University of Wisconsin–Madison, Thomas Ristenpart
Cornell Tech, 2015
https://www.cs.cmu.edu/~mfredrik/papers/fjr2015ccs.pdf[8] DEFCON 25 2017 Weaponizing Machine Learning Petro, Morris Stream 30 July 2017https://www.machinelearning.ai/machine-learning/defcon-25-2017-weaponizing-machine-learning-petro-morris-stream-30july2017/[9] Automated Software Vulnerability Testing Using In-Depth Training Methods, Alexandr Kuznetsov, Oleksiy Shapoval, Kyrylo Chernov, Yehor Yeromin, Mariia Popova, Olga Syniavska V. N. Karazin Kharkiv
National University, Svobody sq., 4, Kharkiv, 61022, Ukraine
http://ceur-ws.org/Vol-2353/paper18.pdf[10] Deep Reinforcement Fuzzing, Konstantin Bottinger, Patrice Godefroid, Rishabh Singh Fraunhofer AISEC, Microsoft Research, 2018https://arxiv.org/pdf/1801.04589.pdf[11] ニューラルネットワークの基礎解説︓仕組みや機械学習・ディープラーニングとの関係は, ビジネス＋IT, 2017/03/15
https://www.sbbit.jp/article/cont1/33345

Copyright 2020

NPO⽇本ネットワークセキュリティ協会52