MWS2015意見交換会「データセット活用のノウハウ共有発表」

Ｄ３Ｍデータセットを使ったサイバー攻撃検知システム「ＢｏｔＲａｄａｒ」の研究開発/評価のコツ(株)NTTデータ 情報セキュリティ推進室
NTTDATA-CERT○大谷 尚通 益子 博貴 重田 真義

Copyright © 2015 NTT DATA Corporation

もくじ
1. サイバー攻撃検知システムについて
2. D3Mを用いた検知率の評価結果
3. 分析・評価のコツ/ノウハウ「データセット活用のノウハウ共有発表」の目的• 基本的な分析方法/ツール• 分析データの保存方法/形式 ○• その他、分析のコツ/ノウハウ ○Copyright © 2015 NTT DATA Corporation

2 / 18(※)

1. サイバー攻撃検知システム「ＢｏｔＲａｄａｒ」について(※)ＮＴＴＤＡＴＡ－ＣＥＲＴ製 ＳＩＥＭ

Copyright © 2015 NTT DATA Corporation

1.1 ＢｏｔＲａｄａｒとは設置済みのセキュリティ機器の通信ログを有効利用してサイバー攻撃を検知

サイバー攻撃検知システム

ネットワーク機器・セキュ
リティ機器のログには有益な情報がある「ＢｏｔＲａｄａｒ」
ネットワーク機器のログをデータベースに入力

DNSサーバログ
Proxyログ

検知パターンを検知パターン３ 独自開発

検知パターン２
検知パターン１

DBFWログ

社内LAN

検知パターンに合致するログを抽出

不審端末の情報

インシデント
レスポンス
専門家が確認

CSS/MWS2013、2014にて基本方式とMWSデータセットを用いた検知結果を発表済み
Copyright © 2015 NTT DATA Corporation

サイバー攻撃を検知！
4 / 18

1.2 マルウェア検知のアーキテクチャ
マルウェアの感染時/感染後は、正常な通信とは異なる特徴的な通信が発生
感染源
サイト

ユーザ端末

Proxyサーバ

DNSサーバ

不自然なページ遷移

感染時のProxyログ

Firewall

無意味なURL文字列

ブラウザの動作

通信ログに残った特徴的な通信の痕跡をもとにマルウェア感染している端末を検知する

Copyright © 2015 NTT DATA Corporation

5 / 18

1.3 サイバー攻撃の分析とモデル化
近年のサイバー攻撃は、攻撃動作が複雑化
感染フェーズ

不正なコード受信

1. 改ざん済み
正規サイト
アクセス

2. リレー先サイトアクセス

不正なコード受信

3. Pre-Exploit
コード実行

不正なコード実行成功

5. Exploit
コード実行

ダウンローダ
受信

6. 権限
奪取

C&Cフェーズ

攻撃フェーズ

マルウェア本体
ダウンロード7. 調査&
感染拡大

追加機能
ダウンロード7. ダウンロード/アップデート

8. マルウェア
本体動作(コード実行権限)

9. スパム送信10. DoS/DDoS

追加機能
ダウンロードDrive-By-Download

8. 情報流出

C&C通信（ping）

C&C通信

・・・【水飲み場型攻撃/Web待ち伏せ攻撃の状態遷移モデル】

11. 不正アクセス(踏み台)「複雑で変化の早いサイバー攻撃」の特徴を逆手に！

攻撃手法/動作をモデル化して検知方法を考案
Copyright © 2015 NTT DATA Corporation

6 / 18

1.4 DBD攻撃の特徴を用いた検知方式
DBD攻撃の感染フェーズにあらわれる「定性的な特徴の遷移」を用いて検知【定性的な特徴の遷移】
定性的な特徴(状態変化)を複数組み合わせた特徴【DBD攻撃の進行モデル】共通の感染ステップを踏んで段階的に感染が進行する
端末の脆弱性を調べて効果的な攻撃(exploit)を実行

NTTDATA-CERTの分析によると５段階！

不正コードの実行

redirect
Proxyログ

preexploit

exploit
感染フェーズ

感染時のふるまいを捉える
汎用的なログ検知手法
Copyright © 2015 NTT DATA Corporation

Pre
Download

MalwareDownload
C&Cフェーズ

攻撃フェーズ

DBD攻撃検知方式
7 / 18

2. D3Mを用いた検知率の評価結果

Copyright © 2015 NTT DATA Corporation

2.1 通信データ取得年別の検知率
D3M(Marionette)の通信データ 276個 に対して、DBD攻撃の検知パターン12個を実行して検知率を測定【表1: 通信データ取得年別の検知率】

取得年

通信データ数

検知数

検知率

2011年

1166455.2%

2012年

1109485.5%

2013年

424095.2%

2014年

800.0%

合計

27619871.7%

検知率 80%以上を達成(88.2%)(83.8%)

MWS2014データセットに対する検知率を評価し、D3M(Marionette)のDBD攻撃通信の検知率 平均 71.7% / 83.8%(直近3年)を達成
Copyright © 2015 NTT DATA Corporation

9 / 18

3. 分析・評価のコツ/ノウハウ～困ったこと、苦労したこと、工夫点～

Copyright © 2015 NTT DATA Corporation

3.1 分析のコツ ～2013年～
2013年に悪用された脆弱性から感染手法の特徴を把握し、検知パターンの作成対象を決定
JRE以外
約11%
2013年上半期
JREの脆弱性を悪用
80.4％

Javaの脆弱性が大半を占める!! Javaの脆弱性を悪用した
DBD攻撃/Exploit Kitの情報を収集↓
検知パターンを作成
JREの脆弱性を悪用
約89%

検知率80.8%(127/157件)

図： DBD攻撃で悪用されている脆弱性の割合（Tokyo SOC調べ：2013年7月1日～2013年2月31日）
出典：2013年下半期TokyoSoc情報分析レポート https://www-935.ibm.com/services/multimedia/tokyo-soc-report2013-h2-jp.pdf
Copyright © 2015 NTT DATA Corporation

11 / 18

3.2 分析のコツ ～2014年～
2014年に悪用された脆弱性から感染手法の特徴を把握し、検知パターンの作成対象を決定
JRE以外
約34%

Flashの脆弱性を悪用
約16%Flashの脆弱性が Flashの脆弱性を悪用した急増!!
DBD攻撃/Exploit Kitの情報を収集↓
検知パターンを作成
JREの脆弱性を悪用
約66%

図： DBD攻撃で悪用されている脆弱性の割合(日本国内)（Tokyo SOC調べ：2014年1月1日～2014年6月30日,検知総件数1,409件）

検知率88.2%(134/152件)
2015年はどんな傾向？

出典：2014年上半期TokyoSoc情報分析レポート https://www-304.ibm.com/connections/blogs/tokyo-soc/resource/PDF/tokyo_soc_report2014_h1.pdf
Copyright © 2015 NTT DATA Corporation

12 / 18

3.3 評価データの工夫① ～選択～
D3Mデータセットで自システムの検知率を評価するために ＢｏｔＲａｄａｒは、ネットワーク機器やサービス、OSなどのログ(おもにProxyログ)を分析する。

マルウェアの通信データ(DBD攻撃通信)が含まれた
D3Mデータセット/Drive-by Download Data by Marionette を選択【D3M通信データ】① D3M(Marionette)の通信データ＝DBD攻撃通信(PCAP形式)
Webクライアント型ハニーポット(Marionette)が悪性URLを巡回して取得② D3M(Botnet Watcher)の通信データ＝C&C通信(PCAP形式)
Marionetteが取得したマルウェアをマルウェアサンドボックス(Botnet Watcher)上で実行して取得
Copyright © 2015 NTT DATA Corporation

13 / 18

3.4 評価データの工夫② ～加工～
D3Mデータセットで自システムの検知率を評価するために ＢｏｔＲａｄａｒは、ネットワーク機器やサービス、OSなどのログを分析する
 D3Mデータセットの通信データ(PCAP)は、そのままではＢｏｔＲａｄａｒが取り扱えない！

おもにＰｒｏｘｙログを使用

PCAPデータからHTTP通信を抽出して、Proxyログ形式へ変換（tsharkと自家製変換ツール＠Rubyを組み合わせ）Copyright © 2015 NTT DATA Corporation

14 / 18

3.5 評価データの工夫③ ～フィルタ～
検知率を正しく評価するために ＢｏｔＲａｄａｒは、DBD攻撃通信(感染フェーズ)の特徴的な振る舞いを使って検知する
 D3Mデータセットには、DBDのふるまいが途中で止まっているデータが含まれる。ＢｏｔＲａｄａｒは検知できない/しない
DBDが途中で停止⇒感染に失敗！
＝検知不要！

DBD攻撃(感染フェーズ)が進行した通信データのみを抽出し、評価データへ採用（通信データ数＝276個）
データセット内から目視/手動で有効なデータを抽出

Copyright © 2015 NTT DATA Corporation

15 / 18

3.6 評価データの工夫④ ～評価方法～
検知率を正しく評価するために
 D3Mデータセットを使って検知パターンを作成すると検知率を正しく評価できない

公知な情報や独自に収集した検体/ログから検知パターンを作成（日々、最新の情報を入手して検知パターンを追加）【問題】
新しい検知パターンは、D3Mデータセット2014から何も検知しなかった。
D3Mデータセット2014には、該当するマルウェア/Exploit Kitの通信が含まれていなかった。
CSS/MWS2014の発表では、新しい検知パターンの検知率は評価できず！
Copyright © 2015 NTT DATA Corporation

16 / 18

3.6 評価データの工夫⑤ ～評価方法～
誤検知率(False Positive)を評価する
 誤検知率も評価しなけば、実用性を示せない

実運用中のProxyログを用いて誤検知率を算出
2014年9月の平均アクセスFQDN数＝157万5185個/月
CSS/MWS2014 発表データ

2014年9月(30日間)平均
誤検知率(FP)＝0.0074%
平均アクセスFQDN数 ＝ 5万2506個/日
平均誤検知数＝9.2個/日
誤検知数が日々の運用で対応可能な範囲であることを示した！
Copyright © 2015 NTT DATA Corporation

17 / 18

3.7 分析・評価のコツ/ノウハウのまとめ
企業がマルウェア対策の研究開発を実効的にすすめるために

1. DBD攻撃で悪用されている脆弱性の割合など、最新の攻撃状況から研究開発の方針を決定
2. 最新の検体、感染ログを収集・分析し、検知パターンを開発
3. 検知率/誤検知率(FP/FN)を適切に評価する
 各データセットの特性を知る。適切なデータセットを選ぶ
 データセットから検知対象データを抽出 誤検知数(FP)から運用性を評価

Copyright © 2015 NTT DATA Corporation

18 / 18

Copyright © 2011 NTT DATA Corporation

Copyright © 2015 NTT DATA Corporation