MWS意見交換会

1

NICTER DARKNET DATASET
データ解析のノウハウ
早稲田大学 森達哉 研究室

芳賀夢久，笹生憲
2015/05/13

MWS意見交換会

目次
2



NICTER Darknet Dataset について

ダークネットの研究事例



データ解析のノウハウ

MWS意見交換会

2015/05/13

目次
3



NICTER Darknet Dataset について

ダークネットの研究事例



データ解析のノウハウ

MWS意見交換会

2015/05/13

ダークネットとは4

ダークネット インターネット上で到達可能かつ未使用のIPアドレス空間
 外部からのアクセスに対して一切のレスポンスを返さない

IPアドレス空間
双方向

割り当て済
未割り当て

ダークネット

片方向

MWS意見交換会

2015/05/13

Dataset5



NICTER Darknet Dataset
 情報通信研究機構により提供された通信データ
 観測対象はある1組織(/16)のダークネット(/20)
 PCAP形式のデータをNONSTOP上で解析

MWS意見交換会

2015/05/13

NONSTOP6NONSTOP (Nicter Open Network Security Test-Out Platform ) NICTER Darknet Dataset 専用の解析環境

全ての解析はリモートのVM上で行う

引用: http://www.iwsec.org/mws/2014/files/NICTER_Darknet_Dataset_2014.pdf
MWS意見交換会
2015/05/13

目次
7



NICTER Darknet Dataset について

ダークネットの研究事例



データ解析のノウハウ

MWS意見交換会

2015/05/13

ダークネットの研究事例
8








笹生，森，後藤，”通信源ホストの分類を利用したダークネット通信解析“，MWS 2013, 2013年10月
笹生，”TCP ヘッダーと通信パターンの分類を利用したダークネッ
ト通信解析”，The 10th IEEE Tokyo Young Researchers Workshop,
2013年12月
芳賀，笹生，森，後藤，”リフレクター攻撃における増幅器探索通信の解析”，MWS 2014，2014年10月
芳賀，笹生，森，後藤，"インターネット計測はダークネット解析のノイズになるか？"，IA/ICSS 6月研究会，2015年6月

MWS意見交換会

2015/05/13

ダークネットの研究事例
9

インターネット計測はダークネット解析のノイズになるか？
ダークネットのDNSの通信を分類
サーベイ通信異常検知分類(症例対照研究)

MWS意見交換会

悪性通信2015/05/13

目次
10



NICTER Darknet Dataset について

ダークネットの研究事例

データ解析のノウハウ

MWS意見交換会

2015/05/13

データ解析の流れ
11

1. 生データ(pcap)の前処理
 tshark, p0fなどを用いてCSVファイルに出力

2. 中間データの管理
 DBMS: MySQL, SQLite 適宜 外部データなどを追加（IPアドレスのBlacklistなど）

3. 分析
 可視化ツール: ggplot2
 基本的な統計解析: R より進んだ統計解析: 症例対照研究，異常検知(SDAR)
MWS意見交換会

2015/05/13

データ解析の流れ
12

PCAPデータから図表の出力まで
NONSTOPでの作業

ローカル
PDF

①
PCAPCSV②

DBMS

MWS意見交換会

可視化してから転送

③

35

65

A

B

~~~~

2015/05/13

データベースについて
13



スキーマ例
frame_date frame_time ip_src

ip_dstsrcport dstport

送信元
IP

送信先
IP

送信元
ポート

日付

時間

…

送信先
ポート

SQL文例 (SQLite) 1日毎の80番ポート宛にパケットを送信したユニークなホスト数を知りたい場合

SELECT frame_date, COUNT(DISTINCT ip_src) FROM table
WHERE dstport == “80” GROUP BY frame_date;

MWS意見交換会

2015/05/13

ツールについて14tshark WiresharkのCUI版
 パケットのヘッダ情報をCSV形式で出力可能 フィルタ機能に優れ，出力するパラメータを細かく指定できる
 コマンド例（HTTPS をターゲットとした probe packet の場合）

tshark -r file.pcap -R “tcp.dstport==443” -T fields -e frame.number-e frame.time -e ip.src -e ip.dst -e tcp.srcport -e tcp.dstport -E
separator=¥|p0f (Passive OS Fingerprint) パケットのTCP/IPヘッダを元にOSを推定する
 基本的なヘッダ情報+OS情報をCSV形式で出力可能
 http://lcamtuf.coredump.cx/p0f3/
MWS意見交換会

2015/05/13

ツールについて15

Python ライブラリが豊富 (GeoIP, changefinder, sqlite3, など) 基本的な分析モデルを扱え，数値計算，文字列操作に強い

R
 「データフレーム」により統計解析がしやすい データや分析結果の可視化に優れている
 可視化にはggplot2 パッケージを使用

MWS意見交換会

2015/05/13

分析手法の例
16



送信元のOS推定
 Passive OS fingerprint (p0f)

送信元のロケーション推定
 Geo IP

スキャンツール(Zmapなど)の分別
 スキャンツールの動的解析によりシグネチャを作成



スキャンパターンの分析 送信元/先IPアドレスを元に協調型のスキャンなどを特定

MWS意見交換会

2015/05/13

NOSTOPでのデータ解析のコツ
17

データベースがあれば解析がしやすくなる NICTER提供のデータベース(MySQL)を利用してみる



データ整形にかける時間をできるだけ短縮する
限られたマシンリソースを効率的に使うために
 tsharkなどのフィルタ機能を使って余分なパケットを削ぎ落とし，PCAPデータのサイズを小さくしておく 汎用的なデータベース設計を心がける
 データ整形はスクリプトを用いてできるだけ自動化する
 メモリ効率を意識したプログラミングを行う
MWS意見交換会

2015/05/13

OSINT (Open Source Intelligence)18「合法的に入手できる公開情報」を「合法的に調べ突き合わせ分析する」手法
 報道，インターネット，書籍など



ルーターを踏み台にしたスキャンの可能性(警察庁)例2014年7月

ダークネットにおける23/TCPポートの通信が増加
MWS意見交換会

検索
http://scan.netsecurity.ne.jp/article/2
014/08/29/34745.html

2015/05/13

19

ご清聴ありがとうございました．

MWS意見交換会

2015/05/13