2009-10-26 MWS2009

マルウェア対策のための研究用データセットとワークショップを通じた研究成果の共有
NTTコミュニケーションズ株式会社 畑田充弘

もくじ
 背景と目的
 研究用データセット ～ CCC DATAset 2008 ～ 研究成果の共有
 ～ MWS 2008 ～ 研究用データセット ～ CCC DATAset 2009 ～ 研究用データセットの要件と課題

 まとめ

1

はじめに
 複雑化するマルウェアの脅威
DDoS
0-day

ルートキット

情報漏洩

スパムメール

フィッシング 多岐にわたる対策研究
トラフィック解析

侵入検知

動的解析
ハニーポット

2

静的解析

自動分類

背景と目的 マルウェア対策研究に用いられる評価用データ

個別のハニーポットでデータ収集
 個別の実験環境で解析 各提案手法の客観的な評価が困難


侵入検知の研究のための評価用トラフィックデータの公開
 DARPA Intrusion Detection Evaluation Data Sets 1998/1999/2000年
 学習用、学習後の検証用この10年、、、

 サイバークリーンセンター（CCC）からのデータセット
 データセットを提供して成果を共有するワークショップ

3

研究用データセット ～ CCC DATAset 2008 ～ 想定研究と各データ
最近のボットの活動全体傾向は?

最近のボットはどんな手法で感染しているのか?

②感染手法の検知ならびに解析技術の研究“（２）攻撃通信データ”

･･
おとりPC
ボット感染PC群③ボットの活動傾向把握技術の研究（３）攻撃元データ
4①収集した検体の解析技術の研究（１）マルウェア検体

最近のボットはどんな機能を持っているのか?

研究用データセット ～ CCC DATAset 2008 ～ （１）マルウェア検体

ハニーポットで収集したマルウェア検体のハッシュ値1件
 機能が豊富であり、耐解析性が高いという方針で選定
5

研究用データセット ～ CCC DATAset 2008 ～ （２）攻撃通信データ

ハニーポット（2台）の通信をホストOS上でtcpdumpしたpcap ハニーポットのOS（ゲストOS） Windows 2000
 Windows XPネットワーク接続環境
 FTTH、動的IPアドレス
 それぞれのハニーポットに物理IF割当



データ収集期間
 2008年4月28日／4月29日

総パケット数：15,901,943
 約2.8GB


6

研究用データセット ～ CCC DATAset 2008 ～ （２）攻撃通信データ

7

研究用データセット ～ CCC DATAset 2008 ～ （３）攻撃元データ

ハニーポット112台による6ヶ月間のマルウェア取得ログ
 データ収集日 2007年11月1日～2008年4月30日
ログ項目
マルウェア検体の取得時刻
ダウンロードホストIPアドレス
利用ポート番号／TCPまたはUDP
通信方向
マルウェア検体のハッシュ値（SHA1）
ウイルス名称
ファイル名
通信方向：PULL

例（一部を*でマスク）
2007-11-01 00:02:01**.10.167.74
6251/TCP
Pull*****a7e7edca3b787624c4edb6cc74d4dbd1b8f
PE_VIRUT.XVC:¥WINNT¥system32¥cwgbiw.exe

通信方向：PUSH

ダウンロードホスト

ハニーポットダウンロードホスト

ハニーポットダウンロードリクエスト

ポートオープン命令

マルウェア検体

マルウェア検体

利用ポート番号8

利用ポート番号研究用データセット ～ CCC DATAset 2008 ～ （３）攻撃元データ

項目
全レコード数TCPによるダウンロードレコード数
UDPによるダウンロードレコード数
ダウンロードホストIPアドレス種類数
マルウェア検体のハッシュ値種類数
ウイルス名称種類数（UNKNOWN含まない）
9

件数
2,942,221
2,846,053
96,168258,71152,465
1,081

研究成果の共有 ～ MWS 2008 ～ マルウェア対策研究人材育成ワークショップ2008

日程：2008年10月8日（水）～10日（金） 会場：沖縄コンベンションセンター
 CSS2008と併催
 一般口頭発表22件（うち学生の部8件）


http://www.iwsec.org/mws/2008/10研究成果の共有 ～ MWS 2008 ～ 関係者アンケートからQ6.データセットにより従来実施できなかったことができたか
11
Yes

No

2
どちらともいえない

1

1

未回答

 ご意見（抜粋）

独自に収集しているデータと比較することができ、その差異や共通する点など多くの知見を得ることができた。



提案手法の有効性を評価することができ、理論を証明するための実践的なデータの必要性・重要性をあらためて感じた。



データセットによって、新たにマルウェアの研究を行うことができた。
大学等、マルウェアのデータを取得することが難しい研究機関にとって、データセットの提供は非常に有意義なものであると思う。

Q7.データセットの使用により新たな研究課題の発見につながったか
13
Yes

どちらともいえない未回答

 ご意見（抜粋）異なるネットワークでは、ハッシュ値で比較する限り、収集した検体が一致する件数は思っていたよりも少ないという発表もあり、全体の傾向を知ることの困難さに課題を感じました。

長期間の「攻撃元ログ」は各自で運用しているハニーポットでは収集するのが難しく新しい課題の発見などにつながる。逆に攻撃通信データのようなデータは一般に収集するのはそこまで難しくないので、そこから新しい研究課題の発見につなげるのは難しい。



データセットを利用することで、マルウェアの動作傾向を調査することができた。その結果から、対策手法の検討等を行うことができるた
め、新たな研究課題の発見につながったといえると考えている。

7811

No1 0 1

研究成果の共有 ～ MWS 2008 ～ （１）マルウェア検体
模倣DNSサーバなし／ありで解析結果比較

動的解析によるボットコマンド
99個とパラメー
タ自動抽出12を用いた研究

確率モデルによるコンパイラ
出力コードの尤
もらしさからオ
リジナルコード
特定

標的型攻撃の耐解析機能を自動的に解除、関連情報をレポート

OEPへジャンプ
直前の特徴的な動作から効率的にアンパック
自身を複製／削除する挙動から検知研究成果の共有 ～ MWS 2008 ～ （２）攻撃通信データを用いた研究

数種の特徴からシェルコードを12種類に分
バイナリコード類を比較し一致の割合に基づく類似性から分両ハニーポット類
でほぼ同時刻に通信挙動が見られる同調
活動を分析
平均3、最大20の連鎖感染を分析、可視化

13

4種類の挙動パターンとDNS
クエリの特徴を分析
複数回異なるCnC接続、特定の4サーバに分散

HTTPのDLと同程度の回数利用されている独自ファイル転送
プロトコルを分析
複数回異なるCnC接続、特定の4サーバに分散

17重の中継サーバの冗長化、3つ以上のボットからアクセスされる7重の中継サーバ

研究成果の共有 ～ MWS 2008 ～ （３）攻撃元データ
UNKNOWN期
間は長いもので100日以上、北米・アジアは固有種が多いを用いた研究

DLホストの現地時間に補正しても特徴的な傾向は見えない

人間が調査するためのUIにより未知検体の活発な活動の兆候検知 複数観測デー
タのIPアドレス分析、攻撃元・スパム・フィッシ
ングなどで同時活動
14決定木学習に
より再現率93%、適合率94%でスキャンパター
ン同定

MITFのデータと比較分析、攻撃元データ固
有種はMITF観測点から遠い日本の配布元ノードが80%、96%がPULL型、
米・韓ではPUSH型が90%超
1日の平均DL
回数が多いと活動期間は短い、活動期間が長いほど種類が多い

研究用データセット ～ CCC DATAset 2009 ～ MWS2008を終えての要望（関係者アンケートから）
Q9.研究を行って感じたデータセットへの要件（優先度順）
 「マルウェア検体」について


耐解析性が高い、ウイルス対策ソフトで検出できない、機能が豊富、一般に取得が困難、攻撃対象OS種類、その他（鮮度、量） 「攻撃通信データ」について


ハニーポットのグローバルIPアドレス情報、データ収集台数、データ収集期間、ハニーポットの動作特性、攻撃対象OS種類、その他（鮮度、攻撃元データとの照合）

 「攻撃元データ」について


ハニーポットのグローバルIPアドレス情報（または識別子）、データ収集台数、データ収集期間、送信元・宛先のポート番号、障害による停止期間、期間中の構成変更情報、ハニーポットの動作特性、攻撃対象OS種類、その他（データの鮮度、攻撃通信データとの照合）

Q10.データセットとして提供されるのが望ましいデータ群
Web感染型をはじめとして、様々な感染経路（入手経路）で得られたマ
ルウェア検体や関連するデータを提供いただけると、その違いを調査したり、と色々興味深い研究につながると思います。
 最近の検体はVMやデバッガを検知して活動をやめる機能を備えているため、素のPC上で検体を実際に起動させた際のPCの挙動（ファイル変化、プロセス起動、通信ポート開放、など）に関するデータが提供されていると助かります。

10

既存の解析結果にはない新たな挙動が見つかることもあるし、自分の解析力の目安にもなるので、人材育成を考慮し、「マルウェア検体」はすでに解析結果が公表されているもの、あるいは解析結果の模範解答があっても良い。

1115

研究用データセット ～ CCC DATAset 2009 ～ （１）マルウェア検体

ハニーポットで収集したマルウェア検体のハッシュ値10件
 分類（分類間で重複あり）
 解析結果を照合できる検体（9件）
 利用想定：検体の解析精度の評価

 関連性のある複数の検体（グループ1：3件、グループ2：2件）
 利用想定：検体間の関連性分析の評価

 特徴的な機能を有する検体（5件）
 利用想定：検体の特徴分析の評価

16

研究用データセット ～ CCC DATAset 2009 ～ （１）マルウェア検体

17

研究用データセット ～ CCC DATAset 2009 ～ （２）攻撃通信データ

ハニーポット（2台）の通信をホストOS上でtcpdumpしたpcap
 ハニーポットのOS（ゲストOS） Windows 2000
 Windows XPネットワーク接続環境
 FTTH、動的IPアドレス
 それぞれのハニーポットに物理IF割当



データ収集期間
 2009年3月13日／3月14日

総パケット数：3,511,850
 約580MB

18

研究用データセット ～ CCC DATAset 2009 ～ （２）攻撃通信データ

19

研究用データセット ～ CCC DATAset 2009 ～ （３）攻撃元データ

ハニーポット94台による1年間のマルウェア取得ログ
 データ収集日
 2008年5月1日～2009年4月30日
ログ項目
マルウェア検体の取得時刻
送信元IPアドレス
送信元ポート番号
宛先IPアドレス
宛先ポート番号
TCPまたはUDP
マルウェア検体のハッシュ値（SHA1）
ウイルス名称
ファイル名

20

例（一部を*でマスク）
2009-04-01 00:01:58
honey035
1034**.215.1.206
80
TCP*****86f2ec74727b14001cfe0b88af718797c91
WORM_AUTORUN.CZUC:¥WINDOWS¥system32¥ptkj.exe

研究用データセット ～ CCC DATAset 2009 ～ （３）攻撃元データ

項目
全レコード数TCPによるダウンロードレコード数
UDPによるダウンロードレコード数
ダウンロードホストIPアドレス種類数
マルウェア検体のハッシュ値種類数
ウイルス名称種類数（UNKNOWN含まない）
21

件数
2,470,766
63,82061,275
269,730
67,0551,335

CCC DATAset 2008／2009の主な違い
項目
マルウェア検体
検体数
選定条件

攻撃通信データ
ハニーポット
収集日
攻撃元データ
ハニーポット数
ハニーポットID
収集期間

222008

2009

1
多機能
解読困難

10
解析結果あり関連性のある複数検体
特徴的な機能honey001, honey002
2008/4/28, 2008/4/29

honey003, honey004
2009/3/13, 2009/3/14

112台なし
2007/11/1～2008/4/30

94台あり
2008/5/1～2009/4/30

研究用データセットの要件と課題
 データの種類
要件
 ①プログラムされた動作を解析できる検体そのもの
 ②ネットワークを介した感染・感染後の挙動データ
 ③PC内部の挙動データ
 ④必要となる前処理をした扱い易いデータ
 ⑤データ収集時点でしか得られない補足データ

考慮事項
 ①はマルウェア検体としてハッシュ値提供

 ②は攻撃通信データ
 ④は攻撃元データとして多面的な分析ができるようログ項目を選定

課題
 ③のファイル・レジストリ操作、⑤のDNSレコード、ブラックリスト

23

研究用データセットの要件と課題
 データ収集環境の網羅性
要件 攻撃対象そのもの
 OS種類、パッチ適用状況、AP導入状況、AP操作、各種設定

 ネットワーク接続環境
 ISP、IPアドレス帯、大域、アクセス制御

考慮事項
 一般ユーザが多く利用するPC・インターネット環境
 国内主要ISPを混在

課題
 物理的・論理的なリソースコスト
 自動解析のための相当数の検体数
 近年被害が拡大している受動的攻撃

24

研究用データセットの要件と課題
 データ収集の期間
要件
 長期間にわたる連続性のあるデータ
 すぐに提供できる最新のデータ

考慮事項
 攻撃通信データは休前日・休日を選定
 攻撃元データは2008・2009で連続、2009は1年間に拡大課題
 データ収集・提供の主体
 継続的な管理・提供

25

研究用データセットの要件と課題
 データ収集環境の運用情報要件 マルウェア活動の変化とデータ収集環境の変化
 リセット周期、IPアドレス割当、障害対応、性能拡張考慮事項
 必要最低限の情報を意見交換会などで事前に共有

課題
 機密性の高い技術ノウハウ
 攻撃者によるデータ収集環境の検知

 公開範囲・内容

26

まとめ マルウェア対策のための研究用データセット～CCC DATAset 2008/2009～

 研究成果の共有～MWS2008～

 MWS2009

一般口頭発表30件（うち学生の部15件）
 （２）攻撃通信データの新たな活用 ～ MWS Cup 2009 ～ MWSの新たな展開に向けたパネルディスカッション
 英語表記決定 anti-Malware engineering WorkShop
27http://www.iwsec.org/mws/2009/28