Computer Security Symposium 201119-21 October 2011

累積データを用いたボットネットの C&C サーバ特定手法の評価中村 暢宏†

佐々木 良一††東京電機大学〒101-8457 東京都千代田区神田錦町 2-2{nakamura,sasaki}@isl.im.dendai.ac.jp
あらまし 近年，ボットネットの被害が増加している．ボットPCの特定・隔離だけでは他のPCがボットとなり，ボットネットは攻撃者を特定しない限り解決に至らない．そこで著者らは，ボットネットを根源まで追跡する多段追跡システムの構想を示した.既存の多段追跡システム第2段追跡方式について，数量化理論2類に適用するデータとして，CCCDATAset2010と前年度のCCCDATAset2009を併用することで，依然として有効である事を再検証した．本論文では，CCCDATAset2011の解析結果を先の特定手法に適応し，有効であるか検証すると共に，3年分の累積したデータの有用性を検証し，その評価結果の報告を行う．

Evaluation of Technique to Detect C&C Server ofBotnet Using Accumulated Data
Nobuhiro Nakamura†

Ryoichi Sasaki††Tokyo Denki University†2-2, Kanda-Nishiki-cho, Chiyoda-ku,Tokyo, 101-8457 JAPAN{nakamura_n, sasaki}@isl.im.dendai.ac.jp
Abstract Recently, the damage caused by the botnet has been increasing. There exists aproblem that the other bot PCs can be produced, even if one bot PC could be specified
and removed．Therefore, we proposed the Multi Stage Trace Back system. We also
developed second stage trace back method which consists of black list and Quantification
methods No. 2 with CCCDataSet2009 and CCCDataSet2010.This paper reports theevaluated results of applying Quantification methods No. 2 with CCCDataSet2011 andaccumulated of the three years minute.
作する攻撃者(以下,ハーダーとする)からの命令を1 はじめに受けることで,複数台のボット PC が一斉に SPAM

近年ボットネットの被害が増加し問題になってメールの送信や DDos(Distributed Denial of Service)

いる.ボットネットとは,ボットウイルスに感染し攻撃の実行など,様々な活動を行う.これらのボッたコンピュータ(以下,ボット PC とする)が複数組

ト PC からの攻撃が送信元を偽装していた場合,特み合わさって構成されるネットワークであり,構定が困難であるが,それでも IP トレースバックな成するボット PC の数は数百から数万台に登る[1]．

どの方法を用いることで,発見が可能である.しかボット PC は C&C(Command and Control)サーバとし対策が不十分であれば,ボットが新たに感染す呼ばれる中継サーバを介して,ボットネットを操る恐れがある為,根本的な解決には至らない[2].

- 456 -このような問題に対して本研究室では,ネットな量的データである場合,多変量解析が使用できワーク管理者が情報共有を行い,ボット PC や C&Cる.しかし,解析対象データが数値化不可能な質的サーバ,ハーダーの操作 PC の特定を目的とする,データである場合,多変量解析が使用できない.こ多段トレースバックシステムを構想した[3].

れに対して数量化理論は,分析対象が質的データ

本研究では,多段追跡システムのうち, 第 2 段トの場合でも, ダミー変数の導入による質的データ

レースバックシステムにおいて C&C サーバ・ダの数量化を行い,多変量解析をする事で解析を行

ウンローダの 2 種(以下,第二段追跡対象とする)をう事ができる.その中でも,今回使用する数量化 2検知する方式に関するものであり, 先に再検証し類は,分析対象データが数量化不可能な質的デーた検知方式[4]が,新しいデータが得られた時点でタにおいて,量的データの判別分析に相当する処も有効か再評価結果を報告すると同時に,3 年間に理が可能である[4].数量理論 2 類を用いて第二段渡って収集したデータを併用することで,累積し追跡対象の検知を行うにあたり行う実験は,「与えたデータの検知方式式への影響を評価するものでられたデータからカテゴリースコアと境界値を設ある.

定し,最適な組み合わせを仮定する」パラメータ設

本稿では,2 章で第 2 段トレースバックシステム

定実験と,「求められた組み合わせを,異なるデータについて説明し,3 章で CCC2011 の解析結果につを用いて検証する」検証実験の 2 段階に分かれる.

いて述べ, 4 章で解析結果と過去 2 年分の解析結果とを用いた検知方式の実験検証の結果を報告し,5 章で新たにパラメータ候補の検証結果を報告する.

2 第二段トレースバックシステム
2.1

用いる検知方式
図1. 数量化理論 2 類概要

第二段追跡対象の特定に用いる手法は,ブラックリストを用いる検知方式と,数量化理論２類を用いる検知方式の二つを組み合わせたものである．

3 CCCDATAset2011 解析結果

ここでは,数量化理論２類を用いて分類を行う為

前 2 章で述べた様に,数量化理論２類を用いた検にサイバークリーンセンターより得られ知方式へ適用するパラメータ候補を求める

た,CCCDATAset2011[5]の解析結果を使用する．

為,CCCDATAset2011 に含まれる,攻撃通信データ

2.2

ブラックリストを用いる検知方式の解析を行った[5].この解析では,ボットネットに関係するデータ,比較対象としてのボットネットボットネットにおいて,不正を働く可能性が高に関係のないデータ,これら 2 種類のデータを用いい C&C サーバの IP アドレスやドメイン名を公開る.なお,これらの調査は,各ボット PC が接続するしている複数のサイトが存在する.これらのサイ第二段追跡対象のドメインであり,直接ボットネ

トから,ドメインの一覧を取得し,ブラックリストットに関する特徴を調査したわけではない.

を作成する.このブラックリストとのマッチングを行うことで,第二段追跡対象の検知を行う.

2.3

数量化理論を用いる検知方式

今回の解析で CCCDATAset2011 の攻撃通信データより下記の手順で第二段追跡対象と思われるドメイン(以下,ボットネットドメインとする)を 42個取得した.

数量化理論は,林知己夫教授らにより開発され1. 受信データ内の DNS クエリを取得た日本独自のデータ分析手法である. データ分析

2. 取得した DNS クエリ内の以下を除外手法において,分析対象のデータが数値化不可能(ア)- 457 -IP アドレスのみ

(イ)Yahoo など明らかな正規ドメイン

4 併用実験による検証と評価

3. 重複した項目を除外
これら 42 個のボットネットドメインの他に,ボットネットとは関係しない通信データとして,当大学のネットワークから通信データを取得し,任意のDNS通信から42個のドメイン(以下,ノーマルドメインとする)を取得した.作業手順は,ボットネットドメインの取得時に準ずる.
取得したドメインに含まれる各種データの内,数量化理論 2 類を用いた検知方式に使用するパラメータとして,以下の項目を調査した.
1．
2．
3．
4．
5．

逆引きTTL値
SOAレコード
Web,Mailサーバの有無
WHOIS情報

前 3 章の結果を基に,数量化理論 2 類による検知実験を行った.実験には,株式会社エスミ社のソフトウェア「Excel 数量化理論 Ver3.0」を使用した.
ここで,判別式に用いるパラメータ数とその組み合わせを設定するパラメータ設定実験では,下記の 3 種の組み合わせを用いて検証を行った.
1.

2010 年度データを用いる検証

2.

2 年分のデータを併用する検証

3.

3 年分のデータを併用する検証
本章では,これらの組み合わせの実験で,累積したデータの検知方式への影響を検証する.

4.1

2011 年度データでの試行

これらの調査はそれぞれ,1 は, DNS サーバに対検証実験に用いるパラメータ数と組み合わせして IP アドレスからドメイン名の問い合わせをを,2011 年度データを用いたパラメータ設定実験行う調査.2 は,DNS サーバから取得したドメインで求める.実験に使用したパラメータ設定値を以情報の有効期限である TTL 値の調査.3 は,各 DNS下の表 1 に示す.

表1. パラメータ設定値 1

サーバから取得したドメインの設定情報の調査.4
は,同一度名上の,Mail サーバ,Web サーバのドメイン名登録の有無を調査.5 は,各レジストリ組織が管理している,ドメインや IP アドレス,管理者情報の調査である.各項目の調査手法に関しては,1 はWHOIS サービスを用いて調査を,2.3.4.5 は各ドメイン情報を持つ DNS サーバに対して,dig コマンドを用いて調査を行った.

逆引き
返答なし
返答が不正
返答が正しい値
123

Mailサーバ
有り
無し

値
12

TTL値
1-10001001-100000
100001N/A

値
1234

Webサーバ有り無し

値
12Minimum値
1-100
101-1000
1001N/A

値
1234

ドメイン登録期間
1-2500(日)2501-5000(日)5001N/A

値
1234

これらはボットネットの特徴が見られるとして調査された項目である.昨年度(2010 年度)データと比較を行った.
その結果,「逆引き」「Whois 情報」「Web,Mailの各サーバの有無」に関して,大きな変化が見られなかった.この為,「逆引き」「Web,Mail の各サーパラメータ設定実験では,最適なパラメータのバの有無」に関して依然としてボットネットドメ数を調べる為,赤池情報量基準(以下,AIC とすインを特徴付けるデータとして一定の有効性が保る)[6][7]を用いる.

たれていると考えられる一方で, 「TTL 値」

AIC は,元統計数理研究所所長の赤池弘次によ「minimum 値」には値の一定の値に集中する傾向って考案された，統計モデルの良さを評価するたが見られたが, 「TTL 値」に関しては,ノーマルドめの指標である.AIC を用いる事で，モデルの複雑メインと比較した場合,比較対象として有効とはさとデータとの適合度のバランスを取る事が可能言えない結果であった.となる.データを統計的に説明する数式では,パラメータの数を増やせば,測定データとの適合度が高くなる.しかし,無意味なノイズの影響を多く受- 458 -表2. 節 4.1 パラメータ設定実験結果ける事に繋がり,信頼性が低下してしまう.このような問題に対して,AIC は式(1)によって求められる最小 AIC 時のパラメータ数を選択する事で,多くの場合,良いモデルを選択する事が可能となる.

AIC=-2lnL+2k式(1).

ここでは，数量化理論 2 類試行時のパラメータ

逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き

TLL
TLL
TLL
TLLータである．今回の使用する値は，k が各要素数にあたり，L が各パラメータ数での数量化理論 2基準(以下,BIC とする)を,最適パラメータ数の選定に用いた.BIC は,AIC 同様,統計における情報量基準の一つである.BIC は AIC 同様,式(2)によって求められる最小 BIC 時のパラメータ数を選択する事

minimumminimumminimum

Webサーバ
登録期間
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ
Webサーバ

登録期間
登録期間

登録期間
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ Webサーバ

逆引き
逆引き
逆引き
逆引き
逆引き
逆引き

TLL
TLL
TLL

4.2

データによる併用試行

で,多くの場合に良いモデルを選択する事が可能となる.

登録期間
Mailサーバ

登録期間
登録期間
登録期間
登録期間
登録期間

表3. 節 4.1 検証実験結果

小 2 乗和に相当する．
また,今回新たに比較対象としてベイズ情報量

Webサーバminimum
minimum
minimum

類を用いて求めた判別結果と，正答との乖離の最

76.2%
71.4%
76.2%
76.2%
76.2%
69.0%
73.8%
76.2%
66.7%
76.2%
71.4%
69.0%
71.4%
73.8%
71.4%
71.4%
33.3%
64.3%
61.9%
64.3%

Mailサーバ

minimum
minimum
minimum

TLL
TLLTLL
TLL
TLL
TLL

数の設定に使用する.L は最大尤度,k は自由パラメ

minimum

minimum
Webサーバ
登録期間
minimum

Mailサーバ
Mailサーバ Webサーバ
Webサーバ

登録期間

76.2%
76.2%
76.2%
76.2%
76.2%
76.2%

71.4%
71.4%
76.2%
71.4%
69.0%
73.8%

検証実験に用いるパラメータ数と組み合わせを求める為,節 4.1 で用いたデータに加え,2010 年度

BIC=-2ln(L)+kln(n) 式(2).

取得したデータを併用する実験と, 2009 年度取得

使用するドメインのデータは,前 3 章で示したよ

したデータを併用する実験,それぞれを行った.こうに,ボットネットドメインが 42 個,ノーマルドメの際に用いたデータは,節 4.1 で使用したドメイン

インが 42 個有る.パラメータ設定実験,検証実験,に,CCCDATAset2010 から取得したボットネットそれぞれの使用するドメイン数は均等な数が望まドメインの半数に当たる 15 個,CCCDATAset2009

しい.よって各ドメインを任意に選択し,両ドメイから取得したボットネットドメインの半数に当たンを 21 個ずつ用いた.

る 9 個をそれぞれ加えたモノである.節 4.1 同様

なお,以降出てくる検知率は,ボットネットドメ

AIC と BIC を求めたところ,共に最適パラメータ数

インにおける True Positive と,ノーマルドメインに3 という結果を得られた.

おける True Positive を合わせた値とする.

表 4 に 2 年分のデータ併用による試行結果を, 表 54.1.1 パラメータ設定実験結果
パラメータ設定実験結果から AIC と BIC 双方を求めたところ,共に最適なパラメータ数 3 という結果を得られた.表 2 にパラメータ数 3 における試行結果を示す.この結果より,もっとも検知率が高い6 組について検証実験を行った.にパラメータ数 3 における試行結果を示す.

表4. 節 4.2 パラメータ設定実験結果
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き

TLL
TLL
TLL
TLL

が高い組み合わせは,「逆引き」「TTL 値」「登録期間」で,76.2％となった.

Mailサーバ
Webサーバ
登録期間
minimum
minimum
minimum

TLL
TLL
TLL
TLL
TLL
TLL

検証実験の結果を表 3 に示す.結果,最も検知率

minimum

minimum
minimum
minimum

minimum
minimum
minimum- 459 -

Mailサーバ
Webサーバ
登録期間
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ
Webサーバ

登録期間
登録期間

登録期間
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ Webサーバ

登録期間
登録期間
登録期間
登録期間
登録期間

68.4%
64.9%
66.7%
77.2%
68.4%
63.2%
75.4%
64.9%
73.7%
70.2%
66.7%
70.2%
68.4%
70.2%
66.7%
70.2%
29.8%
64.9%
63.2%
59.6%

5 新規パラメータの検証と評価

表5. 節 4.3 パラメータ設定実験結果
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き
逆引き

TLL
TLL
TLL
TLL

minimum
Mailサーバ
Webサーバ
登録期間
minimum
minimum
minimum

TLL
TLL
TLL
TLL
TLL
TLL

minimum
minimum
minimum

minimum
minimum
minimum

Mailサーバ
Webサーバ
登録期間
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ
Webサーバ

登録期間
登録期間

登録期間
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ Webサーバ
Mailサーバ
Webサーバ
Mailサーバ Webサーバ

登録期間
登録期間
登録期間
登録期間
登録期間

65.2%
68.2%
72.7%
74.2%
69.7%
69.7%
75.4%
64.9%
73.7%
70.2%
66.7%70.2%
68.4%
70.2%
66.7%
70.2%
29.8%
64.9%
63.2%
59.6%

今回,従来使用してきた数量化理論 2 類を用いた検知方式に使用するパラメータに加えて,以下の項目を追加調査した.
1．
2．
3．

NSレコードCNAMEレコード
Aレコードに関する調査の変更

これらの調査はそれぞれ,1 は,DNS サーバから取得した,委任するドメインの情報を持つネームサーバの指定をする NS レコードの個数の調査.2 は,

この結果より,2 年分の併用では,項 4.1 と同様の結ホストに割り当てられた名前から正規の名前を取果となった.また,3 年分の併用では,最も検知率が得する際に使用する CNAME レコードの個数の調高い組み合わせが「逆引き」「minimum 値」「登査である.これらの調査は,従来収集していた SOA録期間」となり,検証実験を行ったところ,検知率はレコード同様に,各ドメイン情報を持つ DNS サー71.4％となった.

バに対して,dig コマンドを用いて調査を行った.また,3 に関しては,従来「Web サーバの有無」として4.3併用実験に関する考察きた,IP アドレスとの関係付けを行う A レコード

3 種類の組み合わせで行った検証実験の比較結の個数に関しての調査へ変更した.これは,昨年度果を表 6 に示す.この際,併せてボットネットドメからであるが Web サーバの有無のみでは，2 種のインにおける False Negative の値を比較する.多段ドメイン間に差が無いことが確認できる為,有効追跡システムにおける第 2 段トレースバックシス性がある候補とする為である.これらのパラメー

テムは,前提としてボットドメインと疑わしいドタ設定値は,以下の表 7 に示す通りである.

表7 パラメータ設定値 2メインの判別を行う.この為,ボットドメインの検出漏れを防ぐ為に False Negative の値が低いことが望ましい．

NSレコード有り無し

値
12

Aレコード個数
0１〜２３〜値
123

CNAMEレコード有り
無し

値
12

表6 実験結果比較

項4.1
項4.2
項4.3

設定実験 検証実験 FalseNegative
76.2%
76.2%
33.30%
77.2%
76.2%
33.30%
75.4%
71.4%
30.4%

表から解るように,節 4.2,4.3 とデータ数を増や5.1

パラメータ設定実験結果したところ,検知率の招く結果となった.一方で,パラメータ設定実験から AIC を求めたところ,

節 4.3 の False Negative は節 4.1,節 4.2 と比べ改善最適なパラメータ数 4 という結果を得た. 従来のした.これらから,蓄積したデータが検知精度に及方式では,すべてパラメータ数 3 という結果が出てぼす影響は,安定していないが,検出漏れの防止にいる.この変化を比較するために,パラメータス 4一定の効果が見られる,しかしながら,現状取得しで最も検知率が高い 6 組,並びに,パラメータ数 3たデータを用いた実験では,検知精度の向上が難で最も検知率が高い 1 組について検証実験を行う.

しいと考えられる.そこで次章では,従来使用してきたパラメータ候補について,追加・変更すること

5.2

検証実験結果

検証実験の結果を表 8・表 9 に示す.結果,パラメで,検知精度の向上を計る.

ータ数 4 では,最も検知率が高い組み合わせは二組存在し,「逆引き」「minimum 値」「A レコード」- 460 -

に,「TTL 値」又は「登録期間」を加えたモノであの検知について,一定の成果が得られ,改善した.

った.これらの検知率は,97.6％と非常に高い検知

6 終わりに率であり,検知漏れを表すFalse Negative の値は0％と,検知漏れが無いことが確認できる.一方で, パ多段追跡システムのうち,先に提案された第 2

ラメータ数 3 では, 最も検知率が高い組み合わせ段トレースバックシステムの解析手法について,3

でも 90.5％とパラメータ数 4 には劣るが高い値を年間に渡るデータの検知方式への影響の検証を行示し,False Negative の値も 9.5％と高く無い結果でった.実験により,検出率を検証したが,データがはあるが,パラメータ数 4 には劣る結果となった.

増えるほど検出精度が不安定になり,検知率が低

表8 5 章検証実験結果 1
逆引き
逆引き

TLL minimum
minimum
TLL minimum
minimum
minimum
minimum

登録期間
登録期間
Mailサーバ 登録期間
登録期間
登録期間

下することが確認された.

Aレコード
97.6%
Aレコード
97.6%
Aレコード
95.2%
Aレコード
92.9%
Aレコード NSレコード
90.5%
Aレコード
CNAMEレコード 90.5%

5.3

ところ,検出精度は極めて高い値を得る結果となった.その理由は,ボットネットの特徴が変動し,

表9 5 章検証実験結果 2minimum

しかし,パラメータ候補の追加を行い検証した

従来用いていたパラメータ候補では対応できなく

登録期間 Aレコード個数90.5%なっているが,変更する事で検出精度の改善につながったと考えられる.

ブラックリストを併用した検証

次に,表 10 に示す比較結果は,前章までの実験結果に加えて,2010 年１月から 2011 年 4 月の期間中に公開されたブラックリストを用いたブラックリ

今後,パラメータに用いる特徴ある項目の調査と共に,特徴変動に対応できるシステムを検討する.

スト方式でのマッチング結果を併せた検出結果の参考文献

比較である.

[1] 「ボットウイルスの脅威と対策」2010 年 7 月総務省・経表１０ ボットネットドメイン検知結果
項4.1
1○
2○
3○
4○
5○
6○
7×
8×
9×
10 ×

項4.2
○
○
○
○
○
○
××
○
○

項4.3
○
○
○
○
○
○
××
○
×

5章
○
○
○
○
○
○
○
○
○
○

BL×
○
○
×
○
○
××
○
○

項4.1
11 ×
12 ○
13 ○
14 ○
15 ○
16 ○
17 ○
18 ○
19 ×
20 ○
21 ×

項4.2
○
○
○○○○
○
○
×○
○

項4.3
○
×
○
○
○
○
×
○
××
○

5章
○
○
○
○
○
○
○
○
○
○
○

済産業省連携プロジェクト サイバークリーンセンター
BL○○○××○×○○○○

結果,パラメータ設定実験において,2011 年度データを使用した項 4.1 では 7 カ所,2010 年度データを併用した項 4.2 では 3 カ所,2009 年度データを併用した項 4.3 では 7 カ所検出漏れが発生した.ここに,ブラックリストによる検知を併用した場合
でも,項 4.1 で 2 カ所,項 4.2 で 2 カ所,項 4.3 では 3カ所検出漏れが発生した.
これらの結果と各検知率の比較から,データの併用が必ずしも検出精度の向上に有効であるとは言えない結果となった.これは,時間経過と共にボットネットの特徴自体が変化し,従来収集してきたドメインデータだけでは,データの併用をしても対応が難しくなったと考えられる.この点,パラ[2] ボットネット概要,
http://www.jpcert.or.jp/research/2006/Botnet_summa
ry_0720.pdf[3] 三 原 元 , 佐 々 木 良 一 , 「 数 量 化 理 論 とCCCDATAset2009 を利用したボットネットの C&C サーバ
特定手法の提案と評価」, マルウェア対策研究人材育成ワークショップ 2009 (MWS2009), A6-1, 2009 年 10 月.

[4] 中村暢宏, 名雲孝昭, 田中達哉, 三原元,佐々木良一,「攻撃データ(CCCDataset2010)を利用したボットネットのC&C サーバ特定手法の再評価」, マルウェア対策研究人
材育成ワークショップ 2010 （MWS2010）, 3F2-3, 2010 年
10 月.

[5] 畑田充弘，他：マルウェア対策のための研究用データ
セット ～MWS 2011 Datasets～，MWS2011（2011 年10 月）[6] 赤池弘次，甘利俊一，北川源四郎，樺島祥介，下平英俊「赤池情報量基準 AIC」

[7] 原口正行のホームページ EXCEL を使った多変量解析

メータ候補の変更により, ボットネットドメイン- 461 -