情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

機械学習を用いたスプログ検出におけるHTML 構造の類似性の利用

Utilizing Similarities of HTML Structuresin Splog Detection by Machine Learning
片山 太一∗Taichi Katayama

芳中 隆幸†
Takayuki Yoshinaka

宇津呂 武仁∗Takehito Utsuro

河田 容英‡
Yasuhide Kawada

福原 知宏§Tomohiro Fukuhara
Abstract: Spam blogs or splogs are blogs hosting spam posts, created using machine
generated or hijacked content for the sole purpose of hosting advertisements or raising the
PageRank of target sites. Among those splogs, this paper focuses on detecting a groupof splogs which are estimated to be created by an identical spammer. We especially showthat similarities of html structures among those splogs created by an identical spammer
contribute to improving the performance of splog detection. In measuring similarities ofhtml structures, we extract a list of blocks (minimum unit of content) from the DOM
tree of a html ﬁle. We show that the html ﬁles of splogs estimated to be created by an
identical spammer tend to have similar DOM trees and this tendency is quite eﬀective in
splog detection.
Keywords: spam blog, machine learning, HTML structure, conﬁdence measure, SVM

1

具体的には，ブログ解析サービスとして，Technorati1 ，

まえがき
ブログには個人の意見情報が記されており，市場の動向を推測するための手掛かりや製品についての意見調査をする上で有益であるとして，近年注目を集めている．
そのため，従来からあるインデクシングのみを行う検索エンジンとは異なる，ブログ特有の情報検索サービスが出現している．

BlogPulse2 ，kizasi.jp3 ，blogWatcher 4 [1] などが存在す
る．多言語ブログサービスとしては，Globe of Blogs5 が言語横断ブログ記事検索機能を提供している．また Best

Blogs in Asia Directory 6 がアジア言語ブログの検索機
能を提供している．Blogwise7 もまた多言語ブログ記事の分析を行っている．
一方で，ブログのウェブコンテンツの作成と配信は非∗ 筑 波 大 学 大 学 院 シ ス テ ム 情 報 工 学 研 究 科,

〒 305-8573 茨{katayamataichi2008, ut-

城 県つ く ば 市天 王 台 1-1-1, email:suro} @ nlp.iit.tsukuba.ac.jp
Graduate School of Systems and Information Engineering,University of Tsukuba, Tsukuba, 305-8573, Japan† 東京電機大学院工学研究科, 〒 101-8457 東京都千代田区神田錦町 2-2, email: yoshinaka @ cdl.im.dendai.ac.jp
Graduate School of Engineering, Tokyo Denki University, Tokyo,
101-8457, Japan‡ (株) ナビックス, 〒 141-0031 東京都品川区西五反田 8-3-6,
Navix Co., Ltd., 8-3-6 Nishi-Gotanda, Shinagawa-Ku Tokyo 1410031, Japan§ 東京大学 人工物工学研究センター, 〒 277-8568 千葉県柏市柏の葉 5-1-5, email: fukuhara @ race.u-tokyo.ac.jp
Research into Artifacts, Center for Engineering, University ofTokyo Kashiwa, Chiba 277-8568, Japan

常に容易になっており，そのことが引き金となって，アフィリエイト収入を得ることを目的とするスパムブログ(以下，スプログ) が急増している [2, 3, 4, 5, 6]．スプ
ログにおいては，通常，広告主への誘導または対象サイトのページランクを増加する目的のもとで，機械的な文書作成や他サイトの引用という手段を用いて自動的
1 http://technorati.com/

2 http://www.blogpulse.com/

3 http://kizasi.jp/ (日本語のみ)

4 http://blogwatcher.pi.titech.ac.jp/ (日本語のみ)
5 http://www.globeofblogs.com/
6 http://www.misohoni.com/bba/
7 http://www.blogwise.com/

䉴䊒䊨䉫1

表 1: スプログ/非スプログデータセット䉴䊒䊨䉫䋲(a) スプログ/非スプログ数
ブログホスト

CC 社

SS 社

その他

合計

スプログ数

198

293

277

768

非スプログ数

210

259

2849

3318

合計

408

552

3126

4086

(b) 大量生成型スプログ数
ブログホスト

CC 社

SS 社

ID

1

2

3

4

スプログ数

163

26

31

33

に記事を生成し，大量のリンクを有するブログを機械的に自動生成する．[4] は英語ブログにおいて，約 88%のブログサイトがスプログであり，それは全ブログポストの 75%を占めると報告している．このことから，[3, 7]に述べられているように，スプログは情報検索品質の

図 1: HTML 文書からの DOM 系列抽出および DOM 系

低下やネットワークと格納資源の多大な浪費などといっ

列差分算出の例

た問題を起こす要因となる．そのため，近年，スプログ

2の分析や検出を目的とした研究が進められている．[5]では，TREC8 Blog06 データコレクションを用いて，ス
プログのピング時系列特性，入力度数/出力度数の分布
特性，典型的な単語群を分析している．また，[4, 6] は，

BlogPulse データセットを用いたスプログ分析の結果を報告している．一方，[8, 9, 10, 4] では，スプログを機
械的に特定し，排除する技術について報告している．
以上の先行研究をふまえて，本論文では，同一のスパ
ムブログ作成者が自動的に大量生成したと推測されるス
プログは，HTML 構造が類似していることを示す．また，機械学習のひとつである Support Vector Machines [11](SVM) を用いた枠組みによって，スパムブログの判定を行うタスクを設定する．未判定のブログが入力された
とき，SVM の分離平面によって，スパムブログかそうでないかを決定する．さらに，SVM では分離平面との距離を出力できるので，分離平面との距離を信頼度として利用する [12]．出力である信頼度を用いて，ブログを，
高信頼度スパムブログ判定結果，高信頼度非スパムブロ
グ判定結果，低信頼度判定結果の三種類に分ける．特に，HTML 構造の類似性を素性として，SVM を用いたスプログ検出を行った結果において，スプログ検出の性能が向上することを示す．

スプログ/非スプログデータセット
本論文では，2007 年 9 月 ∼2008 年 2 月の期間において収集した日本語スプログ/非スプログデータセットを用いる．日本語スプログ/非スプログデータセットは，[13, 14] で提案された基準によって，スプログ/非スプロ
グを判定した結果が付与されている．また，日本語スプ
ログ/非スプログデータセットの中で，極めて構造が類似するスプログを，同一作成者が自動生成している「大量生成型」のスプログ [13, 14] として同定し，大量生成型スパマー ID を付与している。それ以外のスプログを「単発」スプログとした。
本論文の評価のうち，特に大量生成型スプログを対象とした評価においては，スプログ・非スプログデータ
セット中において，一定数以上の大量生成型スプログを収集済の大量生成型スパマー ID を対象とする．具体的には，表 1 に示すように，ブログホスト CC 社におけるスパマー ID=1 の大量生成型スプログ，および SS 社
におけるスパマー ID= 2, 3, 4 の大量生成型スプログを対象とする．なお，[13, 14] においては，2 社以上のブログホストにまたがって，同一の大量生成型スパマーによって自動生成されたと推測される大量生成型スプログも収集されている．しかし，異なるブログホストのスプ
ログ・非スプログの間では，HTML 文書の構造が大きく異なることが多いため，本論文では，同一の大量生成型スパマーによって自動生成された大量生成型スプログのうち，特にブログホストが同一のものに限定して評価

8 http://trec.nist.gov/

を行う．

3

HTML 構造の類似度

3.1HTML 文書の DOM 系列の抽出

本論文では，[15] で提案されたブロック抽出の方式をプログ同士の間で DOM 系列の差分の割合の分布を比較する．そのためにまず，HTML 文書 s ∈ S に対して，

HTML 文書集合 T の要素 t ∈ T との間で，差分の割合
Rdif f (s, t) が最も小さい 10 個を求め，その差分の割合

ふまえて，HTML 文書から DOM 系列を抽出する．

の平均値を AvM inDF10 (s, T ) とする9 ．

まず，図 1 に示すように，HTML 文書 s 中の全てのHTML タグを木構造で表現する．次に，この HTML タ

AvM inDF10 (s, T )=T 中で，Rdif f (s, t ∈ T ) のグの木構造に対して，ブロックレベル要素として用いら値が最も小さい 10 個の t にれるタグのうち，P タグおよび DIV タグによって木構

対する Rdif f (s, t) の平均値

造を分割し，これらのタグの下位にあるタグを取り込む
ことによって，個々のブロックを構成する．ここで，一次に，大量生成型スプログ (ID=1, CC 社)，および，般に，ブロックレベル要素としては，P タグおよび DIV

大量生成型スプログ (ID=2, 3, 4, SS 社) を対象として，

タグ以外のタグも用いられるが，本論文では，簡単化の大量生成型のスプログ同士，大量生成型のスプログと単ために，P タグおよび DIV タグに限定する．また，[15]発スプログの間，大量生成型のスプログと非スプログのと同様に，BODY タグも，P タグおよび DIV タグと同間，および，単発スプログ・非スプログ同士の間で DOM様に扱い，BODY タグの位置において，HTML タグの系列の差分の割合の分布を求め，これを図 2 において比木構造の分割を行う．さらに，[15] では，ブラウザにレ較する．ここで，大量生成型のスプログ同士の場合には，ンダリングされない SCRIPT と STYLE の二タグ及び同一の大量生成型スパマー ID (例えば，ID=1) を持つ

その下位ノードはブロック内に含めないとしているが，大量生成型スプログの集合を S および T として，S の本論文では，ブロックの中身の詳細を区別するために，

要素 s に対して AvM inDF10 (s, T ) の分布を求める．一

これらのタグ以下もブロック内に含める．

方，大量生成型のスプログと単発スプログの間の場合に次に，ブロックにまとめあげられた HTML タグの木は，例えば，大量生成型スプログ (ID=1, CC 社) を対象

構造を横型探索することにより，ブロックのリスト構造とする場合には，大量生成型スパマー ID=1 を持つ大量を形成し，HTML 文書 s の DOM 系列 dm(s) とする．

生成型スプログの集合を S ，ブログホスト CC 社におけ3.2

DOM 系列の差分の割合

る全単発スプログの集合を T として，S の要素 s に対して AvM inDF10 (s, T ) の分布を求める．大量生成型のスHTML 文書 s および t に対して，それぞれから抽出さプログと非スプログの間の場合も同様である．一方，単れた DOM 系列 dm(s)，および dm(t) の差分を DP マッ

発スプログ・非スプログ同士の間の場合は，ブログホス

チングによって求める．DP マッチングの際，挿入およびト SC 社およびブログホスト SS 社のそれぞれについて

削除のコストを 1，置換のコストを 2 として，DP マッチ

分布を求める．例えば，図 2(a) の場合は，ブログホスト

ングのより求まる編集距離を edit distance (dm(s), dm(t))

CC 社中の単発スプログ ・非スプログの和集合を S おとする．次に，以下の式で s，t の DOM 系列の差分のよび T として，S の要素 s に対して AvM inDF10 (s, T )割合 Rdif f (s, t) を計算する．

の分布を求める．図 2(b)，(c)，(d) の場合は，ブログホ
スト SS 社中の単発スプログ ・非スプログを対象としてRdif f (s, t) =edit distance (dm(s), dm(t))|dm(s)| + |dm(t)|

図 1 に，二つのスプログの HTML 文書から DOM 系列を求めた後，差分の割合を模式的に算出する様子を示す．

3.3

DOM 系列の差分の割合の分布

次に，スプログもしくは非スプログの HTML 文書の集合 S および T の間で，HTML 文書 s ∈ S および t ∈ Tの間の DOM 系列の差分の割合を求め，その分布を分析する．具体的には，大量生成型のスプログ同士，大量生成型のスプログと単発スプログの間，大量生成型のス
プログと非スプログの間，および，単発スプログ・非ス

同様の分布を求める (図 2(b)，(c)，(d) とも全く同一の分布を示している．) 図 2(a),(c),(d) のいずれの分布を見ても，大量生成型のスプログ同士の分布に対して，それ以外の，大量生成型のスプログと単発スプログの間の分布，大量生成型のスプログと非スプログの間の分布，および，単発スプログ・非スプログ同士の分布がほぼ分離される傾向にあることが分かる．例えば，図 2(a) では，大量生成型のスプログ同士では，ほぼ全ての大量生成型に対する AvM inDF10 (s, T ) の値が 0 から 0.15 の範囲に分布しており，それ以外の三種類の分布とはほぼ分離される
9 AvM inDF (s, T ) について，k = 1, . . . 25 の性能を比較した結k果，k = 10 の場合が最も高い性能を示した．

(a) 大量生成型スプログ (ID = 1，CC 社)(b) 大量生成型スプログ (ID = 2，SS 社)(c) 大量生成型スプログ (ID = 3，SS 社)(d) 大量生成型スプログ (ID = 4，SS 社)

図 2: スプログ・非スプログの DOM 系列の差分の割合の分布
また，図 2(b) の ID=2 の大量生成型スプログにおいその対数 log AvM inDF10 (s, T ) を素性値とする．このて，大量生成型のスプログは, 他のブログサイトに比べ手順において，差分を求める対象の集合 T を二通り用て類似しているとはいえない．これらにおいては，スプ意することにより，以下の二種類の素性を設定する．

ログの本文部分は極めて類似しているが，サイドバー部
分が大きく違うことにより，AvM inDF10 (s, T ) が大きくなっていた．

1. 集合 T を，訓練事例中の全ブログの集合とする．
この素性を，DOM 系列差分 (ブログ) 素性とよぶ．

以上の結果から，同一の大量生成型スパマー ID を持つ

2. 集合 T を，訓練事例中の全大量生成型スプログの大量生成型スプログの HTML 文書から抽出した DOM集合とする．この素性を，DOM 系列差分 (大量生

系列は，相互に高い類似性を持つものが多く，この類似成型) 素性とよぶ．

性を用いることにより，同一ブログホストにおける単発スプログや非スプログとの識別において利用できる可能性があることがわかった．

4

スプログ検出のための素性
本節では SVM によるスプログ判定において用いる素性について述べる．

4.1

DOM 系列の差分素性

本論文では，3 節で述べた手法により，HTML 文書
から DOM 系列を抽出し，それらの差分の割合を求め，素性値とする．以下では，訓練・評価事例となるスプ
ログまたは非スプログを s とし，3.3 節の手順によりAvM inDF10 (s, T ) を求めた後，

4.2

従来からの素性

文献 [16, 17] で使用した素性を従来の素性とする．

4.2.1

ブラックリスト/ホワイトリスト URL 素性訓練事例として，スプログ/非スプログが与えられると，その HTML 文書からアウトリンクとなっている URLを抽出する．その中から以下の条件を満たすものを選定
し，ホワイトリスト URL とした．

i) 訓練事例中のスプログの HTML ファイルのいずれにも含まれない URL である．
ii) 訓練事例中の非スプログの HTML ファイルの中で，2 回以上出現する URL である．

次に，各ホワイトリスト URL u に以下のように重みづけを行い，ホワイトリスト URL 素性の値を算出した．
⎛⎞ ⎛⎞訓練事例全体の中の
評価事例
⎜
⎟ ⎜
⎟
log
⎝ 非スプログにおける ⎠×⎝ における u の ⎠u

u の総出現頻度

出現頻度⎛

ブログサイト s 中で名詞句 w が⎞⎟⎜アンカーテキストに含まれ
⎟
⎜
⎟
⎜
⎜
Ancf W (w, s) = ⎜ そのリンク先がホワイトリスト ⎟⎟⎟⎜URL もしくは訓練事例中の⎠⎝非スプログとなっている回数[18, 13, 14] の知見より，スプログおよび非スプログ中

そして，訓練事例中のスプログ全体の中での総出現頻
度
Ancf B(w, s) が 2 以上であるものを選定し，「ブにおける単語の分布には異なりがあり，特定の種類の単ラックリスト URL へのアウトリンクを持つスプログア

語は非スプログよりもスプログに現れやすいということ

ンカーテキスト名詞句」とする．次に， w を「ブラックがわかっている．そこで，特定の名詞句とスプログ，非リスト URL へのアウトリンクを持つスプログアンカー

名詞句素性

4.2.2

s

スプログとの間の相関をとらえるために，名詞句素性をテキスト名詞句」として，評価事例 t に対して以下の重導入する．

みを算出し，評価事例 t に対する「ブラックリスト URL

具体的には，スプログ/非スプログの本文テキストを形態素解析10 した結果から名詞句を抽出し，以下の分へのアウトリンクを持つアンカーテキスト名詞句素性」の値とする．

割表にしたがって，訓練データ中のスプログ/非スプロ
グにおける名詞句 w の出現頻度を用いて，スプログと
名詞句 w との間の φ2 統計量を求めた.

log




w

w

¬w

訓練データ中f req(スプログ,

f req(ス プ ロ グ,

のスプログ

w)=a

¬w ) = b

訓練データ中f req(非スプログ, w) = cf req(非スプログ, ¬w) = dの非スプログ

Ancf B(w, s) × Ancf B(w, t)

訓練事例中のスプログ s

同様の手順で，訓練事例中のスプログ全体の中での総
Ancf W (w, s) が 2 以上であるものを選定

出現頻度

s

し，
「ホワイトリスト URL へのアウトリンクを持つスプ
ログアンカーテキスト名詞句」とする．次に， w を「ホ2

φ (スプログ, w)=(ad − bc)2
(a + b)(a + c)(b + d)(c + d)

ワイトリスト URL へのアウトリンクを持つスプログア
ンカーテキスト名詞句」として，評価事例 t に対して以また，評価事例に対しては，この名詞句素性の値として以下の式を用いた．

log



φ2 (スプログ, w) ×

w

4.2.3

下の重みを算出し，評価事例 t に対する「ホワイトリス
ト URL へのアウトリンクを持つアンカーテキスト名詞
句素性」の値とする．

評価事例における

w の出現頻度log

w

アンカーテキスト名詞句・リンク URL 素性

ブラックリスト/ホワイトリスト URL 素性および名
詞句素性よりもより詳細な条件を設定することにより，より有効な性能を示す素性として，アンカーテキストの名詞句およびそのリンク先 URL の (緩い) 組み合わせを用いる．以下，まず，名詞句 w およびブログサイト s に対して，以下の尺度 Ancf B(w, s) および Ancf W (w, s)を定義する．

⎛

ブログサイト s 中で名詞句 w が⎞⎟⎜アンカーテキストに含まれ
⎟
⎜
⎟
⎜
⎜
Ancf B(w, s) = ⎜ そのリンク先がブラックリスト ⎟
⎟
⎟
⎜
URL
もしくは訓練事例中の⎠⎝スプログとなっている回数
10 日 本 語 形 態 素 解 析 器
茶 筌 (http://chasen-legacy.
sourceforge.jp/) および ipadic 辞書を用いた．

Ancf W (w, s) × Ancf W (w, t)

訓練事例中のスプログ s5

スプログ検出および信頼度尺度

5.1

SVM を用いたスプログ検出

SVM 機械学習を行うためのツールとして，TinySVM(http://chasen.org/~taku/software/TinySVM/) を用いた．カーネル関数としては，線形および 2 次多項式を比較し，2 次多項式の方が性能が良かったため，6 節
においては，2 次多項式カーネルを用いた場合の結果を示す．また，全ての素性に値がないものは訓練データから除外する.

5.2

信頼度尺度

SVM 機械学習での信頼度尺度として，分離平面から各評価事例への距離を用いた [12]11 ．具体的には，正例として判定される事例に対する分離平面からの距離の下
限 LBDp ，および，負例として判定される事例に対する
分離平面からの距離の下限 LBDn をそれぞれ設定する．

6

評価

6.1

評価手順

て，LBDn を変化させた場合の再現率，適合率の推移をプロットする．

6.3

評価結果

図 3 および図 4 において，「ベースライン」のプロット
は，従来からの素性だけを用いて訓練した分類器の性能を示す．
「+DOM 系列差分 (大量生成型)」のプロットは，
従来からの素性に DOM 系列差分 (大量生成型) 素性を追加して訓練した分類器の性能を示し，「+DOM 系列差
分 (ブログ)」のプロットは，従来からの素性に DOM 系

本節では，表 1(a) に示すデータセットのうち，CC 社

列差分（ブログ）素性を追加して訓練した分類器の性能

および SS 社のスプログ・非スプログデータセットを用を示す．図 3 および図 4 の (a-1)，(a-2) において，「2 素

いて，ブログホスト別に，スプログ/非スプログ検出性

性＋ DOM 系列差分 (ブログ)」のプロットは，ホワイト「大量生成型スプログ」/「単発スプ
能 (図 3)，および，

リスト URL 素性，名詞句素性，DOM 系列差分 (ブログ)

ログ・非スプログ」検出性能 (図 4) の評価を行った．ス

素性を用いて訓練した分類器の性能である．一方，図 3

プログ/非スプログ検出性能の評価においては，CC 社

および図 4 の (b-1)，(b-2) において，「2 素性＋ DOM 系を対象とした評価では全 408 ブログサイトを，SS 社を

列差分 (ブログ)」のプロットは，ホワイトリスト URL対象とした評価では全 552 ブログサイトを，それぞれ用素性，ブラックリスト URL へのアウトリンクを持つア

いた．
「大量生成型スプログ」/「単発スプログ・非スプ

ンカーテキスト名詞句素性，DOM 系列差分 (ブログ) 素

ログ」検出性能の評価においては，CC 社の場合は，大性を用いて訓練した分類器の性能である．

量生成型スプログ 163 サイトおよび単発スプログ・非ス

図 3 において，(a-1) および (b-1) のスプログ検出性

プログ計 163 サイトを用い，SS 社の場合は，大量生成能においては，ベースラインからの改善は達成できてい型スプログ 90 サイトおよび単発スプログ・非スプログ

ないが，(a-2) および (b-2) の非スプログ検出性能にお計 90 サイトを用いた．評価においては，これらのデー

いて，DOM 系列差分 (大量生成型) 素性を用いた場合，タセットを用いて，10 分割交差検定を行った．

ベースラインからの改善が達成できている．(a-2) にお

6.2

いては，DOM 系列差分 (ブログ) 素性についても，ベー

評価尺度

スラインからの性能改善が達成できている．

以下の説明においては，スプログ/非スプログ検出性

これらの結果から，訓練データ中で大量生成型スプロ

能の評価においては，スプログを正例，非スプログを負グの情報を付与すれば，未知のスプログ検出の性能を確例とする．また，「大量生成型スプログ」/「単発スプロ

実に改善できることが分かる．ブログホストによっては，

グ・非スプログ」検出性能の評価においては，大量生成

大量生成型スプログの情報を付与しなくても，未知のス型スプログを正例，単発スプログ・非スプログを負例とプログ検出の性能を改善できる場合もある．

する．

一方，図 4 においては，「大量生成型スプログ」検出

以下では，評価用事例集合，および，正例として判定

性能および「単発スプログ・非スプログ」検出性能の両される事例に対する分離平面からの距離の下限 LBDp

方において，ベースラインからの改善が達成できていを用いる．分離平面からの距離が LBDp 以上となる評る．また，DOM 系列差分 (大量生成型) 素性だけでなく価事例に対して，正例として判定した場合の再現率，適DOM 系列差分 (ブログ) 素性においても，ベースライン

合率を測定する．そして，LBDp を変化させた場合の再からの改善が達成できている．この場合は，訓練事例中

現率，適合率の推移をプロットする．同様に，評価用事において大量生成型スプログの情報を用いていることが例集合，および，負例として判定される事例に対する分その大きな理由であると考えられる12 ．

離平面からの距離の下限 LBDn を用いて，分離平面か

また，図 3 および図 4 を通して，「2 素性＋ DOM 系列

らの距離が LBDn 以上となる評価事例に対して，負例

差分 (ブログ)」および「+DOM 系列差分 (ブログ)」のとして判定した場合の再現率，適合率を測定する．そし12 図 3 および図 4 の検出分類器のサポートベクター数は，「+DOM
系列差分 (大量生成型)」および「+DOM 系列差分 (ブログ) 素性」のモデルは，ベースラインの 4/5 程度に減少していることが分かった．
これによって，サポートベクターの観点からみても，ベースラインに比べて，「+DOM 系列差分 (大量生成型)」および「+DOM 系列差分
(ブログ) 素性」のモデルが改善していると言える．

11 機械学習および統計的自然言語処理の分野における能動学習 (例えば，[19, 12, 20] 等) 手法の研究事例においては，未知事例のうちで信頼度の低い事例を選別して訓練事例に追加する過程において，信頼度尺度が利用される．

(a-1) スプログ検出性能 (CC 社)(a-2) 非スプログ検出性能 (CC 社)(b-1) スプログ検出性能 (SS 社)(b-2) 非スプログ検出性能 (SS 社)

図 3: スプログ/非スプログ検出性能(a-1) 大量生成型スプログ検出性能 (CC 社)(a-2) 単発スプログ・非スプログ検出性能 (CC 社)(b-1) 大量生成型スプログ検出性能 (SS 社)(b-2) 単発スプログ・非スプログ検出性能 (SS 社)

図 4: 「大量生成型スプログ」/「単発スプログ・非スプログ」検出性能

性能の比較においては，極端に大きな差は見られない．
この結果から，DOM 系列差分 (ブログ) 素性を用いれば，それ以外の従来からの素性を全て用いなくとも，従来からの素性 2 種類を適切に選定さえすれば十分である
ことが分かる．
以上の結果より，従来からの素性と比較して，DOM
系列差分 (大量生成型) 素性および DOM 系列差分 (ブログ) 素性が高い性能を示すことが確認できた．

7[6] P. Kolari, T. Finin, and A. Joshi. Spam in blogs andsocial media. In Tutorial at ICWSM, 2007.
[7] Y.-R. Lin, H. Sundaram, Y. Chi, J. Tatemura, and
B. L. Tseng. Splog detection using self-similarity analysis on blog temporal dynamics. In Proc. 3rd AIRWeb,
pp. 1–8, 2007.
[8] 石田和成. スパムブログの推定と抽出. 日本データベー
ス学会 Letters, Vol. 6, No. 4, pp. 37–40, 2008.

おわりに本論文では，同一のスパムブログ作成者が自動的に大量生成したと推測されるスプログの検出において，

HTML 構造の類似性が効果的であることを示した．機械学習のひとつである SVM を用いた枠組みによって，
スパムブログの判定を行うタスクを設定し，HTML 構造の類似性を素性として，SVM を用いたスプログ検出を行った結果において，スプログ検出の性能が向上する
ことを示した．本論文の DOM 系列差分の定式化においては，例えば，木構造カーネルを用いる方式 [21] 等，
理論的に裏付けされた方式を採用することにより，より汎用的な定式化が可能と考えられるため，今後検討を進める．
大量生成したと推測されるスプログの HTML 構造は類似性があるという特徴を用いれば，訓練事例となるス
プログを用意しなくても，DOM 系列の差分の割合が極端に小さいブログの組を自動収集することにより，教師なしスプログ収集を実現できる可能性がある．現在，この考え方に基づいて，数百万件のブログをクロールした
結果から，スプログの候補を収集し，人手によるスプロ
グ・非スプログ判定を行う作業を進めており，DOM 系
列の差分の割合が極端に小さいブログの組の中にスプログが含まれることを確認済みである．この結果の詳細については，別の機会に報告する予定である．

[9] 石田和成. 共起クラスターシードと連鎖的抽出にもとづ
くスパムブログのフィルタリング. Web とデータベースに関するフォーラム (WebDB Forum)2008 論文集. 情報処理学会, 2008.
[10] P. Kolari, T. Finin, and A. Joshi. SVMs for the Blogosphere: Blog identiﬁcation and Splog detection. In
Proc. 2006 AAAI Spring Symp. Computational Approaches to Analyzing Weblogs, pp. 92–99, 2006.
[11] V. N. Vapnik. Statistical Learning Theory. WileyInterscience, 1998.
[12] S. Tong and D. Koller. Support vector machine active
learning with applications to text classiﬁcation. In
Proc. 17th ICML, pp. 999–1006, 2000.
[13] 佐藤有記, 宇津呂武仁, 福原知宏, 河田容英, 村上嘉陽, 中川裕志, 神門典子. キーワードの時系列特性を利用したス
パムブログの収集・類型化・データセット作成. DEWS2008
論文集, 2008.
[14] Y. Sato, T. Utsuro, T. Fukuhara, Y. Kawada, Y. Murakami, H. Nakagawa, and N. Kando. Analysing features of Japanese splogs and characteristics of keywords. In Proc. 4th AIRWeb, pp. 33–40, 2008.
[15] 吉田光男, 山本幹雄. 教師情報を必要としないニュース
ページ群からのコンテンツ自動抽出. 日本データベース
学会論文誌, Vol. 8, No. 1, pp. 29–34, 2009.
[16] 片山太一, 佐藤有記, 宇津呂武仁, 芳中隆幸, 河田容英, 福原知宏. 機械学習を用いたスパムブログ検出における信頼度の利用. データ工学と情報マネジメントに関するフォー
ラム—DEIM フォーラム— 論文集, 2009.
[17] T. Katayama, Y. Sato, T. Utsuro, T. Yoshinaka,
Y. Kawada, and T. Fukuhara. An empirical study
on selective sampling in active learning for splog detection. In Proc. 5th AIRWeb, pp. 29–36, April 2009.

参考文献[1] T. Nanno, T. Fujiki, Y. Suzuki, and M. Okumura.
Automatically collecting, monitoring, and mining
Japanese weblogs. In WWW Alt. ’04: Proc. 13th
WWW Conf. Alternate Track Papers & Posters, pp.
320–321, 2004.
[2] Z. Gyöngyi and H. Garcia-Molina. Web spam taxonomy. In Proc. 1st AIRWeb, pp. 39–47, 2005.
[3] Wikipedia,
Spam
http://en.wikipedia.org/wiki/Spam blog.

[5] C. Macdonald and I. Ounis. The TREC Blogs06 collection : Creating and analysing a blog test collection.
Technical Report TR-2006-224, University of Glasgow,
Department of Computing Science, 2006.

blog.

[4] P. Kolari, A. Joshi, and T. Finin. Characterizing the
splogosphere. In Proc. 3rd Ann. Workshop on the
Weblogging Ecosystem: Aggregation, Analysis and Dynamics, 2006.

[18] Y.M. Wang, M. Ma, Y. Niu, and H. Chen. Spamdouble-funnel: Connecting web spammers with advertisers,. In Proc. 16th WWW, pp. 291–300, 2007.
[19] D. D. Lewis and W. A. Gale. A sequential algorithm
for training text classiﬁers. In Proc. 17th SIGIR, pp.
3–12, 1994.
[20] G. Schohn and D. Cohn. Less is more: Active learningwith support vector machines. In Proc. 17th ICML,
pp. 839–846, 2000.
[21] J. Suzuki, H. Isozaki, and E. Maeda. Convolution kernels with feature selection for natural language processing. In Proc. 42nd ACL, pp. 110–126, 2004.