論文
DBSJ Letters Vol.6, No.4――――――――――――――――――――――――――――――――――――

スパムブログの推定と抽出
Spam Blog Estimation and Extraction

石田 和成*Kazunari ISHIDAの 1 週間の更新ブログを分析用のデータセットとして用いた．
このデータセットに対して，同一ブログの複数記事を単一のURL にまとめるヒューリスティックを適用し，691674 のユニークブログを分析した．1 週間分データをブログ毎にまとめるため，頻繁に更新されたブログは高い出次数となる．また，各ブログに埋め込まれたリンクのうち，同一ドメインのURL を除く処理を行った．これは，ブログサイトが自動的に表示するブログサイト内ページへのリンクを除くためである．

2.1 スパムブログの判定
本研究では，スパムブログの現状を把握するために，一週間の更新ブログのデータセットを用いてスパムブログの割合を推定した．また，スパムブログを分離するために，ブログの共参照クラスターとスパムブログのシードを用いて，スパムを連鎖的に抽出する手法を開発した．スパムシードには，高出次数ブログのシードと，スパムキーワードを多く含むブログのシード，そしてそれら 2 つを混合したシードの 3 種類のシードを用いた．データセットに対してスパム抽出実験を行い F-Measure により評価した結果，高出次数，キーワードそれぞれのシードを個別に用いるよりも，混合シードを用いる方が効果的にスパムを抽出できることが分かった．
This paper reports the estimated number of spam blogs
in updated blogs and illustrates their presence in theblogosphere. To extract spam blogs, a traversal method
was developed in terms of co-citation clusters of blogs
and spam seeds. The spam seeds are collected in terms ofhigh out-degree and spam keyword. According to theexperiment, a mixed seed set composed of the highout-degree and the spam keyword seeds is more effective
than each individual seed set in terms of F-Measure. It
can be concluded that mixed seeds from different
methods are effective in improving the F-Measure
results of spam extraction with co-citation clusters.

データセットからランダムに少数のサンプルを取り出し，人手による観察にもとづきスパムブログの判定を行う．判定の基準は，ブログ記事に関してブロガー自身が加えた情報の付加価値である．これは，製品やサービスに関する体験記事には付加価値があり，それに付随する広告は，消費者と企業との間で，需要と供給をマッチングする仕組みとして有効と考えるためである．それに対して，スパムブログは，製品やサービスに関する説明がないアフィリエイト広告のみのページや，自動，半自動で他の複数記事を断片的に貼り付けているのが特徴である．スパムでないものとしては，ブロガーの体験にもとづいた記事と関連する広告（広告として価値がある）や，オンライン，オフラインは問わず，実際のお店の店長やスタッフによる商品入荷情報などのブログ（ブロガーと誘導先サイトとの関係が明確）などが挙げられる．

2.2 スパムブログの推定
データセットの更新ブログを出次数で昇順に並べ，低次数のブログから各階級に属するブログが約 10%となるように分け，スパムブログの分布を調べた（表 1）．例外として，0.9～1.0 の間は，3 つの階級，0.9～0.95，0.95～0.99，0.99～1.0 に分けた．これは，事前調査を行った結果，高出次数のブログはスパムである可能性が高く，詳細に調査する必要があると考えたためである．また，各階級に含まれるブログの小計にばらつきがあるのは，整数値をとる出次数がそれぞれ１つの階級に属するように割り当てたためである．

1. はじめに
ブログは商品やサービスに関する消費者の体験談や感想を収集するメディアとして注目を集めている．しかし，広告収入を主たる目的としたスパムブログが多く見られるのも事実である．スパムブログの現状を把握するために，本研究では，一週間の更新ブログのデータセットにおけるスパムブログの割合の推定を行う．また，スパムブログが共参照クラスターを形成する特徴を利用した，スパムブログ抽出手法の開発とその評価を行う．本研究に先立ち，2005 年に行ったブログコミュニティの研究[1]において，共参照にもとづく二部グラフのクラスター抽出手法を開発し，関心を共有したブロガーのコミュニティ抽出を行った．その結果，抽出された共参照クラスターには，多くのスパムブログクラスターが含まれることを報告した．また，小野ら[5]はウェブアーカイブから完全二部グラフを抽出し，それらの多くがスパムブログクラスターであることを示した．

Table 1

表 1 出次数とスパムの分布
Out-Degree and Spam Distribution

2. ブログデータの分析
日本国内の主要ブログサイトから継続的に収集している
更新ブログのデータにおいて，2007 年 8 月 26 日～9 月 1 日* 島根県立大学 k-ishida@u-shimane.ac.jp

1

各階級においてそれぞれランダムに 20 のサンプルブログを取り出し，2.1 の判定基準にもとづきサンプル中のスパム数を求めた．スパム割合は，スパム数をサンプル数 20 で割

日本データベース学会 Letters Vol.6, No.4

論文
DBSJ Letters Vol.6, No.4――――――――――――――――――――――――――――――――――――ったものである．スパムブログ数の推定値は，各階級の小計とスパム割合との積である．調査の結果，1 週間の更新ブログにおけるスパム割合の推定値は約 23%であった．

3. スパムブログの抽出方法
本研究では，スパムブログのシードと，共参照クラスターを用いた連鎖的なスパムブログの抽出手法を開発した．ブロ
グやウェブページなどのハイパーテキストは，ページのコンテンツとリンクで構成される．通常のページは，コンテンツに付加価値があり，そのコンテンツの関連ページへのリンクを掲載している．それに対して，コンテンツに付加価値が無いスパムブログの場合，リンク先に閲覧者を誘導することが目的であるため，多数の誘導先サイトに共参照のあるページ群（共参照クラスター）を形成する特徴がある．そのため，スパムブログのシードを基点とした，共参照クラスターにもとづく連鎖的なスパムブログの抽出が有効であると考えた．
ここで，共参照クラスターの抽出には SI アルゴリズム[2]を用いる．

3.1

共参照クラスターの抽出

SI アルゴリズム[2]は，参照ブログ，被参照ページによって構成される二部グラフにおいて，ブログ間の共参照の程度にもとづき，ブログに埋め込まれているリンクの類似度を定義し，リンクのクラスタリングを行う(図 1)．クラスタリン
グにおいては，リンク両端のブログやページの入次数，出次数によってリンクの次数を定義し，類似度がある閾値以上のリンクを，次数の低いリンクから推移的に取り出すことにより，密なクラスターを少ない計算量で抽出する．また，リンクをクラスタリングの対象とするため，ブログや参照ページが複数のクラスターに含まれることを許容する．この参照元ブログが複数の共参照クラスターに所属する性質を利用し，スパムブログの連鎖的抽出を行う．

い．この特徴にもとづき，以下に示す手順で連鎖的にスパムブログを抽出する．
1.
2.
3.
4.

5.

6.

スパムブログのシードを用意する．
共参照クラスターを用意する．
シードからまだ処理していないブログを取り出す．取り出したブログには処理済の印をつける．
まだ処理していない共参照クラスターの中から，前述のブログを含むクラスターを全て選ぶ．選ばれたクラスターには処理済の印をつける．
前述の選ばれたクラスターに含まれる参照側のブログをスパムシードに加える．既に処理済のブログは無視する．
スパムシードに未処理のブログがあるならば，手順 3に戻り処理を繰り返す．スパムシードのブログが全て処理済となった時点で抽出処理を終了する．

上記の手順 2 における共参照クラスターを用意するために，クラスターの特徴を表す 2 つのパラメータとして，クラスター密度と共参照比を定義する．
クラスター密度は，クラスターに含まれるリンク数を，クラスターが完全二部グラフである場合のリンク数で割ったものである．クラスター密度が高い場合，参照側ブログのブロガー(Bi)による被参照側ページ(Pk)への関心の類似度が高いと考えられる(図 2)．そのため，精度の高いスパムシードと高密度クラスターにもとづき連鎖的に参照側ブログを抽出することにより，スパムブログを効率よく抽出できると考えられる．
また，共参照比は，クラスターにおける参照側ブログ(Bi)の数を，被参照側ページ(Pk)の数で割ったものである．共参
照比が大きい場合，参照側のブログ(Bi)に対して，被参照側のページ(Pk)が少なく，共参照数が少なくなるため，参照側のブログが関心を共有している可能性は低くなる(図 3)．そのため，大部分がスパムブログではない共参照クラスターに，少数のスパムブログがある場合，通常のブログが誤って抽出される可能性が高くなる．

(a) 低密度(b) 高密度
図 2 クラスター密度
Fig.2 Cluster Density
図1
Fig.1

ブログ間の共参照

Co-citation between Blogs

3.2 共参照クラスターにもとづく連鎖的抽出の手順
共参照クラスターは関心を共有したブロガーのクラスターである．ある同一のスパマーが作成したスパムブログは，複数のアフィリエイト広告のURLを共参照している．そのため，あるスパムブログが属している共参照クラスターの密度が高く，共参照リンクが多い場合，その共参照クラスターの参照元ブログは，スパムで構成されている可能性が非常に高2(a) 共参照比小(b) 共参照比大
図 3 共参照比
Fig.3 Co-citation Ratio

日本データベース学会 Letters Vol.6, No.4

論文
DBSJ Letters Vol.6, No.4――――――――――――――――――――――――――――――――――――
3.3 スパムブログのシード
スパムブログのシードとして，(1)高出次数のシード，(2)スパムキーワードにもとづくシード，(3)2 種類のシード(1)(2)の混合シードを用いた．
高出次数のシードについては，2.2 の表 1 にもとづき，スパム割合の高い高出次数の階級に含まれるブログをシードとして用いた．第 4 節のスパム抽出実験で用いる高出次数シードは，表 1 の階級値 0.99～1.0 の範囲に含まれる 7038 のブログである．このシードに含まれるブログの出次数の最大値は 14259，最小値は 99 である．
スパムキーワードにもとづくシードは，アフィリエイトおよびアダルトに関するキーワードリストを用いて選定した．
このキーワードを集めるために，少数のスパムキーワードと，共参照クラスターを特徴づけるキーワード群の選定方法[3]を用いて関連のスパムキーワードを収集し，その中から手作業でスパムキーワードを選定した．その結果，「副収入」「情報商材」「即日融資」などの付加価値が低いと思われる606のアフィリエイトキーワードと，「出会い専門サイト」「アダルト動画」などの341のアダルトキーワードのリストを作成した．これらのリストにもとづき，各ブログに含まれるキーワードにおけるスパムキーワードの個数を数え，一定の閾値以上の場合，スパムブログとしてキーワードシードに加えた．
キーワードの閾値には，1,3,5を用い，それぞれ，キーワー1シード，キーワー3シード，キーワード5シードとした．
混合シードは，高出次数シードと，キーワードシードを合わせたものである．キーワードの閾値に応じて，混合 1 シード，混合 3 シード，混合 5 シードの 3 種類を用意した．シードのブログ数について，キーワード 1 シードと混合 1 シードはそれぞれ大きな差は無い．これは高出次数シードがキーワードシード 1 と比べて相対的に少ないためである(表 2)．

結果，スパム判定の誤差は見られるが，異なる複数の方法で集めたスパムを混合したシードを用いると，個別のシードを用いる場合よりもスパム抽出精度が向上することが分かった．

4.1 F-Measure による評価
実験結果について F-Measure 値((Precision * Recall * 2) /(Precision + Recall))を計算し，抽出条件に関する評価を行った．適合率(Precision)については，各サンプルにおいて観察されたスパムの割合を用いた．再現率(Recall)については，各抽出条件で得られたスパムブログ数の推定値を，データセット全体におけるスパムブログ数の推定値で割った値を用いた．データセット全体と初期状態のシードの F-Measure
値，および各シードを用いたスパム抽出結果に関するF-Measure 値の平均，最小，最大(抽出条件が複数あるため)を図 4 に示す（全ての条件における抽出結果の適合率，再現率，F-Measure 値は紙面の都合上省略）．スパムシードを用いて連鎖的にブログを抽出する方法では，抽出条件を緩めた場合，最終的にデータセット全体が抽出結果となる可能性がある．そのため，各シードを用いた抽出結果が，データセット全体と初期状態のシードの F-Measure 値をそれぞれ上回る値となった場合に，効果的なスパム分離と考えることとした．

表 2 全データセットと各種スパムシード
Table 2 Data Set and Spam Seeds

Fig.4

4. スパム抽出実験
第 2 節で説明した１週間分のデータセットとデータセットから抽出したスパムシードを用いてスパムブログ抽出を行い，抽出されたブログの中から 20 のサンプルを取り出し，2.1 の判定基準にもとづきサンプル中のスパムの割合を調べた．連鎖的抽出に用いる共参照クラスターは，SI アルゴリズ
ムを用いて 2006 年の報告[2]と同じ条件で抽出した．連鎖的抽出に用いる共参照クラスターの特徴を表すパラメータに関して，クラスター密度については 0.1,0.5,0.9 を下限の閾値として，共参照比については，1,10,100 を上限の閾値としてそれぞれ用いた．
これら 2 つのパラメータの組み合わせで，7 つのスパムブログのシードを用いて実験を行った．実験の3

図 4 スパム抽出結果
Results of Spam Extraction

図 4 において，各シードにより得られた結果の F-Measure
値の最大値に着目すると，高出次数シード，キーワードシードをそれぞれ個別に用いた場合は，データセット全体(0.374)，
あるいは初期状態のシードの F-Measure 値を下回る結果となっている．それに対して，混合シードを用いた場合，抽出結果の F-Measure 値の最大は，データセット全体，および初期状態のシードの F-Measure 値をそれぞれ上回り，連鎖的抽出によって，効果的にスパムブログが抽出されたことがわかる．
混合シードが有利になる理由としては，高出次数シードとキーワードシードとの間で，スパムブログの重複が少なく，スパムではないブログの重複が多いことが考えられる．このため連鎖的抽出で，スパムブログの抽出の割合が，スパムではないブログの抽出割合より高まったと考えられる．この結果から，異なる複数の方法でスパムブログを選定し，それらを混合したスパムシードを用いると効果的であることが分かる．

日本データベース学会 Letters Vol.6, No.4

論文
DBSJ Letters Vol.6, No.4――――――――――――――――――――――――――――――――――――
4.2 混合シードと高密度クラスターによる抽出混合シードを用いて高いクラスター密度(0.9)による連鎖的抽出を行った場合，共参照比の増大にともなうスパム抽出割合の向上が観察された．図 5 は，混合 3 シードを用いた抽出結果から取り出した 20 サンプルにおけるスパム割合を示している．高い共参照比を用いると，図 3 で示したように，類似性の低いブログが抽出されやすくなる．そのため，スパムではない通常のブログを誤って抽出する可能性が高まる．
しかし，スパム抽出に有利な混合シードと，ブログ間の共参照数が多い高密度クラスターを用いるときは，共参照比の条件を緩め，1 つの共参照クラスターで大量の参照側ブログを抽出する場合でも，高い割合でスパムブログを取り出すことができるものと考えられる．この結果から得られる有効性の高いスパム抽出方法として，複数の方法でスパムブログを選定した混合シードを作成し，高密度(0.9)かつ高い共参照比(100)のクラスターを用いた連鎖的抽出を行うことが考えられる．

ブログ，お気に入りリンクが多いブログなどがある．高出次数ブログのほとんどはスパムブログであるが，例外的に出次数の高い通常のブログをシードから除く方法を考える必要がある．スパムキーワードにもとづくシードについては，スパムキーワードリストの洗練が必要である．また，通常のブログに対してスパムブログからのトラックバックがある場合，アンカーテキストにスパムキーワードが表示されるため，通常のブログが誤ってスパムシードに選ばれる場合がある．
そのため，シードの選定においてトラックバックスパムに関する対応が必要である．スパムシード抽出方法については，
本研究の実験結果より，複数の方法で選定したシードの混合が有効であることが分かったため，高出次数、キーワードリスト以外のシード抽出方法の検討も有効である．連鎖的抽出
方法については，共参照クラスターの抽出方法や，抽出した共参照クラスターの中から，スパムの連鎖的抽出に用いるクラスターを選択する方法について検討が必要である．この研究では，密度と共参照比をクラスター選択のパラメータとして用いたが，クラスターのサイズ，クラスターを特徴付けるキーワードなどを選択条件に加えることにより，誤ってスパムシードに通常のブログが含まれている場合の連鎖的誤抽出を低減できるものと考えられる．

5. まとめ本研究では，更新ブログにおけるスパムの割合を推定した．
また，スパムブログのシードと，共参照クラスターを用いた連鎖的なスパムブログの抽出を行った．実験の結果，混合シードを用いた抽出結果は，高出次数シード，キーワードシードを個別に用いた抽出結果と比べ，F-Measure の観点から有効であることが分かった．また，混合シードと高密度クラスターを用いて連鎖的抽出を行った場合，共参照比の増大にともなうスパム抽出割合の向上が見られた．

[文献］
図 5 抽出結果におけるスパム割合
Fig.5 Spam Ratio of Extraction Results

4.3 考察本研究で用いた 1 週間の更新ブログデータ（691674 のブログ）におけるスパムブログの割合の推定値(約 23%)は，Kolari ら[4]の収集した SVM の学習，分類用データ(人手でラベル付けされた 2600 のブログ)におけるスパム割合（25%）とほぼ同じであった．本研究のスパム抽出手法の特徴は，スパムブログの不変的特徴である誘導先サイトへの共参照に着目し，共参照クラスターを用いた連鎖的抽出を行う点である．これは，SVM などの機械学習を用いる手法[4]と大きく異なる点である．機械学習を用いる手法は，訓練用データと，実際に分類したいデータの特徴が類似しており，データの特徴に変化が無ければ，精度の高い分類を行うことができる．
しかし，スパムの特徴は多様で変化しやすいため，分類精度を維持するには頻繁な再学習が必要であり，人手による定期的な学習用データ作成作業が不可欠となる．本研究では，再学習の手間を避けるため，スパムブログの不変的特徴として共参照クラスターを用いた連鎖的抽出手法を開発した．
本研究のスパム抽出の精度を高めるには，スパムシード，連鎖的抽出方法の両側面で改善が必要である．高出次数によるスパムシードについて調べたところ，誤ってスパムとされた例として，１ページが長いブログ，百科事典的にまとめた

4[1] K. Ishida, ”Extracting Latent Weblog Communities:
A
Partitioning
Algorithm
forBipartite
Graphs, ”Proceedings of the 2nd Annual Workshop
on the Weblogging Ecosystem- Aggregation, Analysis
and Dynamics in WWW2005, May 10 - 14, 2005.
[2] 石田和成, “ライングラフと局所的類似度にもとづくマルチクラスタリングアルゴリズム,” データベースシス
テム研究会および情報学基礎研究会による合同研究会,情報処理学会研究報告, Vol.2006, No.59, pp. 69-76, 2006.
[3] 石田和成, “社会環境の変化と CGM, 情報システムと社会環境研究会,” 情報処理学会研究報告, Vol.2006，No.92,
pp. 37-44, 2006.
[4] P. Kolari, T. Finin, and A. Joshi, ”SVMs for theBlogosphere: Blog Identification and Splog
Detection,” AAAI Symposium on Computational
Approaches to Analyzing Weblogs, pp. 92-99, 2006.
[5] 小野拓史，豊田政史，喜連川優, “リンク解析を用いたウ
ェブ上のスパム発見手法に関する一考察,” DEWS2006,
3B-o2, 2006.

石田和成

Kazunari ISHIDA

島根県立大学総合政策学部准教授．1997 電気通信大学大学
院情報システム学研究科博士後期課程修了，博士（工学）．
インターネットにおける情報抽出手法の研究・開発に従事．
日本データベース学会，情報処理学会各正会員．

日本データベース学会 Letters Vol.6, No.4