一般論文

DBSJ Journal Vol.8, No.1
June 2009

ウェブサイト間の類似度を用いたウェブスパムの検出

ブの利用者が必要な情報にアクセスするための手段として重要性

Webspam Detection using Similarities ofWebsites

ページ（ランキングの高いウェブページ）に集中する傾向にある。

を増している。
検索エンジンの利用者のアクセスは表示位置が上位のウェブ
そのため、自分のウェブページに多くの顧客を呼び込むためには、検索結果の上位に表示されることが重要となる。e-commerce のウェブサイトを考えたとき、多くの顧客を呼び込むことが利益に

北村 順平 ♥

青野 雅樹 ♦

直結するため、検索結果において高いランキングを得ることが求

Junpei KITAMURA

Masaki AONO

ランキングを意図的に高める方法としては SEO(Search Engine Optimization) がある。SEO は検索に頻繁に使用される検索語を考慮してウェブページを作成したり、HTML の最適化められる。

様々なニュースサイトやブログの記事を流用することでウェブを図ることでランキングを高めようとする行為である。しかし、ページを自動的に生成するスパムは検出の難しいウェブスパム

ウェブページの内容と関係のないキーワードを埋め込んだり、リの 1 つである。そのようなウェブスパムを検出するために、我々ンクファームを構築する等の過剰な SEO により高いランキングはウェブスパムが生成されるメカニズムに注目し、ウェブページを狙うスパマーが存在する。過剰な SEO が施されたウェブペー間の構造の類似度を求めることでウェブスパムを検出する方法

ジが高いランキングを獲得することは、検索エンジンの精度を低を提案する。WEBSPAM-UK2007 データセット1 を用いて実験める要因となり望ましくない。そのため、検索エンジンは過剰なを行った結果、提案手法を用いることでウェブスパム検出の精度SEO が施されたウェブページをウェブスパムとして識別し、ウェを改善できることを確認した。また、ウェブスパム検出のワークブスパムに対してランキングを低下させるといったペナルティをショップである AIRWEB20082 の結果と比較したところ、AUC与えている。と F 値において良好な数値が得られた。

ウェブスパムを検出するための研究は活発になされており、自動的に検出することのできるウェブスパムは少なくない。そのよAmong many types of web spams, it has been
known to be very hard to detect a group of web
spams that automatically generate web pages by duplicating existing news sites and blog articles. In
this paper, we will focus on detecting this type of
web spams and propose a method which takes careof the mechanism of how such a web spam is produced. Speciﬁcally, we attempt to detect this type of
web spams by introducing new features for capturing structural similarities between web pages. We
demonstrated our approach by using WEBSPAMUK2007 datasets and showed that we could outperform the previously known methods appeared in
AIRWEB2008, in terms of AUC and F-measure.

うな研究の多くは、ウェブページのテキストやウェブページ間のリンク構造を利用することでウェブスパムの検出を行っている。
例えば、SpamRank は、spam page は多くの spam page にハイパーリンクを持つという知見に基づいてウェブスパムの検出を行っており、効率的にウェブスパムを検出できることが報告されている [1]。
しかし、テキストやリンク構造だけでは検出の難しいウェブスパムが存在する。そのようなウェブスパムの一例として、複数のニュースサイトやブログの記事を流用することでウェブページを大量に生成するタイプのウェブスパムがある。このタイプのウェブスパムは、流用したテキストをもとにウェブページを生成することで様々な検索クエリに対するスパミングを行っており、単純にテキストから検出することが難しい。そこで我々は、ウェブページのテキストだけではなく、ウェブページの構造からウェブスパムを検出する方法を提案した。提案手法は、これらのウェブ

1.

序論

スパムが自動的に生成されているという点に注目し、ウェブサイト間の類似度を計算することでウェブスパムの検出を行う。関連

ウェブは近年の発達が著しい分野であり、人がウェブを通じて研究として Urvoy らの研究があるが [2]、我々は Javascript のアクセス可能な情報は爆発的に増えている。検索エンジンは膨大コード間の類似度を考慮している点や、類似度をもとにした素性な数のウェブページのインデックスを作成することで、検索クエを提案し機械学習に応用している点で新規性がある。

リと関連性の高いウェブページを提示するシステムであり、ウェ♥

非会員

豊橋技術科学大学大学院工学研究科情報工学専攻

kitamura@kde.ics.tut.ac.jp♦正会員

豊橋技術科学大学情報工学系

aono@ics.tut.ac.jp
UK2007, http://barcelona.research.yahoo.net/webspam/
2
AIRWEB2008, http://airweb.cse.lehigh.edu/2008/
1

1

本論文の構成は以下の通りである。2 章では、ウェブスパムの分類や種類などの基本的な事柄について説明する。3 章では、提案素性を求めるための前処理と LSH を用いてスケーラブルに文書間の類似度を求める方法を説明する。4 章では、提案素性の有効性の検証と関連研究との比較を行う。5 章では、結論と今後の課題を述べる。

日本データベース学会論文誌 Vol.8, No.1
2009 年 6 月

一般論文

DBSJ Journal Vol.8, No.1
June 2009

ウェブスパムの種類

2.

3.

提案手法

Gyöngyi らはスパミングを「ウェブページのランキングを不序論において説明した、他のウェブページの内容を流用する当に高める全ての意図的な行為」と考え、スパミングに用いらことでウェブページを生成するタイプのスパミングは、Termれる技術を Boosting Techniques と Hiding Techniques に分類

Spamming に分類することができる。このタプのウェブスパムした [3]。Boosting Techniques は検索エンジンのランキングには、流用した記事をもとにウェブページを作成することで様々な影響を与える技術であり、Hiding Techniques はスパミング行

検索クエリに対する TF スコアを高めている。ウェブページ自体為そのものを検索エンジンや訪問者から隠蔽する技術である。

は様々なニュースサイトやブログから流用しているため、ウェブ

Boosting Techniques は Term Spamming と Link Spamming

スパムである証拠を見つけることが難しい。流用した記事をもとに分類される。にウェブページを生成するタイプのスパミングは、自動化された■Term Spamming

TFIDF は検索エンジンがウェブページの順位を決めるために使う重要な指標の 1 つがである。あるウェブ
ページ pj が与えられたとき、pj に含まれる単語 ti の TFIDF は手法で大量に生成されることが多い。そのため、ある構造を持つ以下の式により定義される。

る可能性が高いと考えられる。そこで我々は、ウェブサイト間のT F IDF (i, j) = T F (i, j) · IDF (i)(1)

TFIDF スコアを求めるための TF と IDF には様々なものがあるが、以下に一例を示す。

(2)k

ここで、ni,j はウェブページ pj に含まれる単語 ti の出現回

P

nk,j は pj に含まれる全ての単語の出現回数を示す。

構造類似度を用いて、このようなタイプのウェブスパムを検出する方法を提案する。

3.1

前処理

IDF (i, j) = log|D||d|

処理が必要となる。HTML ファイルとは HTML により記述されたファイルのことであり、ウェブブラウザによりレンダリングされる前の状態である。前処理では、この HTML ファイルを構文解析し、類似度計算に必要な情報のみを抽出することで後の処理を効率的に行う。実際には以下に示す 3 種類のドキュメントをkHTML ファイルから作成する。
(3)

ここで、|D| はコーパスにおけるウェブページの総数、|d| は単語 ti を含むウェブページの総数である。つまり、TF が単語の出現頻度に比例したスコアであるのに対し、IDF は多くのウェブページに出現する一般的な単語に対して重要度を下げるスコアとして働く。
スパミングの観点から TFIDF スコアを考えると、IDF はスパマーにより制御できないスコアであるため、スパミングは TFを高めることで達成される。例えば、ウェブページの内容とは関係のないキーワードを追加することで、特定のクエリに対するウェブページの関連性を高める方法がある。Ntoulas らは、ウェブページの圧縮率や特定の検索クエリに対する適合率等を用いる方法を提案している [4]。
■Link Spamming

構造と類似している場合、そのウェブページもウェブスパムであ各類似度を求めるためには HTML ファイルに対する適切な前ni,jT F (i, j) = P
nk,j

数、ウェブページが既にウェブスパムと分かっているウェブページの検索エンジンはウェブページの順位を決めるとき、TFIDF に加えリンク情報も重視する [3]。検索エンジンがリンクベースの重要度を決めるときに用いる指標の 1 つがPageRank である。PageRank はウェブページが外部から得るリンクの数はそのウェブページの重要度と関連性があると仮定し、ウェブページの重要度を決定する。これは、重要度の高い複数のウェブページからハイパーリンクを得ているウェブページの重要度は高いという考えに基づく。リンクベースのスパムは、この PageRank を高めることで達成される。Link Spam の一例と• words ドキュメント（テキスト類似度）• tags ドキュメント（タグ類似度）• scripts ドキュメント（スクリプト類似度）
words ドキュメントはテキスト類似度、tags ドキュメントはタグ類似度、scripts ドキュメントはスクリプト類似度を計算するために用いられる。タグ類似度とスクリプト類似度がウェブページの構造的な類似度に相当する。以下、3 種類の前処理についてそれぞれ説明を行う。前処理の説明のために、表 1 に前処理を施す前の HTML ファイルの例を示す。
表1

前処理を施す前の HTML ファイルの例<html> <head> <title>Loan Service, Low Cost Loan at
UK</title> <meta name=”description” content=”lowcost loans”/> <script type=”text/javascript”> var
siteid=1; var trackmode=’default’; </script> <script
type=”text/javascript” src=”../js/code.js”></script></head> <body> <h2>Low Cost Menu</h2> <p>See
how much money our customers have saved.</p><table width=”700” border=”0” cellspacing=”2” bgcolor=”#CCCCCC” align=”center”> <tr><td>You
can reduce your monthly outgoings.</td></tr></table> </body> </html>

して Link Farm が挙げられる。Gyöngyi らは、PageRank が最適化されたグループを識別することでウェブスパムを検出する方法を提案している [5]。

2日本データベース学会論文誌 Vol.8, No.1
2009 年 6 月

一般論文

DBSJ Journal Vol.8, No.1
June 2009■words words ドキュメントは HTML ファイルの HTML タ

3.3

Locallity-Sensitive Hashing

グ、Javascript、コメントを除いたものである。多くのケースでLSH は近似近傍探索を行うアルゴリズムの一つである。LSHウェブページの本文テキストに相当する部分と言い替えることがでは、互いに類似したドキュメント間において衝突の発生するできる。words ドキュメントを抽出することで、ウェブページ確率が高く、類似していないドキュメント間において衝突の発生間の類似度を本文に基づいて計算することが可能となる。words

する確率が低くなるハッシュ関数 h ∈ H を用いて、ドキュメンドキュメントを抽出する例を表 2 に示す。

トを複数のハッシュ値として表現する。LSH はこのような関数
群 H により得られたハッシュ値を用い、k 個のハッシュの連結

表 2 words 処理を行った例loan service low cost loan at uk low cost menu see howmuch money our customers have saved you can reduce
your monthly outgoings

値を関数 g として L 個定義する。この L は Locality-SensitiveHashing の L を表す。この関数 g により、全てのドキュメントはハッシュ値として表される。このとき、互いに類似しているドキュメントは同一のハッシュ値を持つ確率が高く、類似していないドキュメントは異なるハッシュ値を持つ確率が高い。

■tags tags ドキュメントは HTML ファイルの HTML タグと■MinHash MinHash は LSH において Jaccard 係数を扱うたHTML タグの属性のみを抽出するものである。但し、<body>めの手法である [7]。ここで words 処理により得られた全てのドより前に出現するタグはウェブページ間での差異が小さく、差別キュメントの要素から構成される集合 Sn を考え、π を Sn のラ化要因にならないため処理の対象から除外する。tags を抽出すンダム順列を得る関数として定義する。このとき、任意のドキュる例を表 3 に示す。

メント A、B 間の類似度は以下の式により与えられる [8]。

表 3 tags 処理を行った例

body h2 h2 p p table width 700 border 0 cellspacing 2bgcolor cccccc align center tr td td tr table body html

Prh∈H [min{π(SA )} = min{π(SB )}] =|SA ∩ SB ||SA ∪ SB |(5)

min はドキュメントに含まれる全ての要素のうち、ランダム■scripts scripts ドキュメントは HTML ファイルの <script>順列において最初に出現する要素の要素番号を得る関数である。と <noscript> のみを抽出するものである。scripts を抽出する

128 通りの π を定義したとき、ドキュメント D の要約は以下の例を表 4 に示す。

式により表される。
表4scripts 処理を行った例

script type text javascript var siteid 1 var trackmode default script

3.2

類似度尺度

例として、words 処理により得られたドキュメント集合 D を考える。このドキュメント集合 D を n-grams によりフレーズ単位で抽出し、ユニークなフレーズ（以下、要素）に要素番号を付与する。この操作により、ドキュメント集合 D は要素番号を用いた集合 SD ∈ {1, ..., n} により表現することができる。また、
n-grams を用いることで、単語の位置関係を部分的に保持した状態で要素集合を構築することが可能となる。n はドキュメント
集合 D に含まれるユニークな要素数に等しい。このとき、任意のドキュメント A、B 間の類似度 sim(A, B) は以下の式により定義される。

|SA ∩ SB |sim(A, B) =|SA ∪ SB |S D = (min{π1 (SD )}, min{π2 (SD )}, ..., min{π128 (SD )})(6)
この式を適用することで、ドキュメント D は 128 通りのハッシュ値の集合 S D として扱うことができる。よって、任意のドキュメント A、B 間の Jaccard 類似度は S A 、S B において一致するハッシュ値の割合により求めることができる。

3.4

素性の定義

LSH を用いることで、任意のドキュメントの近似近傍のドキュメントの候補を得ることができる。LSH は words ドキュメント、tags ドキュメント、scripts ドキュメントのそれぞれに独立して適用する。次に LSH を用いてウェブページ間の類似度を words、tags、scripts のそれぞれについて計算し、ある閾値以上の類似度をもつウェブページの組合せを求める。閾値はハッシュの結合値が一致した数により与えられる。
ラベルの付与されているウェブページでウェブスパムのものを(4)

この方法を用いて全てのウェブページ間の類似度を計算することは不可能ではないが、大規模なデータセットに対して全てのPs 、ウェブスパムでないものを Pns としたときの素性を以下に式により定義する。

f=Ps − Pns
Ps + Pns(7)

パターンの類似度を計算することは現実的ではない。そこで我々は、Locality-Sensitive Hashing(LSH)[6] を適用することで計算量の削減を行った。

3

この式から、words に関する素性、tags に関する素性、scriptsに関する素性を求めることができる。

日本データベース学会論文誌 Vol.8, No.1
2009 年 6 月

一般論文

DBSJ Journal Vol.8, No.1
June 2009

実験

4.

性は Castillo[9]、Becchetti[10]、Ntoulas[4] らによって提案さ実験は主に Java 言語と Python 言語を用いて行った。機械学
習の SVM には LIBSVM3 、ランダムフォレストには Orange4 を利用した。計算の実行環境は、OS が Linux、CPU が Intel(R)Core(TM)2 Quad CPU Q6600 2.4GHz、メモリが 6GB である。データベースには Postgresql の 8.3 を利用した。

4.1

データセット

実験に用いるデータセットは広く公開されており、関連研究との比較が可能なものが望ましい。そのような条件を満たすデータセットとして、WEBSPAM-UK2007 を用いた。WEBSPAM-

UK2007 はウェブスパム検出の研究のために Yahoo! Research
Barcelona において公開されているもので、Universitá degliStudi di Milano において.uk ドメインを対象にクロールされたものである。ウェブページは WARC（Web ARChive）フォー
マット5 を用いてアーカイブされており、WARC フォーマットを扱うために Universitá degli Studi di Milano において公開されている LAW Library6 を用いた。
データセットは 114,529 のウェブサイトから成る 105,896,555のウェブページを含んでおり、圧縮された状態で 560GB の膨大なデータ量である。我々は各ウェブサイトのウェブページ数の上限を 400 とした要約バージョン（46GB）を実験に使用した。
データセットの一部のウェブサイトには有志によりラベルが付与されている。ラベルは 0〜1 の値をとり、0.5 より小さな値はウェブスパムではないウェブサイト（ノンスパム）を示し、0.5より大きな値はウェブスパムを示す。0.5 はボーダーラインを示す。表 5 にラベルの分布を示す。このラベルのうち、2/3 が訓練用データ、1/3 がテスト用データとして機械学習用に提供されている。本研究ではこの訓練用データとテスト用データを使って実れたものである。この 275 個の素性を用いて機械学習を行ったものをベースライン検出器として後章での検討に用いる。

4.2

前処理、LSH の適用

まず、words ドキュメント、tags ドキュメント、scripts ドキュメントを抽出するために前処理を適用した。n-grams の n の値
は、words が 5、tags と scripts が 7 である。tags と scripts はwords に比べて共起する単語が多いため、n の値として wordsよりも大きな数値を選んだ。前処理の対象には、ラベルの付与されたウェブサイトと、それらのウェブサイトの近隣のウェブサイト（ラベル付きのウェブサイトへのハイパーリンクを持つウェブサイト）を選んだ。選ばれたウェブサイトの総数は 27,161 である。
次に LSH によりウェブページの近傍のウェブページ群を求め、素性を計算した。LSH のパラメータとしてハッシュ関数の数を128、L を 42、k を 3 に設定した。ラベルは各ウェブサイトに付与されているため、ウェブサイトを構成しているウェブページの素性の平均値からウェブサイトの素性を求めた。LSH は、wordsドキュメント、tags ドキュメント、scripts ドキュメントに独立して適用した。閾値の値は 8、16、32 を使い、それぞれの閾値について words、tags、scripts の素性を計算した。そのため、得られた素性の総数は 9 個となる

4.3

各素性の評価提案した words、tags、scripts の 3 つの素性の評価を行う。
評価尺度には機械学習の素性の評価に有効な F-score[11] を用いた。素性をラベルに対してベクトル表現したものを xk (k =1, 2, ..., m) とし、ウェブスパムの数を n+ 、ノンスパムの数を n−としたときの i 番目の F-score は下式により表される。

験と評価を行った。ラベルが undecide 若しくは borderline と

表 5 WEBSPAM-UK2007 データセットにおけるラベルの分布

ラベル

ラベル数(+)

F (i) ≡

なっているものは評価の対象から除外した。

(x̄i(−)− x̄i )2 + (x̄in+X (+)11(+)(xk,i − x̄i )2n+ − 1
n− − 1− x̄i )2n−X(−)(−)+(xk,i − x̄i )2

k=1

k=1

割合

Spam
Non-spamundecided or borderline

3445709
426

5.3%
88.1%
6.6%

合計

6479100%(8)(+)

ここで、x̄i は i 番目の素性の平均値、x̄iは i 番目の素性で(−)

ラベルがウェブスパムであるものの平均値、x̄iは i 番目の素(+)

性でラベルが ノンスパムであるものの平均値を示す。xk,i は i番目の素性でラベルがウェブスパムであるものの k 番目のウェブ(−)

サイトの素性値、xk,i は i 番目の素性でラベルがノンスパムであるものの k 番目のウェブサイトの素性値を示す。この F-score■データセットに付属の素性データセットでは、それぞれのウェブサイトに対して 275 個の素性が計算されている。素性は内が大きいほど、その素性はウェブスパムとノンスパムを大きく分け隔てており、機械学習において有用となる。

容ベース（テキストベース）の素性が 96 個、リンクベースの素提案手法では、近傍のウェブサイト群にラベルが 1 つも付与性が 179 個である。内容ベースの素性はウェブページの圧縮率されていない場合の素性を求めることができないため、そのウェやクエリに対する適合率、リンクベースの素性は PageRank やブサイトを評価の対象から除外した。但し、評価の対象から外TrustRank、Truncated PageRank 等が含まれる。これらの素すのは素性間の評価のみで、次節においては評価の対象に含ま3れる。words、tags、scripts に閾値として 8、16、32 を用いた

4

ときの評価の対象となったウェブサイト数を表 6 に示す。閾値は

LIBSVM, http://www.csie.ntu.edu.tw/˜cjlin/libsvm/
Orange, http://www.ailab.si/orange/5
http://bibnum.bnf.fr/WARC/warc ISO DIS 28500.pdf
6
LAW Library, http://law.dsi.unimi.it/software/4

ハッシュ値の一致した関数の数を示す。割合 A はラベルの付与されている 6,053 のウェブサイトに対して各素性が求められた割

日本データベース学会論文誌 Vol.8, No.1
2009 年 6 月

一般論文

DBSJ Journal Vol.8, No.1
June 2009

合、割合 B はラベルの付与されている 6,053 のウェブサイトに

表 8 混同対照表

対して words、tags、scripts のいずれかが求められた割合であラベルる。この表から、提案した素性は約 3 割のウェブサイトに対して計算されたことが分かる。但し、訓練データの数が増えれば、類似ページの見つかる確率が高まり、より多くのウェブサイトに対SpamNon-spam

予測して素性を求めることが可能となる。
表6SpamNon-spam

TPFN

FPTN

素性が計算されたウェブサイト数

閾値

素性

サイト数

割合 A(%)

割合 B(%)

8wordstags
scripts

914
798
1267

15.1
13.2
21.0

35.78

16words
tags
scripts

909
730
1231

15.0
12.1
20.3

34.89

32wordstags
scripts

875
509
1123

14.5
8.4
18.632.68

評価は上述した 275 個の素性と我々の計算した 9 個の素性を使って行う。275 個の素性のうち内容ベースの素性を C、リンクベースの素性を L、我々の計算した素性を Sims とおき、C と Lの全ての素性を用いて学習を行った検出器 (C+L) をベースラインとする。それに対し、C と L に Sims を加えて学習を行った検出器 (C+L+Sims) の精度を比較する。機械学習にはサポートベ
クターマシン (SVM) とランダムフォレスト (RF) を用いた。
機械学習においては、データセットのスパムとノンスパムの割合が約 1:17 とアンバランスであるため、訓練に用いるノンスパムの数を調整し、精度の高い検出器を構築できる割合を探した。
表 9、表 10 に AUC による提案手法の評価結果を示す。この結果

表 7 に各素性の F-score を値を示す。この結果からタグ間の類より、提案素性を加えることで検出器の精度が向上することを確似度である tags が最も高いスコアを示しており、HTML タグの認できる。また、AUC が最も高かった RF の 1:5 の ROC カー

類似度がウェブスパムの検出において有用な素性であることが確

ブを図 4.5 に示す。この ROC カーブから、提案素性では False認できる。このことより、ウェブスパム同士は類似したタグ構造

Positive Rate が 0 付近の状態で True Positive Rate が 0.4 でを持つ傾向があると考えられる。

あることが分かる。これはノンスパムをウェブスパムと誤検出す

表74.4

ることなく、4 割近いウェブスパムを検出できることを示してお各素性の F-score

素性閾値F-scorewords

816320.192
0.180
0.162

tags

816320.462
0.530
0.502

scripts

816320.213
0.2150.216

り、誤検出が重大な問題となるウェブスパムの検出において重要な改善である。
表9C+L
C+L+Sims

機械学習による評価 (SVM)

1:1

1:3

1:5

1:10

1:15

0.784
0.823

0.762
0.817

0.765
0.806

0.727
0.823

0.710
0.796

表 10C+L
C+L+Sims

機械学習による評価

機械学習による評価 (RF)

1:1

1:3

1:5

1:10

1:15

0.802
0.829

0.816
0.857

0.812
0.859

0.796
0.838

0.768
0.813

機械学習による提案素性の評価実験について述べる。評価尺度には AUC(Area Under Curve) と F 値を用いる。表 8 はラベルのスパムとノンスパム、予測のスパムとノンスパムの対応を示している。AUC は ROC カーブの曲線下面積を求めたものであ7る。AUC と F 値の計算は PERF を用いて行う。

TPT rueP ositiveRate =TP + FNFPFP + TN7
http://kodiak.cs.cornell.edu/kddcup/software.html
F alseP ositiveRate =

5(9)
(10)

4.5

関連研究との比較

ウェブスパム検出のワークショップである AIRWEB2008 との 結 果 の 比 較 を 行 う。AIRWEB2008 で は 、実 験 に 使 用 し た

WEBSPAM-UK2007 データセットが用いられたため、前節の実験結果を使って比較することができる。表 11 に AIRWEB2008の結果との比較を示す。これより、我々の検出器は AUC と F値において最も良好な結果を示していることが分かる。但し、

AIRWEB2008 の参加者はウェブスパム検出の予測結果を 2 通りしか提出できないルールだったため、我々の予測の仕方は不公

日本データベース学会論文誌 Vol.8, No.12009 年 6 月

一般論文

DBSJ Journal Vol.8, No.1
June 2009

平だが、それを勘案しても比較的良い精度でウェブスパムを検出できていることが分かる。
ROC
1

True Positive Rate

0.8

0.6

0.4

0.2

C+L+Sims(RF)C+L000.2

0.4

0.6

0.8

1

False Positive Rate

図 1 ROC カーブ

表 11 AIRWEB2008 との比較

Geng et al.
Tang et al.
Abernethy and Chapelle
Siklosi and Benczur
Bauman et al.
Skvortsov
C+L+Sims(SVM)
C+L+Sims(RF)

5.

AUC

F値

0.848
0.824
0.809
0.796
0.783
0.731
0.823
0.859

0.470
0.368
0.359
0.318
0.257
0.2430.564
0.533

結論

本稿では、従来の方法では検出の難しい、他のウェブページの内容を流用することでウェブページを自動的に生成するタイプのウェブスパムを検出するための検討を行った。そのためにウェブ

ial Information Retrieval on the Web, 2005.
[2] T. Urvoy, E. Chauveau, P. Filoche, and T. Lavergne.
Tracking web spam with html style similarities. In ACM
Transactions on the Web, 2008.
[3] Z. Gyöngyi and H. Garcia-Molina. Web spam taxonomy. In Proceedings of the 1st International Workshop
on Adversarial Information Retrieval on the Web, 2005.
[4] A. Ntoulas, M. Najork, M. Manasse, and D. Fetterly.
Detecting spam web pages through content analysis.
In Proceedings of the 15th international conference on
World Wide Web, pp. 83–92, 2006.
[5] Z. Gyöngyi and H. Garcia-Molina. Link spam alliances.
In Stanford University, 2005.
[6] P. Indyk and R. Motwani. Approximate nearest neighbors: Towards removing the curse of dimensionality.
In Proceedings of the 30th Annual ACM Symposium on
Theory of Computing, pp. 604–613, 1998.
[7] A. Z. Broder, S. C. Glassman, M. S. Manasse, andG. Zweig. Syntactic clustering of the web. In Elsevier
Science Publishers Ltd, pp. 1157–1166, 1997.
[8] A. Z. Broder, M. Charikar, A. M. Frieze, and M. Mitzenmacher. Min-wise independent permutations. In Proceedings of the 30th annual ACM symposium on Theoryof computing, pp. 327–336, 1998.
[9] C. Castillo, D. Donato, A. Gionis, V. Murdock, andF. Silvestri. Know your neighbors: web spam detection
using the web topology. In Proceedings of the 30th annual international ACM SIGIR conference on Researchand development in information retrieval, pp. 423–430,
2007.
[10] L. Becchetti, C. Castillo, D. Donato, S. Leonardi, andR. Baeza-Yates. Link-based characterization and detection of web spam. In Proceedings of the 2nd International Workshop on Adversarial Information Retrieval
on the Web, 2006.
[11] Y. W. Chen and C. J. Lin. Combining svms with various
feature selection strategies. In Taiwan University, 2005.

ページ間の構造に着目し、ウェブページ間のタグの類似度をもとに計算した素性がウェブスパムの検出に有効であることを実験に

北村 順平 Junpei KITAMURAより確認した。

豊橋技術科学大学大学院工学研究科情報工学専攻博士前期課程。

今後の課題として、異なるデータセットや言語を用いた検討が期待される。また、今回の実験では words や tags といった類

次世代光ネットワーク、IP ネットワークの信頼性構築、スパムブログ検出、ウェブスパム検出などの研究に従事。

似度を計算する際に n-grams によるフレーズの抽出を行ったが、異なる方法でフレーズを抽出した際の検討が期待される。

[文献][1] A. A. Benczúr, K. Csalogány, T. Sarlós, and M. Uher.
Spamrank: fully automatic link spam detection. In Proceedings of the 1st International Workshop on Adversar-6

青野 雅樹 Masaki AONO
豊橋技術科学大学情報工学系教授。1984 年東京大学理学系大学院情報科学専攻博士前期課程修了。Ph.D(Rensselaer PolytechnicInstitute)。データベース、データマイニング、情報検索などの研究に従事。ACM、IEEE、情報処理学会、日本データベース学会、言語処理学会、人工知能学会、電子情報通信学会、各会員。

日本データベース学会論文誌 Vol.8, No.1
2009 年 6 月