(57)【特許請求の範囲】
【請求項１】
スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行い、判定結果を出力するスパム判定方法であって、
入力手段が、情報発信源から発信された複数の発信文書からなる発信文書集合を取得し、入力情報記憶手段に格納する情報取得ステップと、
定型性スコア算出手段が、前記入力情報記憶手段から前記発信文書集合を取得して、該発信文書集合の各発信文書の持つ特性の類似度合いを元にして、発信文書集合が機械的に作成されている度合いを表す定型性スコアを算出し、スコア記憶手段に格納する定型性スコア算出ステップと、
スパム判定手段が、前記定型性スコアと予め設定されている閾値と比較して、所定の値以上に定型的に作成されていると見做せる場合に、前記発信文書の発信源がスパムであると判定するスパム判定ステップと、
を行い、
前記定型性スコア算出ステップにおいて、
前記入力情報記憶手段に格納された発信文書集合の各発信文書の持つ段落数、もしくは、リンク数がばらついていない場合は、予め定められたフォーマットに従って機械的に生成されたスパム記事集合である可能性が高いと想定し、前記発信文書集合の各発信文書からリンク数情報と段落数情報とを抽出し、得られた該リンク数情報と該段落情報のばらつき度合いが低いほど、すなわち、各発信文書の文書構造が似通っているほど小さな値となる構造定型性スコアを算出する構造定型性算出ステップを行う
ことを特徴とするスパム判定方法。
【請求項２】
前記構造定型性算出ステップにおいて、
前記各発信文書の持つリンク数を抽出し、文書番号がｉの文書のリンク数をＬi、前記入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｌiの平均値をＬavrとして、前記構造定型性スコアＳを
【数１】
0005033063.tif 000011
により求める
請求項１記載のスパム判定方法。
【請求項３】
前記構造定型性算出ステップにおいて、
前記各発信文書の持つ段落構造の数を抽出し、文書番号がｉの文書の段落数をＰiとし、前記入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｐiの平均値をPavrとして、前記構造定型性スコアＳを、
【数２】
0005033063.tif 000012
により求める
請求項１記載のスパム判定方法。
【請求項４】
スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行い、判定結果を出力するスパム判定装置であって、
情報発信源から発信された複数の発信文書からなる発信文書集合を取得し、入力情報記憶手段に格納する情報取得手段と、
前記入力情報記憶手段から前記発信文書集合を取得して、該発信文書集合の各発信文書の持つ特性の類似度合いを元にして、発信文書集合が機械的に作成されている度合いを表す定型性スコアを算出し、スコア記憶手段に格納する定型性スコア算出手段と、
前記定型性スコアと予め設定されている閾値と比較して、所定の値以上に定型的に作成されていると見做せる場合に、前記発信文書の発信源がスパムであると判定するスパム判定手段と、
を有し、
前記定型性スコア算出手段は、
前記入力情報記憶手段に格納された発信文書集合の各発信文書の持つ段落数、もしくは、リンク数がばらついていない場合は、予め定められたフォーマットに従って機械的に生成されたスパム記事集合である可能性が高いと想定し、前記発信文書集合の各発信文書からリンク数情報と段落数情報とを抽出し、得られた該リンク数情報と該段落情報のばらつき度合いが低いほど、すなわち、各発信文書の文書構造が似通っているほど小さな値となる構造定型性スコアを算出する構造定型性算出手段を含む
ことを特徴とするスパム判定装置。
【請求項５】
前記構造定型性算出手段は、
前記各発信文書の持つリンク数を抽出し、文書番号がｉの文書のリンク数をＬi、前記入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｌiの平均値をＬavrとして、前記構造定型性スコアＳを
【数３】
0005033063.tif 000013
により求める手段を含む
請求項４記載のスパム判定装置。
【請求項６】
前記構造定型性算出手段は、
前記各発信文書の持つ段落構造の数を抽出し、文書番号がｉの文書の段落数をＰiとし、前記入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｐiの平均値をPavrとして、前記構造定型性スコアＳを、
【数４】
0005033063.tif 000014
により求める手段を含む
請求項４記載のスパム判定装置。
【請求項７】
請求項４乃至６のいずれか１項記載のスパム判定装置を構成する各手段としてコンピュータを機能させるためのスパム判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スパム判定方法及び装置及びプログラムに係り、特に、機械的に大量生産されたスパム投稿を発見するスパム判定方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
近年インターネットの普及と共に、一般の人々が情報を発信するＣＧＭ(Consumer Generated Media)と呼ばれるサービスが一般化してきている。これらには様々な人々による評判や体験の情報が発信され、有用な情報源として利用されるようになってきている。
【０００３】
有料サイトやアダルトサイト等への誘導や広告表示といったことを目的とした、いわゆるスパム記事が機械的に大量に生産され、投稿されるようなってきている。これらのスパム記事はＣＧＭから評判や体験といった情報を得ようとして、情報を検索する際に、その検索精度を下げる要因として問題となっている。スパム記事を検索結果に出ないようにして、検索精度を向上させる手法は多数提案されている。
【０００４】
従来の技術として、発信者による記事の投稿を情報提供行為とし、投稿記事から他の記事へのリンク参照を情報評価行為とみなし、その相関関係を分析することにより高く評価される情報提供者を選び出すことにより検索結果を向上させる技術がある（例えば、特許文献１参照）。
【特許文献１】特開２００６−２０２２５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術では、大量のスパム記事間で相互にリンクを張り合った場合に、誤ってスパム記事に高い評価スコアを付けてしまうという問題があった。
【０００６】
本発明は、上記の点に鑑みなされたもので、あるキーワードで検索された際に検索エンジンの上位の検索結果に表示されることを目的としたスパム記事を発信している情報発信源をスパムとして判定することが可能なスパム判定方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理を説明するための図である。
【０００８】
本発明（請求項１）は、スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行い、判定結果を出力するスパム判定方法であって、
入力手段が、情報発信源から発信された複数の発信文書からなる発信文書集合を取得し、入力情報記憶手段に格納する情報取得ステップ（ステップ１）と、
定型性スコア算出手段が、入力情報記憶手段から発信文書集合を取得して、該発信文書集合の各発信文書の持つ特性の類似度合いを元にして、発信文書集合が機械的に作成されている度合いを表す定型性スコアを算出し、スコア記憶手段に格納する定型性スコア算出ステップ（ステップ２）と、
スパム判定手段が、定型性スコアと予め設定されている閾値と比較して、所定の値以上に定型的に作成されていると見做せる場合に、発信文書の発信源がスパムであると判定するスパム判定ステップ（ステップ３）と、を行い、
定型性スコア算出ステップ（ステップ２）において、
入力情報記憶手段に格納された発信文書集合の各発信文書の持つ段落数、もしくは、リンク数がばらついていない場合は、予め定められたフォーマットに従って機械的に生成されたスパム記事集合である可能性が高いと想定し、発信文書集合の各発信文書からリンク数情報と段落数情報とを抽出し、得られた該リンク数情報と該段落情報のばらつき度合いが低いほど、すなわち、各発信文書の文書構造が似通っているほど小さな値となる構造定型性スコアを算出する構造定型性算出ステップを行う。
【００１０】
また、本発明（請求項２）は、構造定型性算出ステップにおいて、
各発信文書の持つリンク数を抽出し、文書番号がｉの文書のリンク数をＬi、入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｌiの平均値をＬavrとして、構造定型性スコアＳを、
【００１１】
【数９】
0005033063.tif 000002
により求める。
【００１２】
また、本発明（請求項３）は、構造定型性算出ステップにおいて、
各発信文書の持つ段落構造の数を抽出し、文書番号がｉの文書の段落数をＰiとし、入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｐiの平均値をPavrとして、構造定型性スコアＳを、
【００１３】
【数１０】
0005033063.tif 000003
により求める。
【００２０】
図２は、本発明の原理構成図である。
【００２１】
本発明（請求項４）は、スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行い、判定結果を出力するスパム判定装置であって、
情報発信源から発信された複数の発信文書からなる発信文書集合を取得し、入力情報記憶手段２に格納する情報取得手段１と、
入力情報記憶手段２から発信文書集合を取得して、該発信文書集合の各発信文書の持つ特性の類似度合いを元にして、発信文書集合が機械的に作成されている度合いを表す定型性スコアを算出し、スコア記憶手段４に格納する定型性スコア算出手段３と、
定型性スコアと予め設定されている閾値と比較して、所定の値以上に定型的に作成されていると見做せる場合に、発信文書の発信源がスパムであると判定するスパム判定手段５と、を有し、
定型性スコア算出手段３は、
入力情報記憶手段２に格納された発信文書集合の各発信文書の持つ段落数、もしくは、リンク数がばらついていない場合は、予め定められたフォーマットに従って機械的に生成されたスパム記事集合である可能性が高いと想定し、発信文書集合の各発信文書からリンク数情報と段落数情報とを抽出し、得られた該リンク数情報と該段落情報のばらつき度合いが低いほど、すなわち、各発信文書の文書構造が似通っているほど小さな値となる構造定型性スコアを算出する構造定型性算出手段を含む。
【００２３】
また、本発明（請求項５）は、構造定型性算出手段は、
各発信文書の持つリンク数を抽出し、文書番号がｉの文書のリンク数をＬi、入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｌiの平均値をＬavrとして、構造定型性スコアＳを、
【００２４】
【数１３】
0005033063.tif 000004
により求める手段を含む。
【００２５】
また、本発明（請求項６）は、構造定型性算出手段において、
各発信文書の持つ段落構造の数を抽出し、文書番号がｉの文書の段落数をＰiとし、入力情報記憶手段に書き込まれた発信文書数をＮ、該Ｐiの平均値をPavrとして、構造定型性スコアＳを、
【００２６】
【数１４】
0005033063.tif 000005
により求める手段を含む。
【００３３】
本発明（請求項７）は、請求項４乃至６のいずれか１項記載のスパム判定装置を構成する各手段としてコンピュータを機能させるためのスパム判定プログラムである。
【発明の効果】
【００３４】
上記のように、本発明によれば、リンク数と段落数から求めた文書の構造定型性、発信者（あるいは組織）単位の文書におけるリンクの被参照最大数の割合から求めた内容定型性、文書の時刻の偏差である時刻定型性からスパムを判定することにより、機械的に作成されるスパム記事集合をその記事と区別することができるため、検索精度の向上が可能となる。
【発明を実施するための最良の形態】
【００３５】
以下、図面と共に本発明の実施の形態を説明する。
【００３６】
図３は、本発明の一実施の形態におけるスパム判定装置の構成を示す。
【００３７】
同図に示すスパム判定装置３００は、構造定型性判定部３２０、内容定型性判定部３３０、時刻定型性判定部３４０、スパム判定部３５０から構成され、これらは、それぞれ入力された情報を保持するバッファを有する。
【００３８】
当該スパム判定装置３００には、処理対象となる情報発信源から過去に発信された情報の集合を、構造定型性判定部３２０、内容定型性判定部３３０、時刻定型性判定部３４０とのそれぞれが持っている入力文書バッファ３２１，３３１，３４１に書き込む発信情報群入力装置３１０と、スパム判定装置３００による処理対象の情報発信源がスパムか否かの判定結果を出力するスパム判定出力装置３６０とが接続されている。
【００３９】
当該スパム判定装置３００の入力となる発信情報群は、インターネット上において同一の発信者もしくは発信組織により発信された情報の集合に対し、ＨＴＭＬ形式の文書情報の集合となる。
【００４０】
次に、上記の各構成の動作を説明する。
【００４１】
＜構造定型性判定部３２０＞
図４は、本発明の一実施の形態における構造定型性判定部の処理のフローチャートである。構造定型性判定部３２０は、発信情報群入力装置３１０から構造定型性判定部３２０の入力文書バッファ３２１に一つまたは複数の文書情報が書き込まれると動作を開始する。
【００４２】
ステップ４１０）  まず、構造定型性判定部３２０は、入力文書バッファ３２１から一つの文書を取り出す。
【００４３】
ステップ４２０）  取り出した文書情報のＨＴＭＬ構造を解析し、当該文書情報中に含まれるリンク情報を抽出し、抽出したリンク情報の数を構造情報バッファ３２２に格納する。
【００４４】
ステップ４３０）  その後、文書情報のＨＴＭＬを解析し、当該文書情報中に含まれる段落構造の数を抽出する。段落構造の数は、ＨＴＭＬにある＜ｐ＞タグを利用することにより計算する。ＨＴＭＬ中で＜ｐ＞タグが用いられていないような場合には、改行が２つ続いている箇所を段落の区切りとみなして抽出し、構造情報バッファ３２２に格納する。
【００４５】
ステップ４４０）  入力文書バッファ３２１に情報が残っていればステップ４１０に戻り、処理を続ける。
【００４６】
ステップ４５０）  入力文書バッファ３２１中の全ての文書情報について、ステップ４１０〜４３０の処理を行った際の、構造情報バッファ３２２の例を図５に示す。処理対象の文書情報について、処理を行った順に１から始まる文書番号を付与し、それぞれについてのステップ４２０で抽出したリンク数と、ステップ４３０で抽出した段落数が格納される。
【００４７】
入力された文書情報群の各文書の持つ段落数もしくはリンク数がばらついていない場合は、予め定められたフォーマットに従って機械的に生成されたスパム記事集合である可能性が高い。構造情報バッファ中のハイパーリンク数情報と段落数情報とのばらつきの度合いが低いほど、すなわち、各文書情報の文書構造が似通っているほど、小さな値となる構造定型性スコアを算出する。
【００４８】
構造情報バッファ３２２に格納された文書番号ｉの文書のリンク数をＬｉ、段落数をＰｉとし、入力文書バッファ３２１に書き込まれた文書情報数をＮとして、構造定型性スコアＳnは次の式で求められる。また、Lavrは、Ｌｉの平均値であり、PavrはPｉの平均値である。
【００４９】
【数１７】
0005033063.tif 000006
ステップ４６０）  上記の式により得られた構造定型性スコアSＮをスパム判定部３５０の定型性バッファ３５１に書き込み、構造定型性判定部３２０は処理を終了する。
なお、計算量の簡略化のため、上記のステップ４５０において、リンク数もしくは段落数のみを用いて構造定型性スコアを算出しなくてもよい。リンク数おみで構造定型性スコアを求める場合には、
【００５０】
【数１８】
0005033063.tif 000007
の式を用い、段落数のみで構造定型形スコアを求める場合には、
【００５１】
【数１９】
0005033063.tif 000008
の式を用いる。
【００５２】
＜内容定型性判定部３３０＞
図６は、本発明の一実施の形態における内容定型性判定部の処理のフローチャートである。内容定型性判定部３３０は、発信情報群入力装置３１０から内容定型性判定部３３０が持つ入力文書バッファ３３１に一つまたは複数の文情報が書き込まれると動作を開始する。
【００５３】
ステップ６１０）  まず、内容定型性判定部３３０は、入力文書バッファ３３１から一つの文書情報を取り出す。
【００５４】
ステップ６２０）  次に取り出した文書情報中のハイパーリンク情報を抽出し、その参照先を内容情報バッファ３３２に格納する。内容情報バッファ３３２には、図７に示すように、参照先のＵＲＬ情報と、そのＵＲＬを参照していた文書数が記録される。
【００５５】
ステップ６３０）  入力文書バッファ３３１に情報が残っている場合は、ステップ６１０に移行する。
【００５６】
ステップ６４０）  予め定められた参照先に誘導することを目的として機械的に生成されたスパム記事集合である場合、入力された文書情報群の各文書が皆同じ参照先情報を持っていると考えられる。内容情報バッファ３３２中の参照文書数の最大を用いて、その参照文書数が入力された文書情報群の文書数に対して占める割合が大きいほど、すなわち参照先のばらつきが少なく、同一の参照先への誘導を行っている程、小さな値となる内容定型性スコアを算出する。具体的には最も大きな参照文書数を入力された文書情報群の文書数で割った値を、１から引くことにより求まる値を内容定型性スコアとする。
【００５７】
入力文書バッファ３３１に書き込まれた文書情報数をＮとし、内容情報バッファ３３２に格納された参照先情報のうち、参照文書数が最大のものの参照文書数をRｍａｘとすると、内容定型性スコアSｃは、次の式で求めることができる。
【００５８】
【数２０】
0005033063.tif 000009
内容定型性スコアは、参照先に基づいた入力された文書情報群の内容の変動度合いを表し、文書情報群が定型的であるほど０に近い値が算出される。
【００５９】
ステップ６５０）得られた内容定型性スコアＳcをスパム判定部の定型性バッファ３５１に書き込み、内容定型性判定部３３０は処理を終了する。
【００６０】
＜時刻定型性判定部３４０＞
図８は、本発明の一実施の形態における時刻定型性判定部の処理のフローチャートである。時刻定型性判定部３４０は、発信情報群入力装置３１０から時刻定型性判定部３４０の入力文書バッファ３４１に一つまたは複数の文書情報が書き込まれると動作を開始する。
【００６１】
ステップ８１０）  まず、時刻定型性判定部３４０は、入力文書バッファ３４１から一つの文書情報を取り出す。
【００６２】
ステップ８２０）  次に、取り出した文書情報に含まれるＨＴＴＰヘッダのData情報やLast-Modified情報及び文書情報中に記述されている時刻情報を抽出することにより、当該文書情報の作成時刻を抽出し、その時刻情報がその日の０時０分から何秒後の時刻かを表す作成時刻情報を抽出し、当該時刻定型性判定部３４０の時刻情報バッファ３４２に格納する。
【００６３】
ステップ８３０）  入力文書バッファ３４１に情報が残っている場合には、ステップ８１０に戻り処理を続ける。
【００６４】
ステップ８４０）  機械的に作成されるスパム文書集合においては、毎日同じ時刻に文書の作成及び発信が行われると考えられる。時刻情報バッファ３４２中の入力文書情報群の作成時刻情報集合から、その発信時刻のばらつきの度合いを求め、ばらつきが小さい、つまり、日々同じ時刻に作成されている程値が小さくなる時刻定型性スコアを算出する。具体的には、作成時刻の平均値からの差の２乗総和を用いて、入力文書情報群の時刻定型性を表す時刻定型性スコアを算出する。
【００６５】
入力文書バッファ３４１に書き込まれた文書情報をＮとし、時刻情報バッファ３４２に蓄積された時刻作成情報のうちｉ番目の値をTｉとすると、時刻定型性スコアSｔは次の式で求めることができる。また、ＴavrはＴiの平均値である。
【００６６】
【数２１】
0005033063.tif 000010
時刻定型性スコアは、各文書情報の作成時刻が毎日同じ時刻に作成されていて定型的であるほど０に近い値が算出される。
【００６７】
ステップ８５０）
得られた時刻定時制スコアＳｔをスパム判定部３５０の定型性バッファ３５１に書き込み、時刻定型性判定部３４０は処理を終了する。
【００６８】
＜スパム判定部３５０＞
スパム判定部３５０は、構造定型性判定部３２０、内容定型性判定部３３０、時刻定型性判定部３４０から定型性バッファ３５１に情報が書き込まれると、処理を開始し、構造定型性スコアと内容定型性スコアと時刻定型性スコアを評価し、総合的な定型性が高い場合に処理対象の情報発信源がスパムと判定し、その判定結果とスパム判定出力装置３６０に出力する。
【００６９】
具体的には、構造定型性スコアと内容定型性スコアと時刻定型性スコアについては、予めそれぞれについて設定された重み付き総和を求め、その値が一定よりも低いものについては予めそれぞれについて設定された重み付総和を求め、その値が一定よりも低いものについては、定型性が高いとみなしてスパムと判定する。また、処理の簡単化のため、構造定型性スコアと内容定型性スコアと時刻定型性スコアのうち、予め入力されていた閾値よりも一つでも低い値のものがある場合にスパムと判定してもよい。
【００７０】
このとき、構造定型性スコアと内容定型性スコアと時刻定型性スコアとに対して、それぞれ異なる閾値を予め入力しておいてもよい。
【００７１】
なお、図３に示すスパム判定装置の構成要素の動作をプログラムとして構築し、スパム判定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７２】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００７３】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７４】
本発明は、スパム投稿を発見するための技術に適用可能である。
【図面の簡単な説明】
【００７５】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるスパム判定装置の構成図である。
【図４】本発明の一実施の形態における構造定型性判定部の処理のフローチャートである。
【図５】本発明の一実施の形態における構造定型性判定部の構造情報バッファの例である。
【図６】本発明の一実施の形態における内容定型性判定部の処理のフローチャートである。
【図７】本発明の一実施の形態における内容定型性判定部の内容情報バッファの例である。
【図８】本発明の一実施の形態における時刻定型性判定部の処理のフローチャートである。
【符号の説明】
【００７６】
１  情報取得手段
２  入力情報記憶手段
３  定型性スコア算出手段
４  スコア記憶手段
５  スパム判定手段
３００  スパム判定装置
３１０  文書情報群入力装置
３２０  構造定型性判定部
３２１  入力文書バッファ
３２２  構造情報バッファ
３３０  内容定型性判定部
３３１  入力文書バッファ
３３２  内容情報バッファ
３４０  時刻定型性判定部
３４１  入力文書バッファ
３４２  時刻情報バッファ
３５０  スパム判定部
３５１  定型性バッファ
３６０  スパム判定出力装置
【図１】
0005033063.tif 000015
【図２】
0005033063.tif 000016
【図３】
0005033063.tif 000017
【図４】
0005033063.tif 000018
【図５】
0005033063.tif 000019
【図６】
0005033063.tif 000020
【図７】
0005033063.tif 000021
【図８】
0005033063.tif 000022