(57)【特許請求の範囲】
【請求項１】
スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行うスパム判定方法であって、
入力手段が、情報発信源から発信された複数の発信文書を取得する情報取得ステップと、
反復スコア算出手段が、入力された前記発信文書中の意図的に反復して使われている語句について、反復度合いを反復度スコアとして数値化し、記憶手段に格納する反復スコア算出ステップと、
スパムスコア算出手段が、前記反復度スコアの値から、処理対象となる前記情報発信源が意図的に特定の語句を反復的に使用していることを表すスパムスコアを算出し、前記記憶手段に格納するスパムスコア算出ステップと、
スパム判定手段が、前記スパムスコアを、予め定められた閾値と比較することにより、前記情報発信源がスパムか否かを判定するスパム判定ステップと、
からなり、
前記反復度スコア算出ステップにおいて、
文書データベースの大量の文書情報集合から得られる平均的な一文書中での語句の使用回数と、入力された前記発信文書中におけるある語句の使用回数を比較することにより、該語句が当該発信文書中において不自然に多く使われている度合いを数値化することにより、前記反復度スコアを算出する
ことを特徴とするスパム判定方法。
【請求項２】
前記反復度スコア算出ステップにおいて、
前記発信文書中において不自然に多く使われている度合いを求める際に、
前記文書データベースの大量の文書情報集合から前記語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、処理対象の発信文書中に該期待値よりも多い回数出現する場合に、該確率から求められる情報量を反復スコアとすることにより、平均的な一文書中での語句の使用回数に比べて不自然に多く使われているほど大きなスコアを算出する
請求項１記載のスパム判定方法。
【請求項３】
前記反復スコア算出ステップにおいて、
ある表記ｗｉが前記発信文書中に出現する回数をｗｆ（ｗｉ）とし、前記文書データベース中の文書情報集合のｗｉを含む文書の数をｄｆ（ｗｉ）とし、該文書データベース全体でのｗｉの出現回数をｃｆ（ｗｉ）とした際に、
一文書中に含まれるｗｉの数の期待値
【数１】
0005123057.tif 000010
を用いることにより、ｗｉが不自然に前記発信文書中で多く使われている度合いを表す反復スコアＲ（ｗｉ）を
【数２】
0005123057.tif 000011
により求める
請求項１または、２記載のスパム判定方法。
【請求項４】
前記スパムスコア算出ステップにおいて、
各文書毎の前記反復スコアの上位語句もしくは予め定めた閾値以上の反復スコアを持つ語句を選択し、選択された語句群の持つ反復スコアの平均値を前記スパムスコアとする
請求項１記載のスパム判定方法。
【請求項５】
前記反復スコア算出ステップにおいて、
前記反復スコアを求める際に、前記文書データベースの大量の文書情報集合から前記語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、該発信文書中に該期待値よりも多い回数出現する場合に該確率から求められる情報量に、該反復スコアを算出している語句が含まれる段落数が前記処理対象文書の持つ全段落数に占める割合を掛け合わせることにより、該語句を含む文書を機械的に組み合わせて作成された場合に高い反復スコアを算出する
請求項１記載のスパム判定方法。
【請求項６】
スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行うスパム判定装置であって、
文書情報群入力装置を介して入力された情報発信源から発信された複数の発信文書情報の発信文書中の意図的に反復して使われている語句について、反復度合いを反復度スコアとして数値化し、記憶手段に格納する反復スコア算出手段と、
前記反復度スコアの値から、処理対象となる前記情報発信源が意図的に特定の語句を反復的に使用していることを表すスパムスコアを算出し、前記記憶手段に格納するスパムスコア算出手段と、
前記スパムスコアを、予め定められた閾値と比較することにより、前記情報発信源がスパムか否かを判定し、判定結果をスパム判定出力装置に出力するスパム判定手段と、を有し、
前記反復度スコア算出手段は、
文書データベースの大量の文書情報集合から得られる平均的な一文書中での語句の使用回数と、入力された前記発信文書中におけるある語句の使用回数を比較することにより、該語句が当該発信文書中において不自然に多く使われている度合いを数値化することにより、前記反復度スコアを算出する手段を含む
ことを特徴とするスパム判定装置。
【請求項７】
前記反復スコア算出手段は、
前記発信文書中において不自然に多く使われている度合いを求める際に、
前記文書データベースの大量の文書情報集合から前記語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、該発信文書中に該期待値よりも多い回数出現する場合に、該確率から求められる情報量を反復スコアとすることにより、平均的な一文書中での語句の使用回数に比べて不自然に多く使われているほど大きなスコアを算出する手段を含む
請求項６記載のスパム判定装置。
【請求項８】
前記反復スコア算出手段は、
ある表記ｗｉが前記発信文書中に出現する回数をｗｆ（ｗｉ）とし、前記文書データベース中の文書情報集合のｗｉを含む文書の数をｄｆ（ｗｉ）とし、該文書データベース全体でのｗｉの出現回数をｃｆ（ｗｉ）とした際に、
一文書中に含まれるｗｉの数の期待値
【数５】
0005123057.tif 000012
を用いることにより、ｗｉが不自然に前記発信文書中で多く使われている度合いを表す反復スコアＲ（ｗｉ）を
【数６】
0005123057.tif 000013
により求める手段を含む
請求項６または７記載のスパム判定装置。
【請求項９】
前記スパムスコア算出手段は、
各文書毎の前記反復スコアの上位語句もしくは予め定めた閾値以上の反復スコアを持つ語句を選択し、選択された語句群の持つ反復スコアの平均値を前記スパムスコアとする手段を含む
請求項６記載のスパム判定装置。
【請求項１０】
前記反復スコア算出手段は、
前記反復スコアを求める際に、前記文書データベースの大量の文書情報集合から前記語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、該発信文書中に該期待値よりも多い回数出現する場合に該確率から求められる情報量に、該反復スコアを算出している語句が含まれる段落数が前記処理対象文書の持つ全段落数に占める割合を掛け合わせることにより、該語句を含む文書を機械的に組み合わせて作成された場合に高い反復スコアを算出する手段を含む
請求項６記載のスパム判定装置。
【請求項１１】
請求項６乃至１０のいずれか１項記載のスパム判定装置を構成する各手段としてコンピュータを機能させるためのスパム判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スパム判定方法及び装置及びプログラムに係り、特に、機械的に大量生産されたスパム投稿を発見するスパム判定方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
近年インターネットの普及と共に、一般の人々が情報を発信するＣＧＭ(Consumer Generated Media)と呼ばれるサービスが一般化してきている。これらには様々な人々による評判や体験の情報が発信され、有用な情報源として利用されるようになってきている。
【０００３】
有料サイトやアダルトサイト等への誘導や広告表示といったことを目的とした、いわゆるスパム記事が機械的に大量に生産され、投稿されるようなってきている。これらのスパム記事はＣＧＭから評判や体験といった情報を得ようとして、情報を検索する際に、その検索精度を下げる要因として問題となっている。スパム記事を検索結果に出ないようにして、検索精度を向上させる手法は多数提案されている。
【０００４】
従来の技術として、発信者による記事の投稿を情報提供行為とし、投稿記事から他の記事へのリンク参照を情報評価行為とみなし、その相関関係を分析することにより高く評価される情報提供者を選び出すことにより検索結果を向上させる技術がある（例えば、特許文献１参照）。
【特許文献１】特開２００６−２０２２５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術では、大量のスパム記事間で相互にリンクを張り合った場合に、誤ってスパム記事に高い評価スコアを付けてしまうという問題があった。
【０００６】
本発明は、上記の点に鑑みなされたもので、あるキーワードで検索された際に検索エンジンの上位の検索結果に表示されることを目的としたスパム記事を発信している情報発信源をスパムとして判定することが可能なスパム判定方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理を説明するための図である。
【０００８】
本発明（請求項１）は、スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行うスパム判定方法であって、
入力手段が、情報発信源から発信された複数の発信文書を取得する情報取得ステップ（ステップ１）と、
反復スコア算出手段が、入力された発信文書中の意図的に反復して使われている語句について、反復度合いを反復度スコアとして数値化し、記憶手段に格納する反復スコア算出ステップ（ステップ２）と、
スパムスコア算出手段が、反復度スコアの値から、処理対象となる情報発信源が意図的に特定の語句を反復的に使用していることを表すスパムスコアを算出し、記憶手段に格納するスパムスコア算出ステップ（ステップ３）と、
スパム判定手段が、スパムスコアを、予め定められた閾値と比較することにより、情報発信源がスパムか否かを判定するスパム判定ステップ（ステップ４）と、
からなり、
反復度スコア算出ステップ（ステップ２）において、
文書データベースの大量の文書情報集合から得られる平均的な一文書中での語句の使用回数と、入力された発信文書中におけるある語句の使用回数を比較することにより、該語句が当該発信文書中において不自然に多く使われている度合いを数値化することにより、反復度スコアを算出する。
【０００９】
また、本発明（請求項２）は、反復度スコア算出ステップ（ステップ２）において、
発信文書中において不自然に多く使われている度合いを求める際に、
文書データベースの大量の文書情報集合から語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、処理対象の発信文書中に該期待値よりも多い回数出現する場合に、該確率から求められる情報量を反復スコアとすることにより、平均的な一文書中での語句の使用回数に比べて不自然に多く使われているほど大きなスコアを算出する。
【００１０】
また、本発明（請求項３）は、反復スコア算出ステップ（ステップ２）において、
ある表記ｗｉが発信文書中に出現する回数をｗｆ（ｗｉ）とし、文書データベース中の文書情報集合のｗｉを含む文書の数をｄｆ（ｗｉ）とし、該文書データベース全体でのｗｉの出現回数をｃｆ（ｗｉ）とした際に、
一文書中に含まれるｗｉの数の期待値
【００１１】
【数９】
0005123057.tif 000002
を用いることにより、ｗｉが不自然に発信文書中で多く使われている度合いを表す反復スコアＲ（ｗｉ）を
【００１２】
【数１０】
0005123057.tif 000003
により求める。
【００１３】
また、本発明（請求項４）は、スパムスコア算出ステップ（ステップ３）において、
各文書毎の反復スコアの上位語句もしくは予め定めた閾値以上の反復スコアを持つ語句を選択し、選択された語句群の持つ反復スコアの平均値をスパムスコアとする。
【００１４】
また、本発明（請求項５）は、反復スコア算出ステップ（ステップ２）において、
反復スコアを求める際に、文書データベースの大量の文書情報集合から語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、該発信文書中に該期待値よりも多い回数出現する場合に該確率から求められる情報量に、該反復スコアを算出している語句が含まれる段落数が処理対象文書の持つ全段落数に占める割合を掛け合わせることにより、該語句を含む文書を機械的に組み合わせて作成された場合に高い反復スコアを算出する。
【００１８】
図２は、本発明の原理構成図である。
【００１９】
本発明（請求項６）は、スパム判定対象となる情報発信源からの複数の発信文書情報を入力とし、対象となる発信文書情報源が特定の語句における検索結果を意図的に向上させようとしているスパムか否かの判定を行うスパム判定装置であって、
文書情報群入力装置３１０を介して入力された情報発信源から発信された複数の発信文書中の意図的に反復して使われている語句について、反復度合いを反復度スコアとして数値化し、記憶手段に格納する反復スコア算出手段３２０と、
反復度スコアの値から、処理対象となる情報発信源が意図的に特定の語句を反復的に使用していることを表すスパムスコアを算出し、記憶手段に格納するスパムスコア算出手段３３０と、
スパムスコアを、予め定められた閾値と比較することにより、情報発信源がスパムか否かを判定し、スパム判定出力装置３５０に出力するスパム判定手段３４０と、を有し、
反復度スコア算出手段３２０は、
文書データベースの大量の文書情報集合から得られる平均的な一文書中での語句の使用回数と、入力された発信文書中におけるある語句の使用回数を比較することにより、該語句が当該発信文書中において不自然に多く使われている度合いを数値化することにより、反復度スコアを算出する手段を含む。
【００２０】
また、本発明（請求項７）は、反復スコア算出手段３２０において、
発信文書中において不自然に多く使われている度合いを求める際に、
文書データベースの大量の文書情報集合から語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、処理対象の発信文書中に該期待値よりも多い回数出現する場合に、該確率から求められる情報量を反復スコアとすることにより、平均的な一文書中での語句の使用回数に比べて不自然に多く使われているほど大きなスコアを算出する手段を含む。
【００２１】
また、本発明（請求項８）は、反復スコア算出手段３２０において、
ある表記ｗｉが発信文書中に出現する回数をｗｆ（ｗｉ）とし、文書データベース中の文書情報集合のｗｉを含む文書の数をｄｆ（ｗｉ）とし、該文書データベース全体でのｗｉの出現回数をｃｆ（ｗｉ）とした際に、
一文書中に含まれるｗｉの数の期待値
【００２２】
【数１３】
0005123057.tif 000004
を用いることにより、ｗｉが不自然に発信文書中で多く使われている度合いを表す反復スコアＲ（ｗｉ）を
【００２３】
【数１４】
0005123057.tif 000005
により求める手段を含む。
【００２４】
また、本発明（請求項９）は、スパムスコア算出手段３３０において、
各文書毎の反復スコアの上位語句もしくは予め定めた閾値以上の反復スコアを持つ語句を選択し、選択された語句群の持つ反復スコアの平均値をスパムスコアとする手段を含む。
【００２５】
また、本発明（請求項１０）は、反復スコア算出手段３２０において、
反復スコアを求める際に、文書データベースの大量の文書情報集合から語句の一文書中の出現数の期待値を求め、処理対象の発信文書中での当該語句の出現数が超える確率を、該期待値を用いてポアソン分布を仮定することにより求め、該発信文書中に該期待値よりも多い回数出現する場合に該確率から求められる情報量に、該反復スコアを算出している語句が含まれる段落数が処理対象文書の持つ全段落数に占める割合を掛け合わせることにより、該語句を含む文書を機械的に組み合わせて作成された場合に高い反復スコアを算出する手段を含む。
【００２９】
本発明（請求項１１）は、請求項６乃至１０のいずれか１項記載のスパム判定装置を構成する各手段としてコンピュータを機能させるためのスパム判定プログラムである。
【発明の効果】
【００３０】
上記のように本発明によれば、１つの文書で高い頻出単語の反復度を算出し、この反復度を発信者（あるいは組織）単位に平均値を求め、平均値が所定の閾値以上であればスパムと判定することにより、特定のキーワードで検索された際に、上位に表示されることを目的とした記事集合を発信している情報発信源を、スパムと判定することができる。これにより、スパムと判定された情報発信源を情報検索装置の検索対象から除去することにより、検索精度の向上が可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、図面と共に本発明の実施の形態を説明する。
【００３２】
［第１の実施の形態］
図３は、本発明の第１の実施の形態におけるスパム判定装置の構成図である。
【００３３】
同図に示すスパム判定装置３００は、反復スコア算出部３２０、スパムスコア算出部３３０、スコア判定部３４０から構成される。
【００３４】
また、処理対象となる情報発信源から過去に発信された文書情報の集合を反復スコア算出部３２０の入力情報バッファ３２１に書き込む文書情報群入力装置３１０と、スパム除去装置による処理対象の情報発信源がスパムか否かの判定結果を出力するスパム判定出力装置３５０と、多数の情報発信源からの発信文書情報が蓄積されている文書データベース３６０とが接続されている。
【００３５】
文書データベース３６０は、Ｗｅｂ上のブログサイトなどで発信されている文書情報を収集し、各ブログサイトを発信文書情報源と見做して蓄積することにより構成することが可能である。
【００３６】
当該装置の入力となる文書情報群は、インターネット上において同一の発信者もしくは発信組織により発信された情報の集合を対象にし、ＨＴＭＬ形式の文書情報の集合となる。
【００３７】
反復スコア算出部３２０は、処理対象となる発信文書情報中に出現する語句それぞれについて、文書データベース３６０から算出される平均的な一文書中に使用される回数に比べて有意に多い回数使用されている場合に、その語句で検索された際に上位に表示される意図を持って使用されていると見做し、その平均的な使用回数からの乖離の度合いを数値化することにより、高い反復スコアを算出する。
【００３８】
図４は、本発明の一実施の形態における反復スコア算出部の処理のフローチャートである。反復スコア算出部３２０は、文書情報群入力装置３１０から入力文書バッファ３２１に文書情報群が書き込まれると動作を開始する。
【００３９】
まず、反復スコア算出部３２０は、入力文書バッファ３２１から一つの文書情報を取り出す（ステップ４１０）。
【００４０】
次に、取り出した文書情報に対して一般の形態素解析技術を適応することにより、文書内容を形態素毎に分割し、各形態素の表記毎に文書中での出現回数を集計する（ステップ４２０）。
【００４１】
文書情報の内容が、
「Ｗｅｂ上のブログサイトなどで発信されている文書情報を収集し、各ブログサイトを情報発信源とみなして蓄積することにより構成する」
という内容であった場合、形態素解析技術によって
「ウェブ、上、の、ブログ、サイト、など、で、発信、…」
というように分割され、「ブログ、２回」「サイト、２回」「発信、２回」「情報、２回」「ウェブ、１回」…というように集計される。
【００４２】
ステップ４２０で集計されて得られた各表記毎に、文書データベース３６０にアクセスして得られる当該表記の一文書中での出現数の期待値を求め、処理対象の文書情報中での語句の出現数画素の期待値よりも大きいほど、意図的に多く当該表記を使用しているとして高い反復スコアとして算出する。具体的には、文書データベース３６０にアクセスして得られる一文書中に含まれる当該表記の出現数の期待値を元に、処理対象の文書中における当該表記の出現数が起こりえる確率を求めることにより、当該表記が確率的に起こりづらいほど多く使われている場合に高い反復スコアを算出する（ステップ４３０）。
【００４３】
ステップ４２０で得られた形態素表記の数がｎ個であったときに、ｉ番目の表記をｗｉとし、処理対象の文書情報中でのｗｉの祝言数をｗｆ（ｗｉ）とする。また、文書データベース３６０にアクセスすることにより、文書データベース３６０に含まれるｗｉを含む文書の数ｄｆ（ｗｉ）と、文書データベース３６０全体でのｗｉの出現回数ｃｆ（ｗｉ）とが得られたとする。このとき、ある文書中に含まれるｗｉの数の期待値λは、
【００４４】
【数１７】
0005123057.tif 000006
となり、この期待値λよりもｗｆ（ｗｉ）が大きかった場合に、ポアソン近似を適応して得られる情報量を、ｗｉの反復度合いの強さとしてｗｉの反復スコアＲ（ｗｉ）とする。
【００４５】
以上よりＲ（ｗｉ）は、下記の式（４）で求められ、Ｒ（ｗｉ）の値が大きいほど、ｗｉは特徴的に多く処理対象文書中で使われていることを表す。
【００４６】
【数１８】
0005123057.tif 000007
ステップ４３０で得られた反復スコアが大きな語句とその反復スコアとを、上位から予め定めた数選び出し、スパムスコア算出部３３０の反復スコアバッファ３３１に蓄積する（ステップ４４０）。この際、予め反復スコアの閾値を定めておき、その閾値以上の反復スコアを持つ語句を反復スコアバッファ３３１に蓄積することにしてもよい。
【００４７】
入力文書バッファ３２１に未処理の文書情報があれば、ステップ４１０に戻って処理を継続する。未処理の文書情報がない場合には、反復スコア算出部３２０の処理を終了する（ステップ４５０）。
【００４８】
反復スコアバッファ３３１に含まれる情報は、例えば、入力文書情報群に含まれる文書情報の数が５つであり、各文書情報から反復スコア上位１つの語句を反復スコアバッファ３３１に蓄積するとした場合、
「スイーツ，1.60」「首相官邸，1.92」「首相官邸，1.32」「衆議院，2.02」「オリンピック，0.82」
といったような語句表記とその反復スコアの組の集合となる。
【００４９】
スパムスコア算出部３３０は、反復スコア算出部320の処理が終了すると、処理を開始し、反復スコアバッファ３３１に含まれる反復スコアの集合の平均を算出し、それを処理対象となる情報発信源のスパムスコアとし、その値をスパム判定部３４０に入力する。
【００５０】
スパムスコアが大きな値をとるほど、特定の語句を不自然に繰り返し使用していることを表し、その語句での検索ランクを不当に上げようとしている強さを表す。
【００５１】
スパム判定部３４０は、スパム算出部330よりスパムスコアが入力されると処理を開始し、入力されたスパムスコアを予め定められた閾値よりも大きい場合に、処理対象となる情報発信源がスパムであると判定し、その結果をスパム判定出力装置３５０に出力する。
【００５２】
［第２の実施の形態］
図５は、本発明の第２の実施の形態におけるスパム判定装置の構成を示す。同図において、図3の構成と同一構成部分には同一符号を付す。
【００５３】
同図に示すスパム判定装置５００は、反復スコア算出部５２０と、スパムスコア算出部３３０と、スパム判定部３４０から構成される。
【００５４】
また、処理対象となる情報発信源から過去に発信された文書情報の集合を反復スコア算出部５２０の入力情報バッファ５２１に書き込む文書情報群入力装置３１０と、スパム除去装置による処理対象の情報発信源がスパムか否かの判定結果を出力するスパム判定出力装置３５０と、多数の情報発信源からの発信文書情報が蓄積されている文書データベース３６０とが接続されている。
【００５５】
本実施の形態における文書情報群入力装置３１０とスパムスコア算出部３３０とスパム判定部３４０とスパム判定出力装置３５０と文書データベース３６０は、前述の第１の実施の形態と同様の動作を行うものとする。
【００５６】
以下に、第１の実施の形態と異なる動作を行う反復スコア算出部５２０の動作について説明する。
【００５７】
図６は、本発明の第２の実施の形態における反復スコア算出部の処理のフローチャートである。
【００５８】
反復スコア算出部５２０は、処理対象となる文書情報中出現する語句それぞれについて、文書データベース３６０から算出される平均的な一文書中に使用される回数に比べて有意に多い回数使用されている場合に、その語句で検索された際に上位に表示される意図を持って使用されていると見做し、その平均的な使用回数から乖離の度合いを数値化することにより、高い反復スコアを算出する。
【００５９】
また、反復スコア算出部５２０は、平均的な一文書中に使用される回数に比べて有意に多い回数使用されている語句が、処理対象となる文書中の複数の段落に出現している場合、当該語句を多く含む文章を機械的に生成しているとみなし、より高い反復スコアを算出する。
【００６０】
まず、反復スコア算出部５２０は、入力文書バッファ５２１から一つの文書情報を取り出す（ステップ６１０）。
【００６１】
次に、取り出した文書情報について一般の形態素解析技術を適応することにより、文書内容を形態素毎に分割し、各形態素の表記毎にその文書中での出現回数を集計する（ステップ６２０）。
【００６２】
ステップ６２０で得られた形態素表記の数がｎ個であったときに、ｉ番目の表記をｗｉとし、処理対象の文書情報中でのｗｉの出現数をｗｆ（ｗｉ）とする。現在処理している文書情報のＨＴＭＬ構造を解析し、当該文書中に含まれる段落構造の数を抽出し、段落構造の数をＰｎ，ｗｉの含まれる段落構造の数をＰ（ｗｉ）とする。段落構造はＨＴＭＬにある＜ｐ＞タグで囲まれている範囲を段落とみなして抽出する。ＨＴＭＬ中で＜ｐ＞タグが用いられていないような場合には、改行が２つ続いている箇所を段落の区切りと見做して抽出する（ステップ６３０）。
【００６３】
ステップ６２０で集計されて得られた各表記毎に、第１の実施の形態の反復スコア算出部３２０と同様の方法によって求められる、当該表記の一文書中での出現数の期待値に比べて処理対象の文書情報中で当該表記が多く出現している度合いを表す値に、処理対象文書の含む段落に対する当該表記を含む段落の割合を掛け合わせた値を反復スコアとすることにより、当該表記を持つ文章を複数つなぎ合わせることにより作成されている文書情報について高い反復スコアを算出する（ステップ６４０）。
【００６４】
また、文書データベース３６０にアクセスすることにより、文書データベース３６０に含まれるｗｉを含む文書の数ｄｆ（ｗｉ）と、文書データベース３６０全体でのｗｉの出現回数ｃｆ（ｗｉ）とが得られたとする。このときある文書中に含まれるｗｉの数の期待値λは、
【００６５】
【数１９】
0005123057.tif 000008
となり、この期待値λよりもｗｆ（ｗｉ）が大きかった場合に、ポアソン近似を適応して得られる情報量にｗｉが含まれる段落構造の割合を掛け合わせた値を、ｗｉの反復度合いの強さとしてｗｉの反復スコアＲ（ｗｉ）を以下の式で求める。
【００６６】
【数２０】
0005123057.tif 000009
ステップ６４０で得られた反復スコアが大きな語句とその反復スコアとを、上位から予め定めた数選び出し、スパムスコア算出部３３０の反復スコアバッファ３３１に蓄積する（ステップ６５０）。
【００６７】
この際、予め反復スコアの閾値を定めておき、その閾値以上の反復スコアを持つ語句を反復スコアバッファ３３１に蓄積することにしてもよい。
【００６８】
入力文書バッファ５２１に未処理の文書情報があれば、ステップ６１０に戻って処理を継続する。未処理の文書情報がない場合には反復スコア算出部５２０の処理を終了する（ステップ６６０）。
【００６９】
本実施の形態においては、ｗｉが含まれる段落構造の割合を掛け合わせて反復スコアを算出することにより、ある語句でのウェブ検索を行った結果を切り貼りして作成された記事に対して、高い反復スコアを算出することが可能となる。
【００７０】
上記の図３に示すスパム判定装置３００の構成要素の動作をプログラムとして構築し、スパム判定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７１】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００７２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７３】
本発明は、スパム投稿を発見するための技術に適用可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態におけるスパム判定装置の構成図である。
【図４】本発明の第１の実施の形態における反復スコア算出部の処理のフローチャートである。
【図５】本発明の第２の実施の形態におけるスパム判定装置の構成図である。
【図６】本発明の第２の実施の形態における反復スコア算出部の処理のフローチャートでる。
【符号の説明】
【００７５】
３００  スパム判定装置
３１０  文書情報群入力装置
３２０  反復スコア算出手段、反復スコア算出部
３２１  入力情報バッファ
３３０  スパムスコア算出手段、スパムスコア算出部
３３１  反復スコアバッファ
３４０  スパム判定手段、スパム判定部
３５０  スパム判定出力装置
３６０  文書データベース
５２０  反復スコア算出部
５２１  入力情報バッファ
【図１】
0005123057.tif 000014
【図２】
0005123057.tif 000015
【図３】
0005123057.tif 000016
【図４】
0005123057.tif 000017
【図５】
0005123057.tif 000018
【図６】
0005123057.tif 000019