(57)【要約】      （修正有）【課題】ブログ記事内に含まれるスパム記述を有効に判別する。【解決手段】通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログデータ記憶部４１と、前記ブログ記事に対してテキスト解析を行うと共に前記各ブログ記事に予め設定されたスパム記述パターンが含まれるか否かの判定を行うスパム判定手段２とを備え、前記スパム判定手段２が、前記異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定すると共に、前記ブログ記事から前記スパム記述を含むブログ記事を判別し分離する機能を備えたことを特徴とするスパム情報判別システム。【選択図】図１
2009157510.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログ記事記憶装置と、前記ブログ記事に対してテキスト解析を行うと共に前記各ブログ記事に予め設定されたスパム記述パターンが含まれるか否かの判定を行うスパム判定手段とを備えたスパム情報判別システムであって、
前記スパム判定手段は、前記異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定すると共に、前記ブログ記事から前記スパム記述を含むブログ記事を判別し分離する機能を備えたことを特徴とするスパム情報判別システム。
【請求項２】
前記請求項１に記載のスパム情報判別システムにおいて、
前記スパム判定手段が、前記異なるブログ記事それぞれに含まれる共通のテキスト情報を抽出し当該テキスト情報にスパム記述を特徴付ける記述が含まれるか否かを前記スパム記述パターンに基づき判定する共通テキスト判別機能を備えたことを特徴としたスパム情報判別システム。
【請求項３】
前記請求項１に記載のスパム情報判別システムにおいて、
前記スパム判定手段が、前記リンク先情報を取得し当該リンク先情報に前記スパム記述パターンが含まれるか否かの判定を行うリンク先スパム判定機能を備えたことを特徴とするスパム情報判別システム。
【請求項４】
前記請求項１に記載のスパム情報判別システムにおいて、
前記スパム判定手段が、前記異なるブログ記事から近似のテキスト情報を抽出する近似テキスト抽出機能と、当該抽出されたテキスト情報の近似の度合いに基づき前記テキスト記述がスパム記述である可能性を示すスパム度を算出する記述スパム度算出機能と、前記ブログ記事のスパム度が予め設定された値以上の場合に前記ブログ記事をスパム記事として判別するスパム記事判別機能と、を備えたことを特徴とするスパム情報判別システム。
【請求項５】
前記請求項４に記載のスパム情報判別システムにおいて、
前記スパム判定手段が、前記抽出されたテキスト情報のリンク先情報を取得するリンク先情報取得機能と、
前記取得されたリンク先情報と前記テキスト記述との一致の度合いに基づき前記テキスト記述がスパム記述である可能性を示すスパム度を算出するリンク先情報スパム度算出機能を備えたことを特徴とするスパム情報判別システム。
【請求項６】
前記請求項４に記載のスパム情報判別システムにおいて、
前記ブログ記事のうち予め設定された値未満のスパム度のブログ記事からスパム度の高い記述のスパム記述特徴を抽出すると共に、スパム記述を特徴付ける記述を判別する指標である前記スパム記述パターンを前記抽出されたスパム記述特徴に基づき更新するスパム記述パターン更新手段を前記スパム判定手段に併設したことを特徴とするスパム情報判別システム。
【請求項７】
通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログ記事記憶装置と、前記ブログ記事に対してテキスト解析を行い前記各ブログ記事に予め設定されたスパム記述パターンが含まれるか否かの判定を行うスパム判定手段とを備え、前記ブログ記事からスパム記述を含むブログ記事をスパム記事として判別するスパム情報判別方法において、
前記ブログ記事記憶装置から入力されたブログ記事に対してテキスト解析を行うテキスト解析工程と、この解析結果に基づいて前記各ブログ記事のテキスト情報に予め設定されたスパム記述パターンが含まれるか否かを判定するスパムパターン判定工程と、異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定するスパム記述特定工程と、前記ブログ記事からスパム記述が含まれたブログ記事をスパム記事として判別し分離するスパム記事判別工程と、を備えたことを特徴とするスパム情報判別方法。
【請求項８】
前記請求項７に記載のスパム情報判別方法において、
前記ブログ記事からスパム記述を特徴付けるスパム記述特徴を抽出すると共に、当該スパム記述特徴に基づき前記スパム記述パターンを更新するスパム記述パターン更新工程を、前記スパム記事判別工程の後に備えたことを特徴とするスパム情報判別方法。
【請求項９】
通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログ記事記憶装置と、前記ブログ記事に対してテキスト解析を行い前記各ブログ記事に予め設定されたスパム記述パターンが含まれるか否かの判定を行うスパム判定手段とを備え、前記ブログ記事からスパム記述を含むブログ記事をスパム記事として判別するためのスパム情報判別プログラムにおいて、
前記ブログ記事記憶装置から入力されたブログ記事に対してテキスト解析を行うテキスト解析機能、この解析結果に基づいて前記各ブログ記事のテキスト情報に予め設定されたスパム記述パターンが含まれるか否かを判定するスパムパターン判定機能、異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定するスパム記述特定機能、前記ブログ記事からスパム記述が含まれたブログ記事をスパム記事として判別し分離するスパム記事判別機能、を前記スパム判定手段の備えるコンピュータに実行させることを特徴としたスパム情報判別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブログ(ウェブログ)記事に含まれるスパム記述を判別する手法に関し、特にスパム記述の判別精度を向上させる手法に関する。
【背景技術】
【０００２】
ウェブサイトとして個人的な日記や特定のメンバー間による掲示板のように利用されるブログ(weblog：ウェブログ)記事を公開し、このブログ記事を介して多数の利用者間でコミュニケーションを行う形態が普及している。
ブログは、ウェブサイトとしてインターネット上にアップされ、当該ブログを閲覧したユーザは、このブログに対してコメントを書き込むことが可能である。閲覧者が簡易にコメントの書込みを行えることから、企業と消費者間のコミュニケーションの場としてなど、様々な場面で活用されている。
【０００３】
しかしながら、その一方で、ブログの通常の利用とは異なり、ブログ記事内に閲覧者(ユーザ)にとって必要の無い情報、広告目的や特定サイトへの誘導、クリック数などを目的とした自動生成の書き込みなど、スパムと呼ばれる書込み(以下「スパム記述」という)が多数行われ、ブログ記事の内容や本来のトレンド傾向を埋没させてしまうという不都合が生じてきている。
【０００４】
これに対して、ブログ記事からスパム記述を発見するため関連技術が開示されている(特許文献１)。
このシステムは、ブログ運営者管理用ブログサーバと、フィルタリング用ルックアップサーバとから構成され、ブログ運営者が公開しているブログサイトにコメントやトラックバックとして投稿があったことを、ブログサーバが検知した場合に、フィルタリング用ルックアップサーバが、URLやキーワードといった固定的なパターンデータに基づいて、投稿がスパム記述であるか否かの判断を行い、スパム記述であると判断された場合は、ブログサーバが投稿除外の処理を行う。
【０００５】
また、上記内容の関連技術として、スパム記述のフィルタリング更新方式の一例が開示されている(特許文献２)。
この関連技術は、スパムフィルタとアップデートコンポーネントとから構成されており、スパムフィルタが、プロバイダ上でトレーニングされて追加アップデートが発生すると、アップデートコンポーネントは、そのすべてをユーザ端末上に配信するのではなく、増分式のアップデートのみを抽出し配信を行う。
【０００６】
【特許文献１】特開２００７−１１５１７３公報
【特許文献２】特開２００６−０１２１６５公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に開示されたスパム記述発見方式では、１つのブログ記事を調べた場合にはスパム記述であることを判別できない、例えば異なるブログ記事にまたがり記述されるパターンのスパム記述に対処することができないという不都合がある。
【０００８】
又、スパム記述の中には、同一記述によるマルチポストのような種別のスパム記述が多数存在するため、同一の記述内容が、日付やサイトをまたいで異なるブログ記事に存在するスパム記述を相互に参照する必要がある。
又、特許文献２の関連技術も前述の特許文献１と同様、URLやキーワードベース以外のスパム記述に対応することができない。又、この関連技術は、メールスパムを想定していることから１件１件のデータを処理する方式であるため、他のデータ(ブログ記事)との比較や参照により判定する必要のあるタイプのスパム記述には対応できないという不都合がある。
【０００９】
更に、ブログ記事のスパム記述を判定するためのルールや手順を固定的に実行しても、スパム記述除去の精度がすぐに低下してしまうという不都合がある。これは、スパム記述は次々と亜種が生じ、それらの亜種のスパム記述は、単なる単語の置き換えではない新しい記述パターンを有するため、予め設定されたスパム記述判定のルールに適合しないスパム記事が短期間で増えてしまうという不都合がある。
【００１０】
［発明の目的］
本発明は、上記従来例の有する不都合を改善し、ブログ記事内に含まれるスパム記述を有効に判別すると共に分離し、利用者が有効利用可能にブログ記事を設定するスパム情報判別システム、スパム情報判別方法、およびスパム情報判別プログラムを提供することを、その目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係るスパム情報判別システムは、通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログ記事記憶装置と、前記ブログ記事に対してテキスト解析を行うと共に前記各ブログ記事に予め設定されたスパム記述パターンが含まれるか否かの判定を行うスパム判定手段とを備えたスパム情報判別システムであって、前記スパム判定手段は、前記異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定すると共に、前記ブログ記事から前記スパム記述を含むブログ記事を判別し分離する機能を備えた構成をとっている。
【００１２】
又、本発明にかかるスパム情報判別方法は、通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログ記事記憶装置と、前記ブログ記事に対してテキスト解析を行い前記各ブログ記事に予め設定されたスパム記述パターンが含まれるか否かの判定を行うスパム判定手段とを備え、前記ブログ記事からスパム記述を含むブログ記事をスパム記事として判別するスパム情報判別方法であって、前記ブログ記事記憶装置から入力されたブログ記事に対してテキスト解析を行うテキスト解析工程と、この解析結果に基づいて前記各ブログ記事のテキスト情報に予め設定されたスパム記述パターンが含まれるか否かを判定するスパムパターン判定工程と、異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定するスパム記述特定工程と、前記ブログ記事からスパム記述が含まれたブログ記事をスパム記事として判別し分離するスパム記事判別工程と、を備えたことを特徴としている。
【００１３】
更に、本発明にかかるスパム情報判別プログラムは、通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログ記事記憶装置と、前記ブログ記事に対してテキスト解析を行い前記各ブログ記事に予め設定されたスパム記述パターンが含まれるか否かの判定を行うスパム判定手段とを備え、前記ブログ記事からスパム記述を含むブログ記事をスパム記事として判別するためのスパム情報判別プログラムであって、前記ブログ記事記憶装置から入力されたブログ記事に対してテキスト解析を行うテキスト解析機能、この解析結果に基づいて前記各ブログ記事のテキスト情報に予め設定されたスパム記述パターンが含まれるか否かを判定するスパムパターン判定機能、異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定するスパム記述特定機能、前記ブログ記事からスパム記述が含まれたブログ記事をスパム記事として判別し分離するスパム記事判別機能、を前記スパム判定手段の備えるコンピュータに実行させることを特徴としている。
【発明の効果】
【００１４】
本発明は、以上のように構成され機能するので、これによると、通信ネットワークを介して投稿および閲覧されるブログ記事を記憶したブログ記事記憶装置と、異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定し前記スパム記述を含むブログ記事を判別するスパム判定手段とを備えた構成としたことにより、多様なパターンのスパム記述を判別することができ、且つスパム記述を含んだブログ記事を有効に軽減することができる。
【発明を実施するための最良の形態】
【００１５】
［実施形態１］
次に、本発明の実施形態１について、その基本的構成内容を説明する。
【００１６】
本実施形態のスパム情報判別システムは、図１に示すように、データ記憶装置４と、このデータ記憶装置４からブログデータを読出すブログデータ入力手段１と、このブログデータ入力手段から送り込まれたブログデータにおけるスパム記述の有無を判別するスパム判定手段２と、このスパム判定手段２でスパム記述の有無により判別されたブログデータをデータ記憶装置４にそれぞれ格納するデータ出力手段３とを備えた構成となっている。
【００１７】
ここで、上記スパム判定手段２は、入力されたブログデータをテキスト処理するテキスト解析手段２１と、データ記憶装置４に予め格納されたスパム定義情報に基づきブログデータのテキスト情報を参照するスパムパターン判定手段２２と、ブログデータに含まれるテキスト情報がスパム記述であるかを判定するスパム記述判定手段２３とを備え、スパム記述を含むスパム記事とスパム記述を含まない記事データとを判別し出力する。
【００１８】
更に、上記データ記憶装置４は、通信ネットワークを介して投稿されたブログ記事を記憶するブログデータ記憶部４１、予め設定されたスパム記述のパターン情報(ファイル)からなるスパム定義情報(ファイル)を記憶するスパム定義情報記憶部４２、上記スパムパターンに対応するスパム記述をリスト化したスパム固有情報を記憶するスパム固有情報記憶部４３、スパム記述が含まれていないと判別されたブログ記事(データ)が格納される記事データ記憶部４４、およびスパム記述を含むブログ記事と判別されたデータが格納されるスパムデータ記憶部４５を含み構成される。
【００１９】
以下、これを詳説する。
ブログデータ入力手段１は、ブログデータ記憶部４１からブログ記事(ブログデータ)を取得するデータ取得機能と、取得したブログ記事をスパム判定手段２に入力(送信)するブログデータ入力機能とを有する。図２に入力されたブログデータの一例を示す。
【００２０】
スパム判定手段２のテキスト解析手段２１は、ブログデータ入力手段１から入力されたブログデータに対して形態素解析を行うデータ解析機能と、入力されたブログデータに含まれるテキスト情報に対して単語区切り、文区切り、話題区切り等を行い、ブログ記事ごとに、使用単語、フレーズ、文きり（文節）情報、およびリンク先ＵＲＬなどの使用特殊記号情報を付与して出力情報を生成する出力情報生成機能を備えている。
図３は、テキスト解析手段２１の出力情報の一例である。
【００２１】
又、テキスト解析手段２１は、生成された出力情報に対してアルファベット順、あいうえお順等のソート処理を行うソート処理機能を有する。
【００２２】
スパムパターン判定手段２２は、テキスト解析手段２１からの出力情報を読み込む出力情報読込み機能と、この出力情報に基づいてスパム定義情報記憶部４２に予め格納されたスパム定義情報(スパムパターン)を参照し、上記出力情報とスパム定義情報との一致の有無を判定するスパムパターン判定機能を備えている。ここで、図４にスパム定義情報の一例を示す。
【００２３】
これにより、スパムパターン判定手段２２は、各ブログ記事におけるテキスト情報がスパムデータであるか否かの判定を行うことができ、又、スパムパターン判定手段２２は、単独ブログ記事内のテキスト情報を調べることで判別することが可能なスパムパターンが、各ブログ記事のテキスト情報に含まれているか否かを判定することができる。
【００２４】
ここで、スパムパターン判定手段２２は、上述の単独ブログ記事におけるスパム記述の有無判定では、図４の判別区分に「単独」とあるスパムパターンについてスパム判定を行う。
例えば、Ｐ１の単語羅列型のスパムパターンでは、ルールモデルにあるような単語（Ｗ）と単語をカンマで区切って羅列する形式になっているか否かを判定する。
ここで、スパム記事を含んだ出力情報の一例を図５に示す。テキスト解析手段２１の出力情報である図５のJ１は、形態素解析の結果が、名詞／記号（カンマ）／名詞／記号／・・・の繰り返しとなっており、図４のＰ１パターンに合致すると判定される。
【００２５】
更に、スパムパターン判定手段２２は、スパム固有情報記憶部４３に予めスパム固有情報として登録された単語、フレーズに基づきブログ記事内に設定されたリンクのリンク先データ(WebページやPDFファイル等)のテキスト情報を参照し、スパム固有情報と一致する単語、フレーズがリンク先データに含まれるか否かの判定を行うリンク先データ判定機能を有する。
【００２６】
又、スパムパターン判定手段２２は、異なる複数のブログ記事内のテキスト情報(出力情報)を比較参照することにより、重複して表れるスパム記述パターンを特定するスパム記述特定機能を有する。
【００２７】
更に、スパムパターン判定手段２２は、例えば、図５のJ２やJ３のように異なるブログ記事から同一のサイトへ誘導するリンクおよびＵＲＬ記載の抽出を行うリンク抽出機能と、複数ブログ記事におけるテキスト情報の比較により、図５のJ４とJ５に示されるような、同一記述が複数の異なるブログ記事に書き込まれたマルチポスト記述や自動生成記述を抽出する同一記述抽出機能とを備えている。
【００２８】
又、スパムパターン判定手段２２は、上記自動生成記述、およびマルチポスト記述の抽出処理については、複数のブログ記事内に書き込まれた共通の記述に加えて、完全一致ではない近似の記述や似た表現などの抽出も行う。
スパムパターン判定手段２２は、複数の異なるブログ記事に含まれるテキスト情報のうち予め設定された一定の割合を上回り一致する記述や表現に対して、スパム記述である可能性を示すスパム度を算出すると共に、上記抽出された記述と該記述それぞれのスパム度とを対応付けて記憶する比較スパム度算出記憶機能を備えている。
【００２９】
ここで、スパムパターン判定手段２２は、異なるブログ記事に表れる共通または近似の表現、記述を抽出すると共に、その頻度、記述の数、および近似の割合などに基づいて、スパム記述である可能性が高い表現、記述に対してより大きな数値をスパム度(重み付け)として割り当てる設定としてもよい。
【００３０】
スパム記述判定手段２３は、上記スパムパターン判定手段２２のスパム判定結果について、特徴単語・フレーズパターンとの一致の割合に基づきスパム度を算出するスパム度算出機能と、このスパム度およびスパム記述を関連付けて予め設定されたスパム度記憶手段２４に記憶するスパム記述記憶機能とを備えている。
【００３１】
又、スパム記述判定手段２３は、テキスト解析手段２１からの出力情報全てに対して上記処理が行われたか否かを判定する処理完了判定機能を有する。
更に、スパム記述判定手段２３は、各ブログ記事単位で算出されたスパム度を集計し、その結果をデータ出力手段３に通知するスパム度集計通知機能を有する。
【００３２】
データ出力手段３は、スパム判定手段２で算出されたスパム度の合計が、各ブログ記事単位で予め設定されたスパム記事判定閾値を上回るブログ記事をスパムデータ記憶部４５へ、又、スパム記事判定閾値を下回るブログ記事を通常記事として記事データ記憶部４４に格納するスパム記事判別格納機能を備えている。
【００３３】
ブログデータ記憶部４１は、タイトル、投稿内容、および日付などを含むブログデータ(ブログ記事)を記憶するブログ記事記憶機能を有する。
尚、このブログデータ記憶部４１がインターネットに接続され記憶されたブログ記事がインターネットを介して書込み可能に公開された設定であってもよい。
【００３４】
スパム定義情報記憶部４２は、予め設定されたスパムパターンおよびスパム記述のルールモデルをスパム定義情報として記憶するスパム定義情報記憶機能を備えている。
スパム固有情報記憶部４３は、上記スパム定義情報およびスパムパターンに対応して、その具体例として予め特定された単語、フレーズなどをスパム記述がリスト化されたスパム固有情報を記憶する固有情報記憶機能を有する。
【００３５】
スパム記述が含まれていないと判別されたブログ記事(データ)が格納される記事データ記憶部４４、およびスパム記述を含むブログ記事と判別されたデータが格納されるスパムデータ記憶部４５を含み構成される。
［実施形態１の動作説明］
【００３６】
次に、本実施形態の全体の動作について説明する。
先ず、ブログデータ記憶部４１から入力されたブログ記事に対してテキスト解析を行う(テキスト解析工程)い、この解析結果に基づいて各ブログ記事のテキスト情報に予め設定されたスパム記述パターンが含まれるか否かを判定する(スパムパターン判定工程)。
次いで、異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定し(スパム記述特定工程)、前記ブログ記事からスパム記述が含まれたブログ記事をスパム記事として判別する(スパム記事判別工程)。
【００３７】
ここで、上記テキスト解析工程、スパムパターン判定工程、スパム記述特定工程、およびスパム記事判別工程については、その実行内容をプログラム化し、コンピュータに実行させるように構成してもよい。
【００３８】
次に、上記実施形態のシステムの動作について図６のフローチャートに基づいて説明する。
【００３９】
まず、ブログデータ入力手段１が、ブログデータ記憶部４１から取得したブログ記事(ブログデータ)をスパム判定手段２に入力し、テキスト解析手段２１が、このブログデータに対して形態素解析を行う(ステップS１０１)。
【００４０】
ここで、テキスト解析手段２１は、送り込まれたブログデータに含まれるテキスト情報に対して単語区切り、文区切り、話題区切り等を行うとともに、ブログ記事ごとに、使用単語、フレーズ、文きり（文節）情報、およびリンク先ＵＲＬなどの使用特殊記号情報を付与して出力情報を生成する(ステップS１０２)。
【００４１】
次いで、スパムパターン判定手段２２が、上記テキスト解析手段２１の出力情報を読み込むと共に、当該出力情報に基づいてスパム定義情報記憶部４２に予め格納されたスパム定義情報(スパム記述パターン)を参照し、上記出力情報とスパム定義情報との一致の有無を判定する(ステップS１０３)。
【００４２】
これにより、スパムパターン判定手段２２は、各ブログ記事におけるテキスト情報がスパムデータであるか否か、つまり、スパム記述に該当するか否かの判定を行う。
また、これにより、スパムパターン判定手段２２は、単独ブログ記事内のテキスト情報を調べることで判別することが可能なスパムパターンが、各ブログ記事のテキスト情報に含まれているか否かを判定する。
【００４３】
ここで、上述の単独ブログ記事におけるスパム記述の有無判定では、図７の判別区分に「単独」とあるスパムパターンについてスパム判定が行われる。
例えば、Ｐ１の単語羅列型のスパムパターンでは、ルールモデルにあるような単語（Ｗ）と単語をカンマで区切って羅列する形式になっているか否かを判定する。
又、図５のJ１では、テキスト解析手段２１の出力として、形態素解析の結果が、名詞／記号（カンマ）／名詞／記号／・・・の繰り返しとなっており、図４のＰ１パターンに合致すると判定される。
【００４４】
更に、スパムパターン判定手段２２は、スパム固有情報記憶部４３に予めスパム固有情報として登録された単語、フレーズに基づきブログ記事内に設定されたリンクのリンク先データ(WebページやPDFファイル等)のテキスト情報を参照し、スパム固有情報と一致する単語、フレーズがリンク先データに含まれるか否かの判定を行う(ステップS１０４)。
【００４５】
次いで、スパム記述判定手段２３は、上記判定結果について、特徴単語・フレーズパターンとの一致の割合に基づきスパム度を算出すると共に、記憶する(ステップS１０５)。
又、スパム記述判定手段２３は、テキスト解析手段２１からの出力情報全てに対して上記データ処理(スパム度算出処理)が行われたか否かを判定し(ステップS１０６)、全ての出力情報に対してステップS１０３〜S１０６の処理を行う。
【００４６】
次に、テキスト解析手段２１は、上記出力情報に対してアルファベット順、あいうえお順等のソート処理を行い(ステップS１０７)、スパムパターン判定手段２２が、異なる複数のブログ記事内のテキスト情報(出力情報)を比較参照することにより、重複して表れるスパム記述パターンを特定する(ステップS１０８)。
【００４７】
ここで、スパムパターン判定手段２２は、例えば、図５のJ２やJ３のように異なるブログ記事から同一のサイトへ誘導するリンクおよびＵＲＬ記載の抽出を行う。
また、複数ブログ記事におけるテキスト情報の比較により、図５のJ４とJ５に示されるような、同一記述が複数の異なるブログ記事に書き込まれたマルチポスト記述や自動生成記述を抽出する。
また、上記自動生成記述、およびマルチポスト記述の抽出処理については、複数のブログ記事内に書き込まれた共通の記述に加えて、完全一致ではない近似の記述や似た表現などの抽出も行う。
【００４８】
次いで、スパム記述判定手段２３が、複数の異なるブログ記事に含まれるテキスト情報のうち予め設定された一定の割合を上回り一致する記述や表現に対して、スパム記述である可能性を示すスパム度を算出すると共に、上記抽出された記述と当該記述それぞれのスパム度とを対応付けて、予め設定されたスパム度記憶手段２４に記憶する(ステップS１０９)。
ここで、スパム記述判定手段２３は、異なるブログ記事に表れる共通または近似の表現、記述を抽出すると共に、その頻度、記述の数、および近似の割合などに基づいて、スパム記述である可能性が高い表現、記述に対してより大きな数値をスパム度(重み付け)として割り当てる設定としてもよい。
【００４９】
次いで、スパム記述判定手段２３は、各ブログ記事単位で上記算出されたスパム度を集計し、その結果をデータ出力手段３に通知する（ステップS１１０）。
【００５０】
次に、データ出力手段３が、算出されたスパム度の合計が、各ブログ記事単位で予め設定されたスパム記事判定閾値を上回るブログ記事(スパム記事)をスパムデータ記憶部４５へ、下回るブログ記事を通常記事として記事データ記憶部４４に格納する(ステップS１１１)。
【００５１】
以上のように、本実施形態では、スパム定義情報記憶部４２およびスパム固有情報記憶部４３を参照し、大量かつ様々なパターンで存在するスパム記述を判定し、対象外として分類するように構成されているため、分析・参照・情報収集の精度を向上させることができる。
また、本実施形態では、スパムパターン判定手段２２が、単独ブログ記事におけるスパムパターン判定に加え、複数のブログ記事間を比較参照することにより実行されるスパムパターン判定も行うように構成されているため、単純な単語やルールによる除去では対処できないタイプのスパム記述にも対応できる。
【００５２】
［実施形態２］
次に、本発明に係る実施形態２のスパム情報判別システムについて説明する。ここで、前述した実施形態１と同一の部分については、同一の符号を付するものとする。
この実施形態２は、システムの構成部分は前述した実施形態１(図１)とほぼ同一の構成を備えており、新規スパム学習手段５およびスパム定義更新手段６を新たに備えた点が実施形態１の場合と相違する。
以下、これを詳述する。
【００５３】
本実施形態２は、前述した実施形態１(図１)の場合と同様に、データ記憶装置４と、このデータ記憶装置４からブログデータを読出すブログデータ入力手段１と、このブログデータ入力手段から送り込まれたブログデータにおけるスパム記述の有無を判別するスパム判定手段２と、このスパム判定手段２でスパム記述の有無により判別されたブログデータをデータ記憶装置４にそれぞれ格納するデータ出力手段３とを備えている。
【００５４】
ここで、本実施形態は、このデータ出力手段３に接続され記事データ情報を読出し新規スパム記述情報およびルールを学習する新規スパム学習手段５と、この新規スパム学習手段５に接続され、上記学習結果に基づきスパム定義情報記憶部４２およびスパム固有情報記憶部４３に登録された情報を更新するスパム定義更新手段６を備えた構成となっている。
【００５５】
新規スパム学習手段５は、データ記憶装置４の記事データ情報記憶部４５に記憶された記事データ情報を読み出す記事データ読出し機能と、読み出された記事データ中で、現状ではスパムとは判定されていないものでスパム度の高い記述の特徴を抽出するスパム記事特徴抽出機能を備えている。
ここで、新規スパム学習手段５により読み出された記事データ情報は、スパム判定手段２により、スパム定義情報記憶部４２のスパム定義情報に基づきスパムではないと判定された記事データ情報である。ただし、この記事データ情報中には、いずれのスパム記述パターンにも分類されないが、スパム記述としての特徴を有する記述や、スパム度判定閾値よりは低いがスパム記述を含んだブログ記事が含まれている。
【００５６】
又、ユーザがブログ記事を閲覧する中で発見され、スパム記述として申告がなされた記述や、このスパム記述申告に応じて、予め設定されたスパム度が上げられたスパム記述などが含まれる。
ここで、新規スパム学習手段５は、例えば、スパム度が予め設定された値より高いものを正例、スパム度が予め設定された値より低いまたは’０’のものを負例として、スパム度の高いブログ記事に特有の特徴抽出を行う。
更に、新規スパム学習手段５は、上記特徴抽出された記述のうち、特徴度の高い記述、ユーザにより申告された記述、又は記述内容のルール化を設定する記述を選別する登録記述選別機能を備えている。
【００５７】
スパム定義更新手段６は、新規スパム学習手段５で記述選別の結果に基づき、選別された記述が新規スパム記述パターンであるか否かを判定する新規記述パターン判定機能を備えている。
又、スパム定義更新手段６は、新規スパム記述パターンとして判定された記述または記述パターンを、スパム定義情報記憶部４２に追加登録する定義情報追加機能と、上記追加登録された記述又は記述パターンに対応するスパム固有情報を、スパム固有情報記憶部４３に追加登録する固有情報追加登録機能を備えている。
これにより、スパム定義更新手段６は、スパム定義情報記憶部４２に登録された記述情報、およびスパム固有情報記憶部４３に登録されたスパム記述情報や、スパム記述ルールを更新することができる。
【００５８】
［実施形態２の動作説明］
【００５９】
次に、上記実施形態２の全体的な動作を説明する。
先ず、ブログデータ記憶部４１から入力されたブログ記事に対してテキスト解析を行い(テキスト解析工程)、この解析結果に基づいて各ブログ記事のテキスト情報に予め設定されたスパム記述パターンが含まれるか否かを判定する(スパムパターン判定工程)。
次いで、異なるブログ記事内に設定され共通のリンク先情報に誘導するテキスト情報をスパム記述として特定し(スパム記述特定工程)、前記ブログ記事からスパム記述が含まれたブログ記事をスパム記事として判別する(スパム記事判別工程)。
次いで、前記ブログ記事からスパム記述を特徴付けるスパム記述特徴を抽出すると共に、当該スパム記述特徴に基づきスパム記述パターンを更新する(スパム記述パターン更新工程)。
【００６０】
次に、上記実施形態２の新規スパム学習手段５およびスパム定義更新手段６の動作を、図８のフローチャートに基づいて説明する。
尚、前述した実施形態１の動作(図６)は、本実施形態２においても同様に動作しているものとする。
【００６１】
新規スパム学習手段５は、データ記憶装置４の記事データ情報記憶部４５に記憶されている通常記事(以下「記事データ情報」という)を読み出す（ステップS２０１：記事データ情報読出し工程）。
ここで、新規スパム学習手段５は、データ出力手段３が記事データ記憶部４４又はスパムデータ記憶部４５にデータ格納を行われたことがデータ格納通知に応じて上記記事データ情報読出し工程を開始する設定としてもよい。
【００６２】
ここで、新規スパム学習手段５により読み出された記事データ情報は、スパム判定手段２がスパム定義情報に基づきスパムではないと判定された記事データ情報である。ただし、この記事データ情報中には、いずれのスパム記述パターンにも分類されないが、スパム記述としての特徴を有する記述や、スパム度判定閾値よりは低いがスパム記述を含んだブログ記事が含まれている。
また、ユーザがブログ記事を閲覧する中で発見され、スパム記述として申告がなされた記述や、このスパム記述申告に応じて、予め設定されたスパム度が上げられたスパム記述などが含まれる。
【００６３】
次いで、新規スパム学習手段５は、スパム度の高さが予め設定された値より高いものを正例、スパム度が予め設定された値より低いまたは’０’ものを負例として、スパム度の高いブログ記事に特有の特徴抽出を行う（ステップS２０２）。
ここで、新規スパム学習手段５は、例えば、単語・フレーズ・ＵＲＬ・記号などの特徴度順のランキングを設定してスパム度の高いブログ記事の特徴抽出を行う。
【００６４】
次に、新規スパム学習手段５は、上記特徴抽出された記述のうち、特徴度の高い記述、ユーザにより申告された記述、又は記述内容のルール化を設定される記述を選別する（ステップS２０３）。
【００６５】
次いで、スパム定義更新手段６は、上記選別された記述に基づきスパム定義情報記憶部４２のスパム定義情報を参照し（ステップS２０４）、選別された記述それぞれが、新規スパム記述パターンであるか否かを判定する(ステップS２０５)。
ここで、新規スパム記述パターン若しくはスパム固有情報でない場合は、処理を終了する。
【００６６】
次いで、スパム定義更新手段６が、新規スパム記述パターンとして判定された記述または記述パターンを、スパム定義情報記憶部４２に追加登録する（ステップS２０６）。
更に、スパム定義更新手段６は、上記追加登録された記述又は記述パターンに対応するスパム固有情報を、上記読み出された記事データ情報中から抽出すると共にスパム固有情報記憶部４３に格納(登録)する（ステップS２０７）。
【００６７】
上記のように、実施形態２では、新規スパム学習手段５が、スパムルールやスパム単語・スパムフレーズと異なる亜種に対して、および、ユーザにより発見された新種のスパム記述およびスパム記事の情報に基づいて、スパム記述を特徴付けるテキスト記述を抽出すると共に、スパム定義更新手段６が、予め設定されたスパム記述パターン、スパム固有情報、スパム記述ルールなどを更新するように構成されている。
これにより、本実施形態では、次々と開発され生じるスパム記述およびその亜種に対して柔軟に追随し、スパム記述判別の精度を向上させることができる。
【産業上の利用可能性】
【００６８】
本発明は、ブログ情報からトレンド情報を抽出する情報処理システムや、コマーシャルやキャンペーンなどの広告情報に対する反応を効果測定として分析するシステムに適用できる。
また、ブログ運営サイトにおいて、ブログ記事、トラックバック、およびコメントにスパム記述が投稿されることを防止するシステムのスパム記述判別に適用できる。
更に、ブログ運営サイトやブログ情報収集および活用事業者で利用されるスパム記述発見方式やスパム記述フィルタ更新サービスにも適用可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明によるスパム情報判別システムの一実施例を示す概略構成図である。
【図２】図１に開示したスパム情報判別システムにおけるブログ記事の一例を示す説明図である。
【図３】図１に開示したスパム情報判別システムにおける出力情報の一例を示す説明図である。
【図４】図１に開示したスパム情報判別システムにおけるスパム定義情報の一例を示す説明図である。
【図５】図１に開示したスパム情報判別システムにおけるスパム記事を含んだ出力情報の一例を示す説明図である。
【図６】本発明によるスパム情報判別システムの全体的な動作処理ステップを示したフローチャートである。
【図７】本発明によるスパム情報判別システムの一実施例を示す概略構成図である。
【図８】本発明によるスパム情報判別システムの全体的な動作処理ステップを示したフローチャートである。
【符号の説明】
【００７０】
１  ブログデータ入力手段
２  スパム判定手段
３  データ出力手段
４  データ記憶装置
５  新規スパム学習手段
６  スパム定義更新手段
２１  テキスト解析手段
２２  スパムパターン判定手段
２３  スパム記述判定手段
２４  スパム度記憶手段
４１  ブログデータ記憶部
４２  スパム定義情報記憶部
４３  スパム固有情報記憶部
４４  記事データ記憶部
４５  スパムデータ記憶部
【図１】
2009157510.tif 000003
【図２】
2009157510.tif 000004
【図３】
2009157510.tif 000005
【図４】
2009157510.tif 000006
【図５】
2009157510.tif 000007
【図６】
2009157510.tif 000008
【図７】
2009157510.tif 000009
【図８】
2009157510.tif 000010