(57)【要約】  迷惑情報をフィルタリングするネットワークベースの方法および装置を提供する。本方法は、対象情報に対して単語分割を行い、その対象情報中の特徴要素を取得するステップと、予め設定したキーワードライブラリに従って対象情報の特徴要素に対応する確率値を取得するステップであって、キーワードライブラリは定期的に更新されるステップと、対象情報の特徴要素に対応する確率値を累算して、累算した結果を所定の閾値と比較して、累算した結果が所定の閾値よりも大きい場合は、対象情報が迷惑情報であると判定するステップとを含む。予め設定したキーワードライブラリを用いて対象情報を検証することで、従来技術において情報を検証するときに必要とされた大量の複雑な演算に起因するシステム資源の浪費および時間遅延が回避され、迷惑情報をリアルタイムにフィルタリングする要請に応えることができる。
2010506247.tif 000002
【特許請求の範囲】
【請求項１】
迷惑情報をフィルタリングするネットワークベースの方法であって、
対象情報に対して単語分割を行い、前記対象情報中の特徴要素を取得するステップと、
予め設定したキーワードライブラリに従って、前記対象情報の特徴要素に対応する確率値を取得するステップであって、前記キーワードライブラリは定期的に更新されるステップと、
前記対象情報の特徴要素の確率値を累算し、累加した結果を所定の閾値と比較して、前記累算した結果が前記所定の閾値よりも大きい場合は、前記対象情報が迷惑情報であると判定するステップと
を含むことを特徴とする方法。
【請求項２】
前記キーワードライブラリの定期的な更新は、収集したサンプル迷惑情報およびサンプル非迷惑情報に基づいて、予め設定した特徴語群および／または特徴フレーズに従って迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルを構築するステップを含み、前記ハッシュテーブルには、前記サンプル情報の単語分割により得た特徴要素、および前記サンプル情報の特徴要素が前記サンプル情報中に出現する頻度が格納され、前記キーワードライブラリが、前記迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルに基づいて構築され、前記サンプル情報の特徴要素、および前記サンプル情報の特徴要素が迷惑情報である確率値を格納することを特徴とする請求項１に記載の方法。
【請求項３】
前記キーワードライブラリ中の特徴要素は、特徴単語、特徴語群および／または特徴フレーズを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記キーワードライブラリを解析してキーワードハッシュテーブルとし、前記キーワードハッシュテーブルから前記対象情報の特徴要素に対応する確率値を取得するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記キーワードハッシュテーブルに従って、前記対象情報の特徴要素および前記対応する確率値を、特徴単語ハッシュテーブル、特徴語群ハッシュテーブル、および／または特徴フレーズハッシュテーブルに別々に格納するステップと、
前記特徴単語ハッシュテーブル、前記特徴語群ハッシュテーブル、および／または前記特徴フレーズハッシュテーブル中の特徴要素の確率値を累算し、前記累算した結果を所定の閾値と比較して、前記累算した結果が前記所定の閾値よりも大きい場合は、前記対象情報が迷惑情報であると判定するステップと
をさらに含むことを特徴とする請求項４に記載の方法。
【請求項６】
ある特徴要素またはある組成が、前記特徴単語ハッシュテーブル、前記特徴語群ハッシュテーブルおよび前記特徴フレーズハッシュテーブル中に同時に存在する場合は、前記特徴フレーズハッシュテーブル中の前記特徴要素に対応する確率値のみを計算し、ある特徴要素またはある組成が、前記特徴単語ハッシュテーブルおよび前記特徴語群ハッシュテーブル中に同時に存在する場合は、前記特徴語群ハッシュテーブル中の前記特徴要素に対応する確率値のみを計算することを特徴とする請求項５に記載の方法。
【請求項７】
前記閾値は、
前記キーワードライブラリから得た前記サンプル迷惑情報および前記サンプル非迷惑情報の特徴要素の確率値を取得するステップと、
前記サンプル情報の確率値を前記閾値と比較して、前記サンプル情報が迷惑情報であり、および前記特徴要素の前記確率値が前記閾値よりも大きい場合は正確な判定としてカウントし、そうでない場合は誤った判定としてカウントし、前記サンプル情報が非迷惑情報であり、および前記特徴要素の確率値が前記閾値よりも小さい場合は正確な判定としてカウントし、そうでない場合は誤った判定としてカウントするステップと、
前記サンプル迷惑情報およびサンプル非迷惑情報のカウントした正確な判定結果および誤った判定結果に基づいて、判定の正確率を計算するステップと、
前記正確率が所定値よりも小さい場合は前記閾値を再設定し、前記正確率が所定値よりも大きくなるまで、前記ステップを繰り返し実行するステップと
を含むことを特徴とする請求項１乃至６の何れかに記載の方法。
【請求項８】
迷惑情報をフィルタリングするネットワークベースの装置であって、
対象情報に対して単語分割を行い、当該情報の特徴要素を取得する単語分割部と、
前記単語分割部で得た前記対象情報の前記特徴要素および前記特徴要素が迷惑情報である確率値を格納するキーワードライブラリと、
前記キーワードライブラリを作成し、所定の時間間隔で前記キーワードライブラリを更新するキーワードライブラリ作成部と、
前記単語分割部で得た前記対象情報の前記特徴要素に基づいて前記キーワードライブラリから前記特徴要素に対応する確率値を取得して、前記確率値を累算する演算部と、
前記演算部で得た累算した結果を所定の閾値と比較して、前記累算した結果が前記所定の閾値よりも大きい場合は、前記対象情報が迷惑情報であると判定する比較部と
を備えたことを特徴とする装置。
【請求項９】
サンプル迷惑情報およびサンプル非迷惑情報を収集する収集部と、
前記収集部が収集した前記サンプル迷惑情報および前記サンプル非迷惑情報、並びに所定の閾値を格納する格納部と
をさらに備えたことを特徴とする請求項８に記載の装置。
【請求項１０】
前記格納部はさらに、特徴語群および特徴フレーズを格納することを特徴とする請求項９に記載の装置。
【請求項１１】
前記キーワードライブラリ作成部は、前記格納部の前記サンプル迷惑情報および前記サンプル非迷惑情報と、前記特徴語群および前記特徴フレーズとに基づいて、前記キーワードライブラリを作成することを特徴とする請求項１０に記載の装置。
【請求項１２】
前記キーワードライブラリを構文解析してキーワードハッシュテーブルを作成し、および特徴単語ハッシュテーブル、特徴語群ハッシュテーブルおよび特徴フレーズハッシュテーブルを作成するハッシュテーブル作成部をさらに備えたことを特徴とする請求項８に記載の装置。
【請求項１３】
前記キーワードライブラリおよび前記格納部の前記サンプル迷惑情報および前記サンプル非迷惑情報に基づいて、閾値を予め設定する閾値設定部をさらに備えたことを特徴とする請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報フィルタリング技術に関し、より具体的には、迷惑情報をフィルタリングするネットワークベースの方法および装置に関する。
【背景技術】
【０００２】
コンピューターおよび通信技術が発達するにつれて、インターネットは、リアルタイム性、高速性および利便性、内容の豊富さ、並びに時間および空間の制限がないこと等、その特性から人々の仕事や生活において、情報を伝達および通信する非常に重要な手段になっている。このような情報伝達および情報通信の例としては、電子メディア、ＢＢＳ（Bulletin Board System）、ＩＭ（Instant  Messaging）、電子メールがある。しかしながら、迷惑情報の拡散により、ネットワークの帯域幅およびメモリー空間だけでなく、ユーザの時間および活力をも消耗し、これらのツールを定期的に使用する人々の妨げとなっている。
【０００３】
迷惑情報のフィルタリングに使用されている既存の方法としては、一般的にＢａｙｅｓｉａｎアルゴリズムに基づくフィルタリング方法がある。この種の方法は、大量の迷惑情報および非迷惑情報をサンプル情報として収集し、これらのサンプル情報に対して単語分割を行い、得られた特徴要素の頻度および確率を算出し、迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルを構築する。最後に、それぞれの特徴要素が迷惑情報である確率値を算出し、対象情報が迷惑情報であるか否かを検証する基礎として使用される新たなハッシュテーブルを構築する。検証を要する新たな対象情報を受信すると、本方法は、対象情報の検証および単語分割の結果に基づいて再計算し、迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルを再構築して、次の対象情報を検証する基礎となる新たなハッシュテーブルを作成する。
【０００４】
しかしながら、上記の迷惑情報のフィルタリング方法は、大量のサンプル情報を有し、即座の処理の需要が高い使用環境には適していない。例えば、各単一の情報が４ｋの長さで５００個の単語を有する、迷惑情報および非迷惑情報の数がそれぞれ１０万存在する場合、これに基づいて構築される迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルは、膨大な量の空間を占める。新たな対象情報に対して迷惑情報の検証を行うたびに、上述の方法によれば、その情報の検証および単語分割の結果に基づいて迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルを再構築し、これら２つのハッシュテーブルを使用してそれぞれの特徴要素が迷惑情報である確率値を算出することにより、次の対象情報を検証する基礎として使用される新たなハッシュテーブルを構築する。こうした膨大な計算は、大量のシステム資源および時間を占有し、次の対象情報の検証を大幅に妨げる遅延を招き、最終的に迷惑情報のリアルタイムのフィルタリングを不可能にする。
【発明の概要】
【０００５】
本発明は、迷惑情報をフィルタリングするネットワークベースの方法および装置を提供し、リアルタイムでの迷惑情報のフィルタリングにおける従来技術の課題を解決するために役立つ。
【０００６】
前述の課題を解決するため、本発明は、迷惑情報をフィルタリングするネットワークベースの方法を開示し、本発明は、
対象情報に対して単語分割を行い、前記対象情報中の特徴要素を取得するステップと、
予め設定したキーワードライブラリに従って前記対象情報の特徴要素に対応する確率値を取得するステップであって、前記キーワードライブラリは定期的に更新されるステップと、
前記対象情報の特徴要素の確率値を累算して、累算した結果を所定の閾値と比較して、累算した結果が前記所定の閾値よりも大きい場合は、前記対象情報が迷惑情報であると判定するステップと
を含む。
【０００７】
好ましくは、前記キーワードライブラリは、収集したサンプル迷惑情報およびサンプル非迷惑情報を使用して定期的に更新される。迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルは、予め設定した特徴語群および／または特徴フレーズに従って別々に作成される。前記ハッシュテーブルには、前記サンプル情報の単語分割により得た前記特徴要素と、前記サンプル情報中に現れる前記特徴要素の頻度とが格納される。
【０００８】
前記キーワードライブラリは、前記迷惑情報ハッシュテーブルおよび前記非迷惑情報ハッシュテーブルに基づき作成される。前記キーワードライブラリには、前記サンプル情報の前記特徴要素と、前記サンプル情報のそれぞれの特徴要素が迷惑情報である確率値が格納される。
【０００９】
前記キーワードライブラリ中の前記特徴要素には、特徴単語、特徴語群、および／または特徴フレーズが含まれるが、これに限らない。
【００１０】
好ましくは、本方法は、前記キーワードライブラリを構文解析してキーワードハッシュテーブルとし、前記キーワードハッシュテーブルに従って前記対象情報の特徴要素に対応する前記確率値を取得するステップをさらに含む。
【００１１】
好ましくは、本方法はさらに、  
前記キーワードハッシュテーブルに従って、前記対象情報の特徴要素および対応する確率値を、特徴単語ハッシュテーブル、特徴語群ハッシュテーブルおよび／または特徴フレーズハッシュテーブルに別々に格納するステップと、  
前記特徴単語ハッシュテーブル、特徴語群ハッシュテーブルおよび／または特徴フレーズハッシュテーブル中の各特徴要素の確率値を累算し、累算した結果を所定の閾値と比較して、前記累算した結果が前記所定の閾値よりも大きい場合は、前記対象情報は迷惑情報であると判定するステップと  
を含む。
【００１２】
好ましくは、本発明はさらに、ある特徴要素またはある組成が、前記特徴単語ハッシュテーブル、前記特徴語群ハッシュテーブルおよび前記特徴フレーズハッシュテーブル中に同時に存在する場合は、特徴フレーズハッシュテーブル中の前記特徴要素に対応する確率値のみを計算し、ある特徴要素またはある組成が、前記特徴単語ハッシュテーブルおよび前記特徴語群ハッシュテーブル中に同時に存在する場合は、特徴語群ハッシュテーブル中の前記特徴要素に対応する確率値のみを計算するステップを含む。
【００１３】
前記閾値は、前記キーワードライブラリから得た前記サンプル迷惑情報および前記サンプル非迷惑情報の前記特徴要素の前記確率値で決定される。それぞれのサンプル情報の確率値を前記閾値と比較して、前記サンプル情報が迷惑情報であり、および前記特徴要素の前記確率値が前記閾値より大きい場合は正確な判定としてカウントし、そうでない場合は誤った判定としてカウントする。前記サンプル情報が非迷惑情報であり、および前記特徴要素の前記確率値が前記閾値より小さい場合は正確な判定としてカウントし、そうでない場合は誤った判定としてカウントする。
【００１４】
前記サンプル迷惑情報および前記サンプル非迷惑情報のカウントした判定結果に基づいて、判定の正確率を算出する。前記正確率が所定値より小さい場合は、前記閾値を調整し、前記正確率が前記所定値より大きくなるまで前述のステップを繰り返す。
【００１５】
本発明はさらに、迷惑情報をフィルタリングするネットワークベースの装置を開示し、本装置は、
対象情報に対して単語分割を行い、前記対象情報の特徴要素を取得する単語分割部と、
前記単語分割部で得た前記対象情報の前記特徴要素および前記特徴要素が迷惑情報である確率値を格納するキーワードライブラリと、
前記キーワードライブラリを作成し、所定の時間間隔で前記キーワードライブラリを更新するキーワードライブラリ作成部と、
前記単語分割部で得た前記対象情報の前記特徴要素に基づいて前記キーワードライブラリから前記特徴要素に対応する確率値を取得して、前記確率値を累算する演算部と、
前記演算部で得た累算した結果を所定の閾値と比較して、前記累算した結果が前記所定の閾値よりも大きい場合は、前記対象情報が迷惑情報であると判定する比較部と
を備える。
【００１６】
本装置はさらに、サンプル迷惑情報およびサンプル非迷惑情報を収集する収集部と、前記収集部で収集したサンプル迷惑情報およびサンプル非迷惑情報、並びに前記所定の閾値を格納する格納部とを備える。
【００１７】
前記格納部はさらに、特徴語群および特徴フレーズを格納するために用いられる。
【００１８】
前記キーワードライブラリ作成部は、前記格納部の前記サンプル迷惑情報および前記サンプル非迷惑情報と、前記特徴語群および前記特徴フレーズとに基づいて、前記キーワードライブラリを作成する。
【００１９】
好ましくは、本装置はさらに、前記キーワードライブラリを構文解析してキーワードハッシュテーブルを作成し、および特徴単語ハッシュテーブル、特徴語群ハッシュテーブルおよび特徴フレーズハッシュテーブルを作成するハッシュテーブル作成部を備えることができる。
【００２０】
好ましくは、本装置はさらに、前記キーワードライブラリと前記格納部の前記サンプル迷惑情報および前記サンプル非迷惑情報とに基づいて、閾値を予め設定する閾値設定部を備えることができる。
【００２１】
従来技術と比較して、本発明は以下の利点を有する。第１に、本発明は、対象情報が迷惑情報であるか否かを検証するときに、すでに作成されたキーワードライブラリを使用して対象情報の特徴要素に対応する確率値を取得して比較を行うため、従来技術において対象情報を検証する毎にサンプル情報全体を再演算することにより生じていた時間の浪費を回避する。その結果、本発明は、従来技術において次の対象情報の検証を大幅に妨げる時間遅延を回避し、リアルタイムの処理の要件を満たすことができなかった従来技術の原因を回避する。本発明を使用する環境においてサンプル情報の数は、例えば、各情報が４ｋの長さで５００個の単語の個々の情報を有する、１０万の迷惑情報および１０万の非迷惑情報等、通常途方もなく多い。従来技術を使用した場合、サンプル情報を検証する毎に、当該情報の検証結果に基づき単語分割により得た特徴要素を、迷惑情報ハッシュテーブルおよび非迷惑情報ハッシュテーブルに追加して、この２つのハッシュテーブルを使用して再演算し、次の対象情報が迷惑情報であるか否かを検証する基礎となる新たなハッシュテーブルを作成するため、これにより費やされた大量の資源と時間により、迷惑情報をリアルタイムにフィルタリングすることができなくなる。一方、本発明において情報の検証時に使用するキーワードライブラリには、同じ数のサンプル情報を考えると、各要素の長さが０．１ｋを有する、約５０００の特徴要素だけが格納されるので、フィルタリング時のシステムの作業負荷が大きく減少する。本発明を使用すれば、１秒間に長さ４ｋの対象情報を１００個検証できる。
【００２２】
第２に、本発明は、サンプル迷惑情報およびサンプル非迷惑情報に基づき、予め設定された特徴語群および特徴フレーズを使用してキーワードライブラリを作成する。特徴語群および特徴フレーズは手動でセットおよび維持されるため、これにより作成されるキーワードライブラリは、より正確な特徴要素を有する。これにより、本発明の迷惑情報のフィルタリングの精度は一層向上する。
【図面の簡単な説明】
【００２３】
【図１】本発明に従って迷惑情報のネットワークベースのフィルタリング方法を示すデータフロー図である。
【図２】本発明に従って迷惑情報をフィルタリングするネットワークベースの装置の構造概略図である。
【発明を実施するための形態】
【００２４】
例示的な実施形態を挙げて本発明において開示する方法を説明する前に、先ず本発明の単語分割に関するいくつかの概念を紹介する。
【００２５】
特徴単語：中国語の一文字、または英語の一単語である。例えば「我是一個学生」は６個の特徴単語に分割され、「Ｉ  ａｍ  ａ  ｓｔｕｄｅｎｔ」は４つの単語に分割される。
特徴フレーズ：位置関係を有する複数の単語から構成され、例えば、「学生」または「ａ  ｓｔｕｄｅｎｔ」である。
特徴語群：位置関係のない複数の単語から構成される。
【００２６】
さらに、情報検索の効率を高めるため、本発明では、単語分割結果および関連情報を格納するハッシュテーブルを使用することが好ましい。ハッシュテーブルはハッシュ表とも呼ばれ、格納および検索のための重要な線形テーブルある。ハッシュテーブルでは、そのノードに対して高速検索を行うことができる。ハッシュテーブルアルゴリズムの基本概念は、ノードの対応するキー値で決定されるノードの格納アドレスを有することである。具体的には、キー値ｋを独立引数とし、一定の関数関係ｈ（ハッシュ関数という）により、対応する関数値ｈ（ｋ）を算出する。この関数値ｈ（ｋ）を、ノードの格納アドレスとして解釈して、ノードを当該アドレスに格納する。検索時には、検索するキー値に基づいて、同じハッシュ関数を用いてアドレスを算出し、そのアドレスで要求されたノードデータを取得することが可能である。その結果、ハッシュテーブルは、その平均検索時間（search length）がテーブル中の要素の数に直接的には依拠しないという重要な特性を有する。
【００２７】
例示的な実施形態を挙げて、本発明に従って迷惑情報をフィルタリングする方法を以下に説明する。
【００２８】
本発明で開示する迷惑情報をフィルタリングする方法は、対象情報に対して単語分割を行い当該対象情報中の特徴要素を取得するステップと、予め設定されたキーワードライブラリから対象情報中の特徴要素に対応する確率値を取得するステップであって、キーワードライブラリは定期的に更新されるステップと、対象情報中の特徴要素の確率値を累算し、累算した結果を所定の閾値と比較して、比較結果が所定の閾値よりも大きい場合は、対象情報は迷惑情報であると判定するステップとを含む。
【００２９】
図１に、本発明の例示的な実施形態に従って迷惑情報をフィルタリングする方法のデータフロー図を示す。以下に、図１を参照して本発明の例示的な実施形態を詳細に説明する。
【００３０】
ステップ１０１：キーワードライブラリを予め設定し、当該キーワードライブラリを定期的に更新する。
【００３１】
キーワードライブラリには、サンプル情報の単語分割により得た特徴要素およびその特徴要素が迷惑情報である確率値が格納されている。
【００３２】
あるセンテンスを考えると、人々は自身の知識に基づきどの部分がフレーズであるか、およびどの部分がフレーズでないかを理解するが、コンピューターはどのようにしてこれを理解するようになるのか。これを達成する処理が単語分割である。一般に使用されている単語分割方法には、単語文字列照合（word string matching）による単語分割方法と、統計による単語分割方法とがある。
【００３３】
単語文字列照合による方法とは、分析する単語の文字列を一定の方針に従って十分に大きな語彙辞書中のエントリーと照合するものである。単語の文字列が語彙辞書中に見つかる場合、照合は成功である（すなわち、単語は認識される）。単語文字列照合による単語分割方法は、走査方向に基づき、正方向照合および逆方向照合に分類することができる。単語文字列照合による単語分割方法は、長さによる優先順位に基づき、最大（最長）照合および最小（最短）照合に分類することもできる。また、単語文字列照合による単語分割方法は、品詞の分類（lexical tagging）と結びつくかどうかに基づき、単純な単語分割方法、および単語分割と分類とを統合した方法に分類することもできる。もちろん、上記の方法の任意の組み合わせを使用することもできる。
【００３４】
形式的には、フレーズは決まった単語の組合せである。したがって、文脈において、隣り合う単語が共に出現する回数が多いほど、これらの隣り合う単語は１つのフレーズを形成する可能性が高い。結果として、単語が隣り合って共に出現する頻度または確率値は、これらの単語が１つのフレーズを形成する確実性を適正に反映する。したがって、対象情報中に隣り合って共に出現する各々の単語の組合せの頻度について統計をとり、それらの共同出現情報（co-occurrence information）を算出することが可能である。２つの単語の共同出現情報を定義し、２つの単語（または漢字）ＸおよびＹの隣接共同出現確率を算出する。共同出現情報は、単語間の関連度を表す。関連度がある閾値よりも高い場合、対応する単語群は１つのフレーズになると考えることができる。本方法は、単語分割および語彙辞書を必要とせずに対象情報中の単語群の頻度を算出するだけでよいため、これを統計に基づく単語分割方法と呼ぶ。
【００３５】
当然ながら、当業者は、必要に応じて任意の単語分割方法を利用して対象情報を単語分割することができる。本発明は、これについていかなる制限も課さない。
【００３６】
好ましくは、本発明は、以下の方法によりキーワードライブラリを作成する。  
１）大量の迷惑情報および非迷惑情報をサンプル情報として収集し、迷惑情報集および非迷惑情報集を作成する。  
２）それらの情報に対して単語分割を行い、情報中の特徴要素を取得して、その特徴要素が出現する頻度、すなわち単語の頻度を算出する。この方法に応じて、迷惑情報集および非迷惑情報集中のすべての情報を処理する。  
３）情報集に従って、非迷惑情報集に対応するｈａｓｈｔａｂｌｅ＿ｇｏｏｄ、および迷惑情報集に対応するｈａｓｈｔａｂｌｅ＿ｂａｄを作成する。これらテーブルには、各特徴要素からその単語の頻度へのマッピング関係（mapping relationship）を格納する。  ４）各ハッシュテーブル中の各特徴要素の出現確率  Ｐ＝（ある特徴要素の単語の頻度）／（対応するハッシュテーブルの長さ）を算出する。
５）ｈａｓｈｔａｂｌｅ＿ｇｏｏｄおよびｈａｓｈｔａｂｌｅ＿ｂａｄを総合的に考慮して、新たなテキスト情報中に、ある特徴要素が出現した場合は、当該情報が迷惑情報である確率値を決定する。数式は下記の通りである：
事象Ａ：情報は迷惑情報である。ｔ１，ｔ２…ｔｎは特徴要素を示し、Ｐ（Ａ｜ｔｉ）は情報中に特徴要素ｔｉが出現する場合、当該情報が迷惑情報である確率値を示す。
Ｐ１（ｔｉ）＝（ｈａｓｈｔａｂｌｅ＿ｇｏｏｄにおけるｔｉの値）  
Ｐ２（ｔｉ）＝（ｈａｓｈｔａｂｌｅ＿ｂａｄにおけるｔｉの値）  
とするとき、  
Ｐ（Ａ｜ｔｉ）＝Ｐ２（ｔｉ）／［Ｐ１（ｔｉ）＋Ｐ２（ｔｉ）］
６）上記の結果に基づき新たなハッシュテーブル、ｈａｓｈｔａｂｌｅ＿ｐｒｏｂａｂｉｌｉｔｙを作成し、ｔｉからＰ（Ａ｜ｔｉ）へのマッピング関係を格納する。
【００３７】
例えば、「法輪功」の中国のフレーズを含む迷惑情報Ａ、および「法律」を含む非迷惑情報Ｂを例として挙げる。情報Ａに基づきｈａｓｈｔａｂｌｅ＿ｂａｄが作成され、このハッシュテーブル中のレコードは下記の通りとなる：  
法：１回  
輪：１回  
功：１回
上記の結果に基づき、本ハッシュテーブルには下記の通り算出される：  
法が出現する確率０．３  
輪が出現する確率０．３  
功が出現する確率０．３
情報Ｂに基づきｈａｓｈｔａｂｌｅ＿ｇｏｏｄが作成され、このハッシュテーブル中のレコードは下記の通りとなる：  
法：１回  
律：１回
本ハッシュテーブルには下記の通り算出される：  
法が出現する確率０．５  
律が出現する確率０．５
２つのハッシュテーブルを組み合わせると、全部で４つの特徴要素：法、輪、功、および律がある。情報中に「法」が出現する場合、この情報が迷惑情報である確率値は下記のとおりである：  
Ｐ＝０．３／（０．３＋０．５）＝０．３７５  
「輪」が出現する場合：  
Ｐ＝０．３／（０．３＋０）＝１  
「功」が出現する場合：  
Ｐ＝０３／（０.３＋０）＝１  
「律」が出現する場合：  
Ｐ＝０／（０＋０.５）＝０
上記から、第３のハッシュテーブル、ｈａｓｈｔａｂｌｅ＿ｐｒｏｂａｂｉｌｉｔｙが得られ、以下のデータを有する：  
法：０．３７５  
輪：１  
功：１  
律：０
上記の処理において、本発明は、さらに正確な結果を得るために予め設定した特徴語群および特徴フレーズを使用してキーワードライブラリを作成することが好ましい。
【００３８】
特徴フレーズおよび特徴語群は、予めセットされ、以下のようにＸＭＬファイルに格納される：  
＜？ｘｍｌ  ｖｅｒｓｉｏｎ＝“１．０”ｅｎｃｏｄｉｎｇ＝“ＵＴＦ−８”？＞  
＜ｋｅｙｗｏｒｄｓ＞  
＜ｋｅｙ＿ｐｈｒａｓｅ＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪功”／＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪”／＞  
＜／ｋｅｙ＿ｐｈｒａｓｅ＞  
＜ｋｅｙ＿ｇｒｏｕｐ＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪功静坐”／＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪功”／＞  
＜／ｋｅｙ＿ｇｒｏｕｐ＞  
＜／ｋｅｙｗｏｒｄｓ＞
【００３９】
特徴フレーズをノード＜ｋｅｙ＿ｐｈｒａｓｅ＞において定義し、一方、特徴語群をノード＜ｋｅｙ＿ｇｒｏｕｐ＞において定義する。サンプル迷惑情報を分析する際に、情報をまず前述した方法により単語分割して、その出現する確率を算出してｈａｓｈｔａｂｌｅ＿ｂａｄを作成する。特徴フレーズまたは特徴語群をＸＭＬファイルから取り出し、当該特徴フレーズまたは特徴語群が存在するか否か、サンプル迷惑情報を調べる。存在する場合は、対応する特徴フレーズまたは特徴語群をｈａｓｈｔａｂｌｅ＿ｂａｄに追加し、その特徴フレーズまたは特徴語群がハッシュテーブル中に出現する確率を算出する。同じ方法を用いてサンプル迷惑情報およびサンプル非迷惑情報全てを処理して、ｈａｓｈｔａｂｌｅ＿ｂａｄおよびｈａｓｈｔａｂｌｅ＿ｇｏｏｄの作成を完了する。
【００４０】
上記の２つのハッシュテーブルに基づきｈａｓｈｔａｂｌｅ＿ｐｒｏｂａｂｉｌｉｔｙを作成し、特徴要素およびそれぞれの特徴要素が迷惑情報である確率値を格納するために使用する。ＸＭＬファイルを用いた格納フォーマットは以下に示す通りである：  
＜？ｘｍｌ  ｖｅｒｓｉｏｎ＝“１．０”ｅｎｃｏｄｉｎｇ＝“ＵＴＦ−８”？＞  
＜ｋｅｙｗｏｒｄｓ＞  
＜ｋｅｙ＿ｗｏｒｄｓ＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法”ｖａｌｕｅ＝“０．３７５”／＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“輪”ｖａｌｕｅ＝“１”／＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“功”ｖａｌｕｅ＝“１”／＞  
＜／ｋｅｙ＿ｗｏｒｄｓ＞  
＜ｋｅｙ＿ｐｈｒａｓｅ＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪功”ｖａｌｕｅ＝“１”／＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪”ｖａｌｕｅ＝“０．４９”／＞  
＜／ｋｅｙ＿ｐｈｒａｓｅ＞  
＜ｋｅｙ＿ｇｒｏｕｐ＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪功静坐”ｖａｌｕｅ＝“０．６５”／＞  
＜ｉｔｅｍ  ｗｏｒｄ＝“法輪功”ｖａｌｕｅ＝“０．４５”／＞  
＜／ｋｅｙ＿ｇｒｏｕｐ＞  
＜／ｋｅｙｗｏｒｄｓ＞
【００４１】
前述のＸＭＬファイルは、本発明に記載のキーワードライブラリである。本発明は、新たに収集したサンプル迷惑情報およびサンプル非迷惑情報に基づいて、所定の時間間隔でキーワードライブラリを再作成する。本発明に従ってキーワードライブラリを作成する過程は、独立して実行される。したがって、キーワードライブラリが必要となった時点で、キーワードライブラリはすでに作成されており、直接使用することができる。例えば、独立したスレッドまたはサーバを用いてキーワードライブラリを作成することができる。
【００４２】
ステップ１０２：対象情報に対して単語分割を行い、その情報中の特徴要素を取得する。
【００４３】
対象情報とは、本発明において迷惑であるか否かの検証を要する情報である。対象情報の内容に基づき、特徴要素は単語、語群またはフレーズ等とすることができる。
【００４４】
ステップ１０３：対象情報の特徴要素に対応する確率値を、キーワードライブラリから取得する。
【００４５】
検索効率を向上させるため、本発明はキーワードライブラリを格納するＸＭＬファイルを解析してキーワードハッシュテーブル、ｈａｓｈ＿ｋｅｙｗｏｒｄｓとし、メモリーに保存する。ｈａｓｈ＿ｋｅｙｗｏｒｄｓは、下記の内容を含む：  
Ｎａｍｅ：特徴要素の名称  
Ｖａｌｕｅ：特徴要素に対応する確率値  
Ｔｙｐｅ：特徴要素のタイプ、例えば単語、語群、フレーズ、語群中の単語、フレーズ中の単語  
Ｐｏｓｉｔｉｏｎ：Ｔｙｐｅがフレーズ中の単語であれば、フレーズ中の単語の位置関係
【００４６】
３つの一時ハッシュテーブルｈａｓｈ＿ｗｏｒｄ、ｈａｓｈ＿ｇｒｏｕｐ、ｈａｓｈ＿ｐｈｒａｓｅを作成する。次に、対象情報の各特徴要素を調べて、ｈａｓｈ＿ｋｅｙｗｏｒｄｓ中に対応する特徴要素が存在するか否かを判定する。存在する場合は、その特徴要素に対応する確率値を取得する。次に、その特徴要素に対応するタイプに従って、３つの一時ハッシュテーブルのうちの１つに、特徴要素およびその確率値を格納する。
【００４７】
ステップ１０４：対象情報中の特徴要素の確率値を累算し、累算した結果を所定の閾値と比較する。累算した結果が所定の閾値よりも大きい場合は、対象情報が迷惑情報であると判定する。
【００４８】
３つの一時ハッシュテーブルから各特徴要素に対応する確率値をそれぞれ取得して、それを累算する。好ましくは、本発明では、以下の方法で算出する：特徴要素がｈａｓｈ＿ｐｈｒａｓｅ、ｈａｓｈ＿ｇｒｏｕｐおよびｈａｓｈ＿ｗｏｒｄ中に同時に存在する場合、ｈａｓｈ＿ｐｈｒａｓｅ中の値のみを計算する。特徴要素がｈａｓｈ＿ｇｒｏｕｐおよびｈａｓｈ＿ｗｏｒｄ中に同時に存在する場合、ｈａｓｈ＿ｇｒｏｕｐ中の値のみを計算する。こうして重複計算を効果的に回避し、算出結果の精度を向上させる。
【００４９】
好ましくは、閾値は、得られた確率値およびサンプル情報に基づき調整して設定する。例えば、１０万のサンプル迷惑情報および１０万のサンプル非迷惑情報があると仮定する。先ず閾値を設定し、キーワードライブラリに基づいて、すべてのサンプル情報を閾値に従って判定し、正確な判定の数および誤った判定の数を取得する。次に閾値を自動調整して、正確な率が９９．９９％以上であり、誤った率が０．１％未満になるまで、上記の判定処理を繰り返す。結果として得た閾値を、実際に使用する閾値として設定する。
【００５０】
図２に、本発明に従って迷惑情報をフィルタリングする装置を示す。本装置は、少なくとも、  
対象情報に対して単語分割を行い、当該情報の特徴要素を取得する単語分割部２０１と、  
単語分割部２０１で得た対象情報の特徴要素および当該特徴要素が迷惑情報である確率値を格納するキーワードライブラリ２０２と、  
キーワードライブラリ２０２を作成し、所定の時間間隔でキーワードライブラリ２０２を更新するキーワードライブラリ作成部２０５と、  
単語分割部２０１で得た対象情報の特徴要素に基づき、キーワードライブラリ２０２から当該特徴要素に対応する確率値を取得し、当該確率値を累算する演算部２０６と、  
演算部２０６で得た累算した結果を所定の閾値と比較し、当該累算した結果が所定の閾値よりも大きい場合は、対象情報が迷惑情報であると判定する比較部２０７と  
を備える。
【００５１】
本装置はさらに、
サンプル迷惑情報およびサンプル非迷惑情報を収集する収集部２０３と、
収集部２０３が収集したサンプル迷惑情報およびサンプル非迷惑情報並びに所定の閾値を格納する格納部２０４と  
を備える。
【００５２】
格納部２０４はさらに、特徴語群および特徴フレーズを格納するために用いられる。
【００５３】
キーワードライブラリ作成部２０５は、格納部２０４に格納されたサンプル迷惑情報およびサンプル非迷惑情報と、特徴語群および特徴フレーズとに基づいて、キーワードライブラリを作成する。
【００５４】
好ましくは、本装置はさらに、キーワードライブラリ２０２を解析してキーワードハッシュテーブルを作成し、および特徴単語ハッシュテーブル、特徴語群ハッシュテーブルおよび特徴フレーズハッシュテーブルを作成するハッシュテーブル作成部２０８を備えることができる。
【００５５】
好ましくは、本装置はさらに、キーワードライブラリ２０２と、格納部２０４のサンプル迷惑情報およびサンプル非迷惑情報とに基づいて、閾値を予め設定する閾値設定部２０９を備えることができる。
【００５６】
本発明に記載の装置に関する上記の説明において省略されているいずれの詳細についても、本明細書で開示している前述の関連する部分の説明を参照することができる。
【００５７】
本発明における迷惑情報をフィルタリングする方法および装置について、上記で詳細に説明してきた。本明細書では例示的な実施形態を用いて本発明の概念および実施例を説明したが、この例示的な説明は、本発明の方法およびその核となる概念のより良い理解のために用いられるに過ぎない。当業者であれば、本発明の概念に基づき、具体的な実施例および使用範囲に変更を加えることができるであろう。したがって、本明細書の内容は、本発明を制限するものと理解すべきではない。
【図１】
2010506247.tif 000003
【図２】
2010506247.tif 000004
【国際調査報告】
2010506247.tif 000005
2010506247.tif 000006
2010506247.tif 000007
2010506247.tif 000008
2010506247.tif 000009
2010506247.tif 000010
2010506247.tif 000011