(57)【特許請求の範囲】
【請求項１】
サンプルデータ中のスパムキーワードを予め定義するステップと、
各キーワードに対応して、キーワード値を算出するステップと、
前記キーワード値に基づいてそれぞれのサンプルデータを迷惑情報または非迷惑情報のいずれかにフィルタリングするステップと、
前記迷惑情報に誤って分類されたサンプルデータのエラー率、および前記迷惑情報に正確に分類されたサンプルデータの的中率の少なくとも１つを示すフィルタリング基準値を取得するステップと、
前記フィルタリング基準値が評価基準に合致するか否かを判定し、合致しない場合は、キーワードまたはキーワード値の受信によりキーワード値を調整した後、前記フィルタリングするステップおよび前記フィルタリング基準値を取得するステップを繰り返し、合致する場合は、キーワードまたはキーワード値の少なくとも１つを格納する、ステップと
を含むことを特徴とする迷惑情報の判定方法。
【請求項２】
新たなキーワードを受信し、キーワード値を再演算することにより、キーワード値を調整することを特徴とする請求項１に記載の方法。
【請求項３】
元のキーワードに対応するキーワード値を受信することにより、キーワード値を調整することを特徴とする請求項１に記載の方法。
【請求項４】
それぞれのサンプルデータをフィルタリングするステップは、
前記キーワード値を用いてサンプルデータが迷惑情報である確率を算出するステップと、
各サンプルデータの確率を予め定義したスパム閾値と比較し、前記確率が前記スパム閾値以上である場合はサンプルデータが迷惑情報であると判定するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項５】
全確率の公式を用いてサンプルデータが迷惑情報である確率を算出することを特徴とする請求項４に記載の方法。
【請求項６】
ベイズアルゴリズムを用いてキーワード値を算出することを特徴とする請求項１に記載の方法。
【請求項７】
様々な使用ニーズに応じて、異なるスパムキーワードを予め定義することを特徴とする請求項１に記載の方法。
【請求項８】
サンプルデータ中のスパムキーワードおよびキーワード値を格納する格納部と、
各キーワードに対応して、キーワード値を算出し、前記キーワード値に基づいてそれぞれのサンプルデータを迷惑情報または非迷惑情報のいずれかにフィルタリングし、前記迷惑情報に誤って分類されたサンプルデータのエラー率、および前記迷惑情報に正確に分類されたサンプルデータの的中率の少なくとも１つを示すフィルタリング基準値を取得する統計部と、
前記フィルタリング基準値が評価基準に合致するか否かを判定し、合致しない場合はキーワードまたはキーワード値の受信によりキーワード値を調整した後、前記統計部を始動させてフィルタリング基準値を再度演算し、合致する場合は、キーワードまたはキーワード値の少なくとも１つを前記格納部に格納する調整部と
を備えることを特徴とする迷惑情報の判定システム。
【請求項９】
前記調整部は、新たなキーワードを受信し、前記統計部がキーワード値を再演算することを特徴とする請求項８に記載のシステム。
【請求項１０】
前記調整部は、元のキーワードに対応するキーワード値を受信することを特徴とする請求項８に記載のシステム。
【請求項１１】
前記格納部は、様々な使用ニーズに応じて、異なるスパムキーワードおよびキーワード値を格納することを特徴とする請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報フィルタリング分野に属し、特に迷惑情報を判定する方法およびシステムに関する。
【背景技術】
【０００２】
近年、ますます多くのユーザーが、大量の情報をネットワークを介して送受信し、インターネットを十分に活用して情報交換やリソースの共有を行っている。しかし、こうした情報の中には大量の迷惑情報が含まれていることが多く、これらの迷惑情報はユーザーにとって利用価値がないばかりでなく、なかには不法な目的を持って故意に大量発信される情報も含まれている。最もよく見られる迷惑情報は迷惑メールであり、ユーザーはメールボックスに広告や不法な活動の宣伝、ときにはウイルスメールまで受け取ることがある。こうした迷惑メールは大量のネットワークリソースを占有するため、サーバやネットワーク流量に大きな圧力を引き起こす。また、一部の不法な情報は、ネットワークの安全性に極めて大きな弊害をもたらす可能性がある。
【０００３】
このような状況に対して、昨今のウェブサイトは通常、迷惑メールフィルタリング機能を設けて、各種のスパム防止策を講じて迷惑情報の配信を阻止している。このような防止策としては、ユーザーが送信された情報のコンテンツに対してインデックスを付す、規則性の無い時間遅延を配備する、人手による検査を用いる、または、キーワードフィルタリングを使用する方法がある。このうち、キーワードフィルタリング法は最もインテリジェントで有効な方法である。ここで、キーワードとはスパムキーワードであり、迷惑情報中に頻出し、迷惑情報の部分的特徴を明確に表せる文字、単語、または連語を指す。キーワードフィルタリングでは、一般的方法として一定のスパムキーワードを予め定義しておき、インターネットユーザーが情報を発信する際に、システムが当該情報を走査し、そのキーワードおよび各種規則に基づいて、予め定義した迷惑情報が当該情報中に存在するか否かを判定する。存在する場合は発信を許可せず、または情報を迷惑情報として処理し、ときには情報の発信者をブラックリストに載せることも行う。本方法は、多くは迷惑メールのフィルタリングに採用され、迷惑メールを自動的に識別することができる。
【０００４】
現時点において、既存の情報フィルタリングの要点は、迷惑情報を如何に合理的に予め定義できるかにある。定義が適切であれば、大量の情報の中から迷惑情報を正確に識別できるが、定義が適切でないとフィルタリングの効果は悪くなる。通常の方法は、経験に基づくか、またはすでに迷惑情報としてマーキングされた情報から選択するものであり、迷惑情報のコンテンツであるキーワードを手動で予め定義している。本方法は、迷惑情報をフィルタリングすることができるが、主観要素に基づいて決定されたキーワードには一定の随意性があり、得られるフィルタリング結果には大きな誤差率が存在する場合がある。キーワードの範囲に記入されなく、またはキーワードの出現頻度が低い迷惑情報については識別することができず、また、迷惑情報の部分的特徴には合致するが、迷惑情報には属さない情報について、迷惑情報であると誤判定する恐れもあった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術上の課題は、迷惑情報を不適切に予め定義する問題を解決し、迷惑情報のコンテンツを合理的に判定することにより、情報のフィルタリング効果を向上させる迷惑情報の判定方法およびシステムを提供することである。
【課題を解決するための手段】
【０００６】
上記の技術課題を解決するため、本発明は、サンプルデータ中のスパムキーワードを予め定義するステップと、各キーワードに対応して、キーワード値を算出するステップと、前記キーワード値を用いてサンプルデータを模擬フィルタリングし、フィルタリング基準値を取得するステップと、前記フィルタリング基準値が評価基準に合致するか否かを判定して、合致しない場合はキーワードまたはキーワード値を調整し、フィルタリング基準値を再度模擬演算し、合致する場合は調整を終了するステップとを含む迷惑情報の判定方法を提案する。
【０００７】
前記方法において、キーワードまたはキーワード値を調整する前記ステップは、新たなキーワードを追加し、キーワード値を再演算するステップ、または元のキーワードに対応する値を手動で調整するステップを含むことができる。
【０００８】
前記方法において、サンプルデータを模擬フィルタリングするステップは、前記キーワード値を用いてサンプルデータが迷惑情報である確率を算出するステップと、各サンプルデータの確率を予め定義したスパム閾値と比較して、前記確率が前記スパム閾値以上である場合はサンプルデータが迷惑情報であると判定するステップと、前記判定結果に対応してサンプルデータのフィルタリング基準値を統計するステップとを含むことができる。
【０００９】
前記において好ましくは、全確率の公式を用いてサンプルデータが迷惑情報である確率を算出し、ベイズアルゴリズムでキーワード値を算出する。
【００１０】
好ましくは、様々な使用ニーズに応じて、異なるスパムキーワードを予め定義し、使用する。
【００１１】
本発明は、サンプルデータ中のスパムキーワードおよびキーワード値を格納する格納部と、各キーワードに対応して、キーワード値を算出し、当該キーワード値を用いてサンプルデータを模擬フィルタリングし、フィルタリング基準値を取得する模擬統計部と、前記フィルタリング基準値が評価基準に合致するか否かを判定し、合致しない場合はキーワードまたはキーワード値を調整し、前記模擬統計部を始動させてフィルタリング基準値を改めて模擬演算し、合致する場合は調整を終了する調整部とを備える迷惑情報を判定するシステムをさらに提供する。
【００１２】
前記調整部は、新たなキーワードを追加し、前記模擬統計部がキーワード値を再演算するよう始動させる、または元のキーワードに対応する値を手動で調整するステップを実行することができる。
【００１３】
好ましくは、前記格納部は、様々な使用ニーズに応じて異なるスパムキーワードおよび異なるキーワード値を格納する。
【発明の効果】
【００１４】
従来技術に比べ本発明は次のような利点を有する。まず、サンプルデータのフィルタリング基準値を模擬演算し、評価基準と比較することにより、キーワードおよびキーワード値を繰り返し調整して、予め定義したキーワードおよび対応するキーワード値が適切であるか否かを判定する。本発明に記載の方法は、ユーザーがスパムキーワードおよびキーワード値を科学的に定義することをサポートし、前記キーワードおよび対応するキーワード値に基づいて情報が迷惑情報であるか否かを判定することにより、情報のフィルタリング効果を向上させる。本発明に記載の方法で定義される迷惑情報を使用して、迷惑情報処理システムにおいて極めて高効率の基準を達成できる。
【００１５】
次に、ユーザーは様々なニーズに基づいて、スパムキーワードおよびキーワード値を自由に設定できるため、本発明は、例えば返信システム、メッセージシステム、フォーラム、および迷惑メールの処理等、様々な応用およびシステムに広く採用することができ、また達成される情報のフィルタリング効果をユーザー自身の業務分野に適用することもできる。特に現時点において、スパム防止方法は迷惑メールの処理に広く採用されているが、返信メッセージの処理に使用することは非常に少ない。本発明に記載の方法は迷惑メッセージのフィルタリングの問題を高効率に処理することができる。
【００１６】
さらに、本発明は、予め定義したキーワードおよび対応するキーワード値に基づき、全確率の公式を採用してサンプルデータが迷惑情報である確率を算出するため、迷惑情報判別の正確度が高まり、情報のフィルタリング効果が向上する。
【図面の簡単な説明】
【００１７】
【図１】本発明に従って迷惑情報を合理的に判定する過程を示す概略図である。
【図２】本発明に従って迷惑情報を合理的に判定する例示的な過程を示すフローチャートである。
【図３】本発明に従って迷惑情報を合理的に判定するシステムを示す構造図である。
【発明を実施するための形態】
【００１８】
本発明の上記目的、特徴および利点をさらに明確に理解可能なように、添付の図面および例示的な実施形態を使用して本発明をさらに詳しく説明する。
【００１９】
本発明の主要な概念は、ユーザーが代表的な情報を迷惑情報のサンプルとして選択し、スパムキーワードを定義し、システムにおいてサンプルに対して演算を行い、キーワード値を取得した後、システムがそのキーワード値を用いてシミュレーションを行ってフィルタリング基準値を取得し、当該フィルタリング基準値と評価基準との比較により、キーワードまたはキーワード値を繰り返し調整および最適化し、最後に合理的なスパムキーワードおよびキーワード値を取得することである。
【００２０】
迷惑情報は、例えば、悪意的な一括送信広告、不法活動の参画または不法製品の販売、またはユーザーが使用ニーズに基づいて自己定義した他の特徴等、一定の類似した特徴を有する情報である。本発明における迷惑情報はさらに広範な意義を有し、ユーザーのブラウズするニーズに合致しない全ての情報、例えば音楽を紹介するウェブページに自動車の宣伝情報が出現する場合、この自動車の宣伝情報を迷惑情報とする等、何れも迷惑情報とすることができる。スパムキーワード値は、本発明を実現する提案においてスパムキーワードを定義する際に、キーワードの各々に一定の値を付与するもので、当該値は対応するキーワードが迷惑情報中に出現する確率が、正常情報中に出現する確率よりどれほど高いかを示す定量化した数値である。
【００２１】
情報のフィルタリング処理過程において、本発明に記載の方法を用いて、予め定義したキーワードおよび対応するキーワード値が適切であるか否かを判定し、キーワードフィルタリング方法によりネット上で発信された情報が迷惑情報であるか否かを正確に判定する。
【００２２】
図１は、本発明に従って迷惑情報を合理的に判定する過程を示す概略図である。本方法は、迷惑情報のフィルタリング過程をシミュレーションすることにより、予め定義したキーワードおよびキーワード値を繰り返し最適化し、スパムキーワードおよび対応するキーワード値を科学的に定義する目的を達成する。
【００２３】
ステップ１０１では、ユーザーがサンプルデータを選択し、サンプルデータ中のスパムキーワードを自己定義する。一般に、ユーザーは業務分野内で一定の代表的なデータをサンプルとして選択し、次いでサンプルデータから迷惑情報を示唆できる文字、単語または連語をスパムキーワードとして選択する。
【００２４】
ステップ１０２では、システムがサンプル中の各キーワードに対する値を算出し、スパムキーワード値を取得する。キーワード値の判定について、現時点で一般的に採用されている方法は、ベイズアルゴリズムである。当該アルゴリズムは迷惑メールの処理において良好なフィルタリング効果が得られてきたのに対し、他のキーワード値の設計法は随意性が非常に強いため、本発明でも好ましくはベイズアルゴリズムを採用してスパムキーワード値を算出する。
【００２５】
ステップ１０３では、サンプル中の迷惑情報の確率を模擬演算し、フィルタリング基準値を統計する。システムはキーワード値を取得した後、そのキーワード値に基づいて各サンプルデータに対して迷惑情報となる確率を算出する。次いで、その確率をユーザーが決定したスパム閾値と比較し、確率がスパム閾値以上のサンプルデータを迷惑情報であると判定する。ここで、スパム閾値とは、ユーザーの定義による、情報が迷惑情報であるか否かを判定するための基準値である。
【００２６】
全のサンプルデータに対して上記処理を行った後、模擬フィルタリング方法に基づき、サンプルを迷惑情報および非迷惑情報に分ける。情報のフィルタリング効果を検出するため、ユーザーは業務分野について１または複数の評価基準を定義し、各評価基準に対応するフィルタリング基準値を、サンプルのフィルタリング結果から算出する。
【００２７】
ステップ１０４では、算出されたフィルタリング基準値をユーザーが定義した評価基準と比較する。比較結果が合致する場合はユーザーが選択したスパムキーワードおよびキーワード値は適切であり、迷惑情報を正確にフィルタリングできるが、フィルタリング基準値が評価基準に合致しない場合は、情報のフィルタリング効果が悪く、キーワードまたはキーワード値をさらに調整する必要があり、サンプルデータを再度模擬フィルタリングする必要がある。本最適化過程を繰り返し行って、最終的に模擬演算したフィルタリング基準値を評価基準に合致させる目的を達成する。
【００２８】
具体的なシミュレーション結果に基づいて、ユーザーは新たなキーワードを追加するか、または元のキーワードを削除することによりキーワードを調整できる。あるいは、定義した元のキーワードを変更せずにキーワード値を調整することもできる。新規設定のキーワードに対して、システムは上記方法に基づいてキーワード値を再演算し、サンプルデータを再度フィルタリングして、フィルタリング基準値を統計する。キーワード値の調整については、常に手動で設定値を修正してから、サンプルデータを再度フィルタリングしフィルタリング基準値を統計する。
【００２９】
ステップ１０５では、上記繰り返し調整の過程により、最適化されたキーワードおよびキーワード値を取得し、迷惑情報をフィルタリングするスパムキーワードおよび対応するキーワード値として決定する。サンプルが属する業務分野のデータに対して情報フィルタリングを行う際に、これら決定したキーワードおよびキーワード値を直接利用してフィルタリング処理を行うことができる。
【００３０】
前述の原理に基づき、本発明に記載の方法は、ユーザーがスパムキーワードおよびキーワード値を科学的に定義することをサポートし、これらキーワードおよび対応するキーワード値に基づいて情報が迷惑情報であるか否かを判定して、情報のフィルタリング効果を向上させることができる。本発明に記載の方法で定義された迷惑情報を使用して、迷惑情報処理システムにおいて、非常に高効率の基準を達成できる。
【００３１】
本発明では、迷惑情報の定義範囲が広く、ユーザーは様々なニーズに基づいてスパムキーワードおよび対応するキーワード値を自由に設定できることから、本発明は、例えば返信システム、メッセージシステム、フォーラム、および迷惑メールの処理等、各種様々な応用およびシステムに広く採用することができる。さらに、達成される情報のフィルタリング効果をユーザー自身の業務分野に適用することもできる。特に現時点において、スパム防止方法は迷惑メールの処理に広く採用されているが、返信メッセージの処理に使用することは非常に少ない。本発明に記載の方法は迷惑メッセージのフィルタリングの問題を高効率に処理することができる。下記内容は迷惑メッセージの処理を例に挙げ、スパムキーワードおよびキーワード値を如何に合理的に判定するかを説明している。
【００３２】
図２は、本発明に従って迷惑情報を合理的に判定する例示的な過程を示すフローチャートである。
【００３３】
ステップ２０１は、サンプル制御である。システムは、例えば四半期以内に受信したメッセージデータをサンプルデータとして選択する等、一定期間内に送られたメッセージ情報をサンプルデータとして選択する。値を取る際には、手動識別による方法で、データ算出に干渉する可能性のある情報を取り除き、サンプルをより正確化する。
【００３４】
ステップ２０２は、手動判別である。選択したサンプルデータに対して手動で類型を識別し、正常な情報であるか迷惑情報であるかを識別する。一般にメッセージまたはメールに対しては情報毎に判別を行い、大きな情報に対してはいくつかの単元に切り分けてから判別する。
【００３５】
ステップ２０３は、キーワードの定義である。上記メッセージデータに対して、ユーザーは、例えば領収書、銃、および人体の器官等、一連のスパムキーワードを定義する。キーワードは、ユーザー自身の業務分野のニーズに基づき、手動で定義することができるが、すでに迷惑情報として特定されている情報から選択することもできる。
【００３６】
ステップ２０４は、キーワード値の算出である。ベイズアルゴリズムを使用し、サンプル中の、例えば「領収書」の値の算出結果は０．７５、「銃」の値の算出結果は０．９である等、定義されたスパムキーワードに対応するキーワード値を算出する。ベイズアルゴリズムは確率に基づく算法であり、偉大な数学者であるＴｈｏｍａｓ Ｂａｙｅｓにより確立されたもので、現時点でこのアルゴリズムは、迷惑メールのフィルタリングの適用において広く支持されている。ベイズフィルタは「自己学習」に基づく知能技術であり、迷惑メール作成者の新たな技法に自己適応させると同時に、合法的な電子メールに保護を提供するものである。メールをフィルタリングする知能技術のうち、ベイズフィルタリング技術は大きな成功を遂げ、スパム防止製品に益々採用されるようになっている。ベイズアルゴリズムの算出手順は下記の通りである。
【００３７】
まず、スパムキーワードが正常情報および迷惑情報中に出現する回数をそれぞれ算出する。例えば、メッセージサンプル中で定義したキーワードＡについて、Ａの正常メッセージ中における出現頻度（回数）をＮａで表し、Ａの迷惑メッセージ中の出現頻度をＳａで表す。カウントのルールは、キーワードＡが同一メッセージ中に１回出現する場合は１回と記録し、２回出現する場合は２回と記録し、Ａが同一メッセージ中に出現する回数を統計した後、全てのメッセージを検索して、各メッセージの出現回数を累加し、これをキーワードＡの正常メッセージまたは迷惑メッセージにおける出現頻度とする。
【００３８】
次に、キーワード値を算出する。上記２種のデータ（正常情報および迷惑情報）中に出現した頻度に基づいて、スパムキーワードが出現するカレント情報が迷惑情報である確率を算出する。上記キーワードＡに対して中間変数Ｐ１ａおよびＰ２ａを設定し、ここで、  Ｐ１ａ＝Ｎａ／全正常メッセージ中に出現するキーワードの記録数
Ｐ２ａ＝Ｓａ／全迷惑メッセージ中に出現するキーワードの記録数
したがって、キーワードＡが出現するメッセージが迷惑情報である確率は、以下の通りである。  
Ｐａ＝（Ｐ２ａ）／（Ｐ１ａ＋Ｐ２ａ）
上記Ｐａが算出されたキーワード値である。上記演算式において、キーワードの記録数とは、全キーワード出現頻度の累加値である。
【００３９】
ステップ２０５は、スパム閾値を決定し、迷惑情報を模擬フィルタリングする。まず、ユーザーは自身の業務分野のニーズに基づいて、迷惑情報を判定するためのスパム閾値Ｆを決定する。続いて、システムがサンプルデータに対し、キーワードフィルタリング規則に基づいて迷惑情報の検出およびマーキングを行う。各メッセージに対する処理過程は下記の通りである。
【００４０】
第１段階は、定義した各スパムキーワードについて、メッセージのコンテンツに出現するか否かを判定する。判定方法は、キーワードの繰り返し変数をＫｉ、キーワードに対応するキーワード値をＶｉとすると、Ｋｉがメッセージ中に出現した場合、Ｋｉおよび対応するＶｉを記録し、ＫＡ（ｉ）およびＶＡ（ｉ）と標示し、Ｋｉがメッセージ中に出現しない場合、引き続き次のキーワードを検索する。繰り返しが終了すると、キーワードテーブルＫＡおよび対応するキーワード値テーブルＶＡという、同じ長さを有する２つのテーブルが取得される。キーワードのマッチング過程において、メッセージのコンテンツを単語分割してマッチングを行う必要があり、マッチングの順番は、組み合わされたキーワードを優先し、次に通常のキーワードを照合する。組み合わされたキーワードとは、例えば「人体」＋「器官」であり、通常のキーワードとは、例えば「銃」である。
【００４１】
第２段階は、ＫＡの長さを判定することであり、例えばＫＡの長さが１より小さければ、カレントメッセージ中には定義されたスパムキーワードが存在しないことを示しており、正常情報の類別に戻る。ＫＡの長さが０より大きければ、カレントメッセージ中に少なくとも１個の定義されたスパムキーワードが出現することを示しており、カレントメッセージが迷惑情報である確率、すなわち、スパム確率Ｐを算出する。スパム確率Ｐの算出には、例えば平均値法等、本分野の当業者に周知のいずれの方法も用いることができる。本発明では、好ましくは、全確率の公式を用いてスパム確率Ｐの算出を採用することで、迷惑情報判別の正確性が高まり、情報のフィルタリング効果を向上させることができる。複合イベントの確率を求めるためには、それをいくつかの相互排他的な単純イベントに分解してから、条件付確率と乗法の公式を利用して、当該単純イベントの確率を求め、最後に確率の加法性を用いて最終結果を取得することが多く、この方法は一般に全確率の公式と呼ばれている。
【００４２】
全確率の公式下のベイズ演算法は、以下の通りである。  
Ｐ＝（ＶＡ１×ＶＡ２×ＶＡ３×・・・×ＶＡｉ）／（ＶＡ１×ＶＡ２×ＶＡ３×・・・×ＶＡｉ＋（１−ＶＡ１）×（１−ＶＡ２）×（１−ＶＡ３）×・・・×（１−ＶＡｉ））
算出したＰ値を、１本のメッセージ情報のサンプル中におけるスパム値と呼ぶ。
【００４３】
第３段階は、スパム値をスパム閾値と比較して、Ｐ≧Ｆが成立する場合、カレント情報は迷惑メッセージと見なされ、模擬判定により迷惑情報と設定し、不成立である場合、模擬判定によりカレント情報を正常情報に設定する。
【００４４】
ステップ２０６は、フィルタリング基準値の統計である。情報のフィルタリング処理において、通常は的中率およびエラー率の２つの評価基準を定義することにより、情報フィルタリングの有効性を検出する。的中率は、システムが正確にフィルタリングした迷惑情報の、全迷惑情報中に占める割合を示し、エラー率は、システムが誤って迷惑メッセージであると判定した正常なメッセージの、全メッセージ中に占める割合を示す。評価基準に基づいて、的中率およびエラー率をサンプルデータのフィルタリング結果から算出する。演算式は以下の通りである。  
的中率＝的中した迷惑メッセージの数／全迷惑情メッセージ数
＝（システムで迷惑メッセージと識別されるメッセージ数−システムで迷惑メッセージと識別されるが、手動では非迷惑メッセージと識別されるメッセージ数）／（手動で迷惑メッセージと識別されるメッセージ数）
エラー率＝エラーしたメッセージの数／全メッセージ数または全サンプルデータ数
＝（システムで迷惑メッセージと識別されるメッセージ数−システムおよび手動での両方で迷惑メッセージと識別されるメッセージ数）／全メッセージ数または全サンプルデータ数
【００４５】
上記式において、「手動で」とは、ステップ２０２での正常情報および迷惑情報の手動識別を指し、ステップ２０２の作用は、システムがフィルタリング基準値を模擬演算するのに関与する。サンプルのフィルタリング基準値を算出した後、そのフィルタリング基準値をユーザーが定義した評価基準と比較する。フィルタリング基準値が、特定環境下の要求、例えばエラー率０．１％未満、および的中率９０％到達といった基準に合致すれば、本発明で生成したキーワード、キーワード値およびスパム閾値を用いることができ、合致しなければ、ステップ２０７を実行して調整を行う。
【００４６】
ステップ２０７では、模擬結果に基づいて、前述の方法に基づいてキーワードを調整し、システムは新規追加したキーワードに対してキーワード値を再演算するか、または手動判別に基づいて、元のキーワード値を直接調整する。キーワードおよびキーワード値を調整してから、ステップ２０５に戻って、フィルタリング基準値を再度模擬演算する。普通の場合は、キーワードを調整するかまたはキーワード値を手動調整するのみで、合理的なスパムキーワードおよび対応するキーワード値を決定できるが、少数の場合において、予め定義したスパム閾値の調整が必要になる。
【００４７】
ステップ２０８では、上記ステップの繰り返し調整により、最適化されたキーワードおよびキーワード値を取得する。これら決定されたキーワードおよびキーワード値を、大量データの迷惑情報フィルタリング処理に用いることで、高効率のフィルタリング基準を達成でき、実際の業務で迷惑情報をフィルタリングする問題が解決される。
【００４８】
上記方法を実現するために、本発明はさらに迷惑情報の判定システムを提供する。図３に、システムの構造図を示す。システムは、格納部３０１と、模擬統計部３０２と、調整部３０３とを備えている。
【００４９】
格納部３０１は、ユーザーが予め定義したスパムキーワードを格納する。また、格納部３０１は、各キーワードに応じて、演算または調整により最終決定されたキーワード値を格納する。上記格納部３０１中のキーワードおよびキーワード値は調整後、キーワードに基づく情報のフィルタリング方法に用いることができる。
【００５０】
模擬統計部３０２は、格納部３０１からサンプルデータのスパムキーワードを読み出し、ベイズアルゴリズムを用いてキーワード値を算出する。次に、そのキーワードおよび対応するキーワード値をサンプルデータの模擬フィルタイリングに使用し、各サンプルデータに対しキーワードが存在するか否かを判定し、全確率の公式下のベイズアルゴリズムにより、各サンプルデータが迷惑情報である確率を算出する。確率が予め定義したスパム閾値以上である場合、対応するサンプルデータは迷惑情報と見なされる。サンプルデータを正常情報または迷惑情報に模擬フィルタリングした後、予め定義した評価基準に基づいてフィルタリング基準値を模擬演算し、情報フィルタリングの有効性の検出用とする。
【００５１】
調整部３０３では、模擬統計部３０２で統計して得たサンプルデータのフィルタリング基準値を評価基準と比較し、当該値が評価基準に合致する場合、予め定義したキーワードおよびキーワード値は適切であって、迷惑情報フィルタリングに使用できることを示し、合致しない場合は、調整して適切なキーワードまたはキーワード値を改めて決定する必要がある。様々なシミュレーション状況に基づき、調整部３０３はキーワードを調整してもよく、模擬統計部３０２により、追加されたキーワードに対してキーワード値を再演算し、フィルタリング基準値を再度模擬演算してもよい。あるいは、キーワードは調整せずに、元のキーワード値を修正するだけでもよく、この場合は手動でキーワード値を微調整してから、模擬統計部３０２によりフィルタリング基準値を再度模擬演算する。調整部３０３により繰り返し調整および最適化することで、ユーザーがスパムキーワードおよびキーワード値を科学的に定義することをサポートでき、情報のフィルタリング効果が高まり、迷惑情報処理システムにおいて、非常に高効率なフィルタリング基準が実現できる。
【００５２】
上記システムにおいて、様々な使用ニーズに基づいて、ユーザーはスパムキーワードおよび対応するキーワード値を自由に設定できるため、本発明は様々な応用およびシステムに広く採用でき、達成される情報のフィルタリング効果をユーザー自身の業務分野に適用することもできる。特に、アンチスパムを採用することの多いメール、メッセージ、およびフォーラム等の領域について、本システムは、迷惑メッセージおよび迷惑メール等情報のフィルタリングの問題を高効率に処理することができる。
【００５３】
以上、本発明が提供する迷惑情報の判定方法およびシステムについて詳細な説明を行った。本出願では例示的な実施形態を用いて本発明の概念および実施例を詳述したが、これらは、本発明の方法およびその概念の理解を促すためのものに過ぎない。本分野の当業者であれば、本発明の概念に基づき、具体的な実施例および応用範囲に変更を加えることもあり得る。したがって、本明細書の内容は本発明を制限するものと理解すべきではない。
【図１】
0005397947.tif 000002
【図２】
0005397947.tif 000003
【図３】
0005397947.tif 000004