(57)【特許請求の範囲】
【請求項１】
文書の発行者を２以上の型に分類するための文書発行者分類装置であって、
文書発行者の分類規則を学習するための文書群を、各文書発行者の分類情報と共に格納した学習文書記憶手段と、
分類結果が未知の発行者が記述した文書群を格納した分類対象文書記憶手段と、
前記学習文書記憶手段から、同一発行者が記述した文書群を取得し、異なる２文書間のタイトル間、本文間、本文中のリンク情報間のいずれか１つ以上の類似度を算出し、同種の類似度の平均値（平均類似度）を各発行者毎に算出し、これを該発行者の特徴量とする類似度算出手段と、
各発行者の特徴量と、前記学習文書記憶手段から取得した該発行者の既知の分類情報を用いて、分類結果が未知の発行者を分類するための分類規則を学習し、学習結果を分類規則記憶手段に格納する分類規則学習手段と、
前記分類対象文書記憶手段から、同一発行者が記述した文書群を取得して、前記類似度算出手段と同一の手順で前記特徴量を算出し、前記分類規則記憶手段に記録されている分類規則に基づいて発行者の分類先を決定し、該分類結果を分類結果記憶手段に格納する分類手段と、
を有することを特徴とする文書発行者分類装置。
【請求項２】
前記学習文書記憶手段、並びに、前記分類対象文書記憶手段から取得する各文書から特定の種類のキーワードを取得し、１文書あたりの該キーワードの平均出現回数を発行者毎に算出するキーワード集計手段を更に有し、
前記分類規則学習手段、並びに、前記分類手段は、
更に前記平均出現回数を特徴量として加え、分類規則の学習や文書発行者の分類を行う手段を含む、
請求項１記載の文書発行者分類装置。
【請求項３】
前記キーワード集計手段は、
前記学習文書記憶手段、並びに、前記分類対象文書記憶手段から取得した前記文書中の金額表現を抽出し、１文書あたりの該金額表現の平均出現回数を集計する手段を含む、
請求項２記載の文書発行者分類装置。
【請求項４】
文書発行者を分類するための学習材料となる文書群を格納した学習文書記憶手段、分類結果が未知の発行者が記述した文書群を格納した判別対象文書記憶手段、分類規則記憶手段、分類結果記憶手段とを有するコンピュータを、
請求項１乃至３のいずれか１項に記載の文書発行分類装置として機能させることを特徴とする文書発行者分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の発行者を分類するための文書発行者分類装置及びプログラムに係り、特に、未知の文書発行者が２以上の型のいずれに該当するかを分類するための文書発行者分類装置及びプログラムに関する。
【背景技術】
【０００２】
現在、インターネット上には様々な文書が公開され、インターネット上を行き来する電子メールの量も膨大になっている。
【０００３】
また、最近では、ウェブログ（Weblog）という簡易HMTL作成システムが普及し、個人による情報公開が従来以上に容易に行えるようになっている。この状況において、不特定多数の利用者を対象に大量発行される広告情報の全流通量に対する割合は増しており、利用者にとっては有用な情報取捨の手間が増している。
【０００４】
例えば、電子メールの場合は、利用者が受信する電子メールから、主に広告など、利用者が必要としないメールを識別し、破棄する技術がある。この技術は、メールの文書中の単語を取得して各メールの特徴を表すベクトルを生成し、既知の広告メールの特徴を表すベクトルとの類似度を算出することで、広告か否かの判定を行うものである（例えば、特許文献１参照）。
【０００５】
また、インターネット上の検索エンジンの中には、子供に有害なページを検索結果に表示させないために、上記既存技術同様、ページ内に出現する単語を用いて有害か否かを自動判定する技術を取り入れている検索エンジンもある（例えば、非特許文献１参照）。
【特許文献１】特開２００４−０４８４９２号公報
【非特許文献１】http://partners.search.goo.ne.jp/howto/function/「有害なコンテンツをブロック」
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記既存技術をはじめてとして、利用者にとって有用な情報を含む文書と、利用者が望まない広告等の文書が混在する文書群を対象とし、各文書が広告か否かを判定する技術が複数考案されている。
【０００７】
しかしながら、上記既存技術では、例えば「大特価」「期間限定」などの商品広告によく用いられるキーワードや、具体的な商品名などを含んだ文書を広告文書の代表として与え、これを基準として未知の文書が広告であるか否かの判定を行う場合を考えると、偶然的にこれらのキーワードを含んだ非広告の文書が、誤って広告と判定される可能性が高い。例えば、ある商品を購入した顧客が利用感想を記述した有用な文書を、広告文書であると判定する場合などが考えられる。上記既存技術のように文脈を考慮せずに出現単語のみで判定を行う技術では、このような問題は避けられない。
【０００８】
本発明は、上記の点に鑑みなされたもので、新しい文書が、利用者の望まない例えば、広告のような文書であるか否かを、特に文書中の単語のみでは区別が難しい場合にも対応して判定することが可能な文書発行者分類装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
図１は、本発明の原理を説明するための図である。
【００１０】
本発明は、文書の発行者を２以上の型に分類するための文書発行者分類方法であって、
文書発行者の分類規則を学習するための文書群を、各文書発行者の分類情報と共に格納した学習文書記憶手段から、同一発行者が記述した文書群を取得し、異なる２文書のタイトル間、本文間、本文中のリンク情報間の何れか１つ以上の類似度を算出し、同種の類似度の平均値（平均類似度）を各発行者毎に算出し、これを該発行者の特徴量とする類似度算出ステップ（ステップ１）と、
各発行者の特徴量と、学習文書記憶手段から取得した該発行者の既知の分類情報を用いて分類結果が未知の発行者を分類するための分類規則を学習し、学習結果を分類規則記憶手段に格納する分類規則学習ステップ（ステップ２）と、
分類結果が未知の発行者が記述した文書群を格納した分類対象文書記憶手段から、同一発行者が記述した文書群を取得して、類似度算出ステップと同一の手順で特徴量を算出し（ステップ３）、分類規則記憶手段に記録されている分類規則に基づいて発行者の分類先を決定し、該分類結果を分類結果記憶手段に格納する分類ステップ（ステップ４）と、を行う。
【００１４】
図２は、本発明の原理構成図である。
【００１５】
本発明（請求項１）は、文書の発行者を２以上の型に分類するための文書発行者分類装置であって、
文書発行者の分類規則を学習するための文書群を、各文書発行者の分類情報と共に格納した学習文書記憶手段１０１と、
分類結果が未知の発行者が記述した文書群を格納した分類対象文書記憶手段１０２と、
学習文書記憶手段１０１ら、同一発行者が記述した文書群を取得し、異なる２文書間のタイトル間、本文間、本文中のリンク情報間のいずれか１つ以上の類似度を算出し、同種の類似度の平均値（平均類似度）を各発行者毎に算出し、これを該発行者の特徴量とする類似度算出手段１０４と、
各発行者の特徴量と、学習文書記憶手段１０１から取得した該発行者の既知の分類情報を用いて、分類結果が未知の発行者を分類するための分類規則を学習し、学習結果を分類規則記憶手段１０６に格納する分類規則学習手段１０５、
分類対象文書記憶手段１０２から、同一発行者が記述した文書群を取得して、類似度算出手段と同一の手順で特徴量を算出し、分類規則記憶手段１０６に記録されている分類規則に基づいて発行者の分類先を決定し、該分類結果を分類結果記憶手段１０８に格納する分類手段１０７と、を有する。
【００１７】
また、本発明（請求項２）は、学習文書記憶手段１０１、並びに、分類対象文書記憶手段１０２から取得する各文書から特定の種類のキーワードを取得し、１文書あたりの該キーワードの平均出現回数を発行者毎に算出するキーワード集計手段を更に有し、
分類規則学習手段１０５、並びに、分類手段１０７は、
更に平均出現回数を特徴量として加え、分類規則の学習や文書発行者の分類を行う手段を含む。
【００１８】
また、本発明（請求項３）は、キーワード集計手段において、
学習文書記憶手段１０１、並びに、分類対象文書記憶手段１０２から取得した文書中の金額表現を抽出し、１文書あたりの該金額表現の平均出現回数を集計する手段を含む。
【００１９】
本発明（請求項４）は、文書発行者を分類するための学習材料となる文書群を格納した学習文書記憶手段、分類結果が未知の発行者が記述した文書群を格納した判別対象文書記憶手段、分類規則記憶手段、分類結果記憶手段とを有するコンピュータを、
請求項１乃至３のいずれか１項に記載の文書発行分類装置として機能させる文書発行者分類プログラムである。
【発明の効果】
【００２０】
上記のように本発明は、発行者を分類するための特徴量として、単語の出現頻度などではなく、同一発行者が記述する文書間の類似度や、金額表現のような特定の種別のキーワードの出現頻度を用いるものである。本発明は、文書の意味に基づく分類ではなく、発行者が記述する文書の癖などの特徴に基づいた分類を行うため、商品名など特定の単語を偶然多用した発行者が、広告であると誤分類される問題を解決することができる
また、同一発行者の文書群を並べ替えた後に特徴量を算出することで、いくつかの定型文の何れかを無作為に選択して使用するだけの広告目的の発行者と、日記など毎日内容の異なる非広告文書を記述する発行者との間の特徴量の差を明確にすることができ、これらを正しく分類することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
本発明は、文書発行者の分類結果が既知の学習用の文書から学習した分類規則を記録しておき、分類結果が未知の発行者が記述した文書を用いて該発行者の分類先を決定するものである。
【００２３】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における文書発行者分類装置の構成図である。
【００２４】
同図に示す文書発行者分類装置は、学習文書記録部１０１、分類対象文書記録部１０２、順序決定部１０３、類似度算出部１０４、分類規則学習部１０５、分類規則記録部１０６、分類部１０７、分類結果記録部１０８から構成される。
【００２５】
学習文書記録部１０１は、ディスク装置等の記録媒体であり、文書発行者を分類するための学習材料となる学習群を記録する。
【００２６】
分類対象文書記録部１０２は、ディスク装置等の記録媒体であり、分類結果が未知の発行者が記述した文書群を記録する。学習文書記録部１０１に記録する文書は、発行者ＩＤ，発行者分類（広告／非広告）、文書ＩＤ、タイトル、本文等からなり、分類対象文書記録部１０２に記録する文書は、発行者ＩＤ、文書ＩＤ，タイトル、本文等からなる。
【００２７】
順序決定部１０３は、分類規則の学習時には学習文書記録部１０１、発行者の分類時には分類対象文書記録部１０２に記録された文書群を、それぞれある条件に基づいて並べ替える。
【００２８】
類似度算出部１０４は、順序決定部１０３が決定した順序に従って学習文書記録部１０１、もしくは、分類対象文書記録部１０２内の隣接文書間の平均類似度を算出する。
【００２９】
分類規則学習部１０５は、学習文書記録部１０１に記録された文書群に対して類似度算出部１０４が算出した類似度を用い、分類結果が未知の発行者を分類するための分類規則を学習する。
【００３０】
分類規則記録部１０６は、ディスク装置等の記録媒体であり、分類規則学習部１０５における学習の結果得られる分類規則を記録する。
【００３１】
分類部１０７は、分類対象文書記録部１０２に記録された文書群に対して類似度算出部１０４が算出した発行者毎の平均類似度、並びに、分類規則記録部１０６に記録された分類規則を用い、該発行者を分類する。
【００３２】
分類結果記録部１０８は、分類部１０７の分類結果を記録する。
【００３３】
図４は、本発明の第１の実施の形態における概要動作を示すフローチャートである。
【００３４】
類似度算出部１０４において、文書発行者の分類結果が既知の学習用文書を学習文書記録部１０１から読み出して、同一発行者の隣接文書を比較してタイトル間、本文間、本文中のリンク情報間のいずれか１以上の類似度を算出する。同一発行者の全文書にわたって隣接文書間の各種類似度を算出し、同種の類似度を平均することで、タイトル間の平均類似度、本文間の平均類似度、本文中のリンク情報間の平均類似度を算出し、これを該発行者の特徴量とする（ステップ１０１）。
【００３５】
続いて、分類規則学習部１０５において、学習文書記録憶部１０１から取得した各発行者の分類結果とステップ１０１で求められた特徴量を用いて分類規則を学習し、学習の結果である分類規則を分類規則記録部１０６に記録しておく（ステップ１０２）。
【００３６】
一方、分類対象文書記録部１０２から取得した、分類結果が未知の発行者が記述した文書を解析して、上記のステップ１０１と同様に特徴量を算出し（ステップ１０３）、分類規則記憶部１０６の分類規則と照らし合わせて該発行者の最も可能性の高い分類先を決定する（ステップ１０４）。
【００３７】
なお、上記のステップ１０１の処理を行う前に、順序決定部１０３において、同一発行者が記述した文書を一定の基準に従って並べ替えておき、ステップ１０１では、類似度算出部１０４において並べ替えの結果に基づいて隣接する２文書間の類似度を算出するようにしてもよい。この場合は、ステップ１０３の処理を行う前にも、分類対象文書記録部１０２から取得する文書群を、順序決定部１０３において同様の基準に従って並べ替えておく。
【００３８】
以下、図３の構成に基づいて動作を詳細に説明する。
【００３９】
本発明の文書発行者分類装置では、分類規則学習部１０５において、予め、分類結果が既知の発行者が記述した文書群を用いて学習した分類規則を分類規則記録部１０６に記録しておき、分類部１０７において、分類対象文書記録部１０２の分類結果が未知の発行者が記述した文書群を用いて、当該発行者の分類先を決定する。このため、学習文書記録部１０１に格納される学習用の文書としては、同一発行者が記述した複数の文書を発行者分準備し、各発行者に対して予め分類の結果を付与しておく必要がある。
【００４０】
また、分類結果が未知の発行者についても複数の文書が存在することが前提となる。
【００４１】
図５は、本発明の一実施の形態における学習用文書記録部の学習用文書の例である。同図（Ａ）は分類情報が「広告」である文書の例を示し、同図（Ｂ）は分類情報が「非広告」の文書の例を示している。
【００４２】
各文書は、発行者を表す発行者ＩＤ、当該発行者の記述する文書が商品等の宣伝を目的とした広告であるか否かを表す分類、文書ＩＤ、タイトル、本文、の各属性を有する。例えば、同図（Ａ）の広告文書の例では、発行者ＩＤ「ＡＢＣＤ」の記述する文書は広告であり、文書ＩＤ「０００１」の文書のタイトルは「今日の注目商品（９月１日）」であって、「本日ご紹介する商品は…」と続く本文を有する。本文中には、商品の詳細情報を記述した文書へのリンク情報（ＵＲＬ）が含まれている。同図（Ｂ）に示す非広告文書の例も同様に、「非広告」という分類などの各属性を有する。なお、本発明の文書発行者分類装置では、発行者ＩＤ毎に広告か非広告かの判定を行うため、同一発行者の分類は全て統一しておくものとする。
【００４３】
次に、分類規則の学習について説明する。
【００４４】
図６は、本発明の第１の実施の形態における分類規則の学習手順のフローチャートである。
【００４５】
最初に、順序決定部１０３が、学習文書記録部１０１を参照し、同一発行者が記述した文書を並べ替え、その結果を学習文書記録部１０１に格納する（ステップ３０１）。並べ替える基準は、例えば、文書のタイトルに基づいて辞書式配列に並べ替える。例えば、図５に示した発行者ＩＤ「ＡＢＣＤ」の発行者が「今日の注目商品（○月×日）」という形式のタイトルを持つ文書と、「昨日の注文数ランキング」というタイトルを持つ文書を交互に記述し、頻繁に発行する発行者であったとする。これらを、タイトルに基づいて辞書式配列に並べ替えると、同一形式のタイトル毎に文書が分離され、前半に「昨日の注文数ランキング」というタイトルの文書群が集約され、後半に「今日の注目商品（○月×日）」という形式のタイトルの文書群が集約される。つまり、タイトルの型によって前半と後半に分離される。３以上のタイトルの型を使い分ける発行者の場合でも、この並び替えによって、同一形式のタイトルが連続するような順序が同様に得られる。
【００４６】
但し、ステップ３０１の処理は必須ではなく、必ずしも並べ替える必要はない。
【００４７】
１発行者の記述した文書群の並べ替えを終えると、続いて、類似度算出部１０４が、隣接文書間の平均類似度を算出する（ステップ３０２）。このとき、順序決定部１０３が並べ替えた結果に基づいて、１文書ずつ学習文書記録部１０１からタイトルと本文を取得する。直前に取得した文書のタイトルと本文とを比較することで隣接文書間の類似度を算出し、発行者「ＡＢＣＤ」の全文書にわたって類似度を算出した後、類似度を平均して平均類似度を算出する。
【００４８】
なお、ここで算出する平均類似度としては、タイトルの類似度、本文の類似度、リンク情報の類似度を用いる。
【００４９】
タイトルの類似度には、タイトル中に含まれる単語で構成されるベクトル間の類似度を用いるのがよい。例えば、「今日の注目商品（９月１日）」というタイトルから『今日』『注目』『商品』『９月』『１日』という５単語を取得し、単語ベクトルを構成する。こうして構成したタイトルの単語ベクトル同士を隣接文書間で比較し、ユークリッド距離やコサイン類似度など、ベクトル間の関連性の強弱を表す値を算出し、類似度を決定する。この方法によると、「昨日の注文数ランキング」という２つの全く同じタイトルを比較すると類似度は最大になり、「今日の注目商品（○月×日）」という形式のタイトル同士を比較しても、一部が共通しているために類似度は高い。従って、発行者ＩＤ「ＡＢＣＤ」の文書について算出したタイトルの平均類似度は高くなる。一方で、図５（Ｂ）の非広告文書の例としてあげた発行者ＩＤ「ＥＦＧＨ」の文書のように日記形式の文書を記述、発行する発行者は、タイトルが文書毎に変わるため、タイトルの平均類似度は、発行者「ＡＢＣＤ」に比べて低い値となる。
【００５０】
本文の類似度もタイトルの類似度と同様、単語のベクトルによって算出するのがよい。この場合も、例えば、発行者「ＡＢＣＤ」が発行する「今日の注目商品（○月×日）」の形式のタイトルを持つ文書では「注文番号」や「詳しくはこちら」などの表現が、また、「昨日の注文数ランキング」というタイトルの文書には「１位」「２位」などの順位を表す用語のような固定的に用いられる表現が多いために平均類似度が増す。
【００５１】
リンク情報の類似度は、図５に示した例の本文中に含まれるＵＲＬを解析することで行う。図５（Ａ）の広告文書の例に含まれるリンク情報が、本文中で紹介する商品の詳細情報を記述した文書に誘導するものであるとすると、同発行者が発行する他の文書におけるリンク情報も、同様に商品の詳細情報の文書に誘導するものである可能性が高い。ＵＲＬは、インターネット上での文書の素材を表す文字列であり、例えば、商品を紹介する同様の文書のＵＲＬ間には共通部分も多く、ＵＲＬ自体の類似性が高い。ＵＲＬは、スラッシュ「／」という記号で文書の所在の階層的な位置を表すため、ＵＲＬをスラッシュで区切った複数の文字列を、上述の単語ベクトルのように扱えば、リンク情報間の類似度が算出できる。一方で、図５（Ｂ）のような非広告文書のように日記形式の文書では、同一発行者であっても文書が異なればリンク情報が異なる確率が高いため、リンク情報間の類似度は低くなる。
【００５２】
ここまで述べたように、タイトル、本文、リンク情報のそれぞれについて算出した平均類似度を、発行者「ＡＢＣＤ」や「ＥＦＧＨ」の特徴量として分類規則学習部１０５がメモリ（図示せず）に記憶し、全ての発行者についてそれぞれの平均類似度を算出し終えるまで（ステップ３０３、Yes）処理を繰り返す。
【００５３】
続いて、分類規則学習部１０５がここまで算出した全発行者の各種特徴量と、学習文書記録部１０１に記録されている各発行者の分類（広告または非広告）を用い、分類結果が未知の発行者を分類するための分類規則を学習し（ステップ３０４）、学習の結果を分類規則記録部１０６に記録する（ステップ３０５）。
【００５４】
複数の発行者の特徴量と、各発行者の既知の分類を用いて規則を学習する方法は、例えば、「『パターン認識と学習の統計学』麻生他著、岩波書店、pp20-23、pp107-108」に記載の決定木やサポートベクターマシンなどの手法を用いるものとする。これらはいずれも分類が既知の発行者の特徴量に基づいて学習を行って分類のための分類規則を学習、記録しておき、分類が未知の発行者について算出した特徴量を当該分類規則に照らし合わせて、最も可能性の高い分類先に発行者を分類するための技術である。
【００５５】
最後に、分類結果が未知の発行者の分類を実行するための手順について説明する。
【００５６】
図７は、本発明の第１の実施の形態における分類結果が未知の発行者の分類手順のフローチャートである。
【００５７】
ステップ４０１、ステップ４０２の処理は、学習文書記録部１０１ではなく、分類対象文書記録部１０２に記録された文書を用いて処理を行う点を除いては、ステップ３０１、ステップ３０２と全く同様である。
【００５８】
分類対象文書記録部１０２に格納されている分類対象文書とは、図５と同様に、発行者ＩＤ、文書タイトル、本文を有するが、広告か非広告かが未知であるため、分類の属性は持たない。
【００５９】
分類結果が未知の発行者について、タイトル、本文、リンク情報の各平均類似度の算出を終えると、分類部１０７が、分類規則記録部１０６に記録された学習結果である分類規則を参照し、該発行者が広告であるか非広告であるか、より可能性の高い分類先の分類を行う（ステップ４０３）。分類の結果は、発行者ＩＤと対にして分類結果記憶部１０８に出力する（ステップ４０４）。
【００６０】
以上で、１発行者についての分類処理を終え、それを全発行者について繰り返して（ステップ４０５）、処理を終了する。
【００６１】
図８は、本発明の第１の実施の形態における分類の結果の例を示す。
【００６２】
上記で求められた分類結果は、分類結果記憶部１０８に図８に示すように格納される。本実施の形態では、広告か非広告かの判定を行ったため、発行者「ＰＰＰＰ」は広告、「ＱＱＱＱ」は非広告と、いったように発行者について広告もしくは非広告の分類が記録されている。
【００６３】
［第２の実施の形態］
図９は、本発明の第２の実施の形態における文書発行者分類装置の構成を示し、図３と同一構成部分には同一符号を付し、その説明を省略する。
【００６４】
本実施の形態では、前述の図４に示すステップ１０１、ステップ１０３で算出する特徴量として、タイトル間、本文間、本文中のリンク情報間のいずれか１以上の平均類似度に、同一発行者が記述する文書における特定の種類のキーワードの平均出現回数を加えたものを特徴量とするものである。キーワードとしては、例えば「千五百円」「４８ドル」などの金額表現であってもよい。
【００６５】
同図に示す文書発行者分類装置は、図３に示した構成に、特定の種類のキーワードの文書中での平均出現回数を発行者毎に算出するキーワード集計部６０１を加えたものである。
【００６６】
図１０は、本発明の第２の実施の形態における分類規則の学習手順のフローチャートである。
【００６７】
順序決定部１０３においてタイトルの辞書的配列に並び替えた順序に基づいて、類似度算出部１０４が、隣接文書間の平均類似度を算出する（ステップ７０１、ステップ７０２）。当該処理は、前述の第１の実施の形態と同様である。本実施の形態では、タイトル、本文リンク情報の平均類似度に加え、キーワード集計部６０１においてキーワードの平均出現回数を集計する（ステップ７０３）。キーワードの平均出現回数は、ある発行者が記述した１文書あたりの特定の種別のキーワードの平均出現回数である。
【００６８】
本実施の形態も発行者を広告と非広告に分類する例であり、キーワードとしては金額表現全般を用いるのがよい。つまり、キーワード集計部６０１において、学習文書記録部１０１の各文書中の金額表現を金額の大小によらず取得し、文中での出現回数を集計する。これを各文書について実施し、金額表現の平均出現回数を発行者毎に算出する。
【００６９】
ステップ７０４において、キーワード集計部６０１が全発行者についての平均類似度、キーワード（本実施の形態では金額表現）の平均出現回数を算出し終えると（ステップ７０４、Ｙｅｓ）、分類規則学習部１０５が当該平均類似度と当該平均出現回数の双方を用いて、分類規則を学習し（ステップ７０５）、規則の学習結果を分類規則記録部１０６に記録する（ステップ７０６）。
【００７０】
図１１は、本発明の第２の実施の形態における分類結果が未知の発行者を分類するための手順のフローチャートである。
【００７１】
図１０に示した学習の手順同様に、類似度算出部１０４における平均類似度の算出（ステップ８０１、ステップ８０２）に加えて、キーワード集計部６０１において、金額表現の平均出現回数を集計する（ステップ８０３）。次に、分類部１０７において、平均類似度と平均出現回数を共に用いて広告か非広告かの分類を行い（ステップ８０４）、結果を分類結果記録部１０８に記録する（ステップ８０５）。
【００７２】
なお、上記の第１・第２の実施の形態の動作をプログラムとして構築し、文書発行者分類装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７３】
また、構築されたプログラムを、ハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールして実行させることも可能である。
【００７４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７５】
本発明は、文書を発行する発行者を分類するための技術に適用可能である。
【図面の簡単な説明】
【００７６】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における文書発行者分類装置の構成図である。
【図４】本発明の第１の実施の形態における概要動作のフローチャートである。
【図５】本発明の第１の実施の形態における学習用文書記録部の学習用文書の例である。
【図６】本発明の第１の実施の形態における分類規則の学習手順のフローチャートである。
【図７】本発明の第１の実施の形態における分類結果が未知の発行者の分類手順のフローチャートである。
【図８】本発明の第１の実施の形態における分類結果の例である。
【図９】本発明の第２の実施の形態における文書発行者分類装置の構成図である。
【図１０】本発明の第２の実施の形態における分類規則の学習手順のフローチャートである。
【図１１】本発明の第２の実施の形態における分類結果が未知の発行者の分類手順のフローチャートである。
【符号の説明】
【００７７】
１０１  学習文書記憶手段、学習文書記録部
１０２  分類対象文書記憶手段、分類対象文書記録部
１０３  順序決定部
１０４  類似度算出手段、類似度算出部
１０５  分類規則学習手段、分類規則学習部
１０６  分類規則記憶手段、分類規則記憶部
１０７  分類手段、分類部
１０８  分類結果記憶手段、分類結果記憶部
６０１  キーワード集計部
【図１】
0004554493.tif 000002
【図２】
0004554493.tif 000003
【図３】
0004554493.tif 000004
【図４】
0004554493.tif 000005
【図５】
0004554493.tif 000006
【図６】
0004554493.tif 000007
【図７】
0004554493.tif 000008
【図８】
0004554493.tif 000009
【図９】
0004554493.tif 000010
【図１０】
0004554493.tif 000011
【図１１】
0004554493.tif 000012