(57)【特許請求の範囲】
【請求項１】
所定の文書を、所定のジャンル集合のいずれかに分類する文書分類装置において、
人、時刻または場所を示す状況ｓｋと、この状況ｓｋに対応する複数のジャンルｇｊとを蓄積する蓄積手段と；
上記蓄積手段に蓄積されている蓄積情報において、状況の欄に状況ｓｋがあるジャンル生起事象をカウントすることによって、上記ジャンルが生起する確率である条件付確率Ｐ（ｇｊ｜ｓｋ）を算出する条件付確率Ｐ（ｇｊ｜ｓｋ）算出手段と；
ジャンルｇｊにおいて記述されている複数の文書のうちで、ある文章ｄが記述されている確率Ｐ（ｄｉ｜ｇｊ）を算出する確率Ｐ（ｄｉ｜ｇｊ）算出手段と；
上記確率Ｐ（ｄｉ｜ｇｊ）に、上記条件付確率Ｐ（ｇｊ｜ｓｋ）を掛けることによって、積Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）を算出する積Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）算出手段と；
上記算出されたＰ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）が最大値であるジャンルｇｊを、文書ｄｉが状況ｓｋにおいて生起したときにおける上記文書ｄｉが属するジャンルｇｊとして選択するジャンル選択手段と；
を有することを特徴とする文書分類装置。
【請求項２】
請求項１において、
上記条件付確率算出手段は、多次元正規分布、ポアソン分布、対数多次元正規分布を含む確率分布関数を使用して算出する手段であることを特徴とする文書分類装置。
【請求項３】
請求項１において、
上記条件付確率算出手段は、概念ベクトル、単語頻度、又は、重み付け単語頻度ベクトルであることを特徴とする文書分類装置。
【請求項４】
請求項１〜請求項３のいずれか１項記載の文書分類装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書をジャンル等へ分類する際に、文書に付随して得られる状況を反映させる方式に関する。
【背景技術】
【０００２】
文書を分類する場合、従来、文書の概念ベクトルと各ジャンルの概念ベクトルのユークリッド距離とを算出し、着目している文書から最も近い距離にあるジャンルを、上記着目している文書のジャンルであると判断する（たとえば、非特許文献１参照）。
【０００３】
この識別方法は、ジャンルｇｊにおいて、文書ｄｉが生起する条件付確率を、
Ｐ（ｄｉ｜ｇｊ）＝Ｃ１ｅｘｐ（−Ｃ２‖ｘｉ−ｙｉ‖２）  ……  式（１）
のような多次元正規分布であると仮定し、この確率が最大であるジャンルｇｊを選択する方法（すなわち最尤法）であるとみなすことができる。ここで、ｘｉは、文書ｄｉの概念ベクトルであり、ｙｊは、ジャンルｇｊの概念ベクトルであり、Ｃ１とＣ２とは、正の定数である。
【非特許文献１】別所克人、内山俊郎、片岡良治著「単語・意味属性間共起に基づく概念ベースの拡張方式」社団法人情報処理学会研究報告、Vol. SIG−ICS 144、pp.29−34、２００６年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
文書を分類する場合、文書に付随して得られる状況を的確に反映することが重要である。たとえば、野球に興味のある人が、「バッテリーの調子がおかしい」と聞けば、ピッチャーとキャッチャーの調子が悪いことを想像する可能性が高いが、車に興味のある人は車の電池を考えるであろう。
【０００５】
ここで、人や、その人が存在している位置を、状況ｓｋであると表現し、この状況ｓｋを考慮して、上記状況が記述されている文書が属すべきジャンルを分類する。
【０００６】
適切な分類方法として、事後確率最大基準に基づく方法がある。この事後確率最大基準に基づく分類方法は、文書ｄｉと状況ｓｋとが与えられた条件で、上記文書ｄｉが属するジャンルとして生起する確率がもっとも高いジャンルを選択することによって、ジャンルを分類することができ、確率Ｐ（ｇｊ｜ｄｉ，ｓｋ）（文書ｄｉと状況ｓｋとが同時に生起する条件でジャンルｇｊが生起する確率）を最大化するジャンルｇｊを選択する分類方法である。
【０００７】
しかし、従来技術の考え方に基づいて、文書ｄｉと状況ｓｋとを変数とするモデルを構築し、この条件付確率を求めることは、モデル化自体が困難である。また、文書ｄｉと状況ｓｋとの組み合わせは膨大であるので、各組み合わせ毎にジャンルの生起する確率を計測等によって求めることも困難である。
【０００８】
本発明は、文書に付随して得られる状況を反映したジャンル分類を行う際に、一般に用いられている確率モデルや比較的容易に計測できる情報を用いて、ジャンル分類することができる文書分類装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、所定の文書を、所定のジャンル集合のいずれかに分類する文書分類装置において、人、時刻または場所を示す状況ｓｋと、この状況ｓｋに対応する複数のジャンルｇｊとを蓄積する蓄積手段と、上記蓄積手段に蓄積されている蓄積情報において、状況の欄に状況ｓｋがあるジャンル生起事象をカウントすることによって、上記ジャンルが生起する確率である条件付確率Ｐ（ｇｊ｜ｓｋ）を算出する条件付確率Ｐ（ｇｊ｜ｓｋ）算出手段と、ジャンルｇｊにおいて記述されている複数の文書のうちで、ある文章ｄが記述されている確率Ｐ（ｄｉ｜ｇｊ）を算出する確率Ｐ（ｄｉ｜ｇｊ）算出手段と、上記確率Ｐ（ｄｉ｜ｇｊ）に、上記条件付確率Ｐ（ｇｊ｜ｓｋ）を掛けることによって、積Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）を算出する積Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）算出手段と、上記算出されたＰ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）が最大値であるジャンルｇｊを、文書ｄｉが状況ｓｋにおいて生起したときにおける上記文書ｄｉが属するジャンルｇｊとして選択するジャンル選択手段とを有することを特徴とする文書分類装置である。
【発明の効果】
【００１０】
本発明によれば、文書に付随して得られる状況を反映したジャンル分類を行う際に、一般に用いられている確率モデルや比較的容易に計測できる情報を用いて、ジャンル分類することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１２】
図１は、本発明の実施例１である文書分類装置１００を示すブロック図である。
【００１３】
文書分類装置１００は、ジャンル分類手段１０と、条件付確率算出手段２０と、尤度算出手段３０と、状況別のジャンル生起情報蓄積手段４０とを有する。
【００１４】
ジャンル分類手段１０は、ジャンルｇｊ毎に文書ｄが生起する確率（尤度）Ｐ（ｄ｜ｇｊ）（ｊ＝１，……，Ｎ９）と、条件付確率Ｐ（ｇｊ｜ｓ）（ｊ＝１，……，Ｎ９）とを入力し、その積Ｐ（ｄ｜ｇｊ）Ｐ（ｇｊ｜ｓ）（ｊ＝１，……，Ｎ９）を算出し、この積が最大であるジャンルｇｊを出力する手段である。
【００１５】
図２は、状況別のジャンル生起情報蓄積手段４０が蓄積しているジャンル生起情報の例を示す図である。
【００１６】
条件付確率算出手段２０は、状況ｓを入力とし、図２に示す蓄積情報のうちで、状況の欄に状況ｓがあるジャンル生起事象をカウントすることによって、状況ｓ下において各ジャンルｇｊが生起する条件付確率Ｐ（ｇｊ｜ｓ）（ｊ＝１，……，Ｎ９）を出力する手段である。
【００１７】
尤度算出手段３０は、図１に示す文書ｄを入力し、ジャンルｇｊ毎に、文書ｄが生起する確率（尤度）Ｐ（ｄ｜ｇｊ）（ｊ＝１，……，Ｎ９）を出力する手段である。
【００１８】
状況別のジャンル生起情報蓄積手段４０は、文書のジャンルと、それに付随して得られる人、時刻、場所等の状況を関連付けて蓄積する手段である。なお、複数の状況を、１つの文書のジャンルに関連付けてもよい。
【００１９】
次に、実施例１の動作について説明する。
【００２０】
まず、ジャンルを分類する前に行う処理について説明する。
【００２１】
図３は、実施例１において、状況別のジャンルの生起情報蓄積手段４０に蓄積されているジャンル生起情報の例を示す図である。
【００２２】
説明を簡単にするために、ジャンル集合は、｛野球，車，旅行，読書，ゴルフ，株，食べ歩き｝であるとする。また、｛野球、…、食べ歩き｝が、それぞれ｛ｇ１、…、ｇ７｝に対応するとし、以下、これらのジャンルとして、ｇ１〜ｇ７の記号を使用する。
【００２３】
このデータから、加藤さんが「野球」というジャンルに属する文書を、たとえばインターネットを介して、見たという条件付確率Ｐ（野球｜加藤）を、
Ｐ（野球｜加藤）＝５／９  ……  式（５）
のように計算する。つまり、
Ｐ（野球｜加藤）＝（「野球」というジャンルに属する文書を加藤さんが見た数）／（ジャンルに係らずに加藤さんが見た文書の数）＝５／９  ……  式（５）
のように計算する。
【００２４】
図３に示すジャンル生起情報の例において、上記と同様に計算すると、Ｐ（車｜加藤）＝０、Ｐ（野球｜鈴木）＝０、Ｐ（車｜鈴木）＝２／５になる。残りの計算についても、上記と同様に計算し、条件付確率Ｐの結果を蓄える。
【００２５】
また、ジャンル｛野球，車，旅行，読書，ゴルフ，株，食べ歩き｝について、ジャンルの概念ベクトルｙ１，……，ｙ７が算出されているとする。ジャンルの概念ベクトルｙ１，……，ｙ７の詳細な算出方法は、非特許文献１に記載されている。そして、ジャンルｇｊ｛ｊ＝１，……，７｝のそれぞれにおいて、ある文書ｄが生起する確率（記述されている複数の文書のうちで、ある文書ｄが記述されている確率）Ｐ（ｄ｜ｇｊ）は、次の式（６）によって計算することができるとする。
【００２６】
Ｐ（ｄ｜ｇｊ）＝Ｃ１ｅｘｐ（−Ｃ２‖ｘ−ｙｊ‖２）  ……  式（６）
ここで、ｘは、文書ｄの概念ベクトルであり、Ｃ１とＣ２は、定数である。上記式（６）は、一例である。上記式（６）の代わりに、確率分布として対数正規分布、ポアソン分布等を用いるようにしてもよく、また、ジャンルに属する文書群の概念ベクトル（複数）の関数として表される複雑な式を使用するようにしてもよい。
【００２７】
図１に示すように、文書ｄ（たとえば、「バッテリーを変えるべきだ。」との記載が含まれている文書）と、状況ｓ（行動主体である「加藤」）とが把握されたとする。つまり、状況ｓとしての「加藤」が、「バッテリーを変えるべきだ。」が含まれている文書ｄを、インターネットを介して見たことが把握されたとする。
【００２８】
まず、状況ｓ（「加藤」）を、条件付確率算出手段２０に入力し、「加藤」が生起した（条件付確率算出手段２０に、状況ｓとして、「加藤」が入力された）ときに、各ジャンルが生起する（対応するジャンルが出力される）確率
Ｐ（ｇ１｜加藤）＝５／９
Ｐ（ｇ２｜加藤）＝０／９
Ｐ（ｇ３｜加藤）＝０／９
Ｐ（ｇ４｜加藤）＝２／９
Ｐ（ｇ５｜加藤）＝０／９
Ｐ（ｇ６｜加藤）＝１／９
Ｐ（ｇ７｜加藤）＝１／９  ……  式（７）
を出力する。
【００２９】
次に、文書ｄを、尤度算出手段３０に送る。尤度算出手段３０は、文書ｄの概念ベクトルｘを計算し、式（６）に基づいて、各ジャンルにおいて文書ｄが起こる確率
Ｐ（ｄ｜ｇ１）＝０．０２
Ｐ（ｄ｜ｇ２）＝０．０３
Ｐ（ｄ｜ｇ３）＝０．０１
Ｐ（ｄ｜ｇ４）＝０．００
Ｐ（ｄ｜ｇ５）＝０．００
Ｐ（ｄ｜ｇ６）＝０．００
Ｐ（ｄ｜ｇ７）＝０．００  ……  式（８）
を出力する。これらの値は例である。
【００３０】
「車」、「野球」および「旅行」というジャンルにおいて、文書ｄが起こり得ることがわかる。
【００３１】
次に、得られたＰ（ｄ｜ｇｊ）とＰ（ｇｊ｜ｓ＝加藤）とから、その積である
Ｐ（ｄ｜ｇ１）Ｐ（ｇ１｜ｓ）＝０．１／９
Ｐ（ｄ｜ｇ２）Ｐ（ｇ２｜ｓ）＝０．００
Ｐ（ｄ｜ｇ３）Ｐ（ｇ３｜ｓ）＝０．００
Ｐ（ｄ｜ｇ４）Ｐ（ｇ４｜ｓ）＝０．００
Ｐ（ｄ｜ｇ５）Ｐ（ｇ５｜ｓ）＝０．００
Ｐ（ｄ｜ｇ６）Ｐ（ｇ６｜ｓ）＝０．００
Ｐ（ｄ｜ｇ７）Ｐ（ｇ７｜ｓ）＝０．００  ……  式（９）
を算出する。
【００３２】
野球はｇ１、車はｇ２、旅行はｇ３、読書はｇ４、ゴルフはｇ５、株はｇ６、食べ歩きはｇ７であるとすれば、積Ｐ（ｄ｜ｇ１）Ｐ（ｇ１｜ｓ）が最大値であるジャンルｇ１、すなわち「野球」を出力する。なお、上記において、状況として「加藤」ではなく「鈴木」が入力されれば、ジャンルとして、「車」が出力される。このように、状況に応じて、文書のジャンルを変えて出力することが可能である。
【００３３】
尤度算出手段３０において、Ｐ（ｄ｜ｇｊ）（ｊ＝１，……，Ｎ９）を算出する場合、上記式（１）を使用すればよい。また、積Ｐ（ｄ｜ｇｊ）Ｐ（ｇｊ｜ｓ）同士を比較することは、両者の対数をとったものを足し合わせた結果同士を比較することと等価である。積Ｐ（ｄ｜ｇｊ）Ｐ（ｇｊ｜ｓ）同士を比較する場合、計算効率のよい方法を選択すればよい。
【００３４】
上記実施例は、文書ｄｉと、これに付随した状況ｓｋが検出されたときに、ジャンルｇｊが生起する確率Ｐ（ｇｊ｜ｄｉ，ｓｋ）の大小関係を判断する場合、従来からモデル化されている「ジャンルｇｊであるときに文書ｄｉが生起する条件付確率Ｐ（ｄｉ｜ｇｊ）」と、比較的容易に計測／蓄積ができる「状況ｓｋが検出されたときに、ジャンルｇｊが生起する条件付確率Ｐ（ｇｊ｜ｓｋ）」とに基づいて判断する実施例である。
【００３５】
この判断方法について、次に示す。
【００３６】
まず、条件付確率Ｐ（ｇｊ｜ｄｉ，ｓｋ）を、
Ｐ（ｇｊ｜ｄｉ，ｓｋ）＝Ｐ（ｄｉ，ｓｋ｜ｇｊ）Ｐ（ｇｊ）／Ｐ（ｄｉ，ｓｋ）  ……  式（２）
で示すことができる。
【００３７】
ここで、事象ｄｉと事象ｓｋが独立であることを仮定し、さらに事象ｇｊが起こる条件の下でも事象ｄｉと事象ｓｋが独立であることを仮定すると、
Ｐ（ｄｉ，ｓｋ）＝Ｐ（ｄｉ）Ｐ（ｓｋ）
Ｐ（ｄｉ，ｓｋ｜ｇｊ）＝Ｐ（ｄｉ｜ｇｊ）Ｐ（ｓｋ｜ｇｊ）
が成り立つので、
Ｐ（ｇｊ｜ｄｉ，ｓｋ）＝Ｐ（ｄｉ｜ｇｊ）Ｐ（ｓｋ｜ｇｊ）Ｐ（ｇｊ）／Ｐ（ｄｉ）Ｐ（ｓｋ）  ……  式（３）
と変形することができ、Ｐ（ｓｋ｜ｇｊ）Ｐ（ｇｊ）／Ｐ（ｓｋ）＝Ｐ（ｇｊ｜ｓｋ）であるので、
Ｐ（ｇｊ｜ｄｉ，ｓｋ）＝Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）／Ｐ（ｄｉ）  ……  式（４）
が得られる。なお、確率Ｐ（ｄｉ，ｓｋ）は、文書ｄｉと状況ｓｋとが同時に発生する確率である。また、条件付確率の定義によって、上記式（３）、式（４）が導かれる。
【００３８】
上記式（４）において、確率Ｐ（ｄｉ）は、ジャンルｇｊに無関係であり、また、確率Ｐ（ｄ）は、ジャンルｇｊを変数として持っていないので、確率Ｐ（ｇｊ｜ｄｉ，ｓｋ）の大小関係は、積Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）に基づいて判断することができる。
【００３９】
つまり、上記実施例は、所定の文書を、所定のジャンル集合のいずれかに分類する文書分類装置において、所定の状況ｓｋと、この状況に対応するジャンルｇｊとを検出する検出手段と、上記検出された所定の状況ｓｋと、この検出された状況ｓｋに対応するジャンルｇｊとを蓄積する蓄積手段と、上記検出された所定の状況において上記ジャンルが生起する確率である条件付確率Ｐ（ｇｊ｜ｓｋ）を算出する条件付確率Ｐ（ｇｊ｜ｓｋ）算出手段と、任意のジャンルｇｊに対し、文書ｄｉが起こる確率Ｐ（ｄｉ｜ｇｊ）を算出する確率Ｐ（ｄｉ｜ｇｊ）算出手段と、上記確率Ｐ（ｄｉ｜ｇｊ）に、上記条件付確率Ｐ（ｇｊ｜ｓｋ）を掛けることによって、積Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）を算出する積Ｐ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）算出手段と、上記算出されたＰ（ｄｉ｜ｇｊ）Ｐ（ｇｊ｜ｓｋ）に基づいて、文書ｄｉが状況ｓｋにおいて生起したときに、上記文書ｄｉが属するジャンルｇｊを選択するジャンル選択手段とを有する文書分類装置の例である。
【００４０】
また、上記実施例をプログラムの発明として把握することができる。すなわち、上記実施例は、文書分類装置をコンピュータに実現させるプログラムの例である。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施例１である文書分類装置１００を示すブロック図である。
【図２】状況別のジャンル生起情報蓄積手段４０が蓄積しているジャンル生起情報の例を示す図である。
【図３】実施例１において、状況別のジャンルの生起情報蓄積手段４０に蓄積されているジャンル生起情報の例を示す図である。
【符号の説明】
【００４２】
１００…文書分類装置、
１０…ジャンル分類手段、
２０…条件付確率算出手段、
３０…尤度算出手段、
４０…状況別のジャンルの生起情報蓄積手段。
【図１】
0004920536.tif 000002
【図２】
0004920536.tif 000003
【図３】
0004920536.tif 000004