(57)【要約】【課題】大量の文書について、著者の興味の変化を反映しながら、類似する内容の文書間の関連付けを行うことを課題とする。【解決手段】本発明の文書分類装置１０００は、複数の文書と確率分布モデルで使用される所定の計算式と所定の計算終了条件とを記憶する記憶部２と、文書それぞれが属する文書クラスと単語それぞれが属するトピッククラスとの初期値をランダムに設定する初期設定部３と、文書ごとに属する文書クラスを推定する文書クラス評価部４と、単語ごとに属するトピッククラスを推定するトピッククラス評価部５と、所定の計算終了条件を満たすまで文書クラス評価部４とトピッククラス評価部５とに前記推定を繰り返させる収束判定部６と、文書クラスの内容を含む計算結果を出力する出力部７と、を備える。【選択図】図２
2010267017.tif 000002
【特許請求の範囲】
【請求項１】
電子データである複数の文書について、
前記複数の文書それぞれを内容が類似する文書集合である複数の文書クラスのいずれかに属させ、前記複数の文書を構成する単語それぞれを内容が類似する単語集合である複数のトピッククラスの１つ以上に確率的に属させ、前記文書の著者それぞれを１つ以上の前記文書クラスに確率的に属させ、前記文書クラスそれぞれを１つ以上の前記トピッククラスに関連付ける所定の確率分布モデルに基づいて、計算を行う文書分類装置であって、
前記複数の文書と、前記確率分布モデルで使用され前記文書ごとにその属する前記文書クラスを推定するための第１の計算式と、前記確率分布モデルで使用され前記単語ごとにその属する前記トピッククラスを推定するための第２の計算式と、所定の計算終了条件と、を記憶する記憶部と、
前記文書それぞれが属する文書クラスと、前記単語それぞれが属するトピッククラスと、の初期値をランダムに設定する初期設定部と、
前記第１の計算式に基づいて、前記文書ごとに、全ての前記文書クラスそれぞれに対して属する確率を計算し、その確率が最も高い文書クラスを、当該文書とその著者とが属する前記文書クラスとして推定する文書クラス評価部と、
前記第２の計算式に基づいて、前記単語ごとに、全ての前記トピッククラスそれぞれに対して属する確率を計算し、その確率が最も高いトピッククラスを、当該単語が属する前記トピッククラスとして推定するトピッククラス評価部と、
前記所定の計算終了条件を満たすまで、前記文書クラス評価部と前記トピッククラス評価部とに、前記推定を繰り返させる収束判定部と、
前記収束判定部によって前記所定の計算終了条件が満たされたと判定されたとき、前記文書クラスごとに属する文書と著者とを含む計算結果を出力する出力部と、
を備えることを特徴とする文書分類装置。
【請求項２】
電子データである複数の文書について、
前記複数の文書それぞれを内容が類似する文書集合である複数の文書クラスのいずれかに確率的に属させ、前記複数の文書を構成する単語それぞれを内容が類似する単語集合である複数のトピッククラスの１つ以上に確率的に属させ、前記文書の著者それぞれを内容が類似する文書を作成した著者集合である著者クラスのいずれかに確率的に属させ、前記著者クラスを１つ以上の前記文書クラスに確率的に属させ、前記文書クラスそれぞれを１つ以上の前記トピッククラスに関連付ける所定の確率分布モデルに基づいて、計算を行う文書分類装置であって、
前記複数の文書と、前記確率分布モデルで使用され前記文書ごとにその属する前記文書クラスを推定するための第１の計算式と、前記確率分布モデルで使用され前記単語ごとにその属する前記トピッククラスを推定するための第２の計算式と、前記確率分布モデルで使用され前記著者ごとにその属する前記著者クラスを推定するための第３の計算式と、所定の計算終了条件と、を記憶する記憶部と、
前記著者それぞれが属する著者クラスと、前記文書それぞれが属する文書クラスと、前記単語それぞれが属するトピッククラスと、の初期値をランダムに設定する初期設定部と、
前記第３の計算式に基づいて、前記著者ごとに、全ての前記著者クラスそれぞれに対して属する確率を計算し、その確率が最も高い著者クラスを、当該著者が属する前記著者クラスとして推定する著者クラス評価部と、
前記第１の計算式に基づいて、前記文書ごとに、全ての前記文書クラスそれぞれに対して属する確率を計算し、その確率が最も高い文書クラスを、当該文書とその著者クラスが属する前記文書クラスとして推定する文書クラス評価部と、
前記第２の計算式に基づいて、前記単語ごとに、全ての前記トピッククラスそれぞれに対して属する確率を計算し、その確率が最も高いトピッククラスを、当該単語が属する前記トピッククラスとして推定するトピッククラス評価部と、
前記所定の計算終了条件を満たすまで、前記著者クラス評価部と前記文書クラス評価部と前記トピッククラス評価部とに、前記推定を繰り返させる収束判定部と、
前記収束判定部によって前記所定の計算終了条件が満たされたと判定されたとき、前記著者クラスの内容と前記文書クラスの内容とを含む計算結果を出力する出力部と、
を備えることを特徴とする文書分類装置。
【請求項３】
前記収束判定部は、前記所定の計算終了条件として、前記著者クラス評価部と前記文書クラス評価部と前記トピッククラス評価部との少なくともいずれかによって計算された前回と最新の確率分布の誤差が所定の閾値以下であること、または、繰り返された計算回数が所定回数に達したこと、を用いる
ことを特徴とする請求項２に記載の文書分類装置。
【請求項４】
電子データである複数の文書について、
前記複数の文書それぞれを内容が類似する文書集合である複数の文書クラスのいずれかに属させ、前記複数の文書を構成する単語それぞれを内容が類似する単語集合である複数のトピッククラスの１つ以上に確率的に属させ、前記文書の著者それぞれを１つ以上の前記文書クラスに確率的に属させ、前記文書クラスそれぞれを１つ以上の前記トピッククラスに関連付ける所定の確率分布モデルに基づいて、計算を行い、
前記複数の文書と、前記確率分布モデルで使用され前記文書ごとにその属する前記文書クラスを推定するための第１の計算式と、前記確率分布モデルで使用され前記単語ごとにその属する前記トピッククラスを推定するための第２の計算式と、所定の計算終了条件と、を記憶する記憶部と、
初期設定部と、文書クラス評価部と、トピッククラス評価部と、収束判定部と、出力部と、を有する文書分類装置による文書分類方法であって、
前記初期設定部が、前記文書それぞれが属する文書クラスと、前記単語それぞれが属するトピッククラスと、の初期値をランダムに設定し、
前記文書クラス評価部が、前記第１の計算式に基づいて、前記文書ごとに、全ての前記文書クラスそれぞれに対して属する確率を計算し、その確率が最も高い文書クラスを、当該文書とその著者とが属する前記文書クラスとして推定し、
前記トピッククラス評価部が、前記第２の計算式に基づいて、前記単語ごとに、全ての前記トピッククラスそれぞれに対して属する確率を計算し、その確率が最も高いトピッククラスを、当該単語が属する前記トピッククラスとして推定し、
前記収束判定部が、前記所定の計算終了条件を満たすまで、前記文書クラス評価部と前記トピッククラス評価部とに、前記推定を繰り返させ、
前記出力部が、前記収束判定部によって前記所定の計算終了条件が満たされたと判定されたとき、前記文書クラスごとに属する文書と著者とを含む計算結果を出力する
ことを特徴とする文書分類方法。
【請求項５】
電子データである複数の文書について、
前記複数の文書それぞれを内容が類似する文書集合である複数の文書クラスのいずれかに確率的に属させ、前記複数の文書を構成する単語それぞれを内容が類似する単語集合である複数のトピッククラスの１つ以上に確率的に属させ、前記文書の著者それぞれを内容が類似する文書を作成した著者集合である著者クラスのいずれかに確率的に属させ、前記著者クラスを１つ以上の前記文書クラスに確率的に属させ、前記文書クラスそれぞれを１つ以上の前記トピッククラスに関連付ける所定の確率分布モデルに基づいて、計算を行い、
前記複数の文書と、前記確率分布モデルで使用され前記文書ごとにその属する前記文書クラスを推定するための第１の計算式と、前記確率分布モデルで使用され前記単語ごとにその属する前記トピッククラスを推定するための第２の計算式と、前記確率分布モデルで使用され前記著者ごとにその属する前記著者クラスを推定するための第３の計算式と、所定の計算終了条件と、を記憶する記憶部と、
初期設定部と、著者クラス評価部と、文書クラス評価部と、トピッククラス評価部と、収束判定部と、出力部と、を有する文書分類装置による文書分類方法であって、
前記初期設定部が、前記著者それぞれが属する著者クラスと、前記文書それぞれが属する文書クラスと、前記単語それぞれが属するトピッククラスと、の初期値をランダムに設定し、
前記著者クラス評価部が、前記第３の計算式に基づいて、前記著者ごとに、全ての前記著者クラスそれぞれに対して属する確率を計算し、その確率が最も高い著者クラスを、当該著者が属する前記著者クラスとして推定し、
前記文書クラス評価部が、前記第１の計算式に基づいて、前記文書ごとに、全ての前記文書クラスそれぞれに対して属する確率を計算し、その確率が最も高い文書クラスを、当該文書とその著者クラスが属する前記文書クラスとして推定し、
前記トピッククラス評価部が、前記第２の計算式に基づいて、前記単語ごとに、全ての前記トピッククラスそれぞれに対して属する確率を計算し、その確率が最も高いトピッククラスを、当該単語が属する前記トピッククラスとして推定し、
前記収束判定部が、前記所定の計算終了条件を満たすまで、前記著者クラス評価部と前記文書クラス評価部と前記トピッククラス評価部とに、前記推定を繰り返させ、
前記出力部が、前記収束判定部によって前記所定の計算終了条件が満たされたと判定されたとき、前記著者クラスの内容と前記文書クラスの内容とを含む計算結果を出力する
ことを特徴とする文書分類方法。
【請求項６】
前記収束判定部は、前記所定の計算終了条件として、前記著者クラス評価部と前記文書クラス評価部と前記トピッククラス評価部との少なくともいずれかによって計算された前回と最新の確率分布の誤差が所定の閾値以下であること、または、繰り返された計算回数が所定回数に達したこと、を用いる
ことを特徴とする請求項５に記載の文書分類方法。
【請求項７】
請求項１から請求項３のいずれか１項に記載の文書分類装置としてコンピュータを機能させるための文書分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量の文書（Ｗｅｂページ、論文、特許明細書、ブログ記事等の電子データ）について、類似する内容の文書間の関連付けや、類似する内容の文書を作成した著者間の関連付けを行う技術に関する。
【背景技術】
【０００２】
一般に、検索対象となる文書には、著者やその所属、引用文献や作成時刻といったメタデータがある。これらのメタデータ等の情報を利用して、類似する内容の文書間の関連付けや、類似する内容の文書を作成した著者間の関連付けを行う手法が知られている。
【０００３】
非特許文献１に開示されたAuthor-Topic modelは、著者毎に、その著者が各トピックを扱う（選択する）可能性を確率として与えることにより、著者とトピックとの関連付けを行う手法である。ここで、著者毎にトピックを選択する確率の分布をトピック選択確率分布と呼ぶ。つまり、ある著者に対して計算されたトピック選択確率分布において、最も確率が高くなるトピックが、その著者と最も関連の高いトピックであるとすることで関連付けを実現する。
【０００４】
また、非特許文献２に開示されたAuthor-Persona-Topic modelは、著者毎にペルソナという複数の人格を考慮し、人格毎にトピック選択確率分布を導入することにより、１人の著者が複数のトピック選択確率分布を持つことを可能にした手法である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】M. Steyvers, P. Smyth, M. Rosen-Zvi, and T. Griffiths: “Probabilistic Author-Topic Models for Information Discovery”, ACM KDD (International conference on Knowledge Discovery and Data mining), pp. 306‐315 (2004).
【非特許文献２】D. Mimno and A. McCallum: “Expertise Modeling for Matching Papers with Reviewers”, ACM KDD (International conference on Knowledge Discovery and Data mining), pp. 500‐509 (2007).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の手法では、１人の著者に対してトピック選択確率分布が１つに固定される。したがって、著者の興味の変化を反映することができないという問題がある。
【０００７】
また、非特許文献２の手法では、著者毎に複数のトピック選択確率分布を持つことができるが、ペルソナは著者毎に閉じて設定されるため、異なる著者間でのペルソナの関連付けを行うことができない。つまり、似た内容の文章を作成している全く繋がりのない著者（共著関係や友人関係などにない著者）がいる場合、それぞれの著者に対して別の尺度（別のキーワード）でペルソナが設定されるため、両著者のペルソナが類似するかどうかを判断することができない。したがって、類似する内容の文書を作成する全く繋がりのない著者間の関連付けを行うことができないという問題がある。
【０００８】
本発明は、前記した問題に鑑みてなされたものであり、大量の文書について、著者の興味の変化を反映しながら、類似する内容の文書間の関連付けを行うことを課題とする。また、類似する内容の文書を作成した著者間の関連付けを行うことを他の課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明は、電子データである複数の文書について、複数の文書それぞれを内容が類似する文書集合である複数の文書クラスのいずれかに確率的に属させ、複数の文書を構成する単語それぞれを内容が類似する単語集合である複数のトピッククラスの１つ以上に確率的に属させ、文書の著者それぞれを１つ以上の文書クラスに属させ、文書クラスそれぞれを１つ以上のトピッククラスに関連付ける所定の確率分布モデルに基づいて、計算を行う文書分類装置であって、複数の文書と、確率分布モデルで使用され文書ごとにその属する文書クラスを推定するための第１の計算式と、確率分布モデルで使用され単語ごとにその属するトピッククラスを推定するための第２の計算式と、所定の計算終了条件と、を記憶する記憶部と、文書それぞれが属する文書クラスと、単語それぞれが属するトピッククラスと、の初期値をランダムに設定する初期設定部と、第１の計算式に基づいて、文書ごとに、全ての文書クラスそれぞれに対して属する確率を計算し、その確率が最も高い文書クラスを、当該文書とその著者とが属する文書クラスとして推定する文書クラス評価部と、第２の計算式に基づいて、単語ごとに、全てのトピッククラスそれぞれに対して属する確率を計算し、その確率が最も高いトピッククラスを、当該単語が属するトピッククラスとして推定するトピッククラス評価部と、所定の計算終了条件を満たすまで、文書クラス評価部とトピッククラス評価部とに、推定を繰り返させる収束判定部と、収束判定部によって所定の計算終了条件が満たされたと判定されたとき、文書クラスごとに属する文書と著者とを含む計算結果を出力する出力部と、を備えることを特徴とする。
【００１０】
かかる発明によれば、文書の著者それぞれを１つ以上の文書クラスに属させつつ、文書クラスそれぞれを１つ以上のトピッククラスに関連付けることができる。つまり、１人の著者に関して１つ以上のトピッククラスとの関連付けを間接的に行うことができるので、１人の著者が複数のトピッククラスと関連付けられた場合には、その著者の興味の変化が反映されたことになり、その上で、類似する内容の文書間の関連付けを行うこと（各文書を複数の文書クラスに分類すること）ができる。
【００１１】
また、本発明は、電子データである複数の文書について、複数の文書それぞれを内容が類似する文書集合である複数の文書クラスのいずれかに確率的に属させ、各文書を構成する単語それぞれを内容が類似する単語集合である複数のトピッククラスの１つ以上に確率的に属させ、文書の著者それぞれを内容が類似する文書を作成した著者集合である著者クラスのいずれかに確率的に属させ、著者クラスを１つ以上の文書クラスに確率的に属させ、文書クラスそれぞれを１つ以上のトピッククラスに関連付ける所定の確率分布モデルに基づいて、計算を行う文書分類装置であって、複数の文書と、確率分布モデルで使用され文書ごとにその属する文書クラスを推定するための第１の計算式と、確率分布モデルで使用され単語ごとにその属するトピッククラスを推定するための第２の計算式と、確率分布モデルで使用され著者ごとにその属する著者クラスを推定するための第３の計算式と、所定の計算終了条件と、を記憶する記憶部と、著者それぞれが属する著者クラスと、文書それぞれが属する文書クラスと、単語それぞれが属するトピッククラスと、の初期値をランダムに設定する初期設定部と、第３の計算式に基づいて、著者ごとに、全ての著者クラスそれぞれに対して属する確率を計算し、その確率が最も高い著者クラスを、当該著者が属する著者クラスとして推定する著者クラス評価部と、第１の計算式に基づいて、文書ごとに、全ての文書クラスそれぞれに対して属する確率を計算し、その確率が最も高い文書クラスを、当該文書とその著者クラスが属する文書クラスとして推定する文書クラス評価部と、第２の計算式に基づいて、単語ごとに、全てのトピッククラスそれぞれに対して属する確率を計算し、その確率が最も高いトピッククラスを、当該単語が属するトピッククラスとして推定するトピッククラス評価部と、所定の計算終了条件を満たすまで、著者クラス評価部と文書クラス評価部とトピッククラス評価部とに、推定を繰り返させる収束判定部と、収束判定部によって所定の計算終了条件が満たされたと判定されたとき、著者クラスの内容と文書クラスの内容とを含む計算結果を出力する出力部と、を備えることを特徴とする。
【００１２】
かかる発明によれば、前記発明に加えて、文書の著者それぞれをいずれかの著者クラスに属させ、著者クラスそれぞれを１つ以上の前記文書クラスに関連付けることができる。つまり、類似する内容の文書を作成した著者を同じ著者クラスに属させることで、類似する内容の文書を作成した著者間の関連付けを行うことができる。
【００１３】
また、本発明は、収束判定部は、所定の計算終了条件として、著者クラス評価部と文書クラス評価部とトピッククラス評価部との少なくともいずれかによって計算された前回と最新の確率分布の誤差が所定の閾値以下であること、または、繰り返された計算回数が所定回数に達したこと、を用いることを特徴とする。
【００１４】
かかる発明によれば、所定の計算終了条件として、前記した確率分布の誤差に関する閾値か、繰り返した計算回数のいずれかという具体的で適切な条件を設定することで、計算精度や処理時間などの目的に応じた条件設定ができる。
【００１５】
また、本発明は、前記した文書分類装置としてコンピュータを機能させるための文書分類プログラムである。
かかる発明によれば、このプログラムをインストールされたコンピュータが、このプログラムに基づいた各機能を実現することができる。
【発明の効果】
【００１６】
本発明によれば、大量の文書について、著者の興味の変化を反映しながら、類似する内容の文書間の関連付けを行うことができる。また、類似する内容の文書を作成した著者間の関連付けを行うことができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態における文書・トピック分類モデルの説明図である。
【図２】第１実施形態における文書分類装置の構成図である。
【図３】文書クラス評価部の構成図である。
【図４】トピッククラス評価部の構成図である。
【図５】第１実施形態における文書・トピック分類方法の処理を示すフローチャートである。
【図６】文書クラス処理を示すフローチャートである。
【図７】文書クラスサンプリング処理を示すフローチャートである。
【図８】トピッククラス更新処理を示すフローチャートである。
【図９】トピッククラスサンプリング処理を示すフローチャートである。
【図１０】第２実施形態における著者・文書・トピック分類モデルの説明図である。
【図１１】第２実施形態における文書分類装置の構成図である。
【図１２】第２実施形態における著者クラスを考慮した文書・トピック分類方法の処理を示すフローチャートである。
【図１３】著者クラス更新処理を示すフローチャートである。
【図１４】実施例における著者・文書クラスの分布を示す図である。
【図１５】実施例における著者クラス・文書クラスの分布を示す図である。
【図１６】実施例における文書・トピッククラスの分布を示す図である。
【図１７】実施例における文書クラス・トピッククラスの分布を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態（以下、「実施形態」という。）について、第１実施形態と第２実施形態に分けて、図面を参照して説明する。なお、以下において、トークンは単語を抽象化した概念に相当する。すなわち、文書はトークンの並びで構成され、トークンに具体的な単語が入ることによって、具体的な文書になる。また、本実施形態の説明において、「評価」とは「推定」を意味する。
【００１９】
＜第１実施形態＞
第１実施形態では、類似する内容の文書の集合を文書クラス、類似する単語（トークン）の集合をトピッククラスとし、各文書と各著者が属する文書クラス、トピッククラスを評価することにより、類似する内容の文書間の関連付けを行う。同じ文書クラスに属する文書同士は関連が高い（類似する内容を扱っている）と判断できるので、各文書と各著者を文書クラスに分類することによって、類似する内容の文書間の関連付けを実現することができる。
【００２０】
なお、文書クラスは、例えば、「スポーツ」、「政治」などである。また、文書クラス「スポーツ」に関連付けられるトピッククラスは、例えば、「野球」、「サッカー」などである。また、トピッククラス「野球」に属する単語は、例えば、「プロ野球」、「メジャーリーグ」などである。
【００２１】
具体的には、まず、文書ｄの属する文書クラスｃｄがｊである確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）を計算する。ここで、ｃ＼ｄは文書ｄを除いた文書クラスの集合であり、ｚはトピックの集合であり、γとδは隠れパラメータ（詳細は後記）である。文書ｄ毎に、全ての文書クラスについて確率を計算し、最も確率が高くなる文書クラスをその文書の属する文書クラスとして関連付けを行う。
【００２２】
同様に、文書ｄのｉ番目のトークンｄｉに関連するトピッククラスがｔである確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）を計算する。ここで、ｚｄｉはトークンｄｉが属するトピッククラスを表し（以下、トークン（単語）ｚｄｉともいう。）、ｚ＼ｄｉはｚからｚｄｉを除いたトピックの集合であり、ｗは単語の集合であり、βは隠れパラメータ（詳細は後記）である。単語毎に、全てのトピッククラスについて確率を計算し、最も確率が高くなるトピッククラスをその単語が属するトピッククラスとして関連付けを行う。文書内の各単語についてトピッククラスを関連付けるので、１つの文書に対して複数のトピッククラスが関連付けされることもある。
【００２３】
第１実施形態では、文書・トピック間の関連付け（ある文書とその文書が扱うトピックとの関連付け）と、文書間の関連付け（類似する内容の文書間の関連付け）を同時に行う手法（文書・トピック分類手法：ＬＩＴ０）について説明する。
【００２４】
まず、図１を参照し、第１実施形態における文書・トピック分類モデルについて説明する。第１実施形態では、以下のａ．〜ｅ．を仮定したモデルを利用して前記関連付けを行う。
【００２５】
ａ．１つの文書は１つの文書クラスに確率的に関連付けされる。
ｂ．（文書中の）１つの単語（トークン）は、１つのトピッククラスに関連付けされる。なお、異なる単語が同じトピッククラスに関連付けされることはある。
ｃ．１つの文書クラスは１つ以上のトピッククラスを選択することができる。なお、１つの文書クラスに対して複数のトピッククラスを関連付けできる。
ｄ．１つのトピッククラスは１つ以上のトークンを選択することができる。なお、１つのトピッククラスに対して複数の単語（トークン）を関連付けしても良いので、異なる単語（トークン）が同じトピッククラスに選択されることはある（例えば、図１の単語ｗ１とｗ３）。
ｅ．各文書クラスは異なるトピッククラス選択の確率分布を持つ。例えば、図１の例では、文書クラスｊ１と文書クラスｊ２がどちらもトピッククラスｔ４を選択していたとしても、文書クラスｊ１がトピッククラスｔ４を選択する確率と、文書クラスｊ２がトピッククラスｔ４を選択する確率が同じとは限らない。
【００２６】
（構成）
次に、第１実施形態の文書分類装置の構成について説明する。図２に示すように、文書分類装置１０００は、コンピュータ装置であり、入力部１と、記憶部２と、演算部１００と、出力部７とを備えて構成される。
【００２７】
入力部１は、情報を入力する手段であり、例えば、キーボード、マウス、ディスクドライブ装置などから構成される。
【００２８】
記憶部２は、情報を記憶する手段であり、例えば、一般的なハードディスク装置などから構成され、動作プログラム、関連付けを行う対象となる文書データ（著者の情報等のメタデータも含む。）、各パラメータ、各数式等の情報を記憶する。文書データとは、前記したように、例えば、Ｗｅｂページ、論文、特許明細書、ブログ記事等の電子データである。
【００２９】
演算部１００は、例えば、ＣＰＵ（Central Processing Unit）およびＲＡＭ（Random Access Memory）から構成される主制御装置であり、初期設定部３と、文書クラス評価部４と、トピッククラス評価部５と、収束判定部６とを備えている。
文書クラス評価部４は、サンプル著者選択部４１、サンプル文書選択部４２、初期設定部４３および文書クラス更新部４４を備えている（詳細は後記）。
トピッククラス評価部５は、サンプル著者選択部５１、サンプル文書選択部５２、初期設定部５３およびトピッククラス更新部５４を備えている（詳細は後記）。
【００３０】
出力部７は、情報を出力するための手段であり、例えば、グラフィックボード（出力インタフェース）およびそれに接続されたモニタである。
【００３１】
（処理）
次に、図５を参照して（適宜図１〜４参照）、文書分類装置１０００の処理について説明する。なお、図５のステップ番号と図２の構成の符号とで整合をとっている（例えば、ステップＳ１と入力部１、ステップＳ３と初期設定部３など。図１２と図１１も同様）。
【００３２】
[入力部１]
まず、入力部１は、ユーザによる、分類したい文書クラスの数Ｊと、分類したいトピッククラスの数Ｔとの入力を受け付ける（ステップＳ１）。
【００３３】
[初期設定部３]
次に、初期設定部３は、各文書が属する文書クラスとトピッククラスの初期値とをランダムに設定（選択）する（ステップＳ３）。これらの初期値は任意に選択することができるが、１つの文書に対して文書クラスは１つとする。また、各文書内の各単語について、その単語が属するトピッククラスを１つずつ設定する。
【００３４】
[文書クラス評価部４]
次に、文書クラス評価部４は、文書クラス更新処理を行う（ステップＳ４）。具体的には、ギブスサンプリング（Gibbs Sampling）の手法を利用して、文書ｄの属する文書クラスがｊ（ｊ＝１，２，３，…，Ｊ）である確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）を評価する。ギブスサンプリングでは、サンプリング対象となる文書を１つ選択し、条件付確率（以下の式（３ｃ））を計算した後、ランダムに生成した値（乱数）と条件付確率の値とを比較することにより文書クラスを更新する処理を収束（ステップＳ６で判定）するまで繰り返す。
【００３５】
ここで、図６を参照して、ステップＳ４の文書クラス更新処理について説明する。
まず、サンプル著者選択部４１において、著者の集合Ａの中から、まだ選択していないサンプル対象の著者ａを１人選択する（ステップＳ４１）。
次に、サンプル文書選択部４２において、著者ａが作成した文書の中から、まだ選択していないサンプル対象の文書ｄを１つ選択する（ステップＳ４２）。
【００３６】
以降の処理では、選択した文書ｄについて、全ての文書クラスｊ（ｊ＝１，２，３，…，Ｊ）に対する確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）をそれぞれ評価する。
【００３７】
まず、初期設定部４３において、以降の確率計算で使用するパラメータの初期値を設定する（ステップＳ４３）。例えば、記憶部２に記憶された文書の総数をパラメータｎの値として設定する。また、文書クラスの評価に使用する隠れパラメータβ、γ、δの初期値を決定する。ここで、γはＪ次元（Ｊは入力部１で入力した文書クラスの総数）のベクトル、δはＴ次元（Ｔは入力部１で入力したトピッククラスの総数）のベクトルである。γ、δの各要素の値は、以下の関係式（１）、（２）を満たす任意の値を設定する。
【００３８】
０＜γｊ≦ｎａｊ＼ｄ      ｊ＝１，２，３，…，Ｊ  ・・・式（１）
０＜δｔ≦ｎｊｔ＼ｄ      ｔ＝１，２，３，…，Ｔ  ・・・式（２）
ここで、ｎａｊ＼ｄは、文書クラスｊに属する全文書のうち、サンプリング対象の文書ｄを除いて、著者ａが作成した文書の総数である。また、ｎｊｔ＼ｄは、サンプリング対象の文書ｄを除く文書クラスｊに属する全文書中でトピッククラスｔが選択された数である。
【００３９】
次に、文書クラス更新部４４において、文書クラスサンプリング処理を行う（ステップＳ４４）。ここで、図７を参照して（適宜他図参照）、ステップＳ４４の文書クラスサンプリング処理について説明する。
【００４０】
図７に示すように、文書クラス更新部４４は、まず、Ｊ個の文書クラスから１つの文書クラスｊを選択し（ステップＳ４４１）、以下の処理を行う。
【００４１】
以下の式（３ｃ） （第１の計算式）により、確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）を計算する（ステップＳ４４２）。そのために、まず、次の式（３ａ）を計算する。
【数１】
2010267017.tif 000003
【００４２】
次に、ｊ＝１，２，・・・，Ｊについて、次の式（３ｂ）を計算することにより、自身よりもｊの値が小さい文書クラスの確率を足し合わせた確率を算出する。
【数２】
2010267017.tif 000004
【００４３】
そして、全てのｊ＝１，２，・・・，Ｊについて、式（３ｃ）により正規化を行う。これにより、全ての確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）は、１以下の値となる。
【数３】
2010267017.tif 000005
【００４４】
ここで、記号∝は、左辺の値が右辺の値に比例することを意味する。ｎｄｔは文書ｄの中でトピッククラスｔが選択された回数、ｎｄは文書ｄに含まれるトークンの総数である。γｊはｊ次元のγを意味し、δｔはｔ次元のδを意味する。
なお、初期設定部３で設定した隠れパラメータγとδは、式（３ａ）においてｎａｊ＼ｄやｎｊｔ＼ｄが０となった場合に、式（３ａ）の分母が０になるために確率を計算できなくなってしまうことを避けるためのスムージングパラメータの役割を担っている。
【００４５】
ステップＳ４４２の後、０≦Ｒ＜１の一様乱数を生成し（ステップＳ４４３）、ステップＳ４４２で計算した確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）の値がＲより大きければ（ステップＳ４４４でＹｅｓ）、文書ｄの属するクラスをｊに変更する（ステップＳ４４５）。ステップＳ４４２で計算した確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）の値がＲ以下の場合には（ステップＳ４４４でＮｏ）、文書クラスの更新は行わず（Ｓ４４５をスキップして）、ステップＳ４４６に進む。
【００４６】
文書ｄについて、全ての文書クラスを更新していない場合、つまり、ステップＳ４４２以下の処理を行っていない文書クラスが存在する場合には（ステップＳ４４６でＮｏ）、まだ調べていない文書クラスｊ´を選択し（ステップＳ４４１）、前記ステップＳ４４２〜ステップＳ４４５を繰り返す。全ての文書クラスｊ＝１，２，…，Ｊについて更新処理を終えたら（ステップＳ４４６でＹｅｓ）、図６に戻って、ステップＳ４４を終えてステップＳ４５に進む。
【００４７】
文書クラス評価部４は、著者ａが作成した文書のうちサンプル対象として選択していない文書ｄ´を新たなサンプル対象の文書として選択し（図６のステップＳ４５でＮｏ→ステップＳ４２）、ステップＳ４３，Ｓ４４の処理を繰り返す。これらの処理を著者ａが作成した全ての文書について繰り返し（ステップＳ４５でＹｅｓとなるまで）行う。
【００４８】
次に、文書クラス評価部４は、全ての著者をサンプリングしていない場合、つまり、まだサンプリングを終えていない著者が存在する場合は（ステップＳ４６でＮｏ）、ステップＳ４１に戻り、まだ選択していないサンプル対象の著者ａ´を選択する。そして、ステップＳ４２〜ステップＳ４５の処理を繰り返す。全ての著者についてサンプリングを終えたら（Ｓ４６でＹｅｓ）、図５に戻って、ステップＳ４を終えて、ステップＳ５の処理に移行する。
【００４９】
[トピッククラス評価部５]
ステップＳ４の後、トピッククラス評価部５は、トピッククラス更新処理を行う（ステップＳ５）。具体的には、文書クラス評価部４と同様にギブスサンプリングを利用した手法により、ある文書ｄ中のｉ番目のトークンｄｉがトピッククラスｔ（ｔ＝１，２，３，…，Ｔ）に属する確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）を評価する。
【００５０】
ここで、図８を参照して、ステップＳ５のトピッククラス更新処理について説明する。
まず、サンプル著者選択部５１において、著者の集合Ａの中から、まだ選択していないサンプル対象の著者ａを１人選択する（ステップＳ５１）。
次に、サンプル文書選択部５２において、著者ａが作成した文書の中から、まだ選択していないサンプル対象の文書ｄを１つ選択する（ステップＳ５２）。
【００５１】
次に、初期設定部５３において、以降の確率計算で使用するパラメータの初期値を設定する（ステップＳ５３）。例えば、記憶部２に記憶された文書の総数をパラメータｎの値として設定する。また、トピッククラスの評価に使用する隠れパラメータβ、γ、δの初期値を決定する。ここで、γとδは文書クラス評価部４におけるγとδと同じであり、式（１）と（２）を満たす任意の値を設定する。また、βはＶ次元（Ｖは全文書に含まれる単語の異なり数（種類数））のベクトルであり、βの各要素の値は、以下の関係式を満たす任意の値を設定する。
【００５２】
０＜βｖ≦ｎｔｖ＼ｄｉ      ｊ＝１，２，３，…，Ｊ  ・・・式（４）
ここで、ｎｔｖ＼ｄｉは、トピッククラスｔに属するトークンのうち、サンプリング対象の文書ｄのｉ番目のトークンを除いて現時点で単語ｖを選択しているトークンの総数である。
【００５３】
次に、トピッククラス更新部５４において、トピッククラスサンプリング処理を行う（ステップＳ５４）。具体的には、文書ｄ内の全てのトークン（文書ｄ内のトークンのうち、既に確率を計算したトークンを除く全てのトークン）について、以下の処理を繰り返す。
【００５４】
ここで、図９を参照して、ステップＳ５４のトピッククラスサンプリング処理について説明する。
まず、トピッククラス更新部５４は、まだサンプリングを終えていない文書ｄ内のトークン（ｉ番目の単語とする）ｄｉを１つ選択する（ステップＳ５４１）。
【００５５】
次に、まだサンプリングを終えていないトピッククラスｔを１つ選択する（ステップＳ５４２）。
次に、以下の式（５ｃ ）（第２の計算式）により、確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）を計算する（ステップＳ５４３）。そのために、まず、次の式（５ａ）を計算する。
【００５６】
【数４】
2010267017.tif 000006
【００５７】
次に、ｔ＝１，２，・・・，Ｔについて、式（５ｂ）を計算することにより、自身よりもｔの値が小さいトピッククラスの確率を足し合わせた確率を算出する。
【数５】
2010267017.tif 000007
【００５８】
そして、全てのｔ＝１，２，・・・，Ｔについて、式（５ｃ）により正規化を行う。これにより、全ての確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）は、１以下の値となる。
【数６】
2010267017.tif 000008
【００５９】
ここで、ｎｊｔ＼ｄｉは文書クラスｊに属する全文書のうち、サンプリング対象となる文書ｄのｉ番目のトークン以外で現時点でトピッククラスｔを選択しているトークンの総数である。βｖはｖ次元のβを意味する。
【００６０】
初期設定部５３で設定した隠れパラメータβとδは、式（５ａ）においてｎｔｖ＼ｄｉやｎｊｔ＼ｄｉが０となった場合に、式（５ａ）の分母が０になるために確率を計算できなくなってしまうことを避けるためのスムージングパラメータの役割を担っている。
【００６１】
次に、０≦Ｒ＜１の一様乱数を生成し（ステップＳ５４４）、ステップＳ５４３で計算した確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）の値がＲより大きければ（ステップＳ５４５でＹｅｓ）、文書ｄのｉ番目のトークンｚｄｉの属するトピッククラスをｔに変更する（ステップＳ５４６）。ステップＳ５４３で計算した確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）値がＲ以下の場合には（ステップＳ５４５でＮｏ）、トピッククラスの更新は行わなず（Ｓ５４６をスキップして）、ステップＳ５４７に進む。
【００６２】
ステップＳ５４７において、全てのトピッククラスを更新していない場合、つまり、単語ｄｉについてまだ確率を計算していないトピッククラスがあれば（ステップＳ５４７でＮｏ）、そのトピッククラスを選択し（ステップＳ５４２）、ステップＳ５４３〜ステップＳ５４６を繰り返すことにより、全てのトピッククラスｔについて確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）を計算する。
【００６３】
全てのトピッククラスについて前記のサンプリング処理を終えたら（ステップＳ５４７でＹｅｓ）、現在選択している文書ｄ内で、まだ条件付確率を計算していないトークンを選択し（ステップＳ５４８でＮｏ→ステップＳ５４１）、ステップＳ５４２〜ステップＳ５４７の処理を繰り返す。これにより、文書ｄ内の全てのトークン（単語）について、各トピッククラスに属する確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）をそれぞれ計算することができる（ｔ＝１，２，…，Ｔ）。ステップＳ５４８でＹｅｓの後、図８に戻って、ステップＳ５４を終えてステップＳ５５に進む。
【００６４】
次に、トピッククラス評価部５は、著者ａが作成した文書のうち、サンプル対象として選択していない文書がある場合には（ステップＳ５５でＮｏ）、まだ選択していない文書ｄ´を新たなサンプル対象の文書として選択し（ステップＳ５２）、ステップＳ５３，Ｓ５４を繰り返す。これを著者ａが作成した全ての文書について（ステップＳ５５でＹｅｓになるまで）行う。
【００６５】
ステップＳ５５でＹｅｓの後、サンプリングを終えていない著者がいる場合には（Ｓ５６でＮｏ）、新たにまだサンプリングを終えていない著者ａ´を選択し（ステップＳ５１）、同様にステップＳ５２〜ステップＳ５５を繰り返す。全ての著者についてサンプリングを終えたら（ステップＳ５６でＹｅｓ）、図５に戻って、ステップＳ５を終えてステップＳ６に進む。
【００６６】
[収束判定部６]
収束判定部６は、文書クラス評価部４とトピッククラス評価部５で算出した式（３ｃ）と式（５ｃ）の確率分布が収束したか否かを判定し（ステップＳ６）、これらの確率分布が収束するまで（ステップＳ６でＮｏの間）文書クラス評価部４とトピッククラス評価部５の処理（ステップＳ４，Ｓ５）を繰り返す。
【００６７】
確率分布が収束したら（ステップＳ６でＹｅｓ）、得られた文書クラスとトピッククラスの確率分布を出力部７に出力する。ここで、確率分布が収束したか否かの判定は、１ステップ前の確率分布と今回得られた確率分布との誤差を比較し、誤差が予め定めた閾値以下である場合には収束したと判定することとしても良い。あるいは、文書クラス更新処理（ステップＳ４）とトピッククラス更新処理（ステップＳ５）の繰り返し回数をカウントし、予め設定した繰り返し回数に到達したら確率分布が収束したと判定して処理を終了することとしても良い。このように、計算の終了条件は、計算精度や処理時間などの目的に応じて設定すれば良い。
【００６８】
[出力部７]
ステップＳ６でＹｅｓの後、出力部７は、収束判定部６から得られた確率分布に基づいて、文書クラスとトピッククラスを出力する（ステップＳ７）。
このとき、文書クラスは、文書ｄに関して評価した確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）の値が最も大きくなるｊを、文書ｄが所属する文書クラスとして出力する。
【００６９】
また、このとき、トピッククラスは、文書ｄ内のｉ番目のトークン（単語）ｄｉについて計算した確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）が最も高くなるｔを単語ｄｉが属するトピッククラスｚｄｉとし、文書ｄ内の全ての単語（ｉ=１，２，…，Ｎｄ）について確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）が最も高くなるｔを選択して得られた集合を文書ｄが選択するトピッククラスとして出力する。
【００７０】
このように、第１実施形態の文書分類装置１０００によれば、文書の著者それぞれを１つ以上の文書クラスに関連付けつつ、文書クラスそれぞれを１つ以上のトピッククラスに関連付けることができる。つまり、１人の著者に関して１つ以上のトピッククラスとの関連付けを間接的に行うことができるので、１人の著者が複数のトピッククラスと関連付けられた場合には、その著者の興味の変化が反映されたことになり、その上で、類似する内容の文書間の関連付けを行うこと（各文書を複数の文書クラスに分類すること）ができる。
【００７１】
＜第２実施形態＞
次に、第２実施形態の文書分類装置１０００ａ（１０００）について説明する。なお、第１実施形態の文書分類装置１０００の場合と同様の要素（構成や処理）については、同様の符号を付し、重複説明を適宜省略する。
【００７２】
第２実施形態では、第１実施形態の内容に加え、類似する内容の文書を作成する著者のクラスを著者クラスとし、著者は著者クラスに属し、著者クラスは文書クラスを選択するものとする。これにより、同じ著者クラスに属する著者同士は関連が高い（興味が似ている）と判断できるようになる。
【００７３】
具体的には、著者ａの属する著者クラス（コミュニティ）ｓａがｈである確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）を計算する。ここで、ｓ＼ａは著者ａを除いた著者クラスの集合であり、ｃは文書クラスの集合であり、αは隠れパラメータである。著者毎に、全ての著者クラスについて確率を計算し、最も確率が高くなるｈが著者ａの属する著者クラスとして関連付けを行う。
【００７４】
この第２実施形態では、文書・トピック間の関連付け（ある文書とその文書が扱うトピックとの関連付け）、文書間の関連付け（類似する内容の文書間の関連付け）、および、著者間の関連付け（類似する内容の文書を作成した著者間の関連付け）を同時に行う手法（著者・文書・トピック分類方法：ＬＩＴ１）について説明する。
【００７５】
図１０に示すように、第２実施形態における著者と文書とトピッククラスとを関連付けるためのモデル（著者・文書・トピック分類モデル）では、第１実施形態におけるａ．〜ｅ．に加えて、以下のｆ．〜ｈ．を仮定する。
ｆ．１人の著者は１つの著者クラスに確率的に関連付けされる。
ｇ．類似した内容を扱う著者（同じ文書クラスを選択する著者の集合）は、同じ著者クラス（コミュニティ）に属する。
ｈ．１つの著者クラスは、１つ以上の文書クラスを選択できる。
【００７６】
（構成）
次に、第２実施形態の文書分類装置１０００ａの構成について説明する。図２に示すように、第２実施形態の文書分類装置１０００ａは、第１実施形態の文書分類装置１０００と比べて、演算部１００ａ（１００）において、著者クラスを評価するための著者クラス評価部８が追加された構成となっている。著者クラス評価部８は、サンプル著者選択部８１、初期設定部８２および文書クラス更新部８３を備えている（詳細は後記）。
【００７７】
（処理）
次に、図１２を参照して、文書分類装置１０００ａの処理について説明する。この著者クラスを考慮した文書・トピック分類方法の処理の概要をまず説明すると、第１実施形態の文書クラス更新処理（ステップＳ４）とトピッククラス更新処理（ステップＳ５）に加えて、著者の属するクラスを評価するための著者クラス更新処理（ステップＳ８）が追加され、第１実施形態と同様に繰り返し確率計算と更新処理を行う。これにより、ある著者ａの属する著者クラス（コミュニティ）がｈ（ｈ＝１，２，３，…，Ｈ）である確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）と、文書ｄの属する文書クラスがｊ（ｊ＝１，２，３，…，Ｊ）である確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）と、ある文書中のｉ番目のトークンがトピッククラスｔ（ｔ＝１，２，３，…，Ｔ）に属する（関連する）確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）とを評価する。
【００７８】
[入力部１]
まず、入力部１は、ユーザによる、分類したい文書クラスの数Ｊと、分類したいトピッククラスの数Ｔとに加えて、分類したい著者クラスの数Ｈの入力を受け付ける（ステップＳ１ａ）を入力する。
【００７９】
[初期設定部３]
次に、初期設定部３は、各著者が属する著者クラスと、各文書が属する文書クラスと、トピッククラスの初期値とを設定（選択）する（ステップＳ３ａ）。これらの初期値は第１実施形態と同じく任意に選択することができるが、１つの文書に対して文書クラスは１個、トピッククラスは複数個選択することができる。また、１人の著者が属する著者クラスは１つとする。
【００８０】
[著者クラス評価部８]
次に、著者クラス評価部８は、著者クラス更新処理を行う（ステップＳ８）。ここで、図１３を参照して、ステップＳ８の著者クラス更新処理について説明する。著者クラス評価部８は、第１実施形態の文書クラス評価部４、トピッククラス評価部５と同様に、ギブスサンプリングの手法を利用して、ある著者ａの属する著者クラス（コミュニティ）がｈ（ｈ＝１，２，３，…，Ｈ）である確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）を評価する。
【００８１】
まず、サンプル著者選択部８１において、著者の集合Ａの中から、まだ選択していないサンプル対象の著者ａを１人選択する（ステップＳ８１）。
次に、初期設定部８２において、以降の確率計算で使用するパラメータの初期値を設定する（ステップＳ８２）。例えば、文書クラスの評価に使用する隠れパラメータα、γの初期値を決定する。ここで、第１実施形態と同じくγはＪ次元（Ｊは入力部１で入力した文書クラスの総数）のベクトルで前記した式（１）を満たす任意の値を設定する。αはＨ次元（Ｈは入力部１で入力した著者クラスの総数）のベクトルであり、次の関係式（６）を満たす任意の値を設定する。
０＜αｈ≦ｎｈ＼ａ      ｈ＝１，２，３，…，Ｈ  ・・・式（６）
ここで、ｎｈ＼ａは著者ａが作成した文書を除く著者クラスｈに属する文書の数である。
【００８２】
次に、文書クラス更新部８３において、まだ選択していない（更新処理を終えていない）著者クラスｈを１つ選択し（ステップＳ８３）、以下の更新処理を行う。
次の式（７ｃ ）（第３の計算式）により、確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）を計算する（ステップＳ８４）。そのために、まず、次の式（７ａ）を計算する。
【００８３】
【数７】
2010267017.tif 000009
【００８４】
次に、ｈ＝１，２，・・・，Ｈについて、式（７ｂ）を計算することにより、自身よりもｈの値が小さいトピッククラスの確率を足し合わせた確率を算出する。
【数８】
2010267017.tif 000010
【００８５】
そして、全てのｈ＝１，２，・・・，Ｈについて、式（７ｃ）により正規化を行う。これにより、全ての確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）は、１以下の値となる。
【数９】
2010267017.tif 000011
【００８６】
ここで、ｎｈｊ＼ａは著者クラスｈに属する全著者が作成した文書のうち、著者ａが作成した文書を除いて現時点で文書クラスｊに属している全文書の数、ｎａｊは著者ａが作成した文書で文書クラスｊに属する文書の数、ｎａは著者ａが作成した文書数である。
【００８７】
次に、文書クラス更新部８３において、０≦Ｒ＜１の一様乱数を生成し（ステップＳ８５）、ステップＳ８４で計算した確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）の値がＲより大きければ（ステップＳ８６でＹｅｓ）、著者ａの属するクラスをｈに更新する（ステップＳ８７）。ステップＳ８４で計算した確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）の値がＲ以下の場合には（ステップＳ８６でＮｏ）、著者クラスの更新は行わなず（Ｓ８７をスキップして）、ステップＳ８８に進む。
【００８８】
全てのｈ（ｈ＝１，２，…，Ｈ）について更新を終えるまで（ステップＳ８８でＹｅｓとなるまでＮｏの間は）、前記ステップＳ８３〜ステップＳ８７を繰り返す。ステップＳ８８でＹｅｓの後、全ての著者をサンプリングしていない場合、つまり、まだサンプリングを終えていない著者ａ´が存在する場合は（ステップＳ８９でＮｏ）、ステップＳ８１に戻る。その後、まだサンプリングを終えていない著者ａ´を選択し（ステップＳ８１）、ステップＳ８２〜ステップＳ８８を繰り返すことにより、全ての著者について確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）を評価し（ステップＳ８９でＹｅｓ）、図１２に戻って、ステップＳ８を終えてステップＳ４に進む。ステップＳ４，Ｓ５の処理は、第１実施形態の場合と同じである。
【００８９】
[収束判定部６]
図１２に示すように、ステップＳ５の後、収束判定部６は、ステップＳ８，Ｓ４，Ｓ５で算出した各確率分布が収束したか否かを判定し（ステップＳ６ａ）、確率分布が収束するまで（ステップＳ６ａでＹｅｓになるまで）、ステップＳ８，Ｓ４，Ｓ５の処理を繰り返す。各確率分布が収束したら処理を終了して（ステップＳ６ａでＹｅｓ）、得られた著者クラスと文書クラスとトピッククラスの確率分布を出力部７に出力する。各確率分布が収束したか否かの判定は、１ステップ前の確率分布と今回得られた確率分布との誤差を比較し、誤差が予め定めた閾値以下である場合には収束したと判定することとしても良い。あるいは、予め設定した繰り返し回数に到達したら、確率分布が収束したと判定して処理を終了することとしても良い。
【００９０】
[出力部７]
ステップＳ６でＹｅｓの後、出力部７では、収束判定部６から得られた確率分布に基づいて、著者クラスと文書クラスとトピッククラスを出力する（ステップＳ７ａ）。
このとき、著者クラスは、著者ａに関して評価した確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）の値が最も大きくなるｈを著者が所属する著者クラスとして出力する。
また、このとき、文書クラスとトピッククラスについては、第１実施形態の出力部７で説明した通りである。
【００９１】
このように、第２実施形態の文書分類装置１０００ａによれば、第１実施形態の場合の効果に加えて、文書の著者それぞれをいずれかの著者クラスに属させ、著者クラスそれぞれを１つ以上の前記文書クラスに関連付けることができる。つまり、類似する内容の文書を作成した著者を同じ著者クラスに属させることで、類似する内容の文書を作成した著者間の関連付けを行うことができる。
【００９２】
つまり、第２実施形態の文書分類装置１０００ａによれば、大量の文書とそれを作成した著者のデータから、類似する話題に関する文書をまとめた集合（文書クラス）や、類似する内容の文書を作成した著者をまとめた集合（著者クラス）を抽出することができる。その際、文書クラスの名前（例えば、対象文書がブログやＷｅｂページなどの場合は、「趣味」「ファッション」「グルメ」「スポーツ」など。特許明細書や学術論文等の場合は「化学」「物理学」「機械工学」「情報工学」など）を指定することなく、文書と著者の情報のみから前記したクラスタリングを行うことができる。これにより、以下のようなことが実現できる。
【００９３】
（類似する内容の文書の検索）
検索対象の文書と同じ文書クラスに属する文書を抽出することにより、検索対象の文書と類似する内容の文書を検索することができる。
【００９４】
（コミュニティ検索）
ブログ記事やＷｅｂページにおいて、クラスタリングを行うことで、類似した内容を扱う著者（作者）の集合に分類することができる。自分と同じ著者クラスに属する著者を抽出することにより、自分の興味のある話題を扱う著者のコミュニティを抽出したり、興味の似ている著者を検索したりすることができる。
【００９５】
（協調フィルタリング（リコメンデーションシステム））
文書の代わりにユーザの購入商品の情報とし、著者の代わりに商品を購入したユーザとして本手法を適用することにより、文書クラスとして類似する商品の集合を抽出し、著者クラスとして類似する商品を購入したユーザの集合を抽出することができる。これにより、あるユーザの所属する著者クラスに属する著者が購入した商品を推薦することができる。また、ある商品の属する文書クラスの商品を購入した著者のクラスを特定することにより、当該商品を好みそうなユーザを特定することができる。
【００９６】
なお、従来技術において、文書中の単語のみから文書の分類を行っていた場合では、例えば、１人の著者が大量の文書を作成していたとき、その著者による影響が大きくなり過ぎてしまうことがあった。一方、第１、第２実施形態の文書分類装置１０００によれば、著者ごと、あるいは、著者クラスごとに文書クラスと関連付けられるので、１人の著者による影響が大きくなり過ぎる事態を回避することができる。
【００９７】
また、文書分類装置１０００を構成するコンピュータに実行させるためのプログラムを作成し、コンピュータにインストールすることにより、コンピュータは、そのプログラムに基づいた各機能を実現することができる。
【００９８】
以上で本実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。具体的な構成や処理について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。
【実施例】
【００９９】
次に、文書からの著者の興味の抽出に着目し、提案モデル（第１、第２実施形態におけるモデル）の定性的評価と定量的評価の結果について説明する。定量的評価にはtest set perplexityとKL-Divergenceの２つの指標を用いた。
【０１００】
対象の文書データは、学術論文であり、著者（研究者）の数は３６４名で、文書の数は１４９０７であり、単語の種類は２７７４８であった。また、トピックの数Ｔは１００に固定した。また、パラメータは、α＝１／Ｔ，β＝０．１，γ＝１（ＬＩＴ），δ＝１とした。また、ギブスサンプリングの繰り返し回数は１００００とし、収束判定部６において繰り返し回数が１００００回に到達したら収束したと判定して処理を終了した。
【０１０１】
[定性的評価]
第２実施形態における手法を用いた場合の、各著者と選択した文書クラスの分布を著者クラス毎に分類した結果の一部（図１４）と、著者クラス毎に選択する文書クラスの分布（図１５）を示す。これらの分布は、それぞれ以下の式（８）（図１４に対応）、式（９）（図１５に対応）を用いて計算できる。
【０１０２】
【数１０】
2010267017.tif 000012
なお、ｃは文書クラス、ａは著者であり、ｎａｃは著者ａが作成した中で文書クラスがｃとなった文書の数である。γｃはｃ次元の隠れパラメータγを意味する。＾は、実験結果として得られた推定値の平均値であることを意味する。
【０１０３】
【数１１】
2010267017.tif 000013
なお、ｃは文書クラス、ｓは著者クラスであり、ｎｓｃは著者クラスｓの全著者が作成した中で文書クラスがｃとなった文書の数である。
【０１０４】
図１４および図１５では、各著者あるいは同一著者クラスに属する著者が作成した文書の文書クラスをカウントし、各行について正規化を行っている。図１４は、著者・文書クラス、図１５は著者クラス・文書クラスの分布を表している。図１４では、縦軸は各著者のＩＤに対応し、著者クラス毎に線ｌ１で区切っている。横軸は各著者が作成した文書の文書クラスＩＤに対応する。図１５では、縦軸は著者クラスのＩＤに対応する。図１５において枠ｅ１で囲った部分が、図１４の著者クラスに該当する。横軸は各著者が作成した文書の文書クラスＩＤに対応する。
【０１０５】
図１４および図１５において、該当する文書の数が多い場合は塗りつぶした領域が大きくなり、該当する文書の数が少ない場合は塗りつぶした領域が小さくなる。つまり、これらの図から著者クラス毎に特徴的な文書クラスを知ることができる。
【０１０６】
同様に、各文書と選択したトピッククラスの分布を文書クラス毎に分類した結果の一部（図１６）と、文書クラス毎に選択するトピッククラスの分布を（図１７）を示す。これらの分布は、それぞれ以下の式（１０）（図１６に対応），（１１）（図１７に対応）を用いて計算できる。
【０１０７】
【数１２】
2010267017.tif 000014
ここで、ｚはトピッククラス、ｄは文書である。ｎｄｚは、文書ｄの中でトピッククラスｔが選択された数である。δｚはｚ次元の隠れパラメータδを意味する。
【０１０８】
【数１３】
2010267017.tif 000015
ここで、ｚはトピッククラス、ｃは文書クラスである。ｎｃｚは、文書クラスｃの全文書の中でトピッククラスｔが選択された数である。
【０１０９】
図１６は、文書・トピッククラス、図１７は文書クラス・トピッククラスの分布を示す図（グラフ）である。図１６では、縦軸は各文書のＩＤに対応し、文書クラス毎に線ｌ２で区切っている。横軸はトピッククラスのＩＤに対応する。図１７では、縦軸は各文書クラスのＩＤに対応し、横軸はトピッククラスのＩＤに対応する。図１７において枠ｅ２で囲った部分が、図１６の文書クラスに該当する。
【０１１０】
図１６および図１７において、該当するトピックの数が多い場合は塗りつぶした領域が大きくなり、該当するトピックの数が少ない場合は塗りつぶした領域が小さくなる。つまり、これらの図から文書クラス毎に特徴的なトピッククラスを知ることができる。
【０１１１】
[定量的評価]
次に、提案モデル（第１、第２実施形態におけるモデル）の生成モデルとしての定量的評価を行うために、比較例を含めた各モデルにより推定されたパラメータを用いてtest set perplexityを計算し、これらを比較する。
【０１１２】
提案モデルの特徴は、著者毎に新規の文書の生成確率を計算できる点（第１実施形態）、著者全体に対して新規の文書の生成確率を計算できる点（第２実施形態）である。
【０１１３】
例えば、第１実施形態では、著者毎に著者が作成した各文書について、確率Ｐ（ｃｄ＝ｊ｜ｃ＼ｄ，ｚ，γ，δ）を計算する。そうすると、その著者がどの文書クラスに属する文書をどのくらいの割合で生成するか、という生成確率が分かる。さらに、確率Ｐ（ｚｄｉ＝ｔ｜ｊ，ｚ＼ｄｉ，ｗ，β，δ）を計算することにより、その著者が新たに作成する文書がどのようなトピッククラスに属する単語の並びで構成されるのかが分かる。よって、第１実施形態で計算した各確率は、著者毎に新規の文書の生成確率を計算することができるモデルとなっている。
【０１１４】
また、第２実施形態では、前記第１実施形態の場合の計算に加えて、確率Ｐ（ｓａ＝ｈ｜ｓ＼ａ，ｃ，α，γ）を計算する。これにより、ある著者クラスに属する著者がどのような文書クラスの文書を生成する確率が高いのかも評価することができる。これにより、ある著者クラスに属する著者が次に生成する新規の文書の属する文書クラスや、その文書に含まれるトピッククラスの確率が分かるので、著者全体に対する新規の文書の生成確率を計算するモデルを得ることができる。
【０１１５】
そこで、定量的評価は第２実施形態について次のように行う。まず、全文書のうち１０％をランダムに選択し、テスト文書とする。テスト文書を取り除いた残りの９０％の文書は学習文書とする。そして、学習文書を用いて、パラメータを推定する。最後に、これらのパラメータを用いてテスト文書内の単語のperplexityを計算する。perplexityは言語モデル分野で使われる指標であり、この値が低いほど言語モデルとして高性能であることを示す。Test set perplexityであるＰＰＸは次の式（１２）で与えられる。
【０１１６】
【数１４】
2010267017.tif 000016
ここでθｔはモデルにより文書dに与えられるトピッククラスtの選択確率、φｔｖは単語ｖの出現確率、Ｗは単語数、Ｄtextは文書数である。なお、非特許文献１の手法（ＡＴ）、非特許文献２の手法（ＡＰＴ）、および、第２実施形態の手法では、著者毎にトピック選択確率を与えることができるので、そのトピッククラスを用いた場合のTest set perplexityを算出するために、式（１２）を修正して次の式（１３）とした。
【０１１７】
【数１５】
2010267017.tif 000017
ここで、θｔ｜ｊはモデルにより文書dに与えられる文書クラスjのトピッククラスtの選択確率、θｊ｜ａはモデルにより文書dに与えられる著者aの文書クラスjの選択確率である。評価はテスト文書集合を変えて５回行い、そのperplexityの平均を計算した。なお、θｔ｜ｊとθｊ｜ａは、実際には式（８）と式（９）に定義されている推定値の平均値を利用した。表１に結果を示す。第２実施形態は、perplexityが総じて低く、モデルとして高性能であることが分かる。
【０１１８】
【表１】
2010267017.tif 000018
【０１１９】
さらに、第２実施形態では、著者クラスの分布と各著者クラスの文書選択分布を用いて、各文書に対し文書クラスを与えることができるため、その文書クラスを用いた場合のTest set perplexityであるＰＰＸを評価できるよう、式（１２）を修正して次の式（１４）とした。
【０１２０】
【数１６】
2010267017.tif 000019
ここで、θｊ｜ｈはモデルにより文書dに与える著者クラスhの文書クラスjの選択確率である。また、λｈは次の式（１５）のように表すことができる。
【０１２１】
【数１７】
2010267017.tif 000020
なお、ｎｈは、著者クラスｈに属する著者が作成した文書数である。また、αｈはｈ次元の隠れパラメータαを意味する。
【０１２２】
評価はテスト文書集合を変えて５回行い、そのperplexityの平均を用いた。表２に結果を示す。
【表２】
2010267017.tif 000021
【０１２３】
なお、ここで、従来技術では著者クラスを計算できないので、比較を行っていないが、この第２実施形態のperplexityはその数値サイズから考えて低い数値であると思われる。
【０１２４】
また、表３は、全てのトピックの組み合わせについて、それらの単語分布間の距離をKL-Divergenceを用いて計算した結果である。この値が大きければ、単語分布の違いが大きいことを意味するため、トピック間の違いを明確に区別できる。この結果から、第２実施形態の結果は従来技術よりも独立したトピックを抽出する精度が高いことが分かる。
【０１２５】
【表３】
2010267017.tif 000022
【符号の説明】
【０１２６】
１      入力部
２      記憶部
３      初期設定部
４      文書クラス評価部
５      トピッククラス評価部
６      収束判定部
７      出力部
８      著者クラス評価部
１００，１００ａ  演算部
１０００，１０００ａ  文書分類装置
【図１】
2010267017.tif 000023
【図２】
2010267017.tif 000024
【図３】
2010267017.tif 000025
【図４】
2010267017.tif 000026
【図５】
2010267017.tif 000027
【図６】
2010267017.tif 000028
【図７】
2010267017.tif 000029
【図８】
2010267017.tif 000030
【図９】
2010267017.tif 000031
【図１０】
2010267017.tif 000032
【図１１】
2010267017.tif 000033
【図１２】
2010267017.tif 000034
【図１３】
2010267017.tif 000035
【図１４】
2010267017.tif 000036
【図１５】
2010267017.tif 000037
【図１６】
2010267017.tif 000038
【図１７】
2010267017.tif 000039