(57)【特許請求の範囲】
【請求項１】
ＬＤＡ、ＰＬＳＩ、またはコーパスクラスタリングのいずれかにより生成され、複数の話題に対応する複数の単語生起確率テーブルを有する言語モデルを用いて、少なくとも１つの単語からなる入力単語列における話題の混合比を推定するとともに、推定した混合比に応じて、前記入力単語列中の単語毎または前記入力単語列に後続する候補となる単語毎の単語生起確率を算出する文書処理装置であって、
複数の話題に対応する複数の第１単語生起確率テーブルを有する第１言語モデルを用いて、前記入力単語列における話題の第１混合比を推定するとともに、前記第１混合比に応じて前記単語毎の第１単語生起確率を算出する第１単語生起確率算出部と、
複数の話題に対応する複数の第２単語生起確率テーブルを有する第２言語モデルを用いて、前記入力単語列における話題の第２混合比を推定するとともに、前記第２混合比に応じて前記単語毎の第２単語生起確率を算出する第２単語生起確率算出部と、
前記第１単語生起確率と前記第２単語生起確率との平均値または加算値を前記単語毎に算出する統合処理部とを備え、
前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルのそれぞれは、前記単語と前記単語の単語生起確率とを対応付けており、
前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルにおいて、同一の単語に対応付けられた単語生起確率は、異なる値であることを特徴とする文書処理装置。
【請求項２】
前記第１言語モデルと前記第２言語モデルとは、異なる学習文書データを用いて生成されることを特徴とする請求項１に記載の文書処理装置。
【請求項３】
前記第１言語モデルおよび前記第２言語モデルは、任意の初期値を基に反復計算により準最適解に収束させるアルゴリズムを用いて、同一の学習文書データに基づいて生成され、
前記第１言語モデルの生成に用いられる前記アルゴリズムの初期値と、前記第２言語モデルの生成に用いられる前記アルゴリズムの初期値とは、異なる値であることを特徴とする請求項１に記載の文書処理装置。
【請求項４】
前記第１単語生起確率算出部は、前記第１言語モデルを用いて、前記入力単語列全体に対する第１単語列生起確率をさらに算出し、
前記第２単語生起確率算出部は、前記第２言語モデルを用いて、前記入力単語列全体に対する第２単語列生起確率をさらに算出し、
前記統合処理部は、前記第１単語列生起確率に応じて前記第１単語生起確率を重み付けし、前記第２単語列生起確率に応じて前記第２単語生起確率を重み付けすることを特徴とする請求項１〜３のいずれか１項に記載の文書処理装置。
【請求項５】
話題に依存しない話題非依存言語モデルを用いて前記単語毎の単語生起確率を算出する第３単語生起確率算出部と、
前記統合処理部によって算出された前記平均値または前記加算値と、前記第３単語生起確率算出部によって算出された単語生起確率とに応じて所定の文書処理を実行する処理実行部とをさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の文書処理装置。
【請求項６】
前記所定の文書処理は、前記入力単語列に後続する単語を予測する予測入力であり、
前記処理実行部は、
前記第３単語生起確率算出部によって算出された前記単語毎の単語生起確率に応じて前記単語を順位付けしたリストを生成し、
前記統合処理部によって算出された前記平均値または前記加算値に基づいて、前記リストにおける前記単語の順位を変更することを特徴とする請求項５に記載の文書処理装置。
【請求項７】
前記所定の文書処理は、前記入力単語列を構成する単語のうち重要な単語を抽出する重要語抽出であり、
前記処理実行部は、
前記統合処理部によって算出された前記平均値または前記加算値と、前記第３単語生起確率算出部によって算出された単語生起確率とに応じて、前記入力単語列中の前記単語毎の重要度を算出し、
前記重要度に基づいて前記入力単語列から少なくとも１つの単語を抽出することを特徴とする請求項５に記載の文書処理装置。
【請求項８】
請求項１〜７のいずれかに記載の文書処理装置を備え、
前記話題としてカルテに関連した話題を用いることを特徴とする電子カルテ装置。
【請求項９】
ＬＤＡ、ＰＬＳＩ、またはコーパスクラスタリングのいずれかにより生成され、複数の話題に対応する複数の単語生起確率テーブルを有する言語モデルを用いて、少なくとも１つの単語からなる入力単語列における話題の混合比を推定するとともに、推定した混合比に応じて、前記入力単語列中の単語毎または前記入力単語列に後続する候補となる単語毎の単語生起確率を算出するコンピュータに、
複数の話題に対応する複数の第１単語生起確率テーブルを有する第１言語モデルを用いて、前記入力単語列における話題の第１混合比を推定するとともに、前記第１混合比に応じて前記単語毎の第１単語生起確率を算出する手順と、
複数の話題に対応する複数の第２単語生起確率テーブルを有する第２言語モデルを用いて、前記入力単語列における話題の第２混合比を推定するとともに、前記第２混合比に応じて前記単語毎の第２単語生起確率を算出する手順と、
前記第１単語生起確率と前記第２単語生起確率との平均値または加算値を前記単語毎に算出する手順とを実行させ、
前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルのそれぞれは、前記単語と前記単語の単語生起確率とを対応付けており、
前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルにおいて、同一の単語に対応付けられた単語生起確率は、異なる値であることを特徴とする文書処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測入力や重要語抽出などの文書処理に用いられる文書処理装置、当該文書処理装置を備える電子カルテ装置、および文書処理プログラムに関する。
【背景技術】
【０００２】
従来、少なくとも１つの単語からなる入力単語列に後続する単語を予測する予測入力や、入力単語列を構成する単語のうち重要な単語を抽出する重要語抽出などの文章処理に用いられる文書処理装置が普及している。このような文書処理装置では、単語と、当該単語の生起（出現）し易さを表す単語生起確率とを対応付けた単語生起確率テーブルを有する確率モデル（以下、言語モデル）が利用される。
【０００３】
なお、言語モデルは、所定のアルゴリズムに従って、学習文書データを基に生成される。また、単語生起確率として頻度が使用されることもある。そして、文書処理装置は、例えば予測入力の場合には単語生起確率が高い単語を表示し、重要語抽出の場合には単語生起確率から算出された重要度が高い単語を表示する。
【０００４】
さらに、入力単語列の話題を考慮した文書処理装置が提案されている（例えば、非特許文献１および２参照）。具体的には、当該文書処理装置は、複数の話題に対応する複数の単語生起確率テーブルを有する言語モデルを用いて、入力単語列における話題の混合比を推定するとともに、推定した混合比に応じて単語生起確率を単語毎に算出する。
【０００５】
ここで、話題の混合比とは、例えば、入力単語列が０．１の割合で話題１に関連し、０．９の割合で話題２に関連するといった内容の情報である。この場合、話題１に対応する単語生起確率テーブル中の単語生起確率に０．１が乗算され、話題２に対応する単語生起確率テーブル中の単語生起確率に０．９が乗算される。このような方法により、入力単語列の話題を考慮しない場合と比較して、単語生起確率の算出精度を向上させることができる。
【非特許文献１】D.M.Blei他，“Latent Dirichlet Allocation”, Journal of Machine Learning Research, 3,2003, p993-1022
【非特許文献２】T.Hofmann他，“Probabilistic Latent Semantic Indexing”, Proceedings of SIGIR’99, 1999, p50-57
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、入力単語列の話題を考慮する従来の文書処理装置には、次のような問題がある。具体的には、単語生起確率の算出精度を向上させようとして言語モデルを複雑にすると、言語モデルが学習文書データに過適応（オーバーフィッティング）してしまう。つまり、言語モデルを複雑にするほど、学習文書データに対する単語生起確率の算出精度は向上するが、未知の入力単語列に対する単語生起確率の算出精度が低下する問題があった。
【０００７】
また、入力単語列の話題を考慮する従来の文書処理装置では、単語生起確率の算出精度が入力単語列に応じてばらつく問題もある。すなわち、単語生起確率の算出精度が高い場合と低い場合との差が激しく、単語生起確率の算出精度を安定させることが難しい。
【０００８】
そこで、本発明は、上述した課題を解決するためになされたものであり、入力単語列の話題を考慮して単語生起確率を算出する場合において、単語生起確率の算出精度を良好に保つことが可能な文書処理装置、電子カルテ装置および文書処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は以下のような特徴を有している。まず、本発明の第１の特徴は、複数の話題に対応する複数の単語生起確率テーブルを有する言語モデルを用いて、少なくとも１つの単語からなる入力単語列における話題の混合比を推定するとともに、推定した混合比に応じて、前記入力単語列（入力単語列ｈ）中の単語毎または前記入力単語列に後続する候補となる単語毎の単語生起確率を算出する文書処理装置（文書処理装置１００）であって、複数の話題に対応する複数の第１単語生起確率テーブル（単語生起確率テーブルＴ11,Ｔ12,…,Ｔ1C）を有する第１言語モデルを用いて、前記入力単語列における話題の第１混合比（混合比Ｒ１）を推定するとともに、前記第１混合比に応じて前記単語毎の第１単語生起確率（単語生起確率P１(w|h)）を算出する第１単語生起確率算出部（単語生起確率算出部１０１）と、複数の話題に対応する複数の第２単語生起確率テーブル（単語生起確率テーブルＴM1,ＴM2,…,ＴMC）を有する第２言語モデルを用いて、前記入力単語列における話題の第２混合比（混合比ＲＭ）を推定するとともに、前記第２混合比に応じて前記単語毎の第２単語生起確率（単語生起確率PＭ(w|h)）を算出する第２単語生起確率算出部（単語生起確率算出部１０Ｍ）と、前記第１単語生起確率と前記第２単語生起確率との平均値または加算値を前記単語毎に算出する統合処理部（統合処理部２０）とを備え、前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルのそれぞれは、前記単語と前記単語の単語生起確率とを対応付けており、前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルにおいて、同一の単語に対応付けられた単語生起確率は、異なる値であることを要旨とする。
【００１０】
このような文書処理装置によれば、第１単語生起確率テーブルおよび第２単語生起確率テーブルにおいて、同一の単語に対応付けられた単語生起確率は、異なる値である。つまり、第１単語生起確率算出部および第２単語生起確率算出部は、互いに異なる第１言語モデルおよび第２言語モデルを用いて単語生起確率を算出する。
【００１１】
そして、統合処理部は、異なる言語モデルを用いて算出された単語生起確率の平均値または加算値を算出するため、単語生起確率の算出精度のばらつきが平準化される。また、第１言語モデルおよび第２言語モデルのそれぞれを複雑にすることを要しないため、上述した過適応（オーバーフィッティング）が軽減される。
【００１２】
したがって、本発明の第１の特徴に係る文書処理装置によれば、入力単語列の話題を考慮して単語生起確率を算出する場合において、単語生起確率の算出精度を良好に保つことができる。
【００１３】
本発明の第２の特徴は、本発明の第１の特徴に係り、前記第１言語モデルと前記第２言語モデルとは、異なる学習文書データを用いて生成されることを要旨とする。
【００１４】
本発明の第３の特徴は、本発明の第１の特徴に係り、前記第１言語モデルおよび前記第２言語モデルは、任意の初期値を基に反復計算により準最適解に収束させるアルゴリズムを用いて、同一の学習文書データに基づいて生成され、前記第１言語モデルの生成に用いられる前記アルゴリズムの初期値と、前記第２言語モデルの生成に用いられる前記アルゴリズムの初期値とは、異なる値であることを要旨とする。
【００１５】
本発明の第４の特徴は、本発明の第１〜３のいずれかの特徴に係り、前記第１単語生起確率算出部は、前記第１言語モデルを用いて、前記入力単語列全体に対する第１単語列生起確率をさらに算出し、前記第２単語生起確率算出部は、前記第２言語モデルを用いて、前記入力単語列全体に対する第２単語列生起確率をさらに算出し、前記統合処理部は、前記第１単語列生起確率に応じて前記第１単語生起確率を重み付けし、前記第２単語列生起確率に応じて前記第２単語生起確率を重み付けすることを要旨とする。
【００１６】
本発明の第５の特徴は、本発明の第１〜４のいずれかの特徴に係り、話題に依存しない話題非依存言語モデル（話題非依存言語モデル部３１または話題非依存言語モデル部４１）を用いて前記単語毎の単語生起確率を算出する第３単語生起確率算出部（予測候補リスト出力部３２または単語生起確率算出部４２）と、前記統合処理部によって算出された前記平均値または前記加算値と、前記第３単語生起確率算出部によって算出された単語生起確率とに応じて所定の文書処理を実行する処理実行部（予測候補リスト並び替え部３３、または、重要度算出部４３および重要語抽出部４４）とをさらに備えることを要旨とする。
【００１７】
本発明の第６の特徴は、本発明の第５の特徴に係り、前記所定の文書処理は、前記入力単語列に後続する単語を予測する予測入力であり、前記処理実行部は、前記第３単語生起確率算出部によって算出された単語生起確率に応じて前記単語を順位付けしたリストを出力し、前記統合処理部によって算出された前記平均値または前記加算値に基づいて、前記リストにおける前記単語の順位を変更することを要旨とする。
【００１８】
本発明の第７の特徴は、本発明の第５または第６の特徴に係り、前記所定の文書処理は、前記入力単語列を構成する単語のうち重要な単語を抽出する重要語抽出であり、前記処理実行部は、前記統合処理部によって算出された前記平均値または前記加算値と、前記第３単語生起確率算出部によって算出された単語生起確率とに応じて、前記入力単語列中の前記単語毎の重要度を算出し、前記重要度に基づいて前記入力単語列から少なくとも１つの単語を抽出することを要旨とする。
【００１９】
本発明の第８の特徴は、本発明の第１〜７のいずれかの特徴に係る文書処理装置を備え、前記話題としてカルテに関連した話題を用いる電子カルテ装置（電子カルテ装置１００ａ）であることを要旨とする。
【００２０】
本発明の第９の特徴は、複数の話題に対応する複数の単語生起確率テーブルを有する言語モデルを用いて、少なくとも１つの単語からなる入力単語列における話題の混合比を推定するとともに、推定した混合比に応じて、前記入力単語列中の単語毎または前記入力単語列に後続する候補となる単語毎の単語生起確率を算出するコンピュータに、複数の話題に対応する複数の第１単語生起確率テーブルを有する第１言語モデルを用いて、前記入力単語列における話題の第１混合比を推定するとともに、前記第１混合比に応じて前記単語毎の第１単語生起確率を算出する手順と、複数の話題に対応する複数の第２単語生起確率テーブルを有する第２言語モデルを用いて、前記入力単語列における話題の第２混合比を推定するとともに、前記第２混合比に応じて前記単語毎の第２単語生起確率を算出する手順と、前記第１単語生起確率と前記第２単語生起確率との平均値または加算値を前記単語毎に算出する手順とを実行させ、前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルのそれぞれは、前記単語と前記単語の単語生起確率とを対応付けており、前記第１単語生起確率テーブルおよび前記第２単語生起確率テーブルにおいて、同一の単語に対応付けられた単語生起確率は、異なる値であることを要旨とする。
【発明の効果】
【００２１】
本発明によれば、入力単語列の話題を考慮して単語生起確率を算出する場合において、単語生起確率の算出精度を良好に保つことが可能な文書処理装置、電子カルテ装置および文書処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２２】
次に、図面を参照して、本発明の実施形態に係る文章処理装置を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００２３】
［第１実施形態］
第１実施形態では、（１）文書処理装置の構成、（２）単語生起確率テーブルの構成、（３）言語モデルの生成処理、（４）話題混合比の推定処理、（５）文書処理装置の動作および（６）作用・効果について説明する。
【００２４】
（１）文書処理装置の構成
第１実施形態に係る文書処理装置の構成、具体的には、（１．１）文書処理装置の概略ハードウェア構成、（１．２）文書処理装置の機能ブロック構成について説明する。
【００２５】
（１．１）文書処理装置の概略ハードウェア構成
図１は、文書処理装置１００の概略ハードウェア構成図である。図１に示すように、文書処理装置１００は、入力部１１０、表示部１２０、処理部１３０および記憶部１４０を含むコンピュータである。
【００２６】
入力部１１０には、文書データが入力される。入力部１１０としては、例えばキーボード、マウスまたは文字読取装置等が使用できる。表示部１２０は、文書データを表示するディスプレイである。
【００２７】
処理部１３０は、ＣＰＵなどによって構成され、文書データを処理する。記憶部１４０は、メモリや補助記憶装置によって構成される。記憶部１４０は、処理部１３０によって実行されるプログラムを記憶するとともに、記憶部１４０におけるプログラム実行処理中に利用されるデータ等を一時的に記憶する。処理部１３０には、入力部１１０または記憶部１４０から文書データが入力される。
【００２８】
（１．２）文書処理装置の機能ブロック構成
図２は、文書処理装置１００の機能ブロック構成、具体的には処理部１３０によって実行される各機能の機能ブロック構成図である。
【００２９】
図２に示すように、文書処理装置１００は、Ｍ個（Ｍ≧２）の単語生起確率算出部１０1,１０2,…,１０Mと、統合処理部２０とを含む。
【００３０】
単語生起確率算出部１０1,１０2,…,１０Mは、入力単語列ｈにおける話題の混合比Ｒi=(rik)を推定するとともに(1≦i≦M, 1≦k≦C)、推定した混合比Ｒiに応じて、入力単語列ｈ中の単語毎または入力単語列ｈに後続する候補となる単語毎の単語生起確率Pi(w|h)を算出する(1≦i≦M)。ここで、記号P(A|B)は、Ｂの条件下でＡが生起する確率Ｐを表している。
【００３１】
入力単語列ｈは、Ｌ個（Ｌ≧１）の単語w1,w2,…,wLからなり、入力部１１０または記憶部１４０から入力される文書データである。ただし、入力部１１０または記憶部１４０から入力される文書データが単語単位に分割されていない場合には、図示を省略する分割部において単語単位への分割処理（形態素解析）が行われる。
【００３２】
単語生起確率算出部１０１は、言語モデル部Q１および算出部１２１を含む。なお、以下では、言語モデル部を単に言語モデルまたはモデルと適宜称する。言語モデル部Q１は、ＬＤＡ(Latent Dirichlet Allocation)、ＰＬＳＩ(Probabilistic Latent Semantic Indexing)、またはコーパスクラスタリング等の既存の言語モデルに従って構成される。
【００３３】
言語モデル部Q１は、Ｃ個（Ｃ≧２）の話題に対応する単語生起確率テーブルＴ11,Ｔ12,…,Ｔ1Cを含む。単語生起確率テーブルＴ11,Ｔ12,…,Ｔ1Cは、記憶部１４０に予め記憶されており、複数の話題それぞれについて単語と単語の単語生起確率とを対応付けている。
【００３４】
言語モデル部Q１は、単語生起確率テーブルＴ11,Ｔ12,…,Ｔ1Cを用いて、入力単語列ｈにおける話題混合比Ｒ１を推定する。話題混合比の推定処理の詳細については後述する。算出部１２１は、言語モデル部Q１によって推定された話題混合比Ｒ１に応じて、単語毎の単語生起確率P１(w|h)を算出する。
【００３５】
同様に、単語生起確率算出部１０Ｍは、言語モデル部QＭおよび算出部１２Ｍを含む。言語モデル部QＭは、既存の言語モデルに従って構成されており、Ｃ個（Ｃ≧２）の話題に対応する単語生起確率テーブルＴM1,ＴM2,…,ＴMCを含む。単語生起確率テーブルＴM1,ＴM2,…,ＴMCは、記憶部１４０に予め記憶されている。なお、言語モデル部Q１に含まれる話題の数（単語生起確率テーブルの数）と、言語モデル部QＭに含まれる話題の数（単語生起確率テーブルの数）とは、異なっていてもよい。
【００３６】
言語モデル部QＭは、単語生起確率テーブルＴM1,ＴM2,…,ＴMCを用いて、入力単語列ｈにおける話題混合比ＲＭを推定する。算出部１２Ｍは、言語モデル部QＭによって推定された話題混合比ＲＭに応じて、単語毎の単語生起確率PＭ(w|h)を算出する。
【００３７】
統合処理部２０は、単語生起確率算出部１０1,１０2,…,１０Mによって算出された単語生起確率Pｉ(w|h)を単語毎に平均し、平均値を最終的な単語生起確率P(w|h)として出力する。統合処理部２０が出力する単語毎の単語生起確率P(w|hは、後述する予測入力や重要語抽出などに用いられる。
【００３８】
このように、文書処理装置１００においては、Ｃ個の話題に対応する単語生起確率テーブルを有するＭ個の言語モデルQ1,Q2,…,QMが用いられる。言語モデル部Q1,Q2,…,QMのそれぞれは、学習文書データに基づいて生成される。
【００３９】
具体的には、言語モデルQ1,Q2,…,QMのそれぞれは、C個の潜在的な（=latent; 観測できない）話題Z=(z1, z2,…,zC)が存在し、かつ、各学習文書D=(d1, d2,…,dN)が各話題へ確率的に（非排他的に）所属するとの仮定の元で、話題毎の単語生起確率P(wj | zk)を推定する（1≦j≦V; V=語彙数, 1≦k≦C）ことにより生成される。言語モデルQ1,Q2,…,QMの具体的な生成例については後述する。
【００４０】
（２）単語生起確率テーブルの構成
図３は、単語生起確率テーブルの構成例を示すテーブル構成図である。
【００４１】
図３（ａ）に示すように、単語生起確率テーブルＴ１１は、特定の話題に対応しており、Ｖ個（Ｖ≧２）の単語と、当該単語の単語生起確率とを対応付けるテーブルである。単語生起確率テーブルＴ１Ｃは、特定の話題に対応しており、Ｖ個（Ｖ≧２）の単語と、当該単語の単語生起確率とを対応付けるテーブルである。なお、単語生起確率テーブルＴ１１に含まれる単語の数（語彙数）と、単語生起確率テーブルＴ１Ｃに含まれる単語の数（語彙数）とは異なっていてもよい。
【００４２】
図３（ｂ）に示すように、単語生起確率テーブルＴＭ１は、特定の話題に対応しており、Ｖ個（Ｖ≧２）の単語と、当該単語の単語生起確率とを対応付けるテーブルである。単語生起確率テーブルＴＭＣは、特定の話題に対応しており、Ｖ個（Ｖ≧２）の単語と、当該単語の単語生起確率とを対応付けるテーブルである。
【００４３】
ここで、単語生起確率テーブルＴ１１〜Ｔ１Ｃと、単語生起確率テーブルＴＭ１〜ＴＭＣとににおいて、同一の単語に対応する単語生起確率は、異なる値となっている。つまり、各言語モデルにおいて、同一の単語に対応する単語生起確率は異なる値である。
【００４４】
（３）言語モデルの生成処理
次に、言語モデルQ1,Q2,…,QMを生成する具体的手法について説明する。
【００４５】
言語モデルを生成する具体的手法は、言語モデルの種別（ＬＤＡ、ＰＬＳＩ、またはコーパスクラスタリングなど）によって異なる。しかしながら、ＬＤＡ、ＰＬＳＩ、またはコーパスクラスタリングなどのいずれにおいても、適当な初期値から出発して反復計算により準最適解に収束させるアルゴリズム（最適化アルゴリズム）が用いられる。このため、最適化アルゴリズムに異なる初期値を与えることによって、同一の学習文書セット（学習文書データ）からＭ個の異なった学習結果を得ることができる。
【００４６】
あるいは、言語モデル毎に異なる学習文書セットを用いてＭ個の言語モデルを生成してもよい。例えば、Ｎ個の文書からなる学習文書セットD=(d1, d2,…,dN)からNB個(NB≦N)の文書を復元抽出（＝重複を許して抽出）する作業をＭ回行うことにより、ＮB個の文書からなる異なるサブセット{ DB1, DB2,…, DBM}をM個生成する。これらを学習文書セットとして学習をＭ回行い、Ｍ個の言語モデルを得ることができる。
【００４７】
以下では、ＬＤＡ、ＰＬＳＩ、コーパスクラスタリングを例に、言語モデルの生成処理について説明する。
【００４８】
（３．１）ＬＤＡ
ＬＤＡでは、各話題zk（1≦k≦C）の生起確率Θ=(θ1,θ2,…,θC)を、M次元のディリクレ分布Dir(Θ|α)に従う確率変数と見なし、パラメータα=(α1,α2,…,αC)およびβkj= P(wj | zk)を以下のアルゴリズムにより学習する。
【００４９】
1. αk, βkjに適当な初期値を与える（1≦j≦V, 1≦k≦C）。
【００５０】
2. 以下のE-step, M-stepを収束するまで交互に繰り返す。
【００５１】
E-step: 各文書di毎に変分パラメータφ,γを算出する。
【００５２】
収束するまで以下の式（１）および式（２）を交互に繰り返す（変分ベイズ法）。
【数１】
0005175585.tif 000002
【００５３】
ここで、Ψ()は、digamma関数（対数Γ関数の一階微分）である。また、n(di,wj)は文章diにおける語wjの出現回数を表す。
【００５４】
M-step: 変分パラメータφ,γを用いてαｋ，βｋｊを更新する。
【数２】
0005175585.tif 000003
【００５５】
（３．２）ＰＬＳＩ
ＰＬＳＩでは、各学習文書diがC個の話題zk（1≦k≦C）へ所属確率P(zk|di)で確率的に所属すると考え、以下のアルゴリズムによりパラメータP(wj|zk), P(zk|di)を学習する。
【００５６】
1. P(wj|zk), P(zk|di)に適当な初期値を与える（1≦j≦V, 1≦i≦N, 1≦k≦C）。
【００５７】
2. 以下のE-step, M-stepを収束するまで交互に繰り返す。
【００５８】
E-step:
【数３】
0005175585.tif 000004
【００５９】
M-step:
【数４】
0005175585.tif 000005
【００６０】
（３．３）非排他的コーパスクラスタリング
非排他的コーパスクラスタリングでは、各学習文書diをdi中に出現する各単語の出現回数を要素とするV次元のベクトル（文書ベクトル）として表現し、これらをC個の話題zkにクラスタリングする。クラスタリング手法としては、一般的なk-means法の他、これを非排他的に拡張したファジィc-means法などを用いることができる。k-means法、ファジィc-means法はそれぞれ、適当な初期値から出発して以下の目的関数Jを最大化するように反復計算を行い収束解を得る。
【００６１】
k-means法：
【数５】
0005175585.tif 000006
【００６２】
ファジィc-means法： 
【数６】
0005175585.tif 000007
【００６３】
k-means法では各文書がC個の潜在話題の内１個のみに排他的に所属する結果が得られる。一方、ファジィc-means法では各文書diが各話題zkに確率uki=P(zk |di)で非排他的に所属する結果が得られる。
【００６４】
得られたクラスタリング結果から、次式により話題毎の単語生起確率P(w|zk)を得る。
【数７】
0005175585.tif 000008
【００６５】
（４）話題混合比の推定処理
次に、言語モデル部Q1,Q2,…,QMによって実行される話題混合比の推定処理について説明する。
【００６６】
話題混合比の推定処理は、言語モデルの種別（ＬＤＡ、ＰＬＳＩ、またはコーパスクラスタリング）によって異なる。以下では、言語モデルの生成処理を、ＬＤＡ、ＰＬＳＩ、非排他的コーパスクラスタリングについて説明する。
【００６７】
（４．１）ＬＤＡ
ＬＤＡでは、入力単語列ｈを入力文書dと見なして、学習時のE-step部分を実行し変分パラメータφ,γを算出する。得られたγkを和が１になるよう正規化した値rk=γk／Σγkを話題混合比とする。
【００６８】
（４．２）ＰＬＳＩ
ＰＬＳＩでは、入力単語列ｈを入力文書dと見なし、P(wj|zk)を固定して学習時と同様の計算を行いP(zk|h)を求める。すなわち以下の式を収束するまで繰り返す。得られたP(zk|h)が話題混合比rkとなる。
【数８】
0005175585.tif 000009
【００６９】
（４．３）非排他的コーパスクラスタリング
非排他的コーパスクラスタリングでは、入力単語列ｈを入力文書dと見なして、学習時と同様にh中に出現する各単語の出現回数を要素とするＶ次元の文書ベクトルdhを生成する。そして学習時に得られた各話題（クラスタ）の重心vkとの類似度を求め、これを文脈hの元での話題混合比rkとする。dhとvkとの類似度としては、一般的なベクトル間のコサイン類似度dh・vk／|dh||vk|を用いることができる。
【００７０】
（５）文書処理装置の動作
図４は、文書処理装置１００の動作を示すフローチャートである。
【００７１】
ステップＳ１０１において、言語モデル部Q1,Q2,…,QMは、話題混合比Ｒi(ri1, ri2,…,riC)を推定する。具体的には、ＬＤＡでは変分ベイス法、ＰＬＳＩではEMアルゴリズムによる反復計算で話題混合比Ｒiを求める。コーパスクラスタリングでは入力単語列ｈと各話題とのコサイン類似度等により話題混合比Ｒiを求める。
【００７２】
ステップＳ１０２において、算出部１２1,１２2,…,１２Mは、言語モデル部Q1,Q2,…,QMが推定した話題混合比rik(1≦i≦M, 1≦k≦C)から、入力単語列ｈの元での各言語モデルQiによる単語生起確率Pi(w|h)を求める。単語生起確率Pi(w|h)は、単語生起確率算出部１０1,１０2,…,１０Mのそれぞれで異なる値になる。
【数９】
0005175585.tif 000010
【００７３】
ここで、ｚｉｋは、言語モデルQｉにおけるｋ番目の話題である。
【００７４】
ステップＳ１０３において、統合処理部２０は、各言語モデルについて求められたPi(w|h)を平均し、最終的な単語生起確率P(w|h)とする。
【数１０】
0005175585.tif 000011
【００７５】
（６）作用・効果
文書処理装置１００によれば、各言語モデルにおいて、同一の単語に対応付けられた単語生起確率は、異なる値である。すなわち、互いに異なる言語モデルを用いて単語生起確率Pi(w|h)が算出される。
【００７６】
そして、統合処理部２０は、異なる言語モデルを用いて算出された単語生起確率Pi(w|h)の平均値を平均するため、単語生起確率Pi(w|h)の算出精度のばらつきが平準化される。また、言語モデル部Q1,Q2,…,QMのそれぞれを複雑にすることを要しないため、上述した過適応（オーバーフィッティング）も軽減される。
【００７７】
したがって、文書処理装置１００によれば、入力単語列ｈの話題を考慮して単語生起確率を算出する場合でも、単語生起確率の算出精度を良好に保つことができる。
【００７８】
ここで、ある文書集合(新聞記事半年分)を学習文書データとしてＬＤＡ言語モデルを構築し、当該学習文書データとは異なる文書集合を評価文書データとして、文書処理装置１００の評価を行った結果の例を図５に示す。
【００７９】
図５において、横軸は、システム全体のモデル規模、すなわち各言語モデルの話題数C×モデル数Mを表している。縦軸は、テストセットパープレキシティ(TPP)を表している。TPPは、言語モデルの性能を評価する際に一般的に用いられる指標であり、言語モデルで評価文書データ中の各単語を予測する際の平均分岐数を表す。TPPが大きいほど単語候補を絞り込むのが難しく、小さいほど候補を絞り込めることを意味する。なお、評価文書D=(w1w2...wND)に対するモデルMＬのTPPは次式で与えられる．
【数１１】
0005175585.tif 000012
【００８０】
H(D|ML)はDに対する1単語あたりのエントロピーであり、
【数１２】
0005175585.tif 000013
【００８１】
である。PML()はモデルMＬによって求めた生起確率を表す。
【００８２】
図５に示すように、単一の言語モデル（従来手法）ではモデル規模（話題数）を大きくしていくとある時点から精度が悪化するのに対し、本実施形態の方法では、システム全体のモデル規模（各モデルの話題数×モデル数）を大きくしても性能が低下しない。したがって、従来手法では到達不可能な推定精度を実現でき、また同程度のモデル規模で従来よりも高い精度が得られる。
【００８３】
また、第１実施形態では、言語モデルQ1,Q2,…,QMのそれぞれは、異なる学習文書データを用いて生成される。このため、個々の言語モデルによる話題混合比の推定結果の幅が広がり、未知の入力単語列ｈに対する単語生起確率の算出精度をさらに改善できる。
【００８４】
あるいは、言語モデルQ1,Q2,…,QMのそれぞれは、任意の初期値を基に反復計算により準最適解に収束させるアルゴリズムを用いて、同一の学習文書データに基づいて生成され、各言語モデルQ1,Q2,…,QMの生成に用いられるアルゴリズムの初期値を異なる値としてもよい。この場合、異なる学習文書データを用いて言語モデル部Q1,Q2,…,QMを生成する場合よりも容易に言語モデルを構築することができる。
【００８５】
［第１実施形態の変形例］
上述した第１実施形態では、統合処理部２０は、各モデルについて求めた単語生起確率Pi(w|h)から最終的な単語生起確率P(w|h)を算出する際、単語生起確率Pi(w|h)を単に平均していた。
【００８６】
しかしながら、統合処理部２０は、各言語モデルQ1,Q2,…,QMにおける入力単語列ｈの生起確率P(h|Qi)を用いて次式のように重み付け平均してもよい。
【数１３】
0005175585.tif 000014
【００８７】
各言語モデルQ1,Q2,…,QMにおける入力単語列ｈの生起確率P(h|Qi)は、推定した話題混合比rik(1≦k≦C)を用いて以下のように求めることができる。
【数１４】
0005175585.tif 000015
【００８８】
このような重み付けにより、単語生起確率Pi(w|h)を平均する際に、精度が高いとみなされる単語生起確率Pi(w|h)の重みを大きくすることができ、最終的な単語生起確率P(w|h)をさらに精度良く算出することができる。
【００８９】
［第２実施形態］
第２実施形態では、予測入力に用いられる文書処理装置１００について説明する。具体的には、（１）文書処理装置の機能ブロック構成、（２）リスト並び替え処理、（３）文書処理装置の動作、（４）作用・効果について説明する。第２実施形態において、第１実施形態と重複する説明は省略する。
【００９０】
（１）文書処理装置の機能ブロック構成
図６は、第２実施形態に係る文書処理装置１００の機能ブロック構成図である。
【００９１】
第２実施形態に係る文書処理装置１００は、話題非依存言語モデル部３１、予測候補リスト出力部３２および予測候補リスト並び替え部３３を備える点で第１実施形態とは異なる。話題非依存言語モデル部３１は、話題に依存しない既存の言語モデルに従って構成される。すなわち、話題非依存言語モデル部３１は、話題非依存の単語生起確率テーブル（不図示）を有する。
【００９２】
予測候補リスト出力部３２は、話題非依存言語モデル部３１を用いて、入力単語列h=(w1,w2,…,wL)に後続する単語を予測し、候補単語(c1,c2,…,cK)とその生起確率(P(c1),P(c2),…,P(cK))からなる話題非依存の予測候補リストＣ１を出力する。予測候補リスト並び替え部３３は、予測候補リストＣ１の候補単語の順位を並び替えて出力する。
【００９３】
（２）リスト並び替え処理
予測候補リスト並び替え部３３は、以下のパターン１または２のいずれかを用いて、予測候補リストＣ１の候補単語の順位を並び替える。
【００９４】
（２．１）パターン１
単語生起確率算出部１０1,１０2,…,１０Mは、予測候補リストＣ１に含まれる各単語(c1,c2,…,cK)に対して、各言語モデルQ1, Q2,…,QMを用いて入力単語列hから話題混合比Ｒiを推定し、推定した話題混合比Ｒiから入力単語列hの元での各言語モデルQiによる単語生起確率Pi(ck |h)を求める(1≦i≦M, 1≦k≦K)。さらにPi(ck |h)を平均しP(ck |h)を得る。
【００９５】
予測候補リスト並び替え部３３は、P(ck |h)に基づいてＣ１中の単語の順位を更新し、話題を考慮した予測候補リストＣ２として出力する。
【００９６】
（２．２）パターン２
パターン２は、話題非依存言語モデルとしてN-グラムモデル(N≧2)を用いる場合（通常、N=2 or 3）に適用される。この場合、予測候補リストＣ１は、直前の(N-1)単語列(wＬ-N+2…wL)に後続する候補単語(c1,c2,…,cK)とそのN-グラム確率P(ck | wＬ-N+2…wL)からなる。(1≦k≦K) この場合、予測候補リスト並び替え部３３は、次式により話題を考慮したN-グラム確率を求めて候補を並べ替え、候補リストＣ２を出力する。
【数１５】
0005175585.tif 000016
【００９７】
（３）文書処理装置の動作
図７は、第２実施形態に係る文書処理装置１００の動作を示すフローチャートである。
【００９８】
ステップＳ２０１において、予測候補リスト出力部３２は、話題非依存言語モデル部３１を用いて、予測候補リストＣ１を生成する。
【００９９】
ステップＳ２０２において、単語生起確率算出部１０1,１０2,…,１０Mは、予測候補リストＣ１に含まれる各単語(c1,c2,…,cK)に対して、各言語モデルQ1, Q2,…,QMを用いて入力単語列hから話題混合比Ｒiを推定する。
【０１００】
ステップＳ２０３において、単語生起確率算出部１０1,１０2,…,１０Mは、ステップＳ２０２で推定した話題混合比Ｒiから、入力単語列hの元での各言語モデルQiによる単語生起確率Pi(ck |h)を求める。
【０１０１】
ステップＳ２０４において、予測候補リスト並び替え部３３は、ステップＳ２０３で得られた単語生起確率Pi(ck |h)に応じて、予測候補リストＣ１中の単語の順位を更新し、話題を考慮した予測候補リストＣ２として出力する。予測候補リストＣ２は、表示部１２０によって表示される。
【０１０２】
（４）作用・効果
第２実施形態によれば、従来よりも予測入力における予測精度が向上し、入力効率を改善できる。また、話題非依存言語モデルを併用することによって、単語生起確率算出部１０1,１０2,…,１０Mの処理負荷および処理時間を低減することができる。
【０１０３】
［第３実施形態］
第３実施形態では、重要語抽出に用いられる文書処理装置１００について説明する。具体的には、（１）文書処理装置の機能ブロック構成、（２）文書処理装置の動作、（３）作用・効果について説明する。第３実施形態において、第１実施形態と重複する説明は省略する。
【０１０４】
（１）文書処理装置の機能ブロック構成
図８は、第３実施形態に係る文書処理装置１００の機能ブロック構成図である。
【０１０５】
第３実施形態に係る文書処理装置１００は、話題非依存言語モデル部４１、単語生起確率算出部４２、重要度算出部４３および重要語抽出部４４を備える点で第１実施形態とは異なる。
【０１０６】
話題非依存言語モデル部４１は、話題に依存しない既存の話題非依存言語モデルに従って構成される。すなわち、話題非依存言語モデル部４１は、話題非依存の単語生起確率テーブル（不図示）を有する。
【０１０７】
単語生起確率算出部４２は、重要語抽出処理の対象範囲全体を入力単語列h=(w1,w2,…,wL)とし、話題非依存言語モデルに基づき入力単語列h中の各単語の生起確率P(wj)を得る。この処理に先立ち、入力を単語単位に分割するいわゆる形態素解析処理を行う必要がある。
【０１０８】
単語生起確率算出部１０1,１０2,…,１０Mは、入力単語列h=(w1,w2,…,wL)中の各単語に対し、各言語モデルQ1, Q2,…,QMにより話題混合比Ｒiを推定し、入力単語列hの元での各言語モデルQiによる単語生起確率Pi(wｊ |h)を求める(1≦i≦M, 1≦j≦L)。さらにPi(wj |h)を平均することにより、話題を考慮した単語生起確率P(wj |h)を得る。
【０１０９】
重要度算出部４３は、話題非依存の生起確率P(wj)と、話題を考慮した単語生起確率P(wj |h)とから、各単語の重要度Im(wj)を次式により算出する。
【０１１０】
Im(wj) = P(wj |h) / P(wj)      (17)
または
Im(wj) = n(h, wj) × P(wj |h) / P(wj)      (18)
ここで、n(h, wj)はhにおけるwjの出現回数である。
【０１１１】
重要語抽出部４４は、入力単語列hの中で、重要度が所定のしきい値以上の単語を重要語として抽出する。抽出率が所定の割合になるように都度、しきい値を決めてもよい。重要語抽出部４４が抽出した重要語は、表示部１２０によって重要箇所として表示・出力される。
【０１１２】
（２）文書処理装置の動作
図９は、第３実施形態に係る文書処理装置１００の動作を示すフローチャートである。
【０１１３】
ステップＳ３０１において、単語生起確率算出部４２は、話題非依存言語モデルに基づき、入力単語列h中の各単語の生起確率P(wj)を得る。
【０１１４】
ステップＳ３０２において、単語生起確率算出部１０1,１０2,…,１０Mは、話題を考慮した単語生起確率P(wj |h)を得る。
【０１１５】
ステップＳ３０３において、重要度算出部４３は、話題非依存の生起確率P(wj)と、話題を考慮した単語生起確率P(wj |h)とから、各単語の重要度Im(wj)を算出する。
【０１１６】
ステップＳ３０４において、重要語抽出部４４は、入力単語列hの中で、重要度が所定のしきい値以上の単語を重要語として抽出する。重要語抽出部４４が抽出した重要語は、表示部１２０によって重要箇所として表示・出力される。
【０１１７】
（３）作用・効果
第３実施形態によれば、精度よく重要語を抽出できるため、要約作成などの効率を向上できる。
【０１１８】
［第４実施形態］
第４実施形態では、第２実施形態に係る文書処理装置１００を、病院等の医療機関において用いられる電子カルテ装置に適用した形態について説明する。
【０１１９】
図１０は、第４実施形態に係る電子カルテ装置１００ａの概略構成図である。
【０１２０】
図１０に示すように、電子カルテ装置１００ａは、処理部１３０および記憶部１４０が配置されるコンピュータ本体１６０と、入力部１１０と、表示部１２０とを含む。ここで、記憶部１４０には、オペレーティングシステムや、コンピュータを電子カルテ装置として動作させるためのアプリケーションソフトウェア、カルテ文書などが記憶されている。アプリケーションソフトウェアには、入力単語列から話題に基づいて予測入力を行うプログラムが含まれている。表示部１２０は、カルテ文書を表示する。
【０１２１】
病院等の医療機関において電子カルテ等が導入されてきたため、医者や看護士による文書作成の機会が増加してきている。第４実施形態によれば、キーボード操作に熟練していない人でも、少ないキータッチで情報を正確に入力でき、文書入力に関わる負担を軽減することができる。
【０１２２】
なお、文書処理装置１００を電子カルテ装置１００ａに適用した場合には、学習文書データとしてカルテ文書が使用される。また、話題としては、例えば、心疾患、消化器疾患、呼吸器疾患等の疾患群の種別が使用される。なお、電子カルテ装置１００ａに対する予測入力の具体的な適用例については、特開２００７−３４８７１号公報を参照されたい。
【０１２３】
［その他の実施形態］
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
【０１２４】
上述した実施形態では、統合処理部２０は、単語生起確率Pｉ(w|h)を平均して平均値を最終的な単語生起確率P(w|h)としていたが、平均値に代えて加算値を用いてもよい。
【０１２５】
また、単語生起確率算出部１０1は、単語毎の単語生起確率P1(w|h)を出力していたが、単語生起確率テーブルＴ11,Ｔ12,…,Ｔ1C中の全単語について単語生起確率P1(w|h)を算出せずに、一部の単語（例えば、上位のみ）について単語生起確率P1(w|h)を出力してもよい。
【０１２６】
第４実施形態では、第２実施形態に係る文書処理装置１００を電子カルテ装置に適用した形態について説明したが、第３実施形態に係る文書処理装置１００を電子カルテ装置に適用可能であることは勿論である。
【０１２７】
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【図面の簡単な説明】
【０１２８】
【図１】本発明の第１実施形態に係る文書処理装置の概略ハードウェア構成図である。
【図２】本発明の第１実施形態に係る文書処理装置の機能ブロック構成図である。
【図３】本発明の第１実施形態に係る単語生起確率テーブルの構成例を示すテーブル構成図である。
【図４】本発明の第１実施形態に係る文書処理装置の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係る文書処理装置による効果を説明するための図である。
【図６】本発明の第２実施形態に係る文書処理装置の機能ブロック構成図である。
【図７】本発明の第２実施形態に係る文書処理装置の動作を示すフローチャートである。
【図８】本発明の第３実施形態に係る文書処理装置の機能ブロック構成図である。
【図９】本発明の第３実施形態に係る文書処理装置の動作を示すフローチャートである。
【図１０】本発明の第４実施形態に係る電子カルテ装置の概略構成図である。
【符号の説明】
【０１２９】
１０1,１０2,…,１０M…単語生起確率算出部、１２1,１２2,…,１２M…算出部、２０…統合処理部、３１…話題非依存言語モデル部、３２…予測候補リスト出力部、３３…予測候補リスト並び替え部、４１…話題非依存言語モデル部、４２…単語生起確率算出部、４３…重要度算出部、４４…重要語抽出部、１００…文書処理装置、１００ａ…電子カルテ装置、１０１…単語生起確率算出部、１１０…入力部、１２０…表示部、１３０…処理部、１４０…記憶部、１６０…コンピュータ本体
【図１】
0005175585.tif 000017
【図２】
0005175585.tif 000018
【図３】
0005175585.tif 000019
【図４】
0005175585.tif 000020
【図５】
0005175585.tif 000021
【図６】
0005175585.tif 000022
【図７】
0005175585.tif 000023
【図８】
0005175585.tif 000024
【図９】
0005175585.tif 000025
【図１０】
0005175585.tif 000026