(57)【特許請求の範囲】
【請求項１】
複数のテキストデータクラスタと、言語モデルの評価に用いるデータである評価用データと、言語モデルの評価に用いる音響モデルである評価用音響モデルとを記憶する記憶手段と、
上記各テキストデータクラスタから、各テキストデータクラスタに対応した言語モデル（以下、「クラスタ言語モデル」という。）をそれぞれ作成するクラスタ言語モデル作成手段と、
全てのクラスタ言語モデルから一部のクラスタ言語モデルを除いた残りのクラスタ言語モデルの組み合わせから言語モデル（以下、「部分選択合成クラスタ言語モデル」という。）をそれぞれ合成するモデル合成手段と、
上記各部分選択合成クラスタ言語モデルを、上記評価用データおよび上記評価用音響モデルを用いて評価して、各部分選択合成クラスタ言語モデルの評価結果を出力するモデル評価手段と、
上記各評価結果のうち低い評価結果を与えた部分選択合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択し、選択されたクラスタ言語モデルが一つの場合に当該クラスタ言語モデルを作成された言語モデルとして出力する選択手段と、
上記選択されたクラスタ言語モデルが複数である場合に、これらから１つの言語モデルを合成して出力するモデル統合手段と
を備えた言語モデル作成装置。
【請求項２】
上記記憶手段は、閾値も記憶しており、
上記選択手段が選択基準とする低い評価結果とは、上記閾値以下あるいは上記閾値よりも小である評価結果である
ことを特徴とする請求項１に記載の言語モデル作成装置。
【請求項３】
入力されたテキストデータを分類基準に従って複数のテキストデータクラスタに分割して出力するデータ分類手段を備え、
上記記憶手段に記憶される各テキストデータクラスタは、上記データ分類手段によって出力されたものである
ことを特徴とする請求項１または請求項２に記載の言語モデル作成装置。
【請求項４】
言語モデル作成装置の記憶手段には、複数のテキストデータクラスタと、言語モデルの評価に用いるデータである評価用データと、言語モデルの評価に用いる音響モデルである評価用音響モデルとが記憶されており、
言語モデル作成装置のクラスタ言語モデル作成手段が、上記各テキストデータクラスタから、各テキストデータクラスタに対応した言語モデル（以下、「クラスタ言語モデル」という。）をそれぞれ作成するクラスタ言語モデル作成ステップと、
言語モデル作成装置のモデル合成手段が、全てのクラスタ言語モデルから一部のクラスタ言語モデルを除いた残りのクラスタ言語モデルの組み合わせから合成クラスタ言語モデル（以下、「部分選択合成クラスタ言語モデル」という。）をそれぞれ合成するモデル合成ステップと、
言語モデル作成装置のモデル評価手段が、上記各部分選択合成クラスタ言語モデルを、上記評価用データおよび上記評価用音響モデルを用いて評価して、各部分選択合成クラスタ言語モデルの評価結果を出力するモデル評価ステップと、
言語モデル作成装置の選択手段が、上記各評価結果のうち低い評価結果を与えた部分選択合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択し、選択されたクラスタ言語モデルが一つの場合に当該クラスタ言語モデルを作成された言語モデルとして出力する選択ステップと、
言語モデル作成装置のモデル統合手段が、上記選択されたクラスタ言語モデルが複数である場合に、これらから１つの言語モデルを合成して出力するモデル統合ステップと
を有する言語モデル作成方法。
【請求項５】
請求項１から請求項３に記載された言語モデル作成装置としてコンピュータを機能させるための言語モデル作成プログラム。
【請求項６】
請求項５に記載の言語モデル作成プログラムを記録した、コンピュータに読み取り可能な記録媒体。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語モデルを合目的的に作成する技術に関する。
【背景技術】
【０００２】
例えば音声認識や統計的機械翻訳などでは、認識性能を向上させるための言語的な制約として言語モデルが用いられる。そして、音声認識などの使用用途（タスク）が限定されている場合、一般に、その用途に特化して構築された言語モデルを用いることで認識精度を高めることができるとされている。
【０００３】
近年盛んに使用されている言語モデルである統計的言語モデルＮ−ｇｒａｍは、性能の高いモデルを構築するために大量のデータを学習する必要がある。使用用途を限定した場合、その用途に関するテキストデータを大量に収集するのは一般に困難である。この問題を解決するべく、用途外のテキストも含めた大量のテキストデータで学習した言語モデルから、目的のテキストを用いてモデルを適応する言語モデルの適応方法が提案されている。
【０００４】
非特許文献１では、複数のテキストデータベースを準備し、それぞれで構築した言語モデルに対して特定の用途のテキストを用いて最適な重みを見つけ、各言語モデルをその重みで加算することによって、言語モデルを適応する方法が開示されている。
また、非特許文献２では、重みではなく、最大事後確率推定によって、複数のテキストデータベースのそれぞれで構築した言語モデルから特定の用途へ言語モデルを適応する方法が開示されている。
【非特許文献１】P. R. Clarkson and A. J. Robinson, "Language model adaptation using mixtures and an exponentially decaying cache", Proc. ICASSP'97, vol.2, pp.799-802, April, 1997.
【非特許文献２】政瀧浩和、匂坂芳典、久木和也、河原達也、"最大事後確率推定によるＮ−ｇｒａｍ言語モデルのタスク適応"、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．２５１９−２５２５、１９９８年１１月
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術では、少量であっても必ず目的の用途に即したテキストデータが必要となるという問題がある。また、最適な重みや最大事後確率推定というのは、与えられた特定の用途に関連するテキストに対して言語モデルとして最適な性能を得ることに主眼が置かれており、上記用途以外の応用の分野で精度が向上するとは限らないという問題点があった。
【０００６】
そこで本発明は、上記の問題点に鑑み、目的の用途に即したテキストデータを要することなく、目的の用途に適した言語モデル（適応言語モデル）を作成することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、次のようにして適応言語モデルを作成する。即ち、複数のテキストデータクラスタから、各テキストデータクラスタに対応したクラスタ言語モデルをそれぞれ作成する。全てのクラスタ言語モデルから一部のクラスタ言語モデルを除いた残りのクラスタ言語モデルの組み合わせから言語モデル（以下、「部分選択合成クラスタ言語モデル」という。）をそれぞれ合成する。そして、各部分選択合成クラスタ言語モデルを、評価用データおよび評価用音響モデルを用いて評価して、各部分選択合成クラスタ言語モデルの評価結果を出力する。さらに、この各評価結果のうち低い評価結果を与えた部分選択合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択し、選択されたクラスタ言語モデルが一つの場合に当該クラスタ言語モデルを作成された言語モデルとして出力する。選択されたクラスタ言語モデルが複数である場合には、これらから１つの言語モデルを合成して出力する。
【００１０】
また、上記の選択においては、低い評価結果を、閾値以下あるいは閾値よりも小である評価結果であるとして、言語モデルあるいは部分選択合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択するようにしてもよい。 
【００１１】
また、次のようにして適応言語モデルを作成するとしてもよい。即ち、入力されたテキストデータを分類基準に従って複数のテキストデータクラスタに分割する。
これによれば、テキストデータとして例えば既存の汎用的な大量テキストデータを用いる場合、用途に応じて適切な分類基準でテキストデータクラスタを作成することができる。
【００１２】
また、本発明の言語モデル作成装置としてコンピュータを機能させる言語モデル作成プログラムによって、コンピュータを言語モデル作成装置として作動処理させることができる。そして、この言語モデル作成プログラムを記録した、コンピュータに読み取り可能なプログラム記録媒体によって、他のコンピュータを言語モデル作成装置として機能させることや、言語モデル作成プログラムを流通させることなどが可能になる。
【発明の効果】
【００１３】
本発明によれば、複数のテキストデータクラスタに対応した各クラスタ言語モデルのうち複数の組み合わせから合成クラスタ言語モデルを合成し、各クラスタ言語モデルおよび／または各合成クラスタ言語モデルのうち評価用データについて高い評価結果を与える言語モデルを選び出すことから、特定の用途に即したテキストデータを全く必要とせずに目的の用途に適した言語モデル（適応言語モデル）を作成することができる。
【００１４】
また、言語モデルとしての性能ではなく認識精度による基準でクラスタ言語モデルなどの選択を行っているため、より直接的に認識精度が向上した適応言語モデルを得ることができる。
【発明を実施するための最良の形態】
【００１５】
《第１実施形態》
本発明の第１実施形態について、図面を参照しながら説明する。
＜第１実施形態の言語モデル作成装置＞
図１に例示するように、言語モデル作成装置（１）は、キーボードなどが接続可能な入力部（１１）、液晶ディスプレイなどが接続可能な出力部（１２）、ＣＰＵ（Central Processing Unit;１４）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）（１５）、ＲＯＭ（Read Only Memory）（１６）やハードディスクである外部記憶装置（１７）、並びにこれらの入力部（１１）、出力部（１２）、ＣＰＵ（１４）、ＲＡＭ（１５）、ＲＯＭ（１６）、外部記憶装置（１７）間のデータのやり取りが可能なように接続するバス（１８）などを備えている。また必要に応じて、言語モデル作成装置（１）に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００１６】
言語モデル作成装置（１）の外部記憶装置（１７）には、言語モデル作成のためのプログラムおよびこのプログラムの処理において必要となるデータなどが保存記憶されている。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭ（１５）などに適宜に保存記憶される。
【００１７】
また、外部記憶装置（１７）には、テキストデータ（１１１）が保存記憶されている。テキストデータ（１１１）は、予め複数（Ｎ個）のデータに分割されているとする。この各データを『テキストデータクラスタ』と呼ぶことにする。つまり、テキストデータ（１１１）は、テキストデータクラスタ［１］（１１１−１）、テキストデータクラスタ［２］（１１１−２）、・・・、テキストデータクラスタ［Ｎ］（１１１−Ｎ）で構成される。なお、各テキストデータクラスタは１つのテキストデータを分割したものに限定されず、例えば、複数のテキストデータを用意し、それぞれを各別のテキストデータクラスタに見立てるとしてもよいし、あるいは、テキストデータクラスタは、複数のテキストデータをマージ（merge）したものとすることでもよい。さらに、このような場合にテキストデータクラスタを複数用意すれば、同じ内容のテキストデータクラスタが存在しえることになるが、本発明はこのような場合も許容しえるものである。換言すれば、複数のテキストデータクラスタはそれぞれ異なるものが望ましいが、同じ内容のテキストデータクラスタが存在しえる場合にも本発明を実施することは可能である〔このことは各実施形態等において同様である。〕。
【００１８】
さらに、外部記憶装置（１７）には、言語モデルを評価するための評価用データ（１１８）〔評価用データは、評価用の音声データおよび音声書き起こしテキストで構成されるとする。これは、言語モデルを音声認識に用いる場合を想定しており、例えば機械翻訳などの用途に応じて評価用データを準備することを除外する趣旨ではない。また、評価用音声データは、予定している音声認識対象となる音声と音響的に近いものとするのが良い。〕、および評価用音響モデル（１１９）がデータとして保存記憶されている。
【００１９】
また外部記憶装置（１７）には、テキストデータクラスタから言語モデル（以下、テキストデータクラスタから作成した言語モデルを「クラスタ言語モデル」という。）を作成するためのプログラム、複数のクラスタ言語モデルから言語モデル（以下、「合成クラスタ言語モデル」という。）を合成するためのプログラム、言語モデルを評価するためのプログラム、評価結果から言語モデルを選択するためのプログラムが保存記憶されている。
【００２０】
言語モデル作成装置（１）では、外部記憶装置（１７）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭ（１５）に読み込まれて、ＣＰＵ（１４）で解釈実行・処理される。この結果、ＣＰＵ（１４）が所定の機能（クラスタ言語モデル作成部、モデル合成部、モデル評価部、選択部）を実現することで言語モデルの作成が実現される。
【００２１】
＜第１実施形態の概要＞
第１実施形態では、テキストデータクラスタ毎にクラスタ言語モデルを作成し、それぞれのクラスタ言語モデルのうち複数の組み合わせから合成クラスタ言語モデルを合成する。そして、各クラスタ言語モデルおよび各合成クラスタ言語モデルを、評価用データ（１１８）および評価用音響モデル（１１９）を用いて評価し、所定の評価結果の一例として最高の認識性能を達成する言語モデルを適応言語モデルとして特定する。なお、所定の評価結果を最高の認識性能に限定せず、閾値に対する相対評価などによって認識率が向上するという良い評価を所定の評価結果としてもよい。
【００２２】
＜第１実施形態の言語モデル作成処理＞
次に、図２から図４を参照して、言語モデル作成装置（１）における言語モデル作成処理の流れを叙述的に説明する。
【００２３】
まず、クラスタ言語モデル作成部（１１３）は、テキストデータクラスタ［１］（１１１−１）、テキストデータクラスタ［２］（１１１−２）、・・・、テキストデータクラスタ［Ｎ］（１１１−Ｎ）をＲＡＭ（１５）から読み込み、各テキストデータクラスタを用いて、各テキストデータクラスタに対応したクラスタ言語モデルの集合（１１４）を作成する（ステップＳ１）。
つまり、クラスタ言語モデル作成部（１１３）は、テキストデータクラスタ［１］（１１１−１）からクラスタ言語モデル［１］（１１４−１）を作成し、同様に、テキストデータクラスタ［２］（１１１−２）からクラスタ言語モデル［２］（１１４−２）を作成し、・・・、テキストデータクラスタ［Ｎ］（１１１−Ｎ）からクラスタ言語モデル［Ｎ］（１１４−Ｎ）を作成するのである。Ｎ個のクラスタ言語モデル［１］（１１４−１）、クラスタ言語モデル［２］（１１４−２）、・・・、クラスタ言語モデル［Ｎ］（１１４−Ｎ）はＲＡＭ（１５）などに適宜に保存記憶される。
なお、テキストデータ（クラスタテキストデータ）から言語モデル（クラスタ言語モデル）を作成する方法は公知のものに拠るから説明を略する。また、言語モデルは、Ｎ−ｇｒａｍなどのようにテキストデータから自動的に学習できるモデルであれば使用可能である。
【００２４】
次に、モデル合成部（１１５）は、ＲＡＭ（１５）から読み込んだ各クラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）のうち複数の組み合わせから合成クラスタ言語モデル（１１６）を合成する（ステップＳ２）。第１実施形態において『複数の組み合わせ』とは、複数の組み合わせとして考えうる全ての網羅的な組み合わせを云うものとする。
【００２５】
このことを具体的に説明すると、モデル合成部（１１５）は、Ｎ個のクラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）から、Σｊ＝２ＮＮＣｊ個の合成クラスタ言語モデルを作成するということである。ここでＮＣｊは、Ｎ個のものから重複を許さずｊ個を選択した組み合わせ数を表す。また、記号Ｍについて、Ｍ＝Σｊ＝２ＮＮＣｊ＝ＮＣ２＋ＮＣ３＋・・・＋ＮＣＮとする。
つまり、モデル合成部（１１５）は、例えばクラスタ言語モデル［１］（１１４−１）およびクラスタ言語モデル［２］（１１４−２）からは合成クラスタ言語モデル［１＋２］（１１６−２）を合成し、クラスタ言語モデル［１］（１１４−１）、クラスタ言語モデル［２］（１１４−２）およびクラスタ言語モデル［３］（１１４−３）からは合成クラスタ言語モデル［１＋２＋３］（１１６−３）を合成し、・・・、クラスタ言語モデル［５］およびクラスタ言語モデル［９］（１１４−３）からは合成クラスタ言語モデル［５＋９］を合成し、・・・、全てのクラスタ言語モデルからは合成クラスタ言語モデル［Ｎ＋（Ｎ−１）＋・・・＋１］（１１６−Ｍ）を合成するのである。なお、複数の言語モデル（クラスタ言語モデル）から１つの言語モデル（合成クラスタ言語モデル）を合成する方法は公知のものに拠るから説明を略する〔例えば参考文献を参照のこと。〕。
（参考文献）  特開２００４−５３７４５号公報
【００２６】
Ｍ個の合成クラスタ言語モデル（１１６−１）（１１６−２）・・・（１１６−Ｍ）はＲＡＭ（１５）などに適宜に保存記憶される。このステップＳ２の処理を終えたとき、ＲＡＭ（１５）には、Ｎ個のクラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）と、Ｍ個の合成クラスタ言語モデル（１１６−１）（１１６−２）・・・（１１６−Ｍ）との、計（Ｎ＋Ｍ）個の言語モデルが保存記憶されていることになる。
【００２７】
なお、第１実施形態では『複数の組み合わせ』を、複数の組み合わせとして考えうる全ての網羅的な組み合わせを云うものとした。しかし、テキストデータクラスタの個数が多い場合、この網羅的な組み合わせ数はとても多くなるので、任意の組み合わせで合成クラスタ言語モデルを合成するようにしてもよい。つまり、任意の組み合わせでＭ個よりも少ない合成クラスタ言語モデルを合成することでもよい。
【００２８】
続いて、モデル評価部（１１７）は、（Ｎ＋Ｍ）個の各言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）（１１６−１）（１１６−２）・・・（１１６−Ｍ）、評価用データ（１１８）および評価用音響モデル（１１９）をＲＡＭ（１５）から読み込み、各言語モデルと評価用音響モデル（１１９）とを用いて評価用データ（１１８）に対する認識率（１５０）を求め、これを各言語モデルの評価結果として算出する（ステップＳ３）。
評価結果である認識率の差異は、同じ評価用データ（１１８）および評価用音響モデル（１１９）を用いて評価していることから、各言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）（１１６−１）（１１６−２）・・・（１１６−Ｍ）の差異に基づく。評価用音声データの認識率の算出は公知の方法によって達成される。
【００２９】
モデル評価部（１１７）の具体的な機能構成について図４を参照して説明する。
モデル評価部（１１７）は、特徴量算出部（１１７１）、解探索部（１１７２）、テキストマッチング部（１１７３）から構成される。
特徴量算出部（１１７１）は、評価用データ（１１８）を構成する音声データ（１１８１）の特徴量を算出する。この特徴量は、例えば多次元のＭＦＣＣ（メル周波数ケプストラム係数）などである。
次に、解探索部（１１７２）は、音声データの特徴量、評価用音響モデル（１１９）、各言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）（１１６−１）（１１６−２）・・・（１１６−Ｍ）それぞれを用いて、音声データに対する認識結果テキストを出力する。この処理では、各言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）（１１６−１）（１１６−２）・・・（１１６−Ｍ）それぞれに対応した認識結果テキストが得られる。
続いて、テキストマッチング部（１１７３）は、評価用データ（１１８）を構成する音声書き起こしテキスト（１１８２）および各認識結果テキストを用いて、音声書き起こしテキスト（１１８２）に対する認識結果テキストの認識率（１５０）を算出する。この認識率（１５０）が各言語モデルの評価結果である。
【００３０】
続いて、選択部（１２０）は、各言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）（１１６−１）（１１６−２）・・・（１１６−Ｍ）の評価結果に基づき、各言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）（１１６−１）（１１６−２）・・・（１１６−Ｍ）のうち最高の評価結果を与えた言語モデルを選択して適応言語モデル（１２３）として出力する（ステップＳ４）。この適応言語モデル（１２３）が、予定する用途に対して適応した言語モデルとなっている。
第１実施形態では、最高の評価結果を与えた言語モデルを選択するとしたが、予め閾値を設定しておき、この閾値以上（あるいは閾値よりも大）の評価結果を与えた言語モデルを選択するようにしてもよい。この場合、複数の言語モデルが選択されえるが、これらが予定する用途に対して適応した音響モデルの候補となる。換言すれば、この閾値を厳しく設定することで１個の言語モデルを出力することもできるし、あるいは、１個の言語モデルを出力することに限定したくない場合には、閾値を緩く設定することで複数の言語モデルを適応言語モデルの候補として出力するようにすることもできる。なお、この閾値は予め外部記憶装置（１７）に保存記憶しておくとする。
【００３１】
なお、各テキストデータクラスタのデータ量を均等化することで、テキストデータ量の影響を低減することもできる。また、評価用データを予定している用途に応じて変更することで、当該用途などに適応した言語モデルを作成することができる。
【００３２】
《第２実施形態》
本発明の第２実施形態について、図面を参照しながら説明する。
＜第２実施形態の概要＞
第２実施形態では、テキストデータクラスタ毎にクラスタ言語モデルを作成し、それぞれのクラスタ言語モデルのうち複数の組み合わせから合成クラスタ言語モデルを合成する。そして、各クラスタ言語モデルおよび各合成クラスタ言語モデルを、評価用データ（１１８）および評価用音響モデル（１１９）を用いて評価する。さらに、所定の評価結果を与えた言語モデルから１つの言語モデルを合成し〔以下、「統合処理」と云う。〕、この統合処理で出力された言語モデルを適応言語モデルとする。なお、所定の評価結果については、第１実施形態の説明を参照のこと。
【００３３】
＜第２実施形態の言語モデル作成装置＞
第２実施形態の言語モデル作成装置は、第１実施形態の言語モデル作成装置と同様のハードウェア構成であり、第１実施形態と異なる部分について説明を行う。
第２実施形態では、外部記憶装置（１７）に、第１実施形態のプログラムに加え、所定の評価結果を与えた言語モデルから１つの言語モデルを合成する統合処理を行うためのプログラムも保存記憶されている。
【００３４】
第２実施形態の言語モデル作成装置（１）では、外部記憶装置（１７）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭ（１５）に読み込まれて、ＣＰＵ（１４）で解釈実行・処理される。この結果、ＣＰＵ（１４）が所定の機能（クラスタ言語モデル作成部、モデル合成部、モデル評価部、選択部、モデル統合部）を実現することで言語モデルの作成が実現される。
【００３５】
＜第２実施形態の言語モデル作成処理＞
次に、図５および図６を参照して、第２実施形態における言語モデル作成処理の流れを叙述的に説明する。ここでは、第１実施形態における言語モデル作成処理の流れと異なる部分について説明を行う。
【００３６】
第２実施形態における言語モデル作成処理では、第１実施形態におけるステップＳ３の処理に続いて次の処理を行う。
即ち、選択部（１２０ａ）は、（Ｎ＋Ｍ）個の各言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）（１１６−１）（１１６−２）・・・（１１６−Ｍ）の評価結果に基づき、閾値以上（あるいは閾値よりも大）の評価結果を与えた言語モデルを選択する（ステップＳ４ａ）。なお、この閾値は予め外部記憶装置（１７）に保存記憶されており、ステップＳ４ａの処理で選択部（１２０ａ）によって読み込まれる。
例えばステップＳ３の処理において閾値以上の評価結果を与えた言語モデルがクラスタ言語モデル［１］および合成クラスタ言語モデル［５＋９］であった場合、選択部（１２０ａ）は、クラスタ言語モデル［１］および合成クラスタ言語モデル［５＋９］を選択する。
なお、選択された言語モデルが１つの場合は、第１実施形態の場合に相当するから、第２実施形態では複数の言語モデルが選択されるとする。
【００３７】
次に、モデル統合部（１２１）は、選択された複数の言語モデルに対して統合処理を行って適応言語モデル（１２３）を出力する（ステップＳ５）。
モデル統合部（１２１）の統合処理は、モデル合成部（１１５）のモデル合成処理と同様である〔上記参考文献参照。〕。但し、モデル合成部（１１５）のモデル合成処理ではＭ個の合成クラスタ言語モデルを作成したが、モデル統合部（１２１）の統合処理では１個の言語モデルを作成する。
つまり、クラスタ言語モデル［１］および合成クラスタ言語モデル［５＋９］が選択された場合を例にとって説明すると、モデル統合部（１２１）は、クラスタ言語モデル［１］および合成クラスタ言語モデル［５＋９］に対してモデル合成を行ない１つの言語モデルを出力する。この言語モデルが適応言語モデル（１２３）である。
【００３８】
《第３実施形態》
本発明の第３実施形態について、図面を参照しながら説明する。
＜第３実施形態の概要＞
第３実施形態では、テキストデータクラスタ毎にクラスタ言語モデルを作成し、全てのクラスタ言語モデルのうち一部を除いた残りの組み合わせから言語モデル（部分選択合成クラスタ言語モデルである。以下、単に「合成クラスタ言語モデル」と略記する。）を合成する。そして、各合成クラスタ言語モデルを、評価用データ（１１８）および評価用音響モデル（１１９）を用いて評価する。さらに、所定の評価結果を与えた合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択し、この選択されたクラスタ言語モデルから１つの言語モデルを合成し〔統合処理〕、この統合処理で出力された言語モデルを適応言語モデルとする。ここで所定の評価結果とは、閾値以下あるいは閾値よりも小であるとの評価結果のこととする。
【００３９】
＜第３実施形態の言語モデル作成装置＞
第３実施形態の言語モデル作成装置は、第２実施形態の言語モデル作成装置と同様のハードウェア構成であり、第２実施形態と異なる部分について説明を行う。
第２実施形態における選択部（１２０）を実現するためのプログラムは、第３実施形態では、所定の評価結果を与えた合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択するためのプログラムとする。
また、第２実施形態におけるモデル統合部（１２１）を実現するためのプログラムは、第３実施形態では、選択されたクラスタ言語モデルから適応言語モデルを作成するためのプログラムとする。
【００４０】
第３実施形態の言語モデル作成装置（１）では、外部記憶装置（１７）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭ（１５）に読み込まれて、ＣＰＵ（１４）で解釈実行・処理される。この結果、ＣＰＵ（１４）が所定の機能（クラスタ言語モデル作成部、モデル合成部、モデル評価部、選択部、モデル統合部）を実現することで音響モデルの作成が実現される。
【００４１】
＜第３実施形態の言語モデル作成処理＞
次に、図７および図８を参照して、第３実施形態における言語モデル作成処理の流れを叙述的に説明する。ここでは、第２実施形態における言語モデル作成処理の流れと異なる部分について説明を行う。
【００４２】
第３実施形態における言語モデル作成処理では、第２実施形態におけるステップＳ１の処理に続いて次の処理を行う。
即ち、モデル合成部（１１５ｂ）は、ＲＡＭ（１５）から読み込んだ各クラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）のうち、全てのクラスタ言語モデルから各別の１つのクラスタ言語モデルを除いた残りのクラスタ言語モデルの組み合わせから合成クラスタ言語モデル（１１６ｂ）を合成する（ステップＳ２ｂ）。
つまり、モデル合成部（１１５ｂ）は、全てのクラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）からクラスタ言語モデル［１］（１１４−１）を除外したＮ−１個のクラスタ言語モデル（１１４−２）（１１４−３）・・・（１１４−Ｎ）から合成クラスタ言語モデル［１無し］（１１６ｂ−１）を合成し、全てのクラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）からクラスタ言語モデル［２］（１１４−２）を除外したＮ−１個のクラスタ言語モデル（１１４−１）（１１４−３）・・・（１１４−Ｎ）から合成クラスタ言語モデル［２無し］（１１６ｂ−２）を合成し、・・・、全てのクラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−Ｎ）からクラスタ言語モデル［Ｎ］（１１４−Ｎ）を除外したＮ−１個のクラスタ言語モデル（１１４−１）（１１４−２）・・・（１１４−（Ｎ−１））から合成クラスタ言語モデル［Ｎ無し］（１１６ｂ−Ｎ）を合成するのである。
Ｎ個の合成クラスタ言語モデル（１１６ｂ−１）・・・（１１６ｂ−Ｎ）はＲＡＭ（１５）などに適宜に保存記憶される。
【００４３】
このステップＳ２ｂの処理に続いてステップＳ３ｂの処理を実行する。具体的には、モデル評価部（１１７ｂ）は、Ｎ個の各合成クラスタ言語モデル（１１６ｂ−１）・・・（１１６ｂ−Ｎ）、評価用データ（１１８）および評価用音響モデル（１１９）をＲＡＭ（１５）から読み込み、各合成クラスタ言語モデルと評価用音響モデル（１１９）とを用いて評価用データ（１１８）に対する認識率を求め、これを各合成クラスタ言語モデルの評価結果として算出する（ステップＳ３ｂ）。モデル評価部（１１７ｂ）の機能構成は、第１実施形態のモデル評価部（１１７）と同様である。
評価結果である認識率の差異は、同じ評価用データ（１１８）および評価用音響モデル（１１９）を用いて評価していることから、各合成クラスタ言語モデル（１１６ｂ−１）・・・（１１６ｂ−Ｎ）の差異に基づく。
【００４４】
続いて、選択部（１２０ｂ）は、各合成クラスタ言語モデル（１１６ｂ−１）・・・（１１６ｂ−Ｎ）の評価結果のうち所定の評価結果を与えた合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択する（ステップＳ４ｂ）。
ここで『所定の評価結果』とは、合成クラスタ言語モデル［ｊ無し］（１１６ｂ−ｊ）〔ｊ＝１、２、・・・、Ｎ〕の各評価結果が予め定められた閾値以下（あるいは閾値よりも小）である、との評価結果のことである。換言すれば、当該閾値を下回る評価結果を与えた合成クラスタ言語モデルの合成において除外されたクラスタ言語モデルを選択する。
例えば閾値を認識率７０％とし、ステップＳ３ｂの処理において合成クラスタ言語モデル［５無し］の評価結果が６０％、合成クラスタ言語モデル［９無し］の評価結果が６３％、その他の各合成クラスタ言語モデルの評価結果が７０％よりも大であったとすると、合成クラスタ言語モデル［５無し］および合成クラスタ言語モデル［９無し］の各評価結果が、閾値７０％を下回っている。そこで、選択部（１２０ｂ）は、合成クラスタ言語モデル［５無し］および合成クラスタ言語モデル［９無し］の合成で除外されたクラスタ言語モデル［５］およびクラスタ言語モデル［９］を選択する。 
【００４５】
ステップＳ４ｂの処理に続いてステップＳ５ｂの処理を実行する。モデル統合部（１２１ｂ）は、選択されたクラスタ言語モデルに対して統合処理を行って適応言語モデル（１２３）を出力する（ステップＳ５）。もし、選択されたクラスタ言語モデルが１つの場合は、モデル統合部（１２１ｂ）は不要であり、選択部（１２０ｂ）が選択したクラスタ言語モデルを適応言語モデルとして出力すればよく、第１実施形態のステップＳ４の処理で説明したのと同様の構成とすることができる。
モデル統合部（１２１ｂ）の統合処理は、モデル合成部（１１５）のモデル合成処理と同様である〔上記参考文献参照。〕。但し、モデル合成部（１１５）のモデル合成処理ではＭ個の合成クラスタ言語モデルを作成したが、モデル統合部（１２１ｂ）の統合処理では１個の言語モデルを作成する。
つまり、クラスタ言語モデル［５］およびクラスタ言語モデル［９］が選択された場合を例にとって説明すると、モデル統合部（１２１ｂ）は、クラスタ言語モデル［５］およびクラスタ言語モデル［９］に対してモデル合成を行ない１つの言語モデルを出力する。この言語モデルが適応言語モデル（１２３）である。
【００４６】
第３実施形態の構成は、ある合成クラスタ言語モデルｋの認識精度が低いということは、クラスタ言語モデルｋを除外することによって認識精度が劣化する、逆に言えば、そのクラスタ言語モデルｋが認識精度向上に大きく寄与することに基づくものである。また、第３実施形態は、全ての組み合わせの中から最も評価基準が高くなる言語モデルを選択することを保証する方法ではないが、評価すべき合成クラスタ言語モデルの数がテキストデータクラスタの個数と同じであるから評価回数を大幅に減らし、現実的な計算量で適応言語モデル作成を行うのに有効な方法と言える。 
【００４７】
《第４実施形態》
本発明の第４実施形態について、図面を参照しながら説明する。
＜第４実施形態の概要＞
第４実施形態は、膨大なデータ量であるテキストデータを、適当な分類基準で複数のテキストデータクラスタに分類するデータ分類処理を含むものである。このデータ分類処理は、第１実施形態、第２実施形態、第３実施形態に組み合わせて適用できる。第４実施形態は、第２実施形態に組み合わせた場合として説明する。
【００４８】
＜第４実施形態の言語モデル作成装置＞
第４実施形態の言語モデル作成装置は、第２実施形態の言語モデル作成装置と同様のハードウェア構成であり、第２実施形態と異なる部分について説明を行う。
第４実施形態では、外部記憶装置（１７）に、第２実施形態のプログラムに加え、テキストデータを分類するためのプログラムも保存記憶されている。
また第２実施形態では、外部記憶装置（１７）にＮ個のテキストデータクラスタが保存記憶されているとしたが、第４実施形態では、外部記憶装置（１７）に分割前のテキストデータ（１１１ａ）が保存記憶されているとする。
【００４９】
第４実施形態の言語モデル作成装置（１）では、外部記憶装置（１７）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭ（１５）に読み込まれて、ＣＰＵ（１４）で解釈実行・処理される。この結果、ＣＰＵ（１４）が所定の機能（データ分類部、クラスタ言語モデル作成部、モデル合成部、モデル評価部、選択部、モデル統合部）を実現することで言語モデルの作成が実現される。
【００５０】
＜第４実施形態の言語モデル作成処理＞
次に、図９および図１０を参照して、第４実施形態における言語モデル作成処理の流れを叙述的に説明する。ここでは、第２実施形態における言語モデル作成処理の流れと異なる部分について説明を行う。
【００５１】
データ分類部（１１０）は、新聞記事、Ｗｅｂ等より得られる大規模な既存のテキストデータ（１１１ａ）を読み込み、予め設定された分類基準（例えば話題などである。）に従って、テキストデータ（１１１ａ）をＮ個のテキストデータクラスタ［１］（１１１−１）、テキストデータクラスタ［２］（１１１−２）、・・・、テキストデータクラスタ［Ｎ］（１１１−Ｎ）に分割して出力する（ステップＳ１ｐ）。なお、分類方法は、Ｋ−ｍｅａｎｓ法などの一般的なクラスタリング手法を用いることができる。
Ｎ個のテキストデータクラスタは、ＲＡＭ（１５）などに適宜に保存記憶される。図９において、テキストデータ（１１１ｂ）は分割後のテキストデータクラスタの集合を示している。
【００５２】
ステップＳ１ｐの処理に続いて、第２実施形態のステップＳ１以降の処理が行われる。
【００５３】
各種の実施形態を挙げたが、いずれも、評価用データを用いた評価によってクラスタ言語モデルあるいは合成クラスタ言語モデルの選択を行い適応言語モデルの作成を行うものであるから、用途に応じた評価用データを用いることで当該用途に特化した最適な言語モデルを作成できる。
また、認識性能の差に対する閾値によってクラスタ言語モデルあるいは合成クラスタ言語モデルを選択する以外に、閾値だけでなく、テキストデータ量の制限などの要素を加えても良い。さらに、認識性能の差の大きさが認識性能改善への寄与度と考えられるから、例えば選択された合成クラスタ言語モデルに対して認識性能の差に応じた重み付けを行って適応言語モデルを合成するとしてもよく、この場合、適応言語モデルの性能向上が望める。
【００５４】
以上の各実施形態の他、本発明である言語モデル作成装置・方法は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記言語モデル作成装置・方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００５５】
また、上記言語モデル作成装置における処理機能をコンピュータによって実現する場合、言語モデル作成装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記言語モデル作成装置における処理機能がコンピュータ上で実現される。
【００５６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５９】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、言語モデル作成装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【実施例】
【００６０】
本発明による効果を、第３実施形態に即して、模擬対話データの連続音声認識において評価した。
既存のテキストデータベースとして、Ｗｅｂなどから収集した約１億単語からなる大規模なテキストデータを使用した。辞書に登録されている５０００単語それぞれのテキストデータでの出現確率を入力ベクトルとし、入力ベクトル間のユークリッド距離を距離尺度としたＫ−ｍｅａｎｓ法を用いて、５０のデータベースクラスタに分類した。各データベースクラスタに対して、クラスタ言語モデル（Ｔｒｉｇｒａｍ）を構築し、それを元に合成クラスタ言語モデル（Ｔｒｉｇｒａｍ）を構築した。音響モデルは、性別依存の隠れマルコフモデルを使用し、評価に用いた音声データは約１時間分である。選択部では、閾値を５８．７とし、認識率がそれ未満の合成クラスタ言語モデルから選択されたクラスタ言語モデルは３つであった。この３つのクラスタ言語モデルをモデル統合部で合成し、適応言語モデル（Ｔｒｉｇｒａｍ）を得た。
【００６１】
用途に適応しない比較対象の言語モデルとして、上記全てのテキストデータクラスタで言語モデル（Ｔｒｉｇｒａｍ）を構築し、評価用音声を認識した場合の認識精度は５９％であった。これに対して、テキストデータの分類・選択によって用途適応した適応言語モデル（Ｔｒｉｇｒａｍ）で同一評価用音声を認識した時の認識精度は６５％となった。つまり、本発明によって言語モデルを適応することで、認識精度を６％向上させることができた。
【産業上の利用可能性】
【００６２】
本発明は、音声認識―例えば、音声認識に基づく文字入力や対話システムの音声認識など―に用いる言語モデルの作成に有用である。
【図面の簡単な説明】
【００６３】
【図１】言語モデル作成装置のハードウェア構成例を示す図。
【図２】第１実施形態に係わる言語モデル作成装置の機能構成例を示すブロック図。
【図３】第１実施形態に係わる言語モデル作成処理の処理フローを示す図。
【図４】モデル評価部の機能構成例を示すブロック図。
【図５】第２実施形態に係わる言語モデル作成装置の機能構成例を示すブロック図。
【図６】第２実施形態に係わる言語モデル作成処理の処理フローを示す図。
【図７】第３実施形態に係わる言語モデル作成装置の機能構成例を示すブロック図。
【図８】第３実施形態に係わる言語モデル作成処理の処理フローを示す図。
【図９】第４実施形態に係わる言語モデル作成装置の機能構成例を示すブロック図。
【図１０】第４実施形態に係わる言語モデル作成処理の処理フローを示す図。
【符号の説明】
【００６４】
１    言語モデル作成装置
１１０    データ分類部
１１１、１１１ａ、１１１ｂ    テキストデータ
１１１−１・・・１１１−Ｎ    テキストデータクラスタ
１１３    クラスタ言語モデル作成部
１１４−１・・・１１４−Ｎ    クラスタ言語モデル
１１５、１１５ｂ    モデル合成部
１１６    合成クラスタ言語モデル
１１６−ｂ  部分選択合成クラスタ言語モデル
１１７、１１７ｂ    モデル評価部
１１８    評価用データ
１１９    評価用音響モデル
１２０、１２０ａ、１２０ｂ    選択部
１２１、１２１ｂ    モデル統合部
１２３    適応言語モデル
【図１】
0004537970.tif 000002
【図２】
0004537970.tif 000003
【図３】
0004537970.tif 000004
【図４】
0004537970.tif 000005
【図５】
0004537970.tif 000006
【図６】
0004537970.tif 000007
【図７】
0004537970.tif 000008
【図８】
0004537970.tif 000009
【図９】
0004537970.tif 000010
【図１０】
0004537970.tif 000011