(57)【要約】      （修正有）【課題】低次のオーダでも最適なモデル混合を実現する。【解決手段】1-gram言語モデル混合部３１は、開発データと複数の1-gram言語モデルとを用いて混合1-gram言語モデルを生成し、2-gram言語モデル混合部３２は、開発データと複数の2-gram言語モデルと混合1-gram言語モデルとを用いて混合2-gram言語モデルを生成し、3-gram言語モデル混合部３３は、開発データと複数の3-gram言語モデルと混合1-gram言語モデルと混合2-gram言語モデルとを用いて混合3-gram言語モデルを生成する。言語モデル統合部５０は、混合1-gram言語モデルと混合2-gram言語モデルと混合3-gram言語モデルとを統合して混合バックオフn-gram言語モデルを生成する。【選択図】図３
2015230441.tif 000002
【特許請求の範囲】
【請求項１】
開発データを記憶する開発データ記憶部と、
1-gram言語モデルと2-gram言語モデルと3-gram言語モデルとを含む複数のバックオフn-gram言語モデルを記憶するバックオフn-gram言語モデル記憶部と、
上記開発データと上記複数の1-gram言語モデルとを用いて混合1-gram言語モデルを生成する1-gram言語モデル混合部と、
上記開発データと上記複数の2-gram言語モデルと上記混合1-gram言語モデルとを用いて混合2-gram言語モデルを生成する2-gram言語モデル混合部と、
上記開発データと上記複数の3-gram言語モデルと上記混合1-gram言語モデルと上記混合2-gram言語モデルとを用いて混合3-gram言語モデルを生成する3-gram言語モデル混合部と、
上記混合1-gram言語モデルと上記混合2-gram言語モデルと上記混合3-gram言語モデルとを統合して混合バックオフn-gram言語モデルを生成する言語モデル統合部と、
を含む言語モデル作成装置。
【請求項２】
請求項１に記載の言語モデル作成装置であって、
wiを上記開発データに含まれる単語とし、Pk(wi)を上記1-gram言語モデルの1-gram確率とし、λkを混合重みとし、0≦λk≦1であり、Σk=1Kλk=1であり、
上記1-gram言語モデル混合部は、次式により1-gram混合の確率値Pmix(wi)を計算して上記混合1-gram言語モデルを生成するものであり、
【数１０】
2015230441.tif 000012
上記2-gram言語モデル混合部は、α(wi-1)はバックオフ係数とし、次式により2-gram混合の確率値Pmix(wi|wi-1)を計算して上記混合2-gram言語モデルを生成するものであり、
【数１１】
2015230441.tif 000013
上記3-gram言語モデル混合部は、α(wi-2,wi-1)をバックオフ係数とし、次式により3-gram混合の確率値Pmix(wi|wi-2,wi-1)を計算して上記混合3-gram言語モデルを生成するものである
【数１２】
2015230441.tif 000014
言語モデル作成装置。
【請求項３】
開発データを記憶する開発データ記憶部と、
Nを2以上の整数として、1-gramからN-gramまでのn-gram言語モデルを含む複数のバックオフn-gram言語モデルを記憶するバックオフn-gram言語モデル記憶部と、
nを2以上N以下の整数として、上記開発データと上記複数のn-gram言語モデルと混合(n-1)-gram言語モデルとを用いて混合n-gram言語モデルを生成するn-gram言語モデル混合部と、
1-gramからN-gramまでの上記混合n-gram言語モデルを統合して混合バックオフn-gram言語モデルを生成する言語モデル統合部と、
を含む言語モデル作成装置。
【請求項４】
開発データと複数のバックオフn-gram言語モデルに含まれる複数の1-gram言語モデルとを用いて混合1-gram言語モデルを生成する1-gram言語モデル混合ステップと、
上記開発データと上記複数のバックオフn-gram言語モデルに含まれる複数の2-gram言語モデルと上記混合1-gram言語モデルとを用いて混合2-gram言語モデルを生成する2-gram言語モデル混合ステップと、
上記開発データと上記複数のバックオフn-gram言語モデルに含まれる複数の3-gram言語モデルと上記混合1-gram言語モデルと上記混合2-gram言語モデルとを用いて混合3-gram言語モデルを生成する3-gram言語モデル混合ステップと、
上記混合1-gram言語モデルと上記混合2-gram言語モデルと上記混合3-gram言語モデルとを統合して混合バックオフn-gram言語モデルを生成する言語モデル統合ステップと、
を含む言語モデル作成方法。
【請求項５】
請求項４に記載の言語モデル作成方法であって、
wiを上記開発データに含まれる単語とし、Pk(wi)を上記1-gram言語モデルの1-gram確率とし、λkを混合重みとし、0≦λk≦1であり、Σk=1Kλk=1であり、
上記1-gram言語モデル混合ステップは、次式により1-gram混合の確率値Pmix(wi)を計算して上記混合1-gram言語モデルを生成するものであり、
【数１３】
2015230441.tif 000015
上記2-gram言語モデル混合ステップは、α(wi-1)はバックオフ係数とし、次式により2-gram混合の確率値Pmix(wi|wi-1)を計算して上記混合2-gram言語モデルを生成するものであり、
【数１４】
2015230441.tif 000016
上記3-gram言語モデル混合ステップは、α(wi-2,wi-1)をバックオフ係数とし、次式により3-gram混合の確率値Pmix(wi|wi-2,wi-1)を計算して上記混合3-gram言語モデルを生成するものである
【数１５】
2015230441.tif 000017
言語モデル作成方法。
【請求項６】
バックオフn-gram言語モデル記憶部に、Nを2以上の整数として、1-gramからN-gramまでのn-gram言語モデルを含む複数のバックオフn-gram言語モデルが記憶されており、
nを2以上N以下の整数として、開発データと上記複数のn-gram言語モデルと混合(n-1)-gram言語モデルとを用いて混合n-gram言語モデルを生成するn-gram言語モデル混合ステップと、
1-gramからN-gramまでの上記混合n-gram言語モデルを統合して混合バックオフn-gram言語モデルを生成する言語モデル統合ステップと、
を含む言語モデル作成方法。
【請求項７】
請求項１から３のいずれかに記載の言語モデル作成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識で利用される言語モデルを作成する技術に関し、詳しくは、複数のバックオフn-gram言語モデルを混合して対象タスクに対して合致する言語モデルを構築する技術に関する。
【背景技術】
【０００２】
音声認識では、言語的な予測のために言語モデルが必要である。音声認識では言語モデルとしてn-gram言語モデルが一般的に利用される。n-gram言語モデルの学習方法は、公知の技術である（例えば、非特許文献１参照）。n-gram言語モデルは、音声認識のデコーディングと非常に相性の良い形である。n-gram言語モデルは学習テキストがあれば容易に学習することが可能であり、その学習方法はこれまで様々に提案されている。n-gram言語モデル以外にも様々な言語モデルが提案されているが、音声認識のデコーディングとの相性的にn-gram言語モデル以外の言語モデルが音声認識で利用されることは非常に少ない。
【０００３】
高精度な音声認識を実現する方法として、認識したい音声のタスク（以下、対象タスクという）に特化した言語モデルを使用することが有効であることが知られている。特化とは、その対象タスクでよく使われる言語現象に高い生起確率を与えることである。つまり、ニュース音声を認識する際はニュース音声に特化した言語モデルを、コールセンター音声を認識する際はコールセンター音声に特化した言語モデルを使用すると有効である。この特定の対象タスクに特化した言語モデルは、その対象タスクの音声を人手により書き起こしを行うことで得られたテキスト（以下、書き起こしテキストともいう）を用いて学習することが一般的な方法である。しかしながら、人手による書き起こしを大量に集めることは、時間や人件費といったコストの面が大きく困難である。したがって、対象タスクの書き起こしテキストを用いずに、対象タスクに関する別の言語資源をうまく利用して言語モデルを構築することが一般的である。この技術は言語モデルタスク適応と呼ばれる。例えばコンタクトセンタの場合であれば、そのコンタクトセンタに関連するドキュメント（例えば、Webテキスト）など、複数の言語資源を組み合わせて利用する。言語モデルタスク適応については公知の研究領域であり、非特許文献２における記述を参考にされたい。言語モデルタスク適応の代表的な技術としては、非特許文献３の技術が挙げられる。この技術では、複数の外部言語資源それぞれについてバックオフn-gram言語モデルを構築し、それぞれの確率を重み付きで足し合わせることで（線形補間によって）、言語モデルを構築する。その際に各モデルの混合重みを、開発データとよばれる対象タスクのテキストデータを利用して最適化する枠組みが確立している。この技術は非常に単純な手法にもかかわらず、現在でも多様に利用されている。その理由は、対象タスクに関する外部言語資源として、書き起こしテキストと同等の質のテキストデータが得られる場合では非常に強力に動作するからである。
【０００４】
図１を参照して、複数のバックオフn-gram言語モデルを混合して言語モデルを構築する従来技術について説明する。従来の言語モデル作成装置は、開発データを記憶する開発データ記憶部１０と、バックオフn-gram言語モデルを記憶するK個のバックオフn-gram言語モデル記憶部２０1,…,２０Kと、開発データとK個のバックオフn-gram言語モデルとを最適に混合して単一の混合バックオフn-gram言語モデルを生成する言語モデル混合部３０と、混合バックオフn-gram言語モデルを記憶する混合バックオフn-gram言語モデル記憶部６０を含む。ここではバックオフ3-gram言語モデルを例にとり説明する。
【０００５】
単語列wi-2,wi-1,wiに対するk番目のバックオフn-gram言語モデルの3-gram確率をPk(wi|wi-2,wi-1)とし、混合重みをλkとすると、3-gram混合の確率値Pmix(wi|wi-2,wi-1)は式（１）で表される。
【０００６】
【数１】
2015230441.tif 000003
【０００７】
なお、Pk(wi|wi-2,wi-1)は、バックオフを考慮して、式（２）のように表される。
【０００８】
【数２】
2015230441.tif 000004
【０００９】
ここで、αk(wi-2,wi-1)はバックオフ時にかかる係数であり、周知の方法で求めることができる。
【００１０】
このときの各混合重みλkは開発データを利用して最適化できる。開発データの単語列をw1…wLとすると、混合重みλkはEMアルゴリズムに基づき再帰的に式（３）のように求めることができる。
【００１１】
【数３】
2015230441.tif 000005
【００１２】
ここで、右辺のλkは一回前に求めた混合重みであり、左辺のλ’kは更新された混合重みである。これにより、開発データに対して最適な混合重みを決定できる。
【００１３】
バックオフn-gram言語モデルは、図２に示すように、n-gramの次数nごとに確率モデルを内包した構造を持っている。例えば、バックオフ3-gram言語モデルでは、内部的に1-gram言語モデル、2-gram言語モデル、3-gram言語モデルを持っており、高次のオーダの確率モデルで確率が与えられない場合は、低次のオーダの確率モデルで確率を与える構造を持っている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】北研二、「言語と計算(4) 確率的言語モデル」、東京大学出版会、1999年11月、pp. 57-62
【非特許文献２】鹿野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄、「IT Text 音声認識システム」、オーム社、2001年5月、p. 68
【非特許文献３】R. Iyer, M. Ostendorf, “Modeling long distance dependence in language: topic mixtures versus dynamic cache models”, IEEE Transactions on Speech and Audio Processing, vol. 7, no. 1, pp. 30-39, Jan 1999.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
従来技術では、n-gram言語モデル単位、つまり元の言語資源単位で混合重みを与えている。つまり、3つのn-gram言語モデルがあれば、3つの混合重みが付与されることになる。しかしながら、n-gram言語モデルはバックオフという構造を持ち、n-gramの次数ごとに確率モデルを内包した構造を持っている。それにも拘わらず、従来技術では内包する構造を考慮することなく、言語モデル全体で混合重みを与えている。従来の方法では、言語モデル全体としての混合重みは最適化されているが、低次のオーダの混合重みは最適化されていないのが現状である。したがって、従来技術で混合した言語モデルにおいては、高次のオーダで単語エントリが見つかる場合は高い性能を実現できるものの、エントリが見つからず低次のオーダの言語モデルを利用しなければいけない場合の性能は最適化されていない。特に、対象タスクにおける珍しい単語連鎖に対しては、しばしば1-gram確率を利用する必要があり、最適化されてない確率値を利用しても高い性能を実現できない。
【００１６】
この発明は、対象タスクにおける珍しい単語連鎖に対しても高い性能を実現できるタスク適応を実施することを目指す。従来技術の課題は、n-gram言語モデルを混合する際に、低次のオーダに対して最適化できていないことと言える。そこで、この発明では、低次のオーダに対しても最適なモデル混合を実現することを目的とする。
【課題を解決するための手段】
【００１７】
上記の課題を解決するために、この発明の言語モデル作成装置は、開発データを記憶する開発データ記憶部と、1-gram言語モデルと2-gram言語モデルと3-gram言語モデルとを含む複数のバックオフn-gram言語モデルを記憶するバックオフn-gram言語モデル記憶部と、開発データと複数の1-gram言語モデルとを用いて混合1-gram言語モデルを生成する1-gram言語モデル混合部と、開発データと複数の2-gram言語モデルと混合1-gram言語モデルとを用いて混合2-gram言語モデルを生成する2-gram言語モデル混合部と、開発データと複数の3-gram言語モデルと混合1-gram言語モデルと混合2-gram言語モデルとを用いて混合3-gram言語モデルを生成する3-gram言語モデル混合部と、混合1-gram言語モデルと混合2-gram言語モデルと混合3-gram言語モデルとを統合して混合バックオフn-gram言語モデルを生成する言語モデル統合部と、を含む。
【発明の効果】
【００１８】
この発明の言語モデル作成技術によれば、n-gram言語モデルの次数ごとに混合重みを与えることで、低次のオーダに対しても最適なモデル混合を実現する。これにより、従来よりも対象タスクに最適化した言語モデルを構築することができる。特に、未知の単語連鎖を多く含む場合において、従来よりも高精度な音声認識が期待できる。
【図面の簡単な説明】
【００１９】
【図１】図１は、従来の言語モデル作成装置の機能構成を例示する図である。
【図２】図２は、バックオフn-gram言語モデルの構造を概念的に例示する図である。
【図３】図３は、実施形態の言語モデル作成装置の機能構成を例示する図である。
【図４】図４は、実施形態の言語モデル作成方法の処理フローを例示する図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００２１】
この発明では、複数のn-gram言語モデルを混合する際に、次数nのオーダごとに異なる混合重みを与える。バックオフn-gram言語モデルでは高次のオーダが低次のオーダに依存する構造を持つため、低次のオーダから順番に最適化することで、バックオフを行うことを考慮した最適化を実現することができる。
【００２２】
［実施形態］
実施形態の言語モデル作成装置は、図３に示すように、従来と同様に、開発データ記憶部１０及び混合バックオフn-gram言語モデル記憶部６０を例えば含み、さらに、K個のバックオフn-gram言語モデル記憶部２０1,…,２０K、1-gram言語モデル混合部３１、2-gram言語モデル混合部３２、3-gram言語モデル混合部３３、混合1-gram言語モデル記憶部４１、混合2-gram言語モデル記憶部４２、混合3-gram言語モデル記憶部４３及び言語モデル統合部５０を例えば含む。
【００２３】
言語モデル作成装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。言語モデル作成装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。言語モデル作成装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、言語モデル作成装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
【００２４】
言語モデル作成装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。言語モデル作成装置が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。
【００２５】
開発データ記憶部１０には、開発データが記憶されている。開発データは、音声認識の対象タスクに関するテキストデータである。以下、開発データに含まれる単語列をw1…wLとする。
【００２６】
バックオフn-gram言語モデル記憶部２０k（k=1,…,K）には、k番目のバックオフn-gram言語モデルが記憶されている。バックオフn-gram言語モデルは、n-gramの次数ごとに確率モデルを内包した構造を持っている。この実施形態では、図２に示すように、バックオフn-gram言語モデル２０は、1-gram言語モデル２１と2-gram言語モデル２２と3-gram言語モデル２３とを内包しており、高次のオーダの確率モデルで確率が与えられない場合は、低次のオーダの確率モデルで確率を与えるバックオフ構造を持っている。K個のバックオフn-gram言語モデルは、それぞれ異なる外部言語資源から構築する。外部言語資源は、音声認識の対象タスクに合致した任意のテキストを選択すればよい。
【００２７】
この実施形態では、K個のバックオフn-gram言語モデル記憶部２０1,…,２０Kそれぞれにバックオフn-gram言語モデルが記憶されるように構成するものとしたが、1個のバックオフn-gram言語モデル記憶部２０にK個のバックオフn-gram言語モデルが記憶されるように構成しても構わない。
【００２８】
図４を参照して、実施形態の言語モデル作成方法を説明する。
【００２９】
ステップＳ１において、1-gram言語モデル混合部３１は、開発データ記憶部１０に記憶された開発データと、K個のバックオフn-gram言語モデル記憶部２０1,…,２０Kにそれぞれ記憶されたバックオフn-gram言語モデルに含まれる1-gram言語モデルとを入力として、1個の混合1-gram言語モデルを生成する。生成した混合1-gram言語モデルは混合1-gram言語モデル記憶部４１に記憶する。
【００３０】
以下、1-gram言語モデル混合部３１の処理をより具体的に説明する。単語wiに対するk番目のバックオフn-gram言語モデルの1-gram確率をPk(wi)とし、混合重みをλkとすると、1-gram混合の確率値Pmix(wi)は式（４）で表される。
【００３１】
【数４】
2015230441.tif 000006
【００３２】
このときの各混合重みλkは開発データを利用して最適化できる。開発データの単語列をw1…wLとすると、λkはEMアルゴリズムに基づき再帰的に式（５）のように求めることができる。
【００３３】
【数５】
2015230441.tif 000007
【００３４】
ここで、右辺のλkは一回前に求めた混合重みであり、左辺のλ’kは更新された混合重みである。
【００３５】
EMアルゴリズムでは、初期の混合重みはすべての混合重みを等価とするのが一般的である。例えば、K=2であれば、λk=1/2と与えればよい。なお、EMアルゴリズムの繰り返し回数は、例えば固定数を予め設定しておくことができる。例えば、100回繰り返す。これにより、混合重みλkの値が最適化できるので、1-gram混合の確率値Pmix(wi)を決定できる。例えば、P1(今日)=0.01、P2(今日)=0.05であり、λ1=0.4、λ2=0.6ならば、Pmix(今日)=0.01*0.4+0.05*0.6と決定できる。
【００３６】
ステップＳ２において、2-gram言語モデル混合部３２は、開発データ記憶部１０に記憶された開発データと、K個のバックオフn-gram言語モデル記憶部２０1,…,２０Kにそれぞれ記憶されたバックオフn-gram言語モデルに含まれるバックオフ2-gram言語モデルと、混合1-gram言語モデル記憶部４１に記憶された混合1-gram言語モデルとを入力として、1個の混合2-gram言語モデルを生成する。生成した混合2-gram言語モデルは混合2-gram言語モデル記憶部４２に記憶する。
【００３７】
以下、2-gram言語モデル混合部３２の処理をより具体的に説明する。単語列wi-1,wiに対するk番目のバックオフn-gram言語モデルの2-gram確率をPk(wi|wi-1)とし、混合重みをλkとすると、2-gram混合の確率値Pmix(wi|wi-1)は式（６）で表される。
【００３８】
【数６】
2015230441.tif 000008
【００３９】
ここで、α(wi-1)はバックオフ時にかかる係数項であり、周知の方法で求めることができる。
【００４０】
このときの各混合重みλkは開発データを利用して最適化できる。開発データの単語列をw1…wLとすると、混合重みλkはEMアルゴリズムに基づき再帰的に式（７）のように求めることができる。
【００４１】
【数７】
2015230441.tif 000009
【００４２】
ここで、右辺のλkは一回前に求めた混合重みであり、左辺のλ’kは更新された混合重みである。これも1-gram混合のときと同様に最適化することで、混合2-gram言語モデルを求めることができる。
【００４３】
ステップＳ３において、3-gram言語モデル混合部３３は、開発データ記憶部１０に記憶された開発データと、K個のバックオフn-gram言語モデル記憶部２０1,…,２０Kにそれぞれ記憶されたバックオフn-gram言語モデルに含まれるバックオフ3-gram言語モデルと、混合1-gram言語モデル記憶部４１に記憶された混合1-gram言語モデルと、混合2-gram言語モデル記憶部４２に記憶された混合2-gram言語モデルとを入力として、1個の混合3-gram言語モデルを生成する。生成した混合3-gram言語モデルは混合3-gram言語モデル記憶部４３に記憶する。
【００４４】
以下、3-gram言語モデル混合部３３の処理をより具体的に説明する。単語列wi-2,wi-1,wiに対するk番目のバックオフn-gram言語モデルの3-gram確率をPk(wi|wi-2,wi-1)、混合重みをλkとすると、3-gram混合の確率値Pmix(wi|wi-2,wi-1)は式（８）で表される。
【００４５】
【数８】
2015230441.tif 000010
【００４６】
ここで、α(wi-2,wi-1)はバックオフ時にかかる係数項であり、周知の方法で求めることができる。
【００４７】
このときの各混合重みλkは開発データを利用して最適化できる。開発データの単語列をw1…wLとすると、混合重みλkはEMアルゴリズムに基づき再帰的に式（９）のように求めることができる。
【００４８】
【数９】
2015230441.tif 000011
【００４９】
ここで、右辺のλkは一回前に求めた混合重みであり、左辺のλ’kは更新された混合重みである。これも1-gram混合や2-gram混合のときと同様に最適化することで、混合2-gram言語モデルを求めることができる。
【００５０】
ステップＳ４において、言語モデル統合部５０は、混合1-gram言語モデル記憶部４１に記憶された混合1-gram言語モデルと、混合2-gram言語モデル記憶部４２に記憶された混合2-gram言語モデルと、混合3-gram言語モデル記憶部４３に記憶された混合3-gram言語モデルとを入力として、各言語モデルをまとめて1つにすることで、1個の混合バックオフn-gram言語モデルを生成する。生成した混合バックオフn-gram言語モデルを混合バックオフn-gram言語モデル記憶部６０へ記憶する。
【００５１】
［応用例］
上記の実施形態ではバックオフ3-gram言語モデルの混合を例としたが、バックオフ4-gram言語モデル、バックオフ5-gram言語モデルも同様の枠組みで混合することが可能である。例えば、バックオフ4-gram言語モデルを混合する場合には、K個のバックオフn-gram言語モデルに含まれるバックオフ4-gram言語モデルを混合する4-gram言語モデル混合部を追加して、言語モデル統合部６０が1-gramから4-gramまでの混合バックオフn-gram言語モデルを統合して、混合バックオフn-gram言語モデルを生成するように構成すればよい。バックオフ5-gram言語モデルを混合する場合も同様に、言語モデル混合部を追加して、混合バックオフ5-gram言語モデルを言語モデル統合部６０に入力すればよい。このようにして、低次のオーダから順番に混合を行うことで、オーダごとに最適な混合が可能となる。
【００５２】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００５３】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００５４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００５５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００５８】
１０  開発データ記憶部
２０  バックオフn-gram言語モデル記憶部
３０  言語モデル混合部
３１  1-gram言語モデル混合部
３２  2-gram言語モデル混合部
３３  3-gram言語モデル混合部
４１  混合1-gram言語モデル記憶部
４２  混合2-gram言語モデル記憶部
４３  混合3-gram言語モデル記憶部
５０  言語モデル統合部
６０  混合バックオフn-gram言語モデル記憶部
【図１】
2015230441.tif 000018
【図２】
2015230441.tif 000019
【図３】
2015230441.tif 000020
【図４】
2015230441.tif 000021