(57)【特許請求の範囲】
【請求項１】
Ｎ個（Ｎ≧２）の音響モデルのＷＦＳＴとトライフォンＷＦＳＴと辞書ＷＦＳＴとユニグラムＷＦＳＴを合成したＮ個の第１段ＷＦＳＴと、
上記第１段ＷＦＳＴに含まれない１個以上のＷＦＳＴの第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴと、
上記第１段ＷＦＳＴと上記第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴを用いて複数の入力音声を音声認識する複数の音声認識部と、
を具備する音声認識装置であって、
上記音声認識部は、
上記Ｎ個の音響モデルを特定する音響モデル情報を記憶した利用音響モデル情報記憶部と、
上記利用音響モデル情報記憶部に記憶された音響モデル情報に対応する上記第１段ＷＦＳＴに接続するための結合ＷＦＳＴを作成する結合ＷＦＳＴ作成部と、
上記結合ＷＦＳＴと上記第１段ＷＦＳＴと、上記第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴの何れかとを用いて多段on-the-fly合成によるＷＦＳＴ音声認識を行う探索部と、
を備えることを特徴とする音声認識装置。
【請求項２】
請求項１に記載した音声認識装置において、
上記結合ＷＦＳＴの初期状態から各第１段ＷＦＳＴの初期状態へ接続する遷移に出力シンボルとして音響モデル情報を示す記号が付加されると共に、第１段ＷＦＳＴに縦続接続される第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴの何れかの初期状態の前に新たな状態を追加し、当該新たな状態と上記初期状態との間の遷移の入出力シンボルに音響モデル情報を示す記号を付加したことを特徴とする音声認識装置。
【請求項３】
Ｎ個（Ｎ≧２）の音響モデルのＷＦＳＴとトライフォンＷＦＳＴと辞書ＷＦＳＴとユニグラムＷＦＳＴを合成したＮ個の第１段ＷＦＳＴと、当該第１段ＷＦＳＴに含まれない１個以上のＷＦＳＴの第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴとを用いて複数の入力音声を音声認識する複数の音声認識過程を、備える音声認識方法であって、
上記音声認識過程は、
利用音響モデル情報記憶部に記憶された音響モデル情報に対応する上記第１段ＷＦＳＴに接続するための結合ＷＦＳＴを作成する結合ＷＦＳＴ作成ステップと、
上記結合ＷＦＳＴと上記第１段ＷＦＳＴと、上記第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴの何れかとを用いて多段on-the-fly合成によるＷＦＳＴ音声認識を行う探索過程と、
を含むことを特徴とする音声認識方法。
【請求項４】
請求項３に記載した音声認識方法において、
上記結合ＷＦＳＴの初期状態から各第１段ＷＦＳＴの初期状態へ接続する遷移に出力シンボルとして音響モデル情報を示す記号が付加されると共に、第１段ＷＦＳＴに縦続接続される第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴの何れかの初期状態の前に新たな状態を追加し、当該新たな状態と上記初期状態との間の遷移の入出力シンボルに音響モデル情報を示す記号を付加したことを特徴とする音声認識方法。
【請求項５】
請求項１または２に記載した音声認識装置の各部の機能を、コンピュータに実行させるためのプログラム。
【請求項６】
請求項５に記載した何れかのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数種類の音響モデルを用いた重み付有限状態トランスデューサ(以下、ＷＦＳＴと称する)を探索することで音声認識処理を実行する音声認識装置とその方法と、プログラムとその記録媒体に関する。
【背景技術】
【０００２】
ＷＦＳＴを探索することで音声認識処理を実行する音声認識装置において、複数の音響モデルを利用する場合は、音響モデルの数にほぼ比例してＷＦＳＴのメモリサイズが増大する。メモリサイズの増大を抑制する目的で、異なる音響モデルの状態構造の共通性に着目して音響モデルＷＦＳＴを併合する考えが、例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１７５３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
最近の音声認識装置は、ＣＰＵパワーの拡大に伴い１台の装置で複数の入力音声を同時に音声認識処理するものも存在する。そのような複数の音声認識サービスに対応しようとした場合、従来の音響モデルＷＦＳＴを併合してメモリサイズを縮小する考えでは対応が難しくなって来ている。つまり、複数の音声認識サービスに対応するためには、サービスごとに音響モデルを含むＷＦＳＴを個別に構成する必要がある。従来の方法で個々の音響モデルＷＦＳＴのサイズを小さくしても音響モデルＷＦＳＴの数が増えてしまう。その結果、メモリサイズが増大してしまう課題がある。
【０００５】
この発明は、このような課題に鑑みてなされたものであり、メモリサイズの増加を少なくできると共に複数の音声に対応できるようにした音声認識装置とその方法とプログラムとその記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明の音声認識装置は、第１段ＷＦＳＴと、第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴと、音声認識部とを具備する音声認識装置であって、その音声認識部は、利用音響モデル情報記憶部と、結合ＷＦＳＴ作成部と、探索部と、を備える。第１段ＷＦＳＴは、Ｎ個（Ｎ≧２）の音響モデルのＷＦＳＴとトライフォンＷＦＳＴと辞書ＷＦＳＴとユニグラムＷＦＳＴを合成したＮ個のＷＦＳＴである。第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴは、第１段ＷＦＳＴに含まれない１個以上のＷＦＳＴである。利用音響モデル情報記憶部は、上記Ｎ個の音響モデルを特定する音響モデル情報を記憶する。結合ＷＦＳＴ作成部は、利用音響モデル情報記憶部に記憶された音響モデル情報に対応する上記第１段ＷＦＳＴに接続するための結合ＷＦＳＴを作成する。探索部は、結合ＷＦＳＴと第１段ＷＦＳＴと第２段ＷＦＳＴ乃至第Ｍ段ＷＦＳＴの何れかとを用いて多段on-the-fly合成によるＷＦＳＴ音声認識を行う。
【発明の効果】
【０００７】
本発明の音声認識装置によれば、Ｎ個の音響モデルに対応する第１段ＷＦＳＴを、結合ＷＦＳＴで組み合わせ、その組み合わせた既存の第１段ＷＦＳＴと、既存の第２段ＷＦＳＴ〜第Ｍ段ＷＦＳＴの何れかとを用いて音声認識を行う。したがって、音声認識サービスに対応させて新たに音響モデルＷＦＳＴを用意する必要が無いので、メモリサイズを増大させることなく複数の音声認識サービスに対応可能な音声認識装置を実現することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の音声認識装置１００の機能構成例を示す図。
【図２】音声認識装置１００の動作フローを示す図。
【図３】結合ＷＦＳＴと第１段ＷＦＳＴの接続例を示す図。
【図４】この発明の音声認識装置２００の機能構成例を示す図。
【図５】実施例２の結合ＷＦＳＴの例を示す図。
【図６】第２段ＷＦＳＴに付加する状態遷移の例を示す図。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１０】
図１に、この発明の音声認識装置１００の機能構成例を示す。その動作フローを図２に示す。音声認識装置１００は、Ｎ個の第１段ＷＦＳＴ１０１,１０２,…,１０Ｎと、第１段ＷＦＳＴに含まれない１個以上のＷＦＳＴの第２段ＷＦＳＴ３０２乃至第Ｍ段ＷＦＳＴ３０Ｍと、複数の音声認識部２０１,…,２０Ｌと、を具備する。音声認識装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現される。
【００１１】
第１段ＷＦＳＴ１０ｎは、音響モデルｎ（１≦ｎ≦Ｎ）のＷＦＳＴと、トライフォンＷＦＳＴと、辞書ＷＦＳＴと、ユニグラムＷＦＳＴを予め合成し、最適化演算したＷＦＳＴである。例えば、音響モデル１は男性の声、音響モデル２は女性の声、の音響モデルのＷＦＳＴである。ＷＦＳＴの合成・最適化方法は、例えば参考文献１（堀貴明,塚田元,「重み付き有限状態トランスデューサによる音声認識」情報処理,2004年10月15日,第45巻10号）に記載された公知の方法を用いる。
【００１２】
複数（Ｌ個）ある音声認識部の１つの音声認識部２０１は、利用音響モデル情報記憶部２１１と、結合ＷＦＳＴ作成部２２１と、探索部２４１と、を備える。音声認識装置１００は、この音声認識部２０１をＬ個備える。音声認識部２０１と音声認識部２０Ｌとは、添え字を変えてそれぞれが独立したものであることを表すが、その構成は全く同じである。
【００１３】
利用音響モデル情報記憶部２１１は、サービスごとに振り分けられるＮ個の音響モデルを特定する音響モデル情報を記憶している。例えば、音声認識部２０１が音響モデル１と３と５を用いてＡサービス用の音声認識をすると仮定した場合、利用音響モデル情報記憶部２１１は、例えば「１,３,５」の音響モデルを識別する情報を記憶している。例えば、音響モデル１は「男性の声」、音響モデル３は「壮年の声」、音響モデル５は「女性の声」、でそれぞれ学習した音響モデルと仮定する。
【００１４】
結合ＷＦＳＴ作成部２２１は、利用音響モデル情報記憶部２１１に記憶された音響モデル情報に対応する第１段ＷＦＳＴ１０ｎに接続するための結合ＷＦＳＴを作成する（ステップＳ２２）。図３に、結合ＷＦＳＴと第１段ＷＦＳＴ１０ｎの接続例を示して結合ＷＦＳＴを説明する。
【００１５】
結合ＷＦＳＴ作成部２２１は、利用音響モデル情報記憶部２１１の記憶している音響モデルに対応する第１段ＷＦＳＴ１０ｎの初期状態及び終了状態に接続する結合ＷＦＳＴを作成する（ステップＳ２２）。利用音響モデル情報記憶部２１１に、「１,３,５」を記憶している場合を例に説明する。先ず、結合ＷＦＳＴ作成部２２１は、状態ｓ１（初期状態）と状態ｓ２を作成する。次に入力シンボルと出力シンボルが共にε（空）で、状態ｓ１から音響モデル１を含む第１段ＷＦＳＴ１０１の初期状態へ接続する遷移を作成する。同様に音響モデル３と５に対応する第１段ＷＦＳＴ１０３と１０５についても状態ｓ１からの遷移を作成する。次に入力シンボルと出力シンボルが共にεで、第１段ＷＦＳＴ１０１,１０３,１０５のそれぞれの終了状態から状態ｓ２へ接続する遷移を作成する。
【００１６】
作成した結合ＷＦＳＴは、状態ｓ１から各第１段ＷＦＳＴ１０ｎの初期状態に接続する遷移と、各第１段ＷＦＳＴ１０ｎの終了状態から状態ｓ２へ接続する遷移の、比較的に少ない情報量である。よって、その情報を結合ＷＦＳＴ作成部２２１の内部に保持するようにしても良い。又は、図１に結合ＷＦＳＴ記憶部２３＊（１≦＊≦Ｌ）を破線で示すように、作成した結合ＷＦＳＴを記憶する手段を設けても良い。
【００１７】
探索部２４１は、結合ＷＦＳＴと第１段ＷＦＳＴ１０ｎと第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍを用いて多段on-the-fly合成によるＷＦＳＴ音声認識を行う（ステップＳ２４）。ここでの第１段ＷＦＳＴ１０ｎは、例えば上記した第１段ＷＦＳＴ１０１,１０３,１０５の３個のＷＦＳＴである。また、第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍは、第１段ＷＦＳＴ１０ｎに含まれないＷＦＳＴであり、Ｍ個用意されている。なお、第Ｍ段のＷＦＳＴの添え字を分かり易くする目的で２（３０２）から記載している関係で、第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍの数は正しくは（Ｍ−１）個である。
【００１８】
式（１）に第１段ＷＦＳＴ１０ｎと第２段ＷＦＳＴ３０２との関係の一例を示す。
【００１９】
【数１】
0005875569.tif 000002
【００２０】
ここで、ＨはＨＭＭの状態から文脈依存音素へのＷＦＳＴ、Ｃは文脈依存音素から文脈非依存音素へのＷＦＳＴ、Ｌは文脈非依存音素から単語へのＷＦＳＴ、Ｇ１は単語からユニグラム単語へのＷＦＳＴである。（・）のＷＦＳＴは事前に合成される。Ｇ３／１は、第２段ＷＦＳＴ３０２を表し、この式（１）では単語トライグラム確率を単語ユニグラム確率で割った値を持つＷＦＳＴである。○は、ＷＦＳＴの合成演算を表す記号である。このＷＦＳＴの合成演算については、参考文献２（Takaaki Hori,Atsushi Nakamura “Generalized Fast On-the-fly Composition Algorithm fot WFST-Based Speech Recognition”,Proc. Of INTERSPEECH 2005.）に記載されているように周知である。
【００２１】
式（１）は、第２段ＷＦＳＴ３０２がＧ３／１の１個の場合を示すが、第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍの数は任意の複数個を接続することが可能である。例えば次式に示すようにクラス言語モデルを利用する場合は複数のＷＦＳＴを縦続に接続しても良い。
【００２２】
【数２】
0005875569.tif 000003
【００２３】
ここでＴ０は、ユニグラム単語を単語クラスに変換するＷＦＳＴである。式（２）に示す例では、第２段ＷＦＳＴ３０２がＴ０、第３段ＷＦＳＴ３０３がＧｃ３／１となる。
【００２４】
このように単語言語モデルを利用する場合はＭ＝２であり、第２段ＷＦＳＴ３０２は単語トライグラムＷＦＳＴである。また、クラス言語モデルを利用する場合はＭ＝３であり、第２段ＷＦＳＴ３０２は単語からクラスへの変換ＷＦＳＴ、第３段ＷＦＳＴ３０３はクラストライグラムＷＦＳＴである。このようにＭ段は、ＷＦＳＴの段数を表す数値である。
【００２５】
式（１）の例では、第２段ＷＦＳＴ３０２は音声認識部２０＊が変わっても固定である。また、式（２）の例では第１段ＷＦＳＴ１０ｎが音響モデルに対応して変わっても、第２段ＷＦＳＴ３０２と第３段ＷＦＳＴ３０３の２つのＷＦＳＴが用いられる点で変化がない。ＷＦＳＴの探索は、各音声認識部２０＊の探索部２４＊が行う。このように合成可能なＷＦＳＴを、第２段ＷＦＳＴ３０２の後に複数個接続するようにしても良い。
【００２６】
なお、第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍの構成は、各音声認識部２０＊のそれぞれに対応させて変えても良い。図４に、各音声認識部２０＊において、第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍの構成を任意に変えられるようにした音声認識装置２００の機能構成例を示す。
【００２７】
音声認識装置２００は、音声認識装置１００に対して各音声認識部２０＊′が第２段ＷＦＳＴ組合せ部２１１＊を備える点でのみ異なる。第２段ＷＦＳＴ組合せ部２１１１は、例えば探索部２４１に対して探索する第２段ＷＦＳＴ３０２がＧ３／１のＷＦＳＴの１個であることを指示する情報を保持している。探索部２４１は、第２段ＷＦＳＴ組合せ部２１１１を参照して、式（１）で合成されたＷＦＳＴを用いて音声認識を行う。
【００２８】
第２段ＷＦＳＴ組合せ部２１１２は、例えば、第２段ＷＦＳＴ３０２のＴ０と第３段ＷＦＳＴ３０３のＧ３／１の２個のＷＦＳＴの縦続接続であることを指示する情報を保持している。探索部２４２は、第２段ＷＦＳＴ組み合わせ部２１１２を参照して、式（２）で合成されるＷＦＳＴを用いて音声認識を行う。このように、各音声認識部２０＊′毎に第２段ＷＦＳＴ以降の構成を変化させるようにしても良い。
【００２９】
音声認識部２０＊′は、それぞれ異なる入力音声を音声認識する。入力音声１を音声認識する音声認識部２０１′の探索部２４１には、入力音声１が入力される。入力音声Ｌを音声認識する音声認識部２０Ｌ′の探索部２４Ｌには、入力音声Ｌが入力される。例えば、入力音声１は男性の声、入力音声Ｌは女性の声のように異なる。入力音声の音声認識部２０＊′への振り分けは、音声認識装置１００,２００を構成する例えばコンピュータの入力ポートの番号に一対一に対応付けることで行っても良い。又は、音声信号分配部５０を設け、入力音声の特徴に応じて入力音声を接続する音声認識部２０＊′を自動的に選択するようにしても良い。
【００３０】
音声認識部２０＊′の音声認識処理は、入力音声信号が一定時間以上の間入力されない場合、又は、図示しない動作停止信号が制御部４０に入力されるまで繰り返される（ステップＳ４０のＮｏ）。このステップＳ２２とステップＳ２４の時系列動作の制御と動作終了の制御は制御部４０が行う。この制御部４０の機能は、この実施例の特別な技術的特徴では無く一般的なものである。
【００３１】
以上説明した音声認識装置１００,２００によれば、異なるサービスや利用環境などにより、音声認識部２０＊（２０＊′）で利用する音響モデルが異なる場合でも、増加するＷＦＳＴは結合ＷＦＳＴの分だけである。つまり、状態ｓ１,ｓ２が２×Ｌ個、遷移数が最大でも２×Ｎ×Ｌ個であり、メモリ増加を抑制することができる。
【実施例２】
【００３２】
実施例１では、結合ＷＦＳＴの入力シンボルと出力シンボルを共にε（空）で説明した。出力シンボルをεとすると、音声認識結果で用いられた音響モデル情報を知ることができないが、分かると便利である。
【００３３】
そこで、音声認識結果に用いた音響モデルの情報を付加する方法について説明する。図５に、音声認識結果に音響モデルの情報を付加する場合の結合ＷＦＳＴの例を示す。図５に示す結合ＷＦＳＴは、状態ｓ１から各第１段ＷＦＳＴ１０ｎの初期状態へ接続する遷移に出力シンボルとして音響モデル情報を示す数値が付加されている点で、上記した結合ＷＦＳＴ（図３）と異なる。
【００３４】
図５は、状態ｓ１から第１段ＷＦＳＴ１０１への遷移の出力シンボルは音響モデル情報を表す数値１、同じく第１段ＷＦＳＴ１０３への遷移の出力シンボルには数値３、第１段ＷＦＳＴ１０５への遷移の出力シンボルには数値５、がそれぞれ付加された例を示す。そして更に、第１段ＷＦＳＴ１０ｎに縦続接続される第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍの初期状態の前に状態ｓ３を追加し、状態ｓ３とその初期状態との間の遷移の入出力シンボルに音響モデル情報を示す数値を付加する。付加された状態ｓ３と入出力シンボルは、第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍのそれぞれと一体となって記憶される。
【００３５】
図６に、第２段ＷＦＳＴに付加する状態遷移の例を示す。第１段ＷＦＳＴ１０ｎに縦続に接続される第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍは、単独の場合と２個以上の複数個が接続される場合があるが、状態ｓ３と入出力シンボルの追加は縦続接続される全てのＷＦＳＴにそれぞれ付加する。
【００３６】
以上の工夫により、結合ＷＦＳＴが出力した音響モデル情報が第２段〜第Ｍ段ＷＦＳＴへの入力となり、音声認識結果として出力されることとなる。例えば「１  お電話ありがとうございます」、「３  東京から大阪まで行きたい」というように、音声認識結果の冒頭に音響モデル情報を付与して出力することが可能になる。音響モデル情報を知ることができれば、音声認識結果に加えて認識対象の入力音声の種別等を知ることが可能になる。実施例２の考えは、音声認識装置１００,２００に適応が可能である。なお、状態遷移に音響モデル情報を示す数値を付加する例で説明を行ったが、音響モデルが識別可能であれば数値以外の記号を付加するようにしても良い。
【００３７】
以上説明したように音声認識装置１００,２００は、利用する音響モデルごとにそれを含む第１段ＷＦＳＴ１０ｎを作成しておき、各音声認識部２０＊で利用する１つあるいは複数の第１段ＷＦＳＴ１０ｎを選択し、それらを結合させる結合ＷＦＳＴを作成する。結合ＷＦＳＴは第１段ＷＦＳＴ１０ｎの記憶領域を参照するので、新たに第１段ＷＦＳＴ１０ｎを作成する必要が無い。そして、複数の音響モデルに対応した複数の第１段ＷＦＳＴ１０ｎと、更には合成可能な第２段ＷＦＳＴ３０２乃至第Ｍ段ＷＦＳＴ３０Ｍを多段on-the-fly合成をすることにより、複数の音響モデルに対応させた音声認識処理を実現する。第１段ＷＦＳＴ１０ｎと第２段ＷＦＳＴ３０２〜第Ｍ段ＷＦＳＴ３０Ｍは、既存のものを組み合わせて用いるので、メモリサイズを増大させることなく複数の音声認識サービスに対応可能な音声認識装置を実現することができる。音声認識装置１００,２００は、１台の装置で複数の音声認識サービスを共有するサーバ型音声認識に好適である。
【００３８】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００３９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４０】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005875569.tif 000004
【図２】
0005875569.tif 000005
【図３】
0005875569.tif 000006
【図４】
0005875569.tif 000007
【図５】
0005875569.tif 000008
【図６】
0005875569.tif 000009