(57)【要約】【課題】  発声の長短に関わらず音声入力開始から認識結果出力までの応答時間を短縮する音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体を提供する。【解決手段】  音声認識文法１と種類の異なる複数の音響モデル３を同時に読み込み、音声認識文法１に含まれる認識対象単語もしくは単語列の内から、入力音声５に対する照合を複数の音響モデルＡ、Ｂ、Ｃ毎に行い全ての音響モデルを通じて最も尤度の高い単語もしくは単語列を認識結果として出力する音声認識方法において、入力音声の開始から一定間隔毎に、音響モデルに属する認識候補の尤度から音響モデルの代表尤度を求め、代表尤度に基づいて複数ある音響モデルＡ、Ｂ、Ｃの一部に属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体。【選択図】  図１
2005345772.tif 000002
【特許請求の範囲】
【請求項１】
音声認識文法と種類の異なる複数の音響モデルを同時に読み込み、音声認識文法に含まれる認識対象単語もしくは単語列の内から、入力音声に対する照合を複数の音響モデル毎に行い全ての音響モデルを通じて最も尤度の高い単語もしくは単語列を認識結果として出力する音声認識方法において、
入力音声の開始から一定間隔毎に、音響モデルに属する認識候補の尤度から音響モデルの代表尤度を求め、代表尤度に基づいて複数ある音響モデルの一部に属する全ての認識候補をその入力音声位置より以降の照合の対象から除外することを特徴とする音声認識方法。
【請求項２】
請求項１に記載される音声認識方法において、
入力音声の開始から一定間隔毎に、音響モデルの代表尤度が予め準備した尤度の閾値よりも低い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外することを特徴とする音声認識方法。
【請求項３】
請求項１に記載される音声認識方法において、
入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い音響モデルの代表尤度に対する、それ以外の音響モデルの代表尤度との間の尤度差を求め、
代表尤度が最も高い音響モデルを除く音響モデルの内から、尤度差が予め準備した尤度差の閾値よりも高い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外することを特徴とする音声認識方法。
【請求項４】
請求項１に記載される音声認識方法において、
入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い代表尤度を有する音響モデルを除く全ての音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外することを特徴とする音声認識方法。
【請求項５】
請求項１に記載される音声認識方法において、
入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も低い代表尤度を有する音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外することを特徴とする音声認識方法。
【請求項６】
請求項１ないし請求項５の内の何れかに記載される音声認識方法において、
入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の内の最大の尤度をその音響モデルの代表尤度とすることを特徴とする音声認識方法。
【請求項７】
請求項１ないし請求項５の内の何れかに記載される音声認識方法において、
入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の上位の尤度もしくは全ての尤度の平均値をその音響モデルの代表尤度とすることを特徴とする音声認識方法。
【請求項８】
音声認識文法と種類の異なる複数の音響モデルを同時に読み込み、音声認識文法に含まれる認識対象単語もしくは単語列の内から、入力音声に対する照合を複数の音響モデル毎に行い全ての音響モデルを通じて尤度の最も高い単語もしくは単語列を認識結果として出力する音声認識装置において、
入力音声の開始から一定間隔毎に、音響モデルに属する認識候補の尤度から音響モデルの代表尤度を求める音響モデル代表尤度計算部と、
代表尤度に基づいて複数ある音響モデルの一部に属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音響モデル選択部と、
を有することを特徴とする音声認識装置。
【請求項９】
請求項８に記載される音声認識装置において、
音響モデル選択部は、入力音声の開始から一定間隔毎に、音響モデルの代表尤度が予め準備した尤度の閾値よりも低い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外するものであることを特徴とする音声認識装置。
【請求項１０】
請求項８に記載される音声認識装置において、
音響モデル選択部は、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い音響モデルの代表尤度に対する、それ以外の音響モデルの代表尤度との間の尤度差を求め、
代表尤度が最も高い音響モデルを除く音響モデルの内から、尤度差が予め準備した尤度差の閾値よりも高い音響モデルに属する全ての認識侯補をその入力音声位置より以降の照合の対象から除外するものであることを特徴とする音声認識装置。
【請求項１１】
請求項８に記載される音声認識装置において、
音響モデル選択部は、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い代表尤度を有する音響モデルを除く全ての音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外するものであることを特徴とする音声認識装置。
【請求項１２】
請求項８に記載される音声認識装置において、
音響モデル選択部は、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も低い代表尤度を有する音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外するものであることを特徴とする音声認識装置。
【請求項１３】
請求項８ないし請求項１２の内の何れかに記載される音声認識装置において、
音響モデル代表尤度計算部は、入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の内の最大の尤度をその音響モデルの代表尤度とするものであることを特徴とする音声認識装置。
【請求項１４】
請求項８ないし請求項１２の内の何れかに記載される音声認識装置において、
音響モデル代表尤度計算部は、入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の上位の尤度もしくは全ての尤度の平均値をその音響モデルの代表尤度とするものであることを特徴とする音声認識装置。
【請求項１５】
音声認識文法格納部に格納されている音声認識文法と音響モデル格納部に格納されている複数の音響モデルを用いて文法変換部において探索ネットワークを予め作成して探索ネットワーク格納部に格納し、
音声信号を入力してこれを各フレーム毎に音声特徴量パラメータに変換し、
入力音声信号の音声特徴パラメータおよび探索ネットワークを尤度計算・認識結果探索部に読み込み、入力音声信号について探索ネットワーク上の単語もしくは単語列候補に対応する音響モデルに対する音声開始からの照合尤度をフレーム毎に計算し、
計算された各音響モデルの尤度を音響モデル代表尤度計算部に読み込み、各音響モデルの代表尤度を計算し、
計算された各音響モデルの代表尤度を音響モデル選択部に読み込み、これら代表尤度に基づいて入力音声開始から一定間隔毎に以降に用いる音響モデルを選択し、
音声入力が終了するフレームにおいて、選択された音響モデルの認識候補の尤度計算をし、残った認識候補の内で最も尤度の高い候補を認識結果として音声認識結果出力装置に出力する、
指令をコンピュータに対してする音声認識プログラム。
【請求項１６】
請求項１５に記載される音声認識プログラムにおいて、
音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、音響モデルの代表尤度が予め準備した尤度の閾値よりも低い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラム。
【請求項１７】
請求項１５に記載される音声認識プログラムにおいて、
音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い音響モデルの代表尤度に対する、それ以外の音響モデルの代表尤度との間の尤度差を求め、
代表尤度が最も高い音響モデルを除く音響モデルの内から、尤度差が予め準備した尤度差の閾値よりも高い音響モデルに属する全ての認識侯補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラム。
【請求項１８】
請求項１５に記載される音声認識プログラムにおいて、
音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い代表尤度を有する音響モデルを除く全ての音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラム。
【請求項１９】
請求項１５に記載される音声認識プログラムにおいて、
音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も低い代表尤度を有する音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラム。
【請求項２０】
請求項１５ないし請求項１９の内の何れかに記載される音声認識プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体に関し、特に、音声認識文法と音響モデルおよび言語モデルを読み込み、文法に含まれる認識対象単語もしく単語列の内から、入力音声と音響モデルおよび言語モデルとで照合を行い、最も尤度の高い単語もしくは単語列を認識結果として出力する音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
音声認識装置に用いられる一般的な音響モデルとして、認識対象ユーザを問わず、話者および性別を問わずに大量に収集された音声データから学習した不特定話者音響モデルが多く用いられる。
その一方で、或る性別に認識対象を限定した性別依存音響モデル（男性用音響モデルと女性用音響モデル）、年齢層毎に認識対象を限定した年齢層依存音響モデル（例えば、子供用音響モデル、成人用音響モデル、高齢者用音響モデル）、走行自動車内の如き或る特定の環境で発声された音声を認識対象とした特定環境用音響モデルの如き、認識対象を限定した音響モデルを複数用意することで、不特定話者音響モデルなみの認識対象への汎用性を確保し、入力音声に対してそれら音響モデルを同時に用いて認識処理を行い、最終的に尤度の最も高い結果を認識結果とする方法がある。これは、認識対象として話者或いは環境を特定し、それに応じた音声データを用いて学習した音響モデルを用いることで、音響モデルが対象とする音声に対しては不特定話者音響モデルよりも認識精度が向上することから、上述した様に認識対象をより細分化した音響モデルを複数用意して音声認識に用い、様々な話者、環境に対しても不特定話者音響モデルよりも精度の高い認識を行う。しかし、音声認識に同時に用いる音響モデルの数に比例して必要な認識処理量が増加するので、実時間処理には適さない。
【０００３】
そこで、音声の全区間に対して複数用意した音響モデルを全て用いて音声認識を行うのではなく、複数ある音響モデルそれぞれに対応して作成された、規模が小さく必要な処理量が少ない音響モデル、例えばＧＭＭ（Gaussian  Mixture  Model）を用いて音声入力直後に、先ず、音声入力が開始した位置から或る一定区間だけ尤度計算処理を行い、最も尤度の高いGMMに対応する音響モデルを予め選択しておき、選択された音響モデルのみを用いて音声区間全体の認識処理を行う方法がある。これにより、音声の全区間に対して全ての音響モデルを同時に用いて音声認識を行う方法と比較して音声認識の処理量を軽減し、ほぼ同程度の認識精度を得られることが確認されている。ＧＭＭに関しては、例えば、非特許文献１に記載されている。
【非特許文献１】D.A.Reynolds:“Robust Text-Independent Speaker Identification Using Gaussian Mixture Speaker Models”IEEE Trans. S.A. P Vol.2  pp72-83, 1995.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図６を参照するに、上述したＧＭＭ（Gaussian  Mixture  Model）の如き処理量が少ない音響モデルを用いて、音声入力直後に、先ず、音声認識に用いる音響モデルＡ、Ｂを選択するに際してＧＭＭを用いて尤度計算を行う区間として音声入力が開始してから例えば７００ミリ秒の区間を用いる場合、音声入力が開始して７００ミリ秒経過した後に選択された音響モデルＡ或いはＢを用いた本来の音声認識処理が入力音声の最初から始まるので、例え音声認識に用いる音響モデル数を限定選択し、必要な処理量を少なくしたとしても、認識結果を出力するまでの応答時間が遅くなる。特に、音声入力長が短い音声の認識の場合にその傾向が強く、音声入力直後にＧＭＭを用いて認識用の音響モデルを予め選択するよりも、複数の音響モデルを同時に用いて音声認識処理を行った方が応答時間の速い場合があり、ＧＭＭを用いる効果はない。
【０００５】
図６はその問題点を示したものであり、表１は実際の音声を用いて２個の音響モデルを同時に認識した場合とＧＭＭを用いて予め音響モデルを選択した場合の音声入力開始から音声認識結果が出力されるまでの応答時間である。
［表１］
（括弧内は音声長）  複数音響モデル同時認識    ＧＭＭによる音響モデル選択
音声１（２.４秒）          ３.６秒                  ４.２秒
音声２（１.３秒）          ２.７秒                  ４.１秒
音声３（１.７秒）          ３.１秒                  ４.１秒
音響モデルＡ（例えば、男性用モデル）と音響モデルＢ（例えば、女性用モデル）を音声認識に用いる場合に、ＧＭＭで音響モデルＡと判別した後に音響モデルＡのみで認識処理を行うより、音響モデルＡと音響モデルＢを同時に用いて認識処理を行う方が、応答時間が速いことがわかる。
【０００６】
ここで、ＧＭＭによる尤度計算区間を更に短くすることで応答時間を速くすることはできるが、尤度計算区間が短い分、尤度に対する信頼性が欠け、選択精度が悪くなり、認識精度が悪化する。
この様に、音声入力開始から認識結果出力までの応答時間に関しては、複数の音響モデルを同時に音声認識に用いる場合とＧＭＭを用いて予め音響モデルを選択する場合を比較すると、入力音声長が長ければＧＭＭを用いた方がよく、短ければ音響モデルを複数同時に用いた方がよい。しかし、入力音声長は音声が実際に入力されないとわからないところから、実質的には何れかの方法を予め採用せざるを得えず、問題は解消されない。
【０００７】
この発明は、発声の長短に関わらず音声入力開始から認識結果出力までの応答時間を短縮する上述の問題を解消した音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体を提供するものである。
【課題を解決するための手段】
【０００８】
請求項１：音声認識文法と種類の異なる複数の音響モデルを同時に読み込み、音声認識文法に含まれる認識対象単語もしくは単語列の内から、入力音声に対する照合を複数の音響モデル毎に行い全ての音響モデルを通じて最も尤度の高い単語もしくは単語列を認識結果として出力する音声認識方法において、入力音声の開始から一定間隔毎に、音響モデルに属する認識候補の尤度から音響モデルの代表尤度を求め、代表尤度に基づいて複数ある音響モデルの一部に属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音声認識方法を構成した。
【０００９】
請求項２：請求項１に記載される音声認識方法において、入力音声の開始から一定間隔毎に、音響モデルの代表尤度が予め準備した尤度の閾値よりも低い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音声認識方法を構成した。
請求項３：請求項１に記載される音声認識方法において、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い音響モデルの代表尤度に対する、それ以外の音響モデルの代表尤度との間の尤度差を求め、代表尤度が最も高い音響モデルを除く音響モデルの内から、尤度差が予め準備した尤度差の閾値よりも高い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音声認識方法を構成した。
【００１０】
請求項４：請求項１に記載される音声認識方法において、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い代表尤度を有する音響モデルを除く全ての音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音声認識方法を構成した。
請求項５：請求項１に記載される音声認識方法において、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も低い代表尤度を有する音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音声認識方法を構成した。
【００１１】
請求項６：請求項１ないし請求項５の内の何れかに記載される音声認識方法において、入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の内の最大の尤度をその音響モデルの代表尤度とする音声認識方法を構成した。
請求項７：請求項１ないし請求項５の内の何れかに記載される音声認識方法において、入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の上位の尤度もしくは全ての尤度の平均値をその音響モデルの代表尤度とする音声認識方法を構成した。
【００１２】
ここで、請求項８：音声認識文法と種類の異なる複数の音響モデルを同時に読み込み、音声認識文法に含まれる認識対象単語もしくは単語列の内から、入力音声に対する照合を複数の音響モデル毎に行い全ての音響モデルを通じて尤度の最も高い単語もしくは単語列を認識結果として出力する音声認識装置において、入力音声の開始から一定間隔毎に、音響モデルに属する認識候補の尤度から音響モデルの代表尤度を求める音響モデル代表尤度計算部９と、代表尤度に基づいて複数ある音響モデルの一部に属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する音響モデル選択部１０と、を有する音声認識装置を構成した。
【００１３】
請求項９：請求項８に記載される音声認識装置において、音響モデル選択部１０は、入力音声の開始から一定間隔毎に、音響モデルの代表尤度が予め準備した尤度の閾値よりも低い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外するものである音声認識装置を構成した。
請求項１０：請求項８に記載される音声認識装置において、音響モデル選択部１０は、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い音響モデルの代表尤度に対する、それ以外の音響モデルの代表尤度との間の尤度差を求め、代表尤度が最も高い音響モデルを除く音響モデルの内から、尤度差が予め準備した尤度差の閾値よりも高い音響モデルに属する全ての認識侯補をその入力音声位置より以降の照合の対象から除外するものである音声認識装置を構成した。
【００１４】
請求項１１：請求項８に記載される音声認識装置において、音響モデル選択部１０は、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い代表尤度を有する音響モデルを除く全ての音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外するものである音声認識装置を構成した。
請求項１２：請求項８に記載される音声認識装置において、音響モデル選択部１０は、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も低い代表尤度を有する音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外するものである音声認識装置を構成した。
【００１５】
請求項１３：請求項８ないし請求項１２の内の何れかに記載される音声認識装置において、音響モデル代表尤度計算部９は、入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の内の最大の尤度をその音響モデルの代表尤度とするものである音声認識装置を構成した。
請求項１４：請求項８ないし請求項１２の内の何れかに記載される音声認識装置において、音響モデル代表尤度計算部９は、入力音声の開始から一定間隔毎に求める音響モデルの代表尤度として、音響モデルに属する全ての認識候補の上位の尤度もしくは全ての尤度の平均値をその音響モデルの代表尤度とするものである音声認識装置を構成した。
【００１６】
そして、請求項１５：音声認識文法格納部１に格納されている音声認識文法と音響モデル格納部３に格納されている複数の音響モデルＡ、Ｂ、Ｃを用いて文法変換部２において探索ネットワークを予め作成して探索ネットワーク格納部４に格納し、音声信号を入力してこれを各フレーム毎に音声特徴量パラメータに変換し、入力音声信号の音声特徴パラメータおよび探索ネットワークを尤度計算・認識結果探索部８に読み込み、入力音声信号について探索ネットワーク上の単語もしくは単語列候補に対応する音響モデルに対する音声開始からの照合尤度をフレーム毎に計算し、計算された各音響モデルの尤度を音響モデル代表尤度計算部９に読み込み、各音響モデルの代表尤度を計算し、計算された各音響モデルの代表尤度を音響モデル選択部１０に読み込み、これら代表尤度に基づいて入力音声開始から一定間隔毎に以降に用いる音響モデルを選択し、音声入力が終了するフレームにおいて、選択された音響モデルの認識候補の尤度計算をし、残った認識候補の内で最も尤度の高い候補を認識結果として音声認識結果出力装置１１に出力する、指令をコンピュータに対してする音声認識プログラムを構成した。
【００１７】
請求項１６：請求項１５に記載される音声認識プログラムにおいて、音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、音響モデルの代表尤度が予め準備した尤度の閾値よりも低い音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラムを構成した。
請求項１７：請求項１５に記載される音声認識プログラムにおいて、音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い音響モデルの代表尤度に対する、それ以外の音響モデルの代表尤度との間の尤度差を求め、代表尤度が最も高い音響モデルを除く音響モデルの内から、尤度差が予め準備した尤度差の閾値よりも高い音響モデルに属する全ての認識侯補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラムを構成した。
【００１８】
請求項１８：請求項１５に記載される音声認識プログラムにおいて、音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も高い代表尤度を有する音響モデルを除く全ての音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラムを構成した。
請求項１９：請求項１５に記載される音声認識プログラムにおいて、音響モデルを選択するに際して、入力音声の開始から一定間隔毎に、複数の音響モデルの内で最も低い代表尤度を有する音響モデルに属する全ての認識候補をその入力音声位置より以降の照合の対象から除外する指令をコンピュータに対してする音声認識プログラムを構成した。
また、請求項２０：請求項１５ないし請求項１９の内の何れかに記載される音声認識プログラムを記録した記録媒体を構成した。
【発明の効果】
【００１９】
この発明は、尤度計算を行いながら尤度の高い、即ち、入力音声に適した音響モデルを段階的に選択減少し、尤度計算処理量を少なくしている。これにより、短い音声が入力された場合は、複数の音響モデルを同時に利用して音声認識を行う様に振舞うところから、ＧＭＭを用いて予め音響モデルを選択して音声認識を行うよりも応答時間が短くて済む。
【００２０】
一方、長い音声が入力された場合における入力された音声の長さに対応して同時に利用される音響モデルの数を段階的に漸減しながら音声認識を行う振舞いは、従来例におけるＧＭＭを用いて予め音響モデルを選択減少する効果に匹敵し、ＧＭＭを用いて予め音響モデルを選択する工程を介在させる必要なしに入力音声に対する最適の音響モデルを選択することができて、音声認識の応答時間を短かくすることができる。
また、音響モデルを選択するに際して、選択の方法、代表尤度を取捨選択することにより、この発明の利用場面に応じて、より速い応答時間、より高い認識精度、より安定した効果を実現することができる。
【発明を実施するための最良の形態】
【００２１】
発明を実施するための最良の形態を図を参照して具体的に説明する。
図１は音声認識装置の実施例を説明するブロック図である。音声認識を実施するに先立って、音声認識文法格納部１に格納されている音声認識文法と音響モデル格納部３に格納されている複数の音響モデルＡ、Ｂ、Ｃを用いて、文法変換部２において探索ネットワークを予め作成し、探索ネットワーク格納部４に格納しておく。
探索ネットワークとは、音素、音韻、音節の如き或る音声カテゴリ毎に構成される音響モデルを、音声認識文法に記述された単語もしくは単語列に従って連結し、音声認識文法が受理する認識候補全てをネットワークとして表現したものである。ここにおいては、音響モデルが複数の音響モデルＡ、Ｂ、Ｃの３であることから、１つの認識対象単語もしくは単語列に対して、音響モデルＡで構成される認識対象単語もしくは単語列、音響モデルＢで構成される認識対象単語もしくは単語列、音響モデルＣで構成される認識対象単語もしくは単語列が異なる認識候補としてネットワーク上に存在する。
【００２２】
複数用意される音響モデルとしては、例えば、男性或いは女性の何れか一方の性別を認識対象とした性別依存音響モデル（音響モデル数は２）、子供、成人、高齢者その他の年齢層毎に認識対象を限定した年齢層依存音響モデル（音響モデル数は例えば３）、或る特定の話者のみを認識対象とした特定話者音響モデルの集合（音響モデル数は利用するユーザ数分）の如きなどが音響モデルの例として挙げられる。また、発声環境の観点から、雑音の全く存在しない環境や、自動車内の如き或る特定の環境を認識対象とした特定環境音響モデルの集合（音響モデル数は対象とする環境数分）、電話回線、ＩＰ回線の如き特定の回線を介して得られる音声を認識対象とした音響モデル（音響モデル数は対象とする回線種数分）が例として挙げられる。この様に、音響モデルを複数準備する形態として様々なものが考えられるが、この発明はその全ての準備形態において適用することができる。
【００２３】
図１において、ユーザが発声した音声は、音声信号入力装置５において音声信号に変換され、音声信号入力端子を介してＡ／Ｄ変換部６に入力される。この音声信号はＡ／Ｄ変換部６においてディジタル信号に変換され、特徴パラメータ抽出部７において入力信号の複数サンプル（フレーム、と呼ぶ）毎に音声特徴パラメータに変換される。なお、１フレームは、一例として１０ミリ秒程度に設定している。次に、探索ネットワーク格納部４に格納される上述の探索ネットワークを尤度計算・認識結果探索部８に読み込み、入力信号について、探索ネットワーク上の単語もしくは単語列候補に対応する音響モデルに対する音声開始からの照合尤度をフレーム毎に計算する。
ここで、この発明は、音声入力が開始してから予め指定された一定間隔毎に、そのフレーム以降に照合に用いる音響モデルの数を選択して減少する操作を実行する。以下、図を参照して具体的に説明する。
【００２４】
図２は音響モデルＡ、Ｂ、Ｃを選択減少する第１の実施例として、音声開始からフレーム毎に尤度計算が進み、予め指定された複数フレームより成る一定間隔（一例として７００ミリ秒＝７０フレーム）毎に、音響モデルに属する全ての認識候補の内の、音声開始から現フレームまでの累積尤度の最大値をその音響モデルの代表尤度とし、その代表尤度が予め設定した閾値よりも低い音響モデルは現フレーム以降の尤度計算に用いず、閾値よりも高い音響モデルのみを尤度計算に用いる様子を示している。３個の音響モデルＡ、Ｂ、Ｃ（例えば、順に、成人用音響モデル、子供用音響モデル、高齢者用音響モデル）を用い、尤度の閾値を７０とする。
音声入力が開始したフレームｔ0 から、フレーム毎に全ての音響モデルに属する認識候補の尤度計算が尤度計算・認識結果探索部８において行われる。
【００２５】
フレームｔ0 より７００ミリ秒（＝７０フレーム）の一定間隔が経過したフレームｔ1 において、先ず、音響モデル代表尤度計算部９で各音響モデルの代表尤度を求める。図中の矢印は認識候補を示し、その矢印の横の数値は音声開始からそのフレームまでの認識候補の累積尤度である。音響モデルＡに属する認識候補Ａ−１、Ａ−２、Ａ−３の内で最も累積尤度の高いのはＡ−１の９９であるため、これを音響モデルＡの代表尤度とする。同様に、音響モデルＢ、音響モデルＣの代表尤度をそれぞれ５４、８６と求める。図中の累積尤度の下線はそれが代表尤度であることを示している。
【００２６】
次に、音響モデル選択部１０においてこれら代表尤度からフレームｔ1 以降に用いる音響モデルを選択する。ここで、音響モデルＡの代表尤度９９と音響モデルＣの代表尤度８５が尤度の閾値７０を上回り、音響モデルＢの代表尤度５４は閾値７０を下回っているため、フレームｔ1 以降に尤度計算を行う音響モデルとして音響モデルＡと音響モデルＣを選択する。
フレームｔ1 以降、尤度計算・認識結果探索部８においてはフレームｔ1 において選択された音響モデルＡと音響モデルＣの認識候補に対する尤度計算が行われ、音響モデルＢの認識候補は除外される。
【００２７】
一定間隔７００ミリ秒が更に経過したフレームt2 において、音響モデル代表尤度計算部９で音響モデルＡおよび音響モデルＣの代表尤度をそれぞれ８９、６８と求める。次に、音響モデル選択部１０において、代表尤度が閾値７０を上回る代表尤度８９の音響モデルＡを選択する。
フレームt2 以降、尤度計算・認識結果探索部８においてはフレームt2 において選択された音響モデルＡの認識候補に対する尤度計算が行われ、音響モデルＣの認識候補は除外される。
【００２８】
次に、音声が終了するフレームt3 において、音響モデルＡの認識候補の尤度計算が終了すると、残った認識候補の内で最も尤度の高い候補、ここでは認識候補Ａ−２を認識結果として音声認識結果出力装置１１に出力する。
この様に、この発明は、尤度計算を行いながら累積尤度の高い、即ち、入力音声に適した音響モデルを段階的に選択し、尤度計算処理量を少なくすることで、例えば、図２のフレームｔ1 付近で音声が終了する様な短い音声が入力された場合は、複数の音響モデルを同時に利用して音声認識を行様に振舞うため、ＧＭＭを用いて予め音響モデルを選択して音声認識を行うよりも応答時間が短い。一方、例えば、フレームt3 もしくは更に時間が経過して音声が終了する様な長い音声が入力された場合における入力された音声の長さに対応して同時に利用される音響モデルの数を段階的に漸減しながら音声認識を行う振舞いは、従来例におけるＧＭＭを用いて予め音響モデルを選択減少する効果に匹敵し、ＧＭＭを用いて予め音響モデルを選択する工程を介在させる必要なしに入力音声に対する最適の音響モデルを選択することができて、音声認識の応答時間を短かくすることができる。よって、発声の長短に関わらずに音声入力開始から認識結果出力までの応答時間を短縮することができる。
【００２９】
次に、図３を参照するに、音饗モデルを選択する第２の実施例として、音声開始からフレーム毎に尤度計算が進み、予め指定されたフレーム間隔（一例として７００ミリ秒＝７０フレーム）毎に、音響モデルに属する全ての認識候補の内の、音声開始から現フレームまでの累積尤度の最大値をその音響モデルの代表尤度とし、最も高い音響モデルの代表尤度に対する、それ以外の音響モデルの代表尤度との尤度差を求め、代表尤度が最も高い音響モデルを除く音響モデルの内から、尤度差が予め設定した閾値よりも低い音響モデルは現フレーム以降の尤度計算に用いずに、閾値よりも高い音響モデルのみを用いる実施例を説明する。ここで、尤度差の閾値を２０とする。
【００３０】
音声入力が開始したフレームｔ0 から、フレーム毎に全ての音響モデルに属する認識候補の尤度計算が行われる。
フレームｔ0 より一定間隔の７００ミリ秒が経過したフレームｔ1 において、先ず、音響モデル代表尤度計算部９で各音響モデルの代表尤度を求める。代表尤度の算出方法は図２の第１の実施例と同じであり、音響モデルＡ、音響モデルＢ、音響モデルＣの代表尤度をそれぞれ９９、５４、８６と求める。
【００３１】
次に、これら代表尤度から音響モデル選択部１０においてフレームｔ1 以降に用いる音響モデルを選択する。先ず、フレームｔ1 で最も代表尤度の高いのは音響モデルＡの代表尤度９９（図３で尤度に網掛け）であるので、音響モデルＢの音響モデルＡとの代表尤度の尤度差を４５（＝９９−５４）、音響モデルCの音響モデルＡとの代表尤度の尤度差を１３（＝９９−８６）と求める。ここでは音響モデルＢの音響モデルＡとの尤度差４５が閾値２０を上回り、音響モデルＣの音響モデルＡとの尤度差１３は閾値２０を下回っているので、フレームｔ1 以降に尤度計算を行う音響モデルとして音響モデルＡと音響モデルＣを選択する。
フレームｔ1 以降、尤度計算・認識結果探索部８においてはフレームｔ1 において選択された音響モデルＡ、Cの認識候補に対する尤度計算が行われ、音響モデルＢの認識候補は除外される。
【００３２】
更に、７００ミリ秒が経過したフレームt2 においても、音響モデル代表尤度計算部９で音響モデルＡおよび音響モデルＣの代表尤度をそれぞれ８９、６８と求める。次に、音響モデル選択部１０において、フレームt2 で最も代表尤度の高い音響モデルＡの代表尤度８９と、残る音響モデルＣの代表尤度６８の尤度差を２１（＝８９−６８）と求める。ここで、この尤度差が閾値２０を上回っているので、フレームt2 以降に尤度計算を行う音響モデルとして音響モデルＡのみを選択する。
フレームt2 以降、尤度計算・認識結果探索部８においてはフレームt2 において選択された音響モデルＡの認識候補に対する尤度計算が行われ、音響モデルＣの認識候補は除外される。
【００３３】
次に、音声が終了するフレームt3 において、音響モデルＡの認識候補の尤度計算が終了すると、残った認識候補の内で最も尤度の高い候補、即ち、認識候補Ａ−２を認識結果として音声認識結果出力装置１１に出力する。
図３の第２の実施例によると、図２の第１の実施例と同様の効果が得られ、かつ音声入力状況によって値が大きく変動する尤度（代表尤度）に対して閾値を与えるのではなく、尤度差（代表尤度差）に対して閾値を与えるため様々な音声入力状況に対して安定した閾値を与えることができる。
【００３４】
次に、図４を参照して、音響モデルを選択する第３の実施例として、音声開始からフレーム毎に尤度計算が進み、予め指定されたフレーム間隔（一例として、７００ミリ秒＝７０フレーム）毎に、音響モデルに属する全ての認識候補の内の、音声開始からの現フレームまでの累積尤度の最大値をその音響モデルの代表尤度とし、最も高い代表尤度を有する音響モデルのみを現フレーム以降の尤度計算に用い、それ以外の音響モデルは用いない実施例を説明する。
音声入力が開始したフレームｔ0 から、フレーム毎に全ての音響モデルに属する認識候補の尤度計算が行われる。
【００３５】
フレームｔ0 より７００ミリ秒が経過したフレームｔ1 において、先ず、音響モデル代表尤度計算部９で各音響モデルの代表尤度を求める。代表尤度の算出方法は図２の第１の実施例と同じであり、音響モデルＡ、音響モデルＢ、音響モデルＣの代表尤度をそれぞれ９９、５４、８６と求める。
次に、これら代表尤度から音響モデル選択部１０においてフレームｔ1 以降に用いる音響モデルを選択する。フレームｔ1 で最も代表尤度の高いのは音響モデルＡの代表尤度９９であるので、フレームｔ1 以降に尤度計算を行う音響モデルとして音響モデルＡを選択する。
【００３６】
フレームｔ1 以降、尤度計算・認識結果探索部８においてはフレームｔ1 において選択された音響モデルＡの認識候補に対する尤度計算が行われ、音響モデルＢ、音響モデルＣの認識候補は除外される。
次に、音声が終了するフレームt3 において、音響モデルＡの認識候補の尤度計算が終了すると、残った認識候補の内で最も尤度の高い候補、即ち、認識候補Ａ−２を認識結果として音声認識結果出力装置１１に出力する。
図４の第３の実施例によると、図２、図３の第１、２の実施例と比較して、長い音声が入力された場合に最も認識処理量を少なくすることができ、音声入力開始から認識結果出力までの応答時間を短縮することができる。
【００３７】
次に、図５を参照して、音響モデルを選択する第４の実施例として、音声開始からフレーム毎に尤度計算が進み、予め指定されたフレーム間隔（一例として、７００ミリ秒＝７０フレーム）毎に、音響モデルに属する全ての認識候補の内の、音声開始からの現フレームまでの累積尤度の最大値をその音響モデルの代表尤度とし、最も低い代表尤度を有する音響モデルは現フレーム以降の尤度計算に用いずに、それ以外の音響モデルを用いる実施例を説明する。
音声入力が開始したフレームｔ0 から、フレーム毎に全ての音響モデルに属する認識候補の尤度計算が行われる。
【００３８】
フレームｔ0 より一定間隔の７００ミリ秒が経過したフレームｔ1 において、先ず、音響モデル代表尤度計算部９で各音響モデルの代表尤度を求める。代表尤度の算出方法は図２の第１の実施例と同じであり、音響モデルＡ、音響モデルＢ、音響モデルＣの代表尤度をそれぞれ９９、５４、８６と求める。
次に、これら代表尤度から音響モデル選択部１０においてフレームｔ1 以降に用いる音響モデルを選択するフレームｔ1 で最も代表尤度の低いのは音響モデルＢの代表尤度５４（図５で尤度に囲み線）であるので、それ以外の音響モデルである音響モデルＡと音響モデルＣを、フレームｔ1 以降に尤度計算を行う音響モデルとして選択する。
【００３９】
フレームｔ1 以降、尤度計算・認識結果探索部８においてはフレームｔ1 において選択された音響モデルＡ、音響モデルＣの認識候補に対する尤度計算が行われ、音響モデルＢの認識候補は除外される。
更に、７００ミリ秒が経過したフレームt2 においても、音響モデル代表尤度計算部９で音響モデルＡおよび音響モデルＣの代表尤度をそれぞれ８９、６８と求める。次に、音響モデル選択部１０において、フレームt2 で最も代表尤度の低い音響モデルＣを除く音響モデルAを、フレームt2 以降に尤度計算を行う音響モデルとして選択する。
【００４０】
フレームt2 以降、尤度計算・認識結果探索部８においてはフレームt2 において選択された音響モデルＡの認識候補に対する尤度計算が行われ、音響モデルＣの認識侯補は除外される。
次に、音声入力が終了するフレームt3 において、音響モデルＡの認識候補の尤度計算が終了すると、残った認識候補の内で最も尤度の高い候補、即ち、認識候補Ａ−２を認識結果として音声認識結果出力装置１１に出力する。
図５の第４の実施例によると、図２、図３、図４の第１、２、３の実施例と同様の効果が得られ、かつ音響モデルの段階的な選択が緩やかであり、より長い区間の尤度による音響モデルの選択を行っていることになるので、最も精度の高い音声認識が行われる。
【００４１】
以上、４種類の音響モデル選択部１０の実施例について説明したが、これらに用いられている代表尤度の算出方法として、音響モデルに属する全ての認識候補の内の上位数候補（一例として５候補）もしくは全ての候補の尤度の平均値をその音響モデルの代表尤度とすることもできる。これにより、音響モデルに属する認識候補の尤度に対して平滑化された値が求まるので、尤度計算過程において一時的に一部の候補の尤度が高くなった、もしくは低くなったことによる音響モデル選択の失敗を防ぐことができる。
【図面の簡単な説明】
【００４２】
【図１】音声認識装置の実施例を説明する図。
【図２】音響モデルの代表尤度が予め準備した尤度の閾値より低い音響モデルに属する認識候補をそのフレームより以降の照合の対象から除外する実施例を説明する図。
【図３】音響モデルの内で最も高い音響モデルの代表尤度と、それ以外の音響モデルの代表尤度との尤度差が予め準備した尤度差の閾値よりも高い音響モデルに属する認識候補をそのフレームより以降の照合の対象から除外する実施例を説明する図。
【図４】音響モデルの内で最も高い代表尤度を有する音響モデルを除く音響モデルに属する認識候補をそのフレームより以降の照合の対象から除外する実施例を説明する図。
【図５】音響モデルの内で最も低い代表尤度を有する音響モデルに属する認識候補をそのフレームより以降の照合の対象から除外する実施例を説明する図。
【図６】ＧＭＭを用いて予め音響モデルを選択した場合の問題点を説明する図。
【符号の説明】
【００４３】
１  音声認識文法格納部              ２  文法変換部
３  音響モデル格納部                ４  探索ネットワーク格納部
５  音声信号入力装置                ６  Ａ／Ｄ変換部
７  特徴パラメータ抽出部            ８  尤度計算・認識結果探索部
９  音響モデル代表尤度計算部      １０  音響モデル選択部
１１  音声認識結果出力装置
【図１】
2005345772.tif 000003
【図２】
2005345772.tif 000004
【図３】
2005345772.tif 000005
【図４】
2005345772.tif 000006
【図５】
2005345772.tif 000007
【図６】
2005345772.tif 000008