(57)【要約】【課題】無音声区間における探索空間の前方への拡大を制限し、状態仮説数を減じることで、認識精度を低下させることなく認識処理の速度を向上させる。【解決手段】音響特徴パラメータが発話前の音響特徴パラメータであれば、図４(c)に示したHMM状態[1]まで遷移した状態仮説に関して、２つの遷移先のうち隣接する他のHMM状態[2]が制限区域内と判定されるので、HMM状態[1]からHMM状態[2]への状態遷移が禁止される。なお、HMM状態[1]からの遷移であっても、自己遷移は制限区域外への遷移と判定されるので、状態遷移および尤度計算が実施される。音響特徴パラメータが発話後の音響特徴パラメータであれば、図４(d)に示したように、遷移先に制限を設けることなく状態遷移および尤度計算が行われる。【選択図】図４
2008249807.tif 000002
【特許請求の範囲】
【請求項１】
音声信号から抽出された音響パラメータと確率的な状態遷移モデルである音響モデルとを照合し、前記音響パラメータと音響モデルとの尤度を計算しながら状態仮説を遷移させ、最尤な状態遷移パスを音声認識結果とする音声認識装置において、
音声信号から音響パラメータを抽出して一時記憶する音響分析手段と、
前記音響パラメータに基づいて発話を検知する発話検知手段と、
前記発話検知のタイミングよりも所定時間だけ遡った時刻以降の音響パラメータに基づいて尤度計算および状態遷移を実行する遷移探索部と、
前記状態仮説の遷移先を制限する遷移制限手段とを含み、
前記遷移制限手段は、前記発話が検知されるまでは遷移先を制限し、前記発話が検知された以降は前記制限を解除することを特徴とする請求項１に記載の音声認識装置。
【請求項２】
前記遷移探索部は、有効な状態仮説に自己遷移およびL-R遷移を繰り返させ、前記遷移制限手段は、L-R遷移の遷移許可範囲を、前記発話が検知されるまでは検知された以降よりも狭くすることを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記発話が検知されるまでの遷移許可範囲が、当該発話が検知される直前の背景雑音のパワーに基づいて決定されることを特徴とする請求項２に記載の音声認識装置。
【請求項４】
前記発話が検知されるまで許可される遷移先が、前記発話が検知される直前の背景雑音のパワーが小さいほど狭くされることを特徴とする請求項１ないし３のいずれかに記載の音声認識装置。
【請求項５】
前記音響モデルがHMMであることを特徴とする請求項１ないし４のいずれかに記載の音声認識装置。
【請求項６】
音声信号から抽出された音響パラメータと確率的な状態遷移モデルである音響モデルとを照合し、前記音響パラメータと音響モデルとの尤度を計算しながら状態仮説を遷移させ、最尤な状態遷移パスを音声認識結果とする音声認識方法において、
前記音響パラメータを蓄積する手順と、
前記音響パラメータに基づいて発話を検知する手順と、
前記発話検知のタイミングよりも所定時間だけ遡った時刻以降の音響パラメータに基づいて状態仮説を遷移させ、その尤度を計算する手順と、
前記状態仮説を遷移させる過程において各状態仮説の遷移先を制限する遷移制限手段とを含み、
前記遷移先を制限する手順では、前記発話が検知されるまでは遷移先を制限し、検知された以降は前記制限を解除することを特徴とする音声認識方法。
【請求項７】
音声信号から抽出された音響パラメータと確率的な状態遷移モデルである音響モデルとを照合し、前記音響パラメータと音響モデルとの尤度を計算しながら状態仮説を遷移させ、最尤な状態遷移パスを音声認識結果とする音声認識プログラムにおいて、
前記音響パラメータを蓄積する手順と、
前記音響パラメータに基づいて発話を検知する手順と、
前記発話検知のタイミングよりも所定時間だけ遡ったタイミング以降の音響パラメータに基づいて状態仮説を遷移させ、その尤度を計算する手順と、
前記状態仮説を遷移させる過程において各状態仮説の遷移先を制限する遷移制限手段とを含み、
前記遷移先を制限する手順では、前記発話が検知されるまでは遷移先を制限し、検知された以降は前記制限を解除することを特徴とする音声認識方法を、コンピュータに実行させるための音声認識プログラム。
【請求項８】
前記請求項７に記載した音声認識プログラムをコンピュータが読み取り可能に記憶した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識方法および装置ならびに音声認識プログラムおよびその記録媒体に係り、特に、HMMに代表される状態遷移確率モデルを用いて音声認識を行う音声認識方法および装置ならびに音声認識プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
音声認識では、入力された音声信号に最も近い単語列が、予め生成された音響モデルを連結して表現される単語との類似度（確率）に基づいて判定される。HMM(Hidden Marcov Model：隠れマルコフモデル)は、確率および統計理論に基づいてモデル化された音響モデルの１つであり、状態遷移確率および各状態における出力確率密度関数で定義される。以下、従来の音声認識の手法を、音響モデルとして前記HMM を利用した場合を例にして説明する。
【０００３】
音声認識装置では、認識可能な文の集合が単語の系列として記述された文法と、文を構成する単語の読み（音素列）が記述された単語辞書とに従って認識処理が進行する。図６は、文法の一例を示した図であり、ここでは、「伊藤です」、「糸井です」、「今井です」、「土井です」という４つの音声を識別する場合を例にして説明する。
【０００４】
図６に示された文法は、丸数字１で示した状態「１」を始端（文頭）とし、状態「５」を終端（文末）とする状態遷移図であり、矢印で対応付けられた単語を出力して状態が遷移する。文法を構成する各単語は、その読み（音素列）に従ってHMMの状態系列として表現され、単語辞書に含まれる単語の集合は、図７に示したような木構造辞書として展開される。
【０００５】
木構造辞書では、各単語が音素列に分解され、単語「糸井」であれば４つの音素「i」，「t」，「0」，「i」の列に展開される。各音素は、通常３つ程度の状態（HMM状態）から構成される。木構造辞書は、HMMの状態系列として表現される単語間で、先頭から共通する部分的な状態系列をマージすることにより、右に進むにつれて分岐が広がる状態遷移図である。図７の木構造辞書では、「伊藤」、「糸井」、「今井」の３単語で、単語先頭の「い」に相当するHMMの状態系列がマージされ、さらに「伊藤」と「糸井」の間で「いと」までに相当するHMMの状態系列がマージされている。また「土井」と「です」との間で、単語先頭の「d」に相当するHMM状態系列がマージされている。図中の「sil」は無音声区間（silence）を表している。
【０００６】
音声認識処理では、図６に示した文法の制約に従って、図７に示した木構造辞書中の単語先頭のHMM状態から、状態仮説と呼ばれるトークンが木構造辞書を左から右へと遷移する。状態仮説が単語終端のHMM状態に到達すると、単語仮説と呼ばれる履歴を残して、図６の文法における該当単語の遷移先状態に遷移する。遷移先状態が終端（文末）でなければ、次の時刻から同様に、文法の制約に従って木構造辞書の探索が行われる。
【０００７】
木構造辞書中のHMMの状態系列を状態仮説が左から右へと遷移する間に、入力音声に対して、その単語らしさのスコア（対数尤度）が計算される。木構造辞書を構成する各HMM状態は、音響特徴パラメータの入力に対して尤もらしさを出力する確率分布（出力確率密度関数）を有している。また、HMM状態間の遷移について遷移確率（状態遷移確率）が定義されている。これらの確率を時間方向に累積することで、単語らしさのスコア（対数尤度）が計算される。
【０００８】
音声信号を一定時間間隔（例えば１０ms）毎に分析して得られる特徴ベクトルのフレームを周期として、各HMM状態まで遷移した各状態仮説は、さらに自身のHMM状態への遷移（自己遷移）および右隣のHMM状態への遷移（L-R遷移）とを同時に繰り返す。このとき、t番目のフレームに状態jが存在する対数尤度をαj(t)とすれば、対数尤度αj(t)は次式(1)で表される。ここで、αijは状態iから状態jへの遷移確率、bj(ot)は状態jが音響特徴量otを出力する確率である。
【０００９】
【数１】
2008249807.tif 000003
【００１０】
T個のフレームから構成される音声信号についてN個のHMM状態からなる単語系列を探索する場合、すなわち、状態仮説がHMM状態系列を遷移していく場合の、自己遷移とL-R遷移との空間（トレリス）を図８に示す。トレリス空間は、横軸をフレーム、縦軸を状態として可能な状態系列を示す格子グラフであって、それぞれの状態系列は、各時刻における状態を表す点（○印）を線分で結んだ折れ線で表される。
【００１１】
図８に示したように、t番目のフレームのタイミングで状態jに至るパスは数多く存在するが、音声認識は最も確からしいパス（最尤パス）を求めるのが目的であるので、各フレーム、各HMM状態において、次式(2)に従って高いスコアを残すViterbi処理が行われる。
【００１２】
【数２】
2008249807.tif 000004
【００１３】
音声認識処理は、文法が許容する全ての単語連鎖を探索する必要があるため、同時刻に数多くの状態仮説が、自分自身のHMM状態への遷移（図８では、右隣りへの自己遷移）と隣接する他のHMM状態への遷移（図８では、右下隣りへのL-R遷移）とを行うので、その計算量は膨大になる。この計算量の増大を抑えるために、通常はViterbi探索途中で確率の小さい状態仮説を探索空間から除外する枝刈りが行われる。
【００１４】
枝刈りでは、処理中の時刻における最大の尤度から、尤度が一定幅以内にある状態仮説を次の時刻の探索空間として残し、尤度が一定幅以上に低い状態仮説は次の時刻の探索空間から除外される。
【００１５】
特許文献１、２，３には、状態仮説数を効率良く枝刈りして計算量を減じるために、枝刈り条件の閾値を適応的に変化させる技術が開示されている。
【特許文献１】特開２００１−７５５９６号公報
【特許文献２】特開２００３−１５６８３号公報
【特許文献３】特開２００４−１９８８３２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
音声認識装置では、音声が最初に検知されたタイミングよりも数百msほど遡った無音声区間から、前記図６に関して説明したような、先頭に無音声「sil」を有する文法に従って探索処理が開始される。
【００１７】
しかし、この発声前の無音声区間において探索空間（状態仮説の集合）が前方の単語まで無益に拡がってしまうという現象が発生する。図６の例であれば、無音声「sil」を超えて「伊藤」、「糸井」、「今井」、「土井」さらには「です」まで探索空間が拡がってしまうので、状態仮説数が増大して認識処理の遅延をもたらす。
【００１８】
発話前の無音声区間では、状態仮説間の尤度差が十分に大きくならないために枝刈りが効果的に行われない。したがって、無益な尤度計算にコストが消費されてしまうことになる。その一方で、音声検知の閾値を上げてしまうと、今度は発話が見逃されて探索が開始されないといった事態が生じ得る。
【００１９】
このように、発話前の無音声区間では状態仮説間の尤度差が十分に大きくならないために効果的な枝刈りが難しいにも関わらず、上記した従来技術では、発話前の無音声区間であるか否かとは無関係に枝刈り条件が設定されていたので、特に発話前の無音声区間では、無益な尤度計算にコストが消費されてしまうという技術課題があった。
【００２０】
本発明の目的は、上記した従来技術の課題を解決し、無音声区間における探索空間の前方への拡大を制限することで、状態仮説数を減じて認識処理の速度を向上させることの可能な音声認識方法および装置ならびに音声認識プログラムおよびその記録媒体を提供することにある。
【課題を解決するための手段】
【００２１】
上記した目的を達成するために、本発明は、音声信号から抽出された音響パラメータと確率的な状態遷移モデルである音響モデルとを照合し、前記音響パラメータと音響モデルとの尤度を計算しながら状態仮説を遷移させ、最尤な状態遷移パスを認識結果とする音声認識方法において、音声信号から音響パラメータを抽出して一時記憶する音響分析手段と、音響パラメータに基づいて音声の始端すなわち発話を検知する発話検知手段と、発話検知のタイミングよりも所定時間だけ遡った時刻以降の音響パラメータに基づいて状態仮説を遷移させ、その尤度を計算する遷移探索部と、状態仮説の遷移先を制限する遷移制限手段とを含み、遷移制限手段は、発話が検知されるまでは遷移先を制限し、前記発話が検知された以降は前記制限を解除することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、発話が検知される前の無音区間であって、状態仮説間の尤度差が十分に大きくならないために枝刈りを効果的に行えない区間でも、状態仮説の遷移範囲を制限することで状態仮説の増大を抑えて計算量を削減できるので、音声認識精度の低下を抑えて認識処理時間を削減することが可能になる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る音声認識装置１の主要部の構成を示したブロック図である。
【００２４】
音声信号入力部１１は、入力された音声信号をデジタル信号に変換する。音響分析部１２は、音声信号を音響特徴パラメータに変換して一時記憶する。音響特徴パラメータとは、入力音声を一定時間間隔（例えば１０ms：以下、フレームと表現する）毎に分析して得られる特徴ベクトルである。したがって、音声信号は特徴ベクトルの系列X＝x1,x2,…,xTに変換される。
【００２５】
発話検知部１３は、各フレームの音響パラメータに含まれるパワーを参照し、パワーが所定の閾値Wrefを超えた最初のフレームを音声の始端フレームすなわち発話のフレームと判定する。HMMデータベース１４には、音響モデルの確率的な状態遷移ネットワ−クとしてHMMが予め記憶されている。
【００２６】
遷移探索部１５は、前記発話検知部１３により発話が検知されると、この音声検知タイミングから数百ms遡った時刻以降の音響特徴パラメータを前記音響分析部１２から順次に取り込み、文法の拘束条件に従いながら、前記HMMと音響特徴パラメータの時系列データとを照合して音響的な対数尤度を算出する。なお、文法の制約から状態系列が複数に枝分れする場合、遷移探索部１５は枝の数だけ状態仮説を複製し、枝ごとに状態仮説を進行させて尤度を計算する。
【００２７】
遷移制限部１６は、前記遷移探索部１５における状態仮説のトレリス上での状態方向への遷移、すなわち自己遷移を除く他のHMM状態へのL-R遷移を、前記発話検知部１３により検知された発話開始タイミングまでは所定の制限区域内に制限し、発話の開始タイミング以降は、前記状態遷移に関する制限を解除して従来と同様の状態遷移を許容する。認識結果判定部１７は、文法上の文末まで到達した状態仮説のうち、尤度が最大の状態遷移パスを音声認識結果とする。
【００２８】
図２，３は、前記尤度計算部１５における尤度計算手順を示したフローチャートであり、図４は、本実施形態におけるHMMのトレリス上での状態遷移の様子を、従来技術のそれと比較して模式的に表現した図である。図４では、(a)→(b)→(c)→(d)が本実施形態における状態遷移プロセスを示し、(a)→(b)→(e)→(f)が従来技術における状態遷移プロセスを示している。
【００２９】
図２において、ステップＳ１では、前記発話検知部１３により発話が検知されたか否かが判定される。発話が検知されるとステップＳ２へ進み、発話検知後のHMM状態の遷移回数をカウントする変数nがリセットされる。ステップＳ３では、発話検知タイミングから数百ms遡ったフレームが、音響特徴パラメータの取り込み開始フレームとして設定される。ステップＳ４では、前記音響分析部１２に一時記憶されている音響特徴パラメータが、前記読み取り開始フレームから順に遷移探索部１５に取り込まれる。
【００３０】
ステップＳ５では、前記遷移探索部１５において、有効な状態仮説の一つが今回の計算対象として選択される。ステップＳ６では自己遷移が実施され、その尤度が計算・更新される。ステップＳ７では、全ての状態仮説に関して自己遷移および尤度計算が完了したか否かが判定され、完了していなければステップＳ５へ戻り、今回のタイミングで遷移すべき他の状態仮説についても上記した各処理が繰り返される。
【００３１】
今回のタイミングで遷移すべき全ての状態仮説に関して自己遷移および尤度計算が完了するとステップＳ８へ進み、改めて有効な状態仮説の一つが今回の計算対象として選択される。ステップＳ９では、前記ステップＳ４で取り込まれた今回の音響特徴パラメータが発話前の音響特徴パラメータであるか否かが判定される。最初は発話前の音響特徴パラメータと判定されるので、ステップＳ１０の発話前探索へ進む。
【００３２】
図３は、前記発話前探索の手順を示したフローチャートであり、ステップＳ６１では、L-R遷移先のHMM状態が制限区域内であるか否かが、前記遷移回数nに基づいて判定される。ここで、図４(a)，(b)に示したように、遷移回数nが未だ小さく、L-R遷移先のHMM状態が制限区域外である限りは、ステップＳ６２へ進んでL-R遷移尤度計算が実行される。ステップＳ６３ではViterbi処理が実行され、前記式(2)に基づいて、スコアの最も高い状態仮説のみが残される。ステップＳ６４では、遷移回数nがインクリメントされる。
【００３３】
これに対して、図４(c)に示したHMM状態[1]であれば、前記ステップＳ６１において、L-R遷移先のHMM状態[2]が制限区域内と判定されるのでステップＳ６４へジャンプする。すなわち、L-R遷移が禁止される。
【００３４】
図２へ戻り、ステップＳ１３では、今回のタイミングで遷移すべき全ての状態仮説に関して、上記したL-R遷移およびViterbi処理が完了したか否かが判定される。完了していなければステップＳ８へ戻り、今回のタイミングで遷移すべき他の状態仮説についても上記した各処理が繰り返される。
【００３５】
一方、前記ステップＳ９において、前記ステップＳ４で取り込まれた音響特徴パラメータが発話後の音響特徴パラメータであると判定されるとステップＳ１１へ進む。ステップＳ１１では、図４(e)，(f)に示したように、従来技術と同様に、遷移先に制限を設けることなく各状態仮説がL-R遷移されて尤度が計算される。ステップＳ１２ではViterbi処理が実行される。
【００３６】
その後、今回のタイミングで遷移すべき全ての状態仮説について上記した各処理が完了するとステップＳ１４へ進み、現在の全状態仮説の中でスコアが上位の状態仮説のみを残して他の状態仮説を次の探索から除外する枝刈りが行われる。本実施形態では、時刻t、状態jの尤度αj(t)を同時刻の全状態仮説の中で最大の尤度αmax(t)と比較し、次式(3)を満足する状態仮説を次の時刻の探索空間に残し、次式(4)を満足する状態仮説を次の時刻の探索空間から除外する。なお、θpruningは枝刈りの閾値を示す正の実数である。
【００３７】
【数３】
2008249807.tif 000005
【００３８】
【数４】
2008249807.tif 000006
【００３９】
ステップＳ１５では、次フレームの有無が判定され、次フレームが存在すればステップＳ４へ戻って次フレームの音響特徴パラメータを取り込んで上記した各処理が繰り返される。全てのフレームに関して上記した各処理が終了し、状態仮説が文法上の最後のHMM状態に到達すると、ステップＳ１６では、前記認識結果判定部１７において、文法上の文末まで到達した状態仮説のうち、尤度が最大の状態遷移パスが音声認識として確定される。
【００４０】
なお、上記した実施形態では、遷移制限範囲が予め固定的に設定されているものとして説明したが、本発明はこれのみに限定されるものではなく、前記発話検知部１３で発話が検知される直前に測定された背景雑音のパワーの大きさに基づいて、遷移制限範囲が可変的に設定されるようにしても良い。
【００４１】
例えば、発話検知前に測定された背景雑音のパワーが大きい場合は、背景雑音のパワーが小さい場合よりも、音声の始端を捉えられずに発話の検出が遅れる確率が高い。このような場合には、遷移制限範囲を拡大することが望ましい。
【００４２】
図５は、前記遷移回数nに基づいて制限範囲への遷移であるか否かを判定する場合の遷移回数nと音声信号のパワーとの関係を示した図であり、パワーが音声検知の閾値Wrefを超えて発話が検知される直前のパワー、すなわち背景雑音のパワーが大きいほど遷移回数nが大きくなり、遷移可能な範囲を拡げる。
【００４３】
さらに、上記した説明では省略したが、上記した遷移先の制限と従来のスコアに基づく枝刈りは並行に行われても構わない。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る音声認識装置１の主要部の構成を示したブロック図である。
【図２】尤度計算手順を示したフローチャートである。
【図３】発話前尤度計算処理の手順を示したフローチャートである。
【図４】HMMのトレリス上での状態遷移の様子を模式的に表現した図である。
【図５】遷移制限範囲を規定する遷移回数nと音声信号パワーとの関係を示した図である。
【図６】文法の一例を示した図である。
【図７】木構造辞書の一例を示した図である。
【図８】トレリス空間の一例を示した図である。
【符号の説明】
【００４５】
１…音声認識装置，１１…音声信号入力部，１２…音響分析部，１３…発話検知部，１４…HMMデータベース，１５…尤度計算部，１６…遷移制限部，１７…認識結果判定部
【図１】
2008249807.tif 000007
【図２】
2008249807.tif 000008
【図３】
2008249807.tif 000009
【図４】
2008249807.tif 000010
【図５】
2008249807.tif 000011
【図６】
2008249807.tif 000012
【図７】
2008249807.tif 000013
【図８】
2008249807.tif 000014