(57)【要約】【課題】単語挿入ペナルティを挿入単語に応じて異ならせることにより最適化する。【解決手段】ペナルティ適用部１５は、挿入単語識別部１５１およびペナルティ決定部１５２を含み、単語系列に単語が挿入されるごとに、単語挿入ペナルティを決定して累積尤度に課する。挿入単語識別部１５１は、単語系列に新たに挿入された単語を識別する。ペナルティ決定部１５２は、挿入された単語の識別結果に基づいて、当該単語の挿入に際して課する単語挿入ペナルティを決定する。挿入された単語の単語長を代表する指標として、音素数や音節数を用いることができる。ペナルティ決定部１５２は、単語長が短くなるほど大きなペナルティが課されるように単語挿入ペナルティを決定する。【選択図】図１
2011164192.tif 000002
【特許請求の範囲】
【請求項１】
入力音声をその始端から順に多数の単語系列と照合して言語尤度および音響尤度を順次に累積し、さらに前記単語系列に単語が挿入されるごとに単語挿入ペナルティを課し、入力音声の終端において累積尤度が高い単語系列を認識結果とする音声認識装置において、
前記単語系列に挿入された単語を識別する手段と、
前記挿入された単語に応じて異なる単語挿入ペナルティを決定する手段とを具備したことを特徴とする音声認識装置。
【請求項２】
前記挿入された単語を識別する手段は単語長を識別し、
前記単語挿入ペナルティを決定する手段は、単語挿入ペナルティを単語長に基づいて決定することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記単語挿入ペナルティを決定する手段は、単語長の短い単語に課する単語挿入ペナルティを、単語長の長い単語に課する単語挿入ペナルティよりも大きくすることを特徴とする請求項２に記載の音声認識装置。
【請求項４】
前記挿入された単語の単語長が当該単語の音素数で代表されることを特徴とする請求項２または３に記載の音声認識装置。
【請求項５】
前記挿入された単語の単語長が当該単語の音節数で代表されることを特徴とする請求項２または３に記載の音声認識装置。
【請求項６】
前記単語挿入ペナルティを決定する手段は、前記単語系列に単語が挿入されるごと、当該挿入された単語に応じた単語挿入ペナルティを決定することを特徴とする請求項１ないし５のいずれかに記載の音声認識装置。
【請求項７】
前記単語挿入ペナルティを決定する手段は、前記単語系列に単語が挿入されるごと、当該挿入された単語に応じた単語挿入ペナルティおよび当該単語に先行して挿入された少なくとも一つの単語に応じた単語挿入ペナルティに基づいて単語挿入ペナルティを決定することを特徴とする請求項１ないし５のいずれかに記載の音声認識装置。
【請求項８】
前記単語挿入ペナルティを決定する手段は、先行して挿入された単語ほど、その単語挿入ペナルティの影響を小さくすることを特徴とする請求項７に記載の音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声認識装置に係り、特に、単語系列に単語が挿入されるごとに単語挿入ペナルティを課することで、誤った単語系列の累積尤度が高くなることを抑制できる音声認識装置に関する。
【背景技術】
【０００２】
音声認識処理は、入力音声に対して尤もらしい単語を予め用意された単語集合の中から順次に選択して選択済みの単語の系列に挿入することを繰り返し、最終的に累積尤度の高い単語系列を認識結果として出力するパターンマッチング処理である。
【０００３】
音声認識では、初めにマイクロフォンなどで検知された音声信号から、単位時刻毎にMFCC(Mel-Frequency Cepstral Coefficient)等の音響特徴量が抽出され、この音響特徴量に対して尤もらしい単語系列が認識結果として出力される。この尤もらしさを表すスコアとして、確率値を対数表現した尤度が用いられる。
【０００４】
尤度には、言語モデルに基づいて算出される言語尤度および音響モデルに基づいて算出される音響尤度の２種類がある。言語尤度は単語の並びの尤もらしさを表す指標であり、音響尤度は、単語辞書に登録された各単語の読みに対する音響特徴量の尤もらしさを表す指標である。音声認識処理では、入力音声がその始端から順に、多数の単語系列と照合されて言語尤度および音響尤度が算出かつ累積され、入力音声が終端に到達したと判定されたときに累積尤度の最も高い単語系列が認識結果とされる。
【０００５】
前記言語尤度は単語系列の尤もらしさを評価した値であるため、単語単位で累積尤度への加算が行われる。言語確率の対数表現である言語尤度は、N-gramとして言語モデルに規定されている。N-gramは、ある単語に先行するN-1個の単語系列を条件とする条件付確率であり、コーパスと呼ばれる大規模な言語データを用いて学習される。一般には、先行単語、先々行単語を条件とする条件付確率である3-gramが広く利用されている。即ち、ある単語の単語内探索が完了する毎に、先行単語、先々行単語および該当単語を組み合わせた３単語の系列に対する言語尤度が累積尤度に加算される。
【０００６】
一方、音響尤度は音響特徴量の各単語の読みに対する尤もらしさを評価した値であるため、音素という単語の読みを細分化したレベルで累積尤度への加算が行われる。一般に、それぞれの音素はHMM(Hidden Markov Model)という確率モデルで表されており、単語は音素の並びに則したHMMの系列として定義される。HMMには、自己遷移と一つ先のHMMへの遷移(LR遷移)とが許可されており、単位時間毎に遷移を繰り返しながら、各HMMと音響特徴量の比較により算出された音響尤度が累積尤度に加算される。このような処理を単語の終端HMMまで繰り返すことを単語内探索と呼び、終端HMMからLR遷移が生じた時点で一つの単語に対する単語内探索が完了する。
【０００７】
単語長の短い単語では、HMM系列と音響特徴量との間に局所的なマッチングが生じることによって音響尤度が高くなることがあるため、短い単語の挿入誤りが生じる可能性がある。また、こうした局所的なマッチングが連続して生じると、多数の短い単語からなる単語系列の累積尤度が高くなってしまい、認識結果全体として大きく誤ってしまう場合がある。
【０００８】
このような挿入誤りを抑制するため、単語内探索が完了し、単語が単語系列に一つ挿入されるごとに累積尤度へ一定のペナルティ値を課する処理が行われる。このペナルティは単語挿入ペナルティと呼ばれ、特許文献１，２に開示されている。単語系列の尤度Wは、音響尤度をA，言語尤度をB，単語挿入ペナルティをP、挿入された単語数（単語系列の長さ）をN、音響尤度の重みをβとすれば次式(1)で与えられる。ここで、単語挿入ペナルティPは挿入単語にかかわらず一定である。
【０００９】
【数１】
2011164192.tif 000003
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−１３９７４７号公報
【特許文献２】特開２００４−３０９５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
言語モデルに基づく単語挿入では、短い単語が局所的なマッチングにより挿入される可能性が高いのに対して、長い単語が同様の原因で挿入される場合は少ない。即ち、単語長が短い単語ほど誤って挿入される可能性が高くなる。しかしながら、先行技術では、単語系列に挿入される単語の短長にかかわらず同一の単語挿入ペナルティPが与えていたため、ペナルティの効果が薄れて認識性能の低下を招く場合があった。
【００１２】
本発明の目的は、上記した従来技術の課題を解決し、単語挿入ペナルティを挿入単語に応じて異ならせることにより最適化できる音声認識装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明は、入力音声をその始端から順に多数の単語系列と照合して言語尤度および音響尤度を順次に累積し、さらに前記単語系列に単語が挿入されるごとに単語挿入ペナルティを課し、入力音声の終端において累積尤度が高い単語系列を認識結果とする音声認識装置において、以下のような手段を講じた点に特徴がある。
【００１４】
(1)単語系列に挿入された単語を識別する手段と、挿入された単語に応じて異なる単語挿入ペナルティを決定する手段とを具備した。
【００１５】
(2)単語挿入ペナルティを決定する手段は、単語系列に単語が挿入されるごと、当該挿入された単語に応じた単語挿入ペナルティを決定することを特徴とする。  (3)単語挿入ペナルティを決定する手段は、単語系列に単語が挿入されるごと、当該挿入された単語に応じた単語挿入ペナルティおよび当該単語に先行して挿入された少なくとも一つの単語に応じた単語挿入ペナルティに基づいて単語挿入ペナルティを決定することを特徴とする。
【００１６】
(4)単語挿入ペナルティを決定する手段は、先行して挿入された単語ほど、その単語挿入ペナルティの重みを小さくすることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、以下のような効果が達成される。
【００１８】
(1)言語尤度および音響尤度の累積値に課される単語挿入ペナルティが、単語系列に挿入される単語に応じて適応的に決定されるので、例えば、局所的なマッチングにより誤って挿入される可能性の高い短い単語に対して高い単語挿入ペナルティが与えられるようにすれば、短い単語が多数含まれる誤った単語系列の累積尤度が高くなることを抑制し、認識性能を向上させることができる。
【００１９】
(2)単語系列に単語が挿入されるごとに課される単語挿入ペナルティを、挿入される単語のみならず、先行して既に挿入されている単語まで考慮して決定できるようにしたので、短い単語が連続して挿入されることの抑止を強化できるようになる。
【００２０】
(3)単語系列に単語が挿入されるごとに課される単語挿入ペナルティを、先行して既に挿入されている単語まで考慮して決定する際に、先行して挿入された単語ほど、その単語挿入ペナルティの重みを小さくすれば、先行して挿入された単語の影響が継続的に反映されることを防止できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る音声認識装置の構成を示した機能ブロック図である。
【図２】ペナルティ適用部の動作を示したフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る音声認識装置の主要部の構成を示した機能ブロック図である。
【００２３】
音声入力部１１は、マイクロフォンで検知された認識対象話者の音声信号をデジタル信号に変換する。音響分析部１２は、音声デジタル信号を音響分析して音響特徴パラメータを抽出する。音響特徴パラメータとは、入力音声を一定時間間隔（例えば１０ms：以下、フレームと表現する）毎に分析して得られる特徴ベクトルである。したがって、音声信号は特徴ベクトルの時系列X＝x1，x2…xtに変換される。
【００２４】
探索部１３は、単語を単位とした単語系列の探索を担う単語系列探索部１３１および音素を単位とした音素系列（単語）の探索を担う単語内探索部１３２を含み、入力音声の始端から終端までを多数の単語系列と照合して言語尤度および音響尤度を順次に累積する。
【００２５】
前記単語系列探索部１３１は、記憶装置１４に記憶されている言語モデル１４１に基づいて単語の系列を構築し、先行する単語系列に次の単語が挿入されるごとに言語尤度を更新すると共に、次に接続可能な全ての単語について、累積尤度を引き継いで単語内探索の開始の指示をする。前記単語内探索部１３２は、前記単語系列探索部１３１から単語内探索を指示された単語に関して、記憶装置１４に記憶されている単語辞書１４３に基づいて、各単位時刻の音響特徴量と音響モデル１４２とを照合して音響尤度を算出し、これを累積尤度に加算しながら探索を進める。
【００２６】
ペナルティ適用部１５は、挿入単語識別部１５１およびペナルティ決定部１５２を含み、前記単語系列に単語が挿入されるごとに、単語挿入ペナルティを決定して前記累積尤度に課する。前記挿入単語識別部１５１は、前記単語系列探索部１３１において単語系列に新たに挿入された単語を識別する。前記ペナルティ決定部１５２は、前記挿入された単語の識別結果に基づいて、当該単語の挿入に際して課する単語挿入ペナルティを決定する。本実施形態では、前記挿入単語識別部１５１において前記挿入された単語の単語長が検知され、前記ペナルティ決定部１５２は、後に詳述するように、単語長が短くなるほど大きなペナルティが課されるように前記単語挿入ペナルティを決定する。本実施形態では、前記挿入単語の単語長を代表する指標として音素数が検知される。
【００２７】
単語系列蓄積部１６は、前記単語内探索が完了した各単語について、先行する単語の情報と累積尤度とを紐付けて蓄積する。終了判定部１７は、認識対象話者による音声入力が終了したか否かを判定し、終了していなければ前記探索部１３に指示して探索処理を継続させる。認識結果出力部１８は、認識対象話者による音声入力が終了した時点で、前記単語系列蓄積部１６に蓄積された多数の単語系列の中から、累積尤度が高い唯一ないし上位Nベストの単語系列を認識結果として出力する。
【００２８】
図２は、前記ペナルティ適用部１５の動作を示したフローチャートである。ステップＳ１では、先行する単語系列に対して新たに挿入された単語wcが前記挿入単語識別部１５１により識別される。ステップＳ２では、前記識別結果に基づいて前記今回の挿入単語wcの音素数ncが検出される。ステップＳ３では、前記ペナルティ決定部１５２において、前記音素数ncを次式(2)に適用することで、前記単語wcの挿入により累積尤度に課される今回の単語挿入ペナルティPcが算出される。ここで、定数xは基準ペナルティである。
【００２９】
【数２】
2011164192.tif 000004
【００３０】
ステップＳ４では、前記単語挿入ペナルティPcが現在までの累積尤度に加算される。本実施形態では、このような単語挿入ペナルティPcの算出および累積尤度への適応が、単語系列に新たな単語wcが挿入されるごとに繰り返されるので、音声入力が完了した時点での累積尤度Wは、音響尤度をA，言語尤度をB，音響尤度の重みをβ、挿入された単語数（単語系列の長さ）をNとすれば、次式(3)で与えられる。
【００３１】
【数３】
2011164192.tif 000005
【００３２】
例えば、音声認識結果の正答「藤田_です」と誤答「う_ぎ_た_です」とを比較すると、従来技術のように挿入ペナルティが挿入単語数で求められと、正答の挿入ペナルティは挿入単語数が２つなので「2P」、誤答の挿入ペナルティは挿入単語数が４つなので「4P」となり、その差は2Pとなる。
【００３３】
これに対して、本発明のように挿入ペナルティが各挿入単語の単語長の総和で求められと、正答の挿入ペナルティがx/3+x/2=5x/6、誤答の挿入ペナルティがx+x+x+x/2=5x/2となり、その差は8x/3となる。ここで、P=xとした場合でも、8P/3＞2Pであり、本発明の方が従来技術よりも正答の挿入ペナルティと誤答の挿入ペナルティとの差を大きくできるので、正答および誤答の各尤度に大きな差分を与えられるようになり、両者の識別性が向上する。
【００３４】
このように、本実施形態によれば、言語尤度および音響尤度の累積値に課される単語挿入ペナルティが、単語系列に挿入される単語に応じて適応的に決定され、局所的なマッチングにより誤って挿入される可能性の高い短い単語に対して高い単語挿入ペナルティが与えられるので、短い単語が多数含まれる誤った単語系列の累積尤度が高くなることを抑制し、認識性能を向上させることができる。
【００３５】
なお、前記ステップＳ３における単語挿入ペナルティPcの算出方法は、上式(2)のように新たに挿入される単語wcの音素数ncのみを参照するものに限定されず、次式(4)，(5)のように、挿入単語wcの履歴を遡り、今回の挿入単語wc，前回の挿入単語wc-1，前々回の挿入単語wc-2…の音素数nc，nc-1，nc-2…を参照し、その単語挿入ペナルティPc，Pc-1，Pc-2…の総和や相乗積に基づいて決定するようにしても良い。なお、変数αiは単語を遡るほど小さくなるように定義された補正係数（０≦α≦１）である。
【００３６】
【数４】
2011164192.tif 000006
【００３７】
【数５】
2011164192.tif 000007
【００３８】
このように、単語系列に単語wcが挿入されるごとに課される単語挿入ペナルティPcを、挿入される単語wcの単語長のみならず、先行して既に挿入されている単語wc-1，wc-2…の各単語長まで考慮して決定すれば、短い単語が連続して挿入されることの抑止を強化できるようになる。しかも、上式(4)，(5)では変数αiが定義され、先行して挿入された単語ほど、その単語挿入ペナルティの重みが小さくされて影響度合いが低くされるので、先行して挿入された単語の影響が継続的に反映されることを防止できる。
【００３９】
さらに、上記の実施形態では、挿入単語wcの単語長を音素数ncで代表するものとして説明したが、本発明はこれのみに限定されるものではなく、音節数で代表するようにしても良い。
【符号の説明】
【００４０】
１１…音声入力部，１２…音響分析部，１３…探索部，１４…記憶装置，１５…ペナルティ適用部，１６…単語系列蓄積部，１７…終了判定部，１８…認識結果出力部
【図１】
2011164192.tif 000008
【図２】
2011164192.tif 000009