(57)【特許請求の範囲】
【請求項１】
言語スコアと、単語音響スコアと、ガーベージ音響スコアとの累積スコアを経路毎に計算し、累積スコアの最も高い単語列を、非言語音声を含む未知入力音声の認識結果として出力する音声認識装置であって、
不要語の集合から学習した音響モデルであるガーベージ音響モデルを予め格納するガーベージ音響モデル格納手段と、
音響解析の単位であるフレーム毎に、前記未知入力音声を音響分析し、認識に必要な特徴パラメータを算出する特徴量算出手段と、
前記フレーム毎に、前記特徴パラメータと前記ガーベージ音響モデルとを照合し、前記ガーベージ音響スコアを計算するガーベージ音響スコア計算手段と、
前記ガーベージ音響スコア計算手段が算出したガーベージ音響スコアを、前記非言語音声が入力されたフレームについて、上昇させるように修正するガーベージ音響スコア修正手段と、
前記言語スコアと、前記単語音響スコアと、前記ガーベージ音響スコア修正手段が修正したガーベージ音響スコアとの累積スコアの最も高い単語列を、前記未知入力音声の認識結果として出力する認識結果出力手段と
を備えることを特徴とする音声認識装置。
【請求項２】
前記音声認識装置は、さらに
前記フレーム毎に、前記非言語音声の非言語らしさの度合いを示す推定値を、非言語音声推定関数を用いて算出する非言語音声推定手段を備え、
前記ガーベージ音響スコア修正手段は、前記非言語音声推定手段が算出した非言語音声が入力されたフレームにおける推定値を用いて、ガーベージ音響スコアを上昇させるように修正する
ことを特徴とする請求の範囲第１項記載の音声認識装置。
【請求項３】
前記非言語音声推定手段は、前記特徴量算出手段が算出したフレーム毎の特徴パラメータに基づいて、前記未知入力音声のスペクトルが繰り返しパターンとなる部分において値の大きい推定値を算出する
ことを特徴とする請求の範囲第２項記載の音声認識装置。
【請求項４】
前記音声認識装置は、さらに
前記フレーム毎に、前記非言語音声を推定するために必要な非言語推定用特徴パラメータを算出する非言語推定用特徴量算出手段と、
非言語の特徴をモデル化した音響モデルである非言語音響モデルを予め格納する非言語音響モデル格納手段とを備え、
前記非言語音声推定手段は、前記フレーム毎に、前記非言語推定用特徴パラメータと前記非言語音響モデルとを照合することにより非言語照合スコアを前記推定値として計算する
ことを特徴とする請求の範囲第２項記載の音声認識装置。
【請求項５】
前記音声認識装置は、さらに
前記非言語推定用特徴量算出手段が計算した前記非言語推定用特徴パラメータに基づいて、高域パワー持続フレーム数を算出する高域パワー持続フレーム数計算手段を備え、
前記非言語音声推定手段は、前記非言語推定用特徴パラメータと前記非言語音響モデルとを照合した非言語照合スコアを算出し、前記非言語照合スコアと前記高域パワー持続フレーム数とから非言語らしさを示す推定値を算出する
ことを特徴とする請求の範囲第４項記載の音声認識装置。
【請求項６】
前記高域パワー持続フレーム数計算手段は、前記非言語推定用特徴量算出手段で得られた高域パワーが、予め定めた閾値より高い場合に、高域パワーの高いフレームとみなす
ことを特徴とする請求の範囲第５項記載の音声認識装置。
【請求項７】
前記音声認識装置は、さらに
前記非言語音声推定手段が推定した推定値に基づいて、前記非言語音声に対応する表意文字及び顔文字の少なくとも一方を選択し、選択した表意文字及び顔文字の少なくとも一方を前記認識結果出力手段の認識結果に挿入する非言語対応文字挿入手段を備える
ことを特徴とする請求の範囲第２項記載の音声認識装置。
【請求項８】
前記音声認識装置は、さらに
前記非言語音声推定手段が推定した推定値及び前記認識結果出力手段の認識結果に基づいて、表示されるエージェントの動作及び当該エージェントが話す合成音を制御するエージェント制御手段を備える
ことを特徴とする請求の範囲第２項記載の音声認識装置。
【請求項９】
前記音声認識装置は、さらに
非言語音声に連動したユーザの情報に基づいて、当該非言語音声に関連する非言語現象の推定値を算出する非言語現象推定手段を備え、
前記ガーベージ音響スコア修正手段は、前記非言語現象推定手段が算出した非言語現象が入力されたフレームにおける推定値を用いて、ガーベージ音響スコアを上昇させるように修正する
ことを特徴とする請求の範囲第１項記載の音声認識装置。
【請求項１０】
前記音声認識装置は、さらに
前記非言語現象推定手段が推定した推定値に基づいて、前記非言語現象に対応する表意文字及び顔文字の少なくとも一方を選択し、選択した表意文字及び顔文字の少なくとも一方を前記認識結果出力手段の認識結果に挿入する非言語対応文字挿入手段を備える
ことを特徴とする請求の範囲第９項記載の音声認識装置。
【請求項１１】
前記音声認識装置は、さらに
前記非言語現象推定手段が推定した推定値及び前記認識結果出力手段の認識結果に基づいて、表示されるエージェントの動作及び当該エージェントが話す合成音を制御するエージェント制御手段を備える
ことを特徴とする請求の範囲第９項記載の音声認識装置。
【請求項１２】
前記音声認識装置は、さらに
前記ガーベージ音響スコア修正手段におけるガーベージ音響スコアを修正する度合いを決めるための修正パラメータの値をユーザに選択させ、選択された修正パラメータの値に変更するための修正パラメータ選択変更手段を備え、
前記ガーベージ音響スコア修正手段は、前記修正パラメータに基づいて、前記ガーベージ音響スコアを修正する
ことを特徴とする請求の範囲第１項記載の音声認識装置。
【請求項１３】
言語スコアと、単語音響スコアと、ガーベージ音響スコアとの累積スコアを経路毎に計算し、累積スコアの最も高い単語列を、非言語音声を含む未知入力音声の認識結果として出力する音声認識装置に用いられる音声認識方法であって、
音響解析の単位であるフレーム毎に、前記未知入力音声を音響分析し、認識に必要な特徴パラメータを算出する特徴量算出ステップと、
前記フレーム毎に、前記特徴パラメータとガーベージ音響モデル格納手段に予め格納された前記ガーベージ音響モデルとを照合し、前記ガーベージ音響スコアを計算するガーベージ音響スコア計算ステップと、
前記ガーベージ音響スコア計算ステップで算出したガーベージ音響スコアを、前記非言語音声が入力されたフレームについて、上昇させるように修正するガーベージ音響スコア修正ステップと、
前記言語スコアと、前記単語音響スコアと、前記ガーベージ音響スコア修正ステップで修正したガーベージ音響スコアとの累積スコアの最も高い単語列を、前記未知入力音声の認識結果として出力する認識結果出力ステップと
を含むことを特徴とする音声認識方法。
【請求項１４】
言語スコアと、単語音響スコアと、ガーベージ音響スコアとの累積スコアを経路毎に計算し、累積スコアの最も高い単語列を、非言語音声を含む未知入力音声の認識結果として出力する音声認識装置として機能させるためのプログラムであって、
コンピュータに、
音響解析の単位であるフレーム毎に、前記未知入力音声を音響分析し、認識に必要な特徴パラメータを算出する特徴量算出ステップと、
前記フレーム毎に、前記特徴パラメータとガーベージ音響モデル格納手段に予め格納された前記ガーベージ音響モデルとを照合し、前記ガーベージ音響スコアを計算するガーベージ音響スコア計算ステップと、
前記ガーベージ音響スコア計算ステップで算出したガーベージ音響スコアを、前記非言語音声が入力されたフレームについて、上昇させるように修正するガーベージ音響スコア修正ステップと、
前記言語スコアと、前記単語音響スコアと、前記ガーベージ音響スコア修正ステップで修正したガーベージ音響スコアとの累積スコアの最も高い単語列を、前記未知入力音声の認識結果として出力する認識結果出力ステップと
を実行させるためのプログラム。
【請求項１５】
言語スコアと、単語音響スコアと、ガーベージ音響スコアとの累積スコアを経路毎に計算し、累積スコアの最も高い単語列を、非言語音声を含む未知入力音声の認識結果として出力する音声認識装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
コンピュータに、
音響解析の単位であるフレーム毎に、前記未知入力音声を音響分析し、認識に必要な特徴パラメータを算出する特徴量算出ステップと、
前記フレーム毎に、前記特徴パラメータとガーベージ音響モデル格納手段に予め格納された前記ガーベージ音響モデルとを照合し、前記ガーベージ音響スコアを計算するガーベージ音響スコア計算ステップと、
前記ガーベージ音響スコア計算ステップで算出したガーベージ音響スコアを、前記非言語音声が入力されたフレームについて、上昇させるように修正するガーベージ音響スコア修正ステップと、
前記言語スコアと、前記単語音響スコアと、前記ガーベージ音響スコア修正ステップで修正したガーベージ音響スコアとの累積スコアの最も高い単語列を、前記未知入力音声の認識結果として出力する認識結果出力ステップと
を実行させるためのプログラム記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、意味的に区別する必要のない不要語を許容し、連続単語音声認識を行う音声認識装置及び音声認識方法に関する。
【背景技術】
【０００２】
従来から、予め不要語の集合から学習した音響モデルであるガーベージ音響モデルを用いて、意味的に区別する必要のない不要語に対応した単語音声認識装置がある（例えば、井ノ上直己、他２名、「ガーベジＨＭＭを用いた自由発話文中の不要語処理手法」、電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ７７−Ａ、Ｎｏ．２、ｐｐ．２１５−２２２、１９９４年２月  参照）。
【０００３】
図１は、従来の音声認識装置の構成を示す図である。
図１に示されるように、音声認識装置は、特徴量算出部１２０１、ネットワーク辞書格納部１２０２、経路計算部１２０３、経路候補格納部１２０４、認識結果出力部１２０５、言語モデル格納部１２０６、言語スコア計算部１２０７、単語音響モデル格納部１２０８、単語音響スコア計算部１２０９、ガーベージ音響モデル格納部１２１０及びガーベージ音響スコア計算部１２１１からなる。
【０００４】
特徴量算出部１２０１は、入力された未知入力音声を音響分析し、認識に必要な特徴パラメータを算出する。ネットワーク辞書格納部１２０２は、音声認識装置で受理できる単語列を記述したネットワーク辞書を格納する。経路計算部１２０３は、そのネットワーク辞書の記述を用いて、未知入力音声の最適な単語系列を求めるための経路の累積スコア計算を行う。経路候補格納部１２０４は、その経路候補の情報を格納する。認識結果出力部１２０５は、最終的に最もスコアの高かった単語系列を認識結果として出力する。
【０００５】
また、言語モデル格納部１２０６は、単語の出現する確率を予め統計的に学習した言語モデルを予め格納する。言語スコア計算部１２０７は、１つ前の単語から連鎖する単語の出現確率である言語スコアを計算する。単語音響モデル格納部１２０８は、認識対象語彙に対応する単語の音響モデルである単語音響モデルを予め格納する。単語音響スコア計算部１２０９は、特徴パラメータと単語音響モデルとを照合し、単語音響スコアを計算する。
【０００６】
また、ガーベージ音響モデル格納部１２１０は、「えーと」や、「うーん」などのように意味的に区別する必要のない不要語の集合から学習した音響モデルであるガーベージ音響モデルを予め格納する。ガーベージ音響スコア計算部１２１１は、特徴パラメータとガーベージ音響モデルとを照合し、不要語であるガーベージモデルの生起確率であるガーベージ音響スコアを計算する。
【０００７】
次いで、従来の音声認識装置の各部が行う動作を説明する。
まず、ユーザが発声した未知入力音声が、特徴量算出部１２０１に入力され、特徴量算出部１２０１が、音響分析の時間的単位であるフレーム毎に音響分析し、特徴パラメータを算出する。なお、ここではフレーム長は１０ｍｓとする。
【０００８】
次に、経路計算部１２０３が、ネットワーク辞書格納部１２０２に格納されている受理できる単語接続を記述したネットワーク辞書を参照し、当該フレームまでの経路候補の累積スコア計算を行い、経路候補情報を経路候補格納部１２０４に登録する。
【０００９】
図２は、入力音声が「それは、だ、だれ」である場合の、経路候補を表す図である。特に、図２（ａ）は、入力音声を示し、単語の区切れ位置を表示している。また、図２（ｂ）は、入力フレームがｔ−１のときの経路候補を示している。また、図２（ｃ）は、入力フレームがｔのときの経路候補を示している。なお、横軸は、フレームを示している。ここで、「だれ」の吃音である不要語「だ」は、ガーベージモデルとして認識される。また、ガーベージモデルは、１つの単語と同様に経路が与えられる。
【００１０】
ここで、経路５１１，５１２，５１３，５２は、単語途中までの最適経路以外の経路であり、経路５２１，５２２は、単語終端まで達した最適経路であり、経路５３１，５３２は、単語終端まで達した最適経路以外の経路であり、経路５４は、単語途中までの最適経路である。
【００１１】
また、経路計算部１２０３では、１つ前のフレームにおける経路候補から経路を伸張し、各経路に対する累積スコアを計算する。
【００１２】
図２（ｂ）は、当該フレームｔの１つ前のフレームである第ｔ−１フレームにおける経路候補を示しており、この経路候補情報は、経路候補格納部１２０４に格納されている。そして、これらの経路候補から、当該フレームｔに示すように、図２（ｃ）のように経路を伸張する。前フレームの経路候補にある単語がさらに伸長する経路と、単語が終端し、新たにその単語に接続可能な単語が始まる経路がある。ここで、接続可能な単語は、ネットワーク辞書で記述されている単語である。
【００１３】
図２（ｂ）では、フレームｔ−１において、単語途中までの最適経路以外の経路５１１の単語「綿」と、単語終端まで達した最適経路５２１の単語「綿」とがあり、フレームｔである図２（ｃ）では、単語途中までの最適経路以外の経路５１１の単語「綿」はさらに伸長され、単語終端まで達した最適経路５２１の単語「綿」には、単語途中までの最適経路５４の単語「種」と、単語途中までの最適経路以外の経路５１２の単語「菓子」が接続されている。
【００１４】
次に、伸張した経路候補それぞれに対して言語スコアと音響スコアを計算する。
言語スコアは、言語スコア計算部１２０７が、言語モデル格納部１２０６に格納されている言語モデルを用いて求める。言語スコアとして、１つ前の単語から連鎖する単語の確率であるバイグラム確率の対数値を用いる。ここで、単語終端まで達した最適経路５２２「それ」の後に「綿」が接続する経路では、「それ」の後に「綿」が出現する確率を用いる。これを与えるタイミングは単語に付き１回でよい。
【００１５】
音響スコアは、当該フレームの入力特徴パラメータベクトルに対し、当該経路候補が単語であれば、単語音響スコア計算部１２０９が、単語音響モデル格納部１２０８に格納されている単語音響モデルを用いて計算し、当該経路候補が不要語であるガーベージモデルであれば、ガーベージ音響スコア計算部１２１１が、ガーベージ音響モデル格納部１２１０に格納されているガーベージ音響モデルを用いて計算する。
【００１６】
例えば、図２（ｂ）においては、フレームｔ−１における音響スコアを求める経路は、４経路が該当し、単語音響モデルを用いる経路は、経路５２２「それ」に接続した経路５１１「綿」、経路５２２「それ」に接続した経路５２１「綿」及び経路５３１「は」に接続した経路５１３「だれ」であり、ガーベージ音響モデルを用いる経路は、経路５３１「は」に接続した経路５３２「ガーベージモデル」である。
【００１７】
音響モデルとしては一般に、音響的特徴を確率的にモデル化した隠れマルコフモデル（ＨＭＭ）などが用いられる。単語の音響的特徴を表したＨＭＭを、単語音響モデルと呼び、「えーと」や、「うーん」などの意味的に区別する必要のない不要語の音響的特徴をまとめて１つのモデルで表したＨＭＭを、ガーベージ音響モデルと呼ぶ。単語音響スコア及びガーベージ音響スコアは、ＨＭＭから得られる確率の対数値であり、単語及びガーベージモデルの生起確率を示す。
【００１８】
このようにして得られた言語スコアと音響スコアとを足しあわせて照合スコアとし、Ｖｉｔｅｒｂｉアルゴリズムによって各経路の累積スコアを求める（例えば、中川聖一著、「確率モデルによる音声認識」電子情報通信学会編、ｐｐ．４４−４６、１９８８年初版発行  参照）。
【００１９】
ただし、単純に伸張した経路候補を全て記録することは、計算量とメモリ容量との膨大な増加を招くため、好ましくない。そこで、フレーム毎に累積スコアの高い順にＫ個（Ｋは自然数）のみを残すビームサーチを用いる。この当該フレームにおけるＫ個の経路候補の情報を経路候補格納部１２０４へ登録する。
【００２０】
以上の処理を、入力フレームを１フレーム進めながら繰り返し行う。
最後に、全フレームの処理が終了後、認識結果出力部１２０５が、最終フレームにおいて、経路候補格納部１２０４に格納されている経路候補の中から最も累積スコアの高い経路候補の単語列を、認識結果として出力する。
【００２１】
しかしながら、上記従来例では、吃音などの非言語音声と音響的に類似した単語系列が認識対象語彙に存在すれば、認識を誤るという問題点がある。
【００２２】
ここで、吃音とは、話し言葉を発する時、第一音や途中の音が詰まったり、同じ音を何度も繰り返したり、音を引き伸ばしたりして、流暢に話すことができない発声である。
【００２３】
また、図２（ｃ）において、それぞれの単語の上部にカッコ内で表記した数値が、単語毎の照合スコアである。
【００２４】
図２（ｃ）において、未知入力音声の吃音部分「だ」の区間がガーベージモデルを通り、その後に「だれ」が続く経路５２が時刻ｔにおいて最適経路となるのが正解であるが、「それ」＋「綿」の場合には、７＋１０＝１７点、「それ」＋「綿」＋「種」の場合には、７＋９＋２＝１８点、「それ」＋「綿」＋「菓子」の場合には、７＋９＋１＝１７点、「それ」＋「は」＋「だれ」の場合には、７＋５＋４＝１６点、「それ」＋「は」＋ガーベージモデル＋「だれ」の場合には７＋５＋２＋１＝１５点となるため、「それ」＋「綿」＋「種」が当該フレームにおける最高スコアとなる。
【００２５】
この原因は、ガーベージ音響モデルが、吃音を含む不要語として考えられる全ての音響データから学習するため、分布が非常に広いものになり、不要語発声、即ち非言語音声に対して高い音響スコアが得られないためである。
【００２６】
これを解決する方法として、ガーベージ音響スコアを一律に底上げする方法が考えられるが、そのような方法では、本来、最適経路が不要語ではないフレームにおいても、ガーベージ音響スコアの値が大きくなってしまうため、誤認識の原因となる。
【００２７】
本発明は、不要語、特に、吃音などの非言語音声を含む未知入力音声であっても、正しく認識することができる音声認識装置を提供することを目的とする。
【発明の開示】
【００２８】
上記目的を達成するために、本発明に係る音声認識装置においては、言語スコアと、単語音響スコアと、ガーベージ音響スコアとの累積スコアを経路毎に計算し、累積スコアの最も高い単語列を、非言語音声を含む未知入力音声の認識結果として出力する音声認識装置であって、不要語の集合から学習した音響モデルであるガーベージ音響モデルを予め格納するガーベージ音響モデル格納手段と、音響解析の単位であるフレーム毎に、前記未知入力音声を音響分析し、認識に必要な特徴パラメータを算出する特徴量算出手段と、前記フレーム毎に、前記特徴パラメータと前記ガーベージ音響モデルとを照合し、前記ガーベージ音響スコアを計算するガーベージ音響スコア計算手段と、前記ガーベージ音響スコア計算手段が算出したガーベージ音響スコアを、前記非言語音声が入力されたフレームについて、上昇させるように修正するガーベージ音響スコア修正手段と、前記言語スコアと、前記単語音響スコアと、前記ガーベージ音響スコア修正手段が修正したガーベージ音響スコアとの累積スコアの最も高い単語列を、前記未知入力音声の認識結果として出力する認識結果出力手段とを備えることを特徴とする。
【００２９】
これにより、非言語音声に対応するガーベージ音響スコアだけを上昇させることができ、未知入力音声を正しく認識することができる。
【００３０】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記フレーム毎に、前記非言語音声の非言語らしさの度合いを示す推定値を、非言語音声推定関数を用いて算出する非言語音声推定手段を備え、前記ガーベージ音響スコア修正手段は、前記非言語音声推定手段が算出した非言語音声が入力されたフレームにおける推定値を用いて、ガーベージ音響スコアを上昇させるように修正することを特徴とすることができる。
【００３１】
これにより、非言語音声推定手段で非言語音声を推定し、非言語音声に相当するガーベージ音響スコアを上昇させることにより、未知入力音声を精度よく認識することができる。
【００３２】
また、本発明に係る音声認識装置においては、前記非言語音声推定手段は、前記特徴量算出手段が算出したフレーム毎の特徴パラメータに基づいて、前記未知入力音声のスペクトルが繰り返しパターンとなる部分において値の大きい推定値を算出することを特徴とすることもできる。  これにより、未知入力音声のスペクトルの繰り返しパターンを検出することで、吃音などの非言語音声をガーベージモデルとして精度よく推定することができる。
【００３３】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記フレーム毎に、前記非言語音声を推定するために必要な非言語推定用特徴パラメータを算出する非言語推定用特徴量算出手段と、非言語の特徴をモデル化した音響モデルである非言語音響モデルを予め格納する非言語音響モデル格納手段とを備え、前記非言語音声推定手段は、前記フレーム毎に、前記非言語推定用特徴パラメータと前記非言語音響モデルとを照合することにより非言語照合スコアを前記推定値として計算することを特徴とすることができる。
【００３４】
これにより、音声を認識するための特徴パラメータとは異なる非言語音声を推定するために必要な特徴パラメータを用いて非言語音響モデルと照合を行うことにより、非言語音声を精度よく推定することができるので、非言語音声に相当するガーベージ音響スコアを上昇させ、未知入力音声を正しく認識することができる。
【００３５】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記非言語推定用特徴量算出手段が計算した前記非言語推定用特徴パラメータに基づいて、高域パワー持続フレーム数を算出する高域パワー持続フレーム数計算手段を備え、前記非言語音声推定手段は、前記非言語推定用特徴パラメータと前記非言語音響モデルとを照合した非言語照合スコアを算出し、前記非言語照合スコアと前記高域パワー持続フレーム数とから非言語らしさを示す推定値を算出することを特徴としてもよい。
【００３６】
これにより、音声を認識するための特徴パラメータとは異なる非言語音声を推定するために必要な特徴パラメータを用いて非言語音響モデルとの照合スコア及び高域パワーが持続するフレーム数を用いて非言語音声を推定することができ、非言語音声に相当するガーベージ音響スコアを上昇させ、未知入力音声を正しく認識することができる。
【００３７】
また、本発明に係る音声認識装置においては、前記高域パワー持続フレーム数計算手段は、前記非言語推定用特徴量算出手段で得られた高域パワーが、予め定めた閾値より高い場合に、高域パワーの高いフレームとみなすことを特徴とすることもできる。
【００３８】
これにより、高域パワー持続フレーム数の算出を容易に行うことができる。
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記非言語音声推定手段が推定した推定値に基づいて、前記非言語音声に対応する表意文字及び顔文字の少なくとも一方を選択し、選択した表意文字及び顔文字の少なくとも一方を前記認識結果出力手段の認識結果に挿入する非言語対応文字挿入手段を備えることを特徴とすることもできる。
【００３９】
これにより、認識性能を向上させるだけではなく、推定値を用いてその非言語音声を表すような表意文字又は顔文字を自動的に挿入してメールを作成するようなことができる。
【００４０】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記非言語音声推定手段が推定した推定値及び前記認識結果出力手段の認識結果に基づいて、表示されるエージェントの動作及び当該エージェントが話す合成音を制御するエージェント制御手段を備えることを特徴とすることもできる。
【００４１】
これにより、認識結果と推定値とを用いることにより、非言語音声に応じてエージェントの動き及び話による応答を変えることができる。
【００４２】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに非言語音声に連動したユーザの情報に基づいて、当該非言語音声に関連する非言語現象の推定値を算出する非言語現象推定手段を備え、前記ガーベージ音響スコア修正手段は、前記非言語現象推定手段が算出した非言語現象が入力されたフレームにおける推定値を用いて、ガーベージ音響スコアを上昇させるように修正することを特徴とすることができる。
【００４３】
これにより、非言語現象推定手段で非言語現象を推定し、非言語現象に応じてガーベージ音響スコアを上昇させることにより、未知入力音声を精度よく認識することができる。
【００４４】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記非言語現象推定手段が推定した推定値に基づいて、前記非言語現象に対応する表意文字及び顔文字の少なくとも一方を選択し、選択した表意文字及び顔文字の少なくとも一方を前記認識結果出力手段の認識結果に挿入する非言語対応文字挿入手段を備えることを特徴とすることもできる。
【００４５】
これにより、認識性能を向上させるだけではなく、推定値を用いてその非言語現象を表すような表意文字や、顔文字を自動的に挿入してメールを作成するようなことができる。
【００４６】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記非言語現象推定手段が推定した推定値及び前記認識結果出力手段の認識結果に基づいて、表示されるエージェントの動作及び当該エージェントが話す合成音を制御するエージェント制御手段を備えることを特徴とすることもできる。
【００４７】
これにより、認識結果と推定値とを用いることにより、非言語現象に応じてエージェントの動き及び話による応答を変えることができる。
【００４８】
また、本発明に係る音声認識装置においては、前記音声認識装置は、さらに前記ガーベージ音響スコア修正手段におけるガーベージ音響スコアを修正する度合いを決めるための修正パラメータの値をユーザに選択させ、選択された修正パラメータの値に変更するための修正パラメータ選択変更手段を備え、前記ガーベージ音響スコア修正手段は、前記修正パラメータに基づいて、前記ガーベージ音響スコアを修正することを特徴としてもよい。
【００４９】
これにより、ユーザに修正パラメータを選択させることで、非言語部分の挿入され易さの状況に応じて自由に設定できる。
【００５０】
以上の説明から明らかなように、本発明に係る音声認識装置によれば、吃音、笑い声、咳払い等の非言語部分を含む未知入力音声であっても正しく音声認識することができる。
【００５１】
よって、本発明により、非言語部分を含む未知入力音声であっても正しく音声認識することができ、音声認識機能を有する家電機器や、携帯電話機等が普及してきた今日における本願発明の実用的価値は極めて高い。
【００５２】
なお、本発明は、このような音声認識装置として実現することができるだけでなく、このような音声認識装置が備える特徴的な手段をステップとする音声認識方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明を実施するための最良の形態】
【００５３】
以下、本発明の実施の形態に係る音声認識装置について、図面を用いて説明する。
（実施の形態１）
図３は、本発明の実施の形態１に係る音声認識装置の機能構成を示すブロック図である。なお、本実施の形態１では、非言語の推定の対象が吃音である場合を例にして説明する。
【００５４】
音声認識装置１は、音声認識を用いてテレビの操作を行うようなコンピュータ装置であって、図３に示されるように、特徴量算出部１０１と、ネットワーク辞書格納部１０２と、経路計算部１０３と、経路候補格納部１０４と、認識結果出力部１０５と、言語モデル格納部１０６と、言語スコア計算部１０７と、単語音響モデル格納部１０８と、単語音響スコア計算部１０９と、ガーベージ音響モデル格納部１１０と、ガーベージ音響スコア計算部１１１と、非言語音声推定部１１２と、ガーベージ音響スコア修正部１１３等とを備える。
【００５５】
なお、このような音声認識装置１を構成する各部は、格納部を除き、ＣＰＵ、ＣＰＵによって実行されるプログラムを格納するＲＯＭ、プログラム実行の際にワークエリアを提供したり、入力された未知入力音声に対応するＰＣＭ信号の音響データ等を一時的に格納するメモリ等により実現される。
【００５６】
特徴量算出部１０１は、入力された未知入力音声を音響分析し、認識に必要な特徴パラメータを算出する。ネットワーク辞書格納部１０２は、この音声認識装置１で受理できる単語列を記述したネットワーク辞書を格納する。経路計算部１０３は、ネットワーク辞書の記述を参照し、未知入力音声がどのような単語系列であるのが最も適切であるかを求めるための経路の累積スコアを計算する。経路候補格納部１０４は、その経路候補の累積スコアを格納する。認識結果出力部１０５は、最終的に累積スコアが最高となる単語系列を認識結果として出力する。
【００５７】
また、言語モデル格納部１０６は、単語の出現する確率を予め統計的に学習した言語モデルを予め格納する。言語スコア計算部１０７は、言語モデルからその単語列に対応した言語スコアを計算する。単語音響モデル格納部１０８は、認識対象語彙に対応する単語の音響モデルである単語音響モデルを予め格納する。単語音響スコア計算部１０９は、特徴パラメータと単語音響モデルとを照合し、単語音響スコアを計算する。ガーベージ音響モデル格納部１１０は、予め意味的に区別する必要のない「えーと」や、「うーん」などの不要語の集合から学習した音響モデルであるガーベージ音響モデルを予め格納する。ガーベージ音響スコア計算部１１１は、特徴パラメータとガーベージ音響モデルとを照合し、ガーベージ音響スコアを計算する。
【００５８】
また、非言語音声推定部１１２は、フレーム毎に非言語音声を推定する値である非言語音声の推定値を算出する。ガーベージ音響スコア修正部１１３は、フレーム毎にガーベージ音響スコア計算部１１１から算出されるガーベージ音響スコアを修正する。
【００５９】
次いで、音声認識装置１の各部による未知入力音声の認識動作について説明する。
図４は、音声認識装置１の各部が実行する処理を示すフローチャートである。
【００６０】
音声認識装置１の各部は、音響分析の時間的単位であるフレーム毎に、入力フレームｔを１からＴまで１フレームずつ進めながら以下の処理を行う。なお、ここではフレーム長を１０ｍｓとする。
【００６１】
まず、特徴量算出部１０１は、入力された未知入力音声を音響分析し、特徴パラメータを算出する（Ｓ２０１）。
【００６２】
次に、非言語音声推定部１１２は、非言語音声を推定する値である非言語音声の推定値を算出する（Ｓ２０２）。本実施の形態１では、スペクトルの繰り返しパターンを用いて非言語音声の推定値を計算する。
【００６３】
ここで、非言語音声の推定値の算出方法を以下に詳述する。
フレームｔにおける特徴パラメータベクトルをＸ（ｔ）とし、フレームｉにおける特徴パラメータベクトルＸ（ｉ）とフレームｊにおける特徴パラメータベクトルＸ（ｊ）とのユークリッド距離をｄ（ｉ、ｊ）とすると、非言語音声推定値の距離Ｄ（ｔ）は、式（１）で表される。
【００６４】
なお、ユークリッド距離に代えて、重み付けユークリッド距離を用いてもよい。重み付けユークリッド距離を用いた場合においても、ユークリッド距離と同様な効果を得ることができる。
【００６５】
【数１】
0003678421.tif 000002
0003678421.tif 000003
【００６６】
式（１）は、λの値がＮｓからＮｅ（λは整数）までの値をとるときに、時刻ｔを挟んで過去λフレーム分と未来λフレーム分とのスペクトルパターン間の距離のうち、最も距離が小さくなるときの値を表す。例えば、Ｎｓ＝３、Ｎｅ＝１０とすると、３フレームの繰り返しから１０フレームの繰り返しまでを検出することができる。未知入力音声のスペクトルが繰り返しのパターンを呈するとき、非言語音声推定値の距離Ｄ（ｔ）は小さな値をとる。
【００６７】
そして、フレームｔにおける非言語音声の推定値を求める関数である非言語音声推定関数Ｒ（ｔ）は、本実施の形態１では、式（２）で表される。
【００６８】
α及びβは定数である。スペクトルが繰り返しのパターンになるとき、非言語音声推定関数Ｒ（ｔ）の値は大きくなる。
【００６９】
【数２】
0003678421.tif 000004
0003678421.tif 000005
【００７０】
なお、式（２）の非言語音声推定関数Ｒ（ｔ）に代えて、式（３）に示される非言語音声推定関数Ｒ（ｔ）を用いてもよい。
【００７１】
【数３】
0003678421.tif 000006
0003678421.tif 000007
【００７２】
図５は、未知入力音声が「それは、だ、だれ」である場合の、非言語音声推定関数及び経路候補を表す図である。特に、図５（ａ）は、非言語音声推定関数の例を、示す図である。
【００７３】
図５（ａ）において、縦軸は非言語音声推定値を示す値であり、横軸はフレームである。また、図５（ｂ）は未知入力音声の単語の区切れ位置を示したものである。このように非言語音声推定関数Ｒ（ｔ）は、非言語音声である吃音部分「だ」のフレームにおいて高い非言語音声推定値を示すことになる。
【００７４】
次に、経路計算部１０３は、まず１つ前のフレームにおける経路候補から経路を、ネットワーク辞書格納部１０２に格納されているネットワーク辞書を参照して伸張する。そして、経路計算部１０３は、１つ前のフレームで単語終端になっている経路では、次に接続可能な単語又はガーベージモデルを、ネットワーク辞書を参照して求め、全ての接続可能な単語又はガーベージモデルを接続した新たな経路を作成する（Ｓ２０３）。なお、１つ前のフレームで単語途中の経路では、経路計算部１０３は、その単語をさらに伸張させる。
【００７５】
また、図５（ｃ）は、入力音声が「それは、だ、だれ」である場合において、フレームがｔ−１であるときの経路候補を表している。図５（ｄ）は、同様に、フレームがｔのときの経路候補を表している。
【００７６】
ここで、経路３１１，３１２，３１３，３１４は単語途中までの最適経路以外の経路を表し、経路３２１は単語終端まで達した最適経路以外の経路を表し、経路３３１，３３２は単語終端まで達した最適経路を表し、経路３４１は単語途中までの最適経路を表す。
【００７７】
例えば、図５（ｄ）では、経路３２１の「綿」には、経路３１１の「種」と、経路３１２の「菓子」とが接続されている。また、経路３３２の「ガーベージモデル」には、経路３４１の「だれ」が接続されている。そして、それ以外の経路では、単語がさらに伸長されている。
【００７８】
次に、言語スコア計算部１０７は、言語モデル格納部１０６に格納されている言語モデルを参照して、伸長及び接続した新たな経路候補の言語スコアを計算し、経路計算部１０３に出力する（Ｓ２０４）。
【００７９】
ここで、言語スコアとしては、１つ前の単語から連鎖する単語の確率であるバイグラム確率の対数値を用いる。例えば、図５（ｃ）の経路３３１の上にある「は」の後に、経路３１３の「だれ」が接続する経路では、「は」の後に「だれ」が出現する出現確率を用いる。これを与えるタイミングは単語に付き１回でよい。
【００８０】
次に、経路計算部１０３は、該当フレームの経路候補が単語であるか否か判断する（Ｓ２０５）。つまり、単語であるかガーベージモデルであるかを判断する。
【００８１】
判断の結果、単語であれば後述するステップＳ２０６が実行され、ガーベージモデルであれば後述するステップＳ２０７，Ｓ２０８が実行される。
【００８２】
例えば、図５（ｃ）のフレームｔ−１においては、経路３１４の「綿」と、経路３２１の「綿」と、経路３１３の「だれ」とについて、ステップＳ２０６が実行される。一方、経路３３２の「ガーベージモデル」については、Ｓ２０７，Ｓ２０８が実行されることになる。
【００８３】
ステップＳ２０５において経路計算部１０３が単語と判断した場合、単語音響スコア計算部１０９は、単語音響モデルを参照して、該当する経路候補の単語音響スコアを計算する（Ｓ２０６）。
【００８４】
一方、ステップＳ２０５において経路計算部１０３がガーベージと判断した場合、ガーベージ音響スコア計算部１１１は、ガーベージ音響モデルを参照して、該当する経路候補のガーベージ音響スコアを計算する（Ｓ２０７）。
【００８５】
次に、ガーベージ音響スコア修正部１１３は、非言語音声推定関数を参照して、ステップＳ２０７で計算したガーベージ音響スコアを修正し、新たなガーベージ音響スコアを計算する（Ｓ２０８）。
【００８６】
ここで、新たなガーベージ音響スコアの計算方法について、以下に詳述する。
フレームｔにおいて、特徴パラメータベクトルＸ（ｔ）とし、ガーベージ音響モデルとの照合により得られるガーベージ音響スコアをＧ（ｔ）とすると、本実施の形態１では、ガーベージ音響スコア修正部１１３は、ガーベージ音響スコア計算部１１１が計算したガーベージ音響スコアＧ（ｔ）を式（４）のように修正し、修正後の新たなガーベージ音響スコアＧ*（ｔ）とする。ｗは重み定数（修正パラメータ）である。
【００８７】
【数４】
0003678421.tif 000008
0003678421.tif 000009
【００８８】
この結果、例えば、従来では２ポイントのままであったガーベージ音響スコアが、本実施の形態１では、６ポイントに修正されることになる。
【００８９】
なお、スペクトルが時間的に繰り返す部分で、ガーベージ音響スコアが上昇する関数であれば、式（４）以外のどのような関数を用いてもよい。
【００９０】
なお、単語音響モデル及びガーベージ音響モデルは、従来例と同様隠れマルコフモデル（ＨＭＭ）を用いる。また、単語音響スコア及びガーベージ音響スコアは、ＨＭＭから得られる確率の対数値であり、単語及びガーベージモデルの生起確率を示す。
【００９１】
次に、経路計算部１０３は、該当する経路候補の言語スコア、単語音響スコア及びガーベージ音響スコアを加算し、該当する経路候補の照合スコアを計算する。さらに、経路計算部１０３は、従来例と同様Ｖｉｔｅｒｂｉアルゴリズムによって該当する経路候補の現フレームまでの経路の計算を行い、経路全ての照合スコアから累積スコアを計算し、経路候補情報として経路候補格納部１０４に登録する（Ｓ２０９）。
【００９２】
ここで、単純に伸張した経路候補を全て計算し、記録することは、計算量及びメモリ容量の増加を招くため、好ましくない。そこで、フレーム毎に累積スコアの高い順にＫ個（Ｋは自然数）のみを残すビームサーチを用いる。この当該フレームにおけるＫ個の経路候補の情報を経路候補格納部１０４へ登録する。
【００９３】
次に、経路計算部１０３は、全経路候補の累積スコアを算出したか否か判断する（Ｓ２１０）。判断の結果、全経路候補の累積スコアの算出が未完の場合は（Ｓ２１０でＮＯ）、ステップＳ２１１が実行され、全経路候補の累積スコアの算出が完了した場合は（Ｓ２１０でＹＥＳ）、ステップＳ２１２が実行される。
【００９４】
全経路候補の累積スコアの算出が未完の場合は（Ｓ２１０でＮＯ）、ステップＳ２１１にて次の経路候補に移行され、ステップＳ２０５からステップＳ２１０までの処理を繰り返すことにより、該当フレームまでの全経路候補の累積スコアが算出される。
【００９５】
全経路候補の累積スコアの算出が完了した場合は（Ｓ２１０でＹＥＳ）、経路計算部１０３は、全フレームについて処理が完了したか否か判断する（Ｓ２１２）。判断の結果、全フレームについての処理が未完の場合は（Ｓ２１２でＮＯ）、ステップＳ２１３が実行され、全フレームについての処理が完了した場合は（Ｓ２１２でＹＥＳ）、ステップＳ２１４が実行される。
【００９６】
全フレームについての処理が未完の場合は（Ｓ２１２でＮＯ）、ステップＳ２１３にて次のフレームに移行され、ステップＳ２０１からステップＳ２１０までの処理を繰り返すことにより、最終フレームまでの処理が行われる。
【００９７】
全フレームについての処理が完了した場合は（Ｓ２１２でＹＥＳ）、認識結果出力部１０５は、最終フレームにおいて経路候補格納部１０４に格納されている経路候補の中から最も累積スコアの高い経路候補の単語列を、認識結果として出力する（Ｓ２１４）。
【００９８】
この結果、従来では図２（ｃ）に示されるように、「それ」＋「綿」の場合には、７＋１０＝１７点、「それ」＋「綿」＋「種」の場合には、７＋９＋２＝１８点、「それ」＋「綿」＋「菓子」の場合には、７＋９＋１＝１７点、「それ」＋「は」＋「だれ」の場合には、７＋５＋４＝１６点、「それ」＋「は」＋ガーベージモデル＋「だれ」の場合には７＋５＋２＋１＝１５点となるため、「それ」＋「綿」＋「種」が当該フレームにおける最高スコアであった。
【００９９】
これに対して、この実施の形態１に係る音声認識装置１によれば、図５（ｄ）に示されるように、「それ」＋「綿」の場合には、７＋１０＝１７点、「それ」＋「綿」＋「種」の場合には、７＋９＋２＝１８点、「それ」＋「綿」＋「菓子」の場合には、７＋９＋１＝１７点、「それ」＋「は」＋「だれ」の場合には、７＋５＋４＝１６点、「それ」＋「は」＋ガーベージモデル＋「だれ」の場合には７＋５＋６＋１＝１９点となるため、「それ」＋「は」＋ガーベージモデル＋「だれ」が当該フレームｔまでにおける最高スコアとなる。
【０１００】
以上より、本実施の形態１の音声認識装置１では、非言語音声推定関数を適用することにより、ガーベージ音響スコアを一律に底上げするのではなく、非言語音声である吃音部分のガーベージ音響スコアのみ大きくすることで、未知入力音声を正しく認識できるようになる。
【０１０１】
これにより、例えば、テレビの操作を、音声認識を用いて行うような場合、ユーザが緊張して吃音を発したとしても、正しく認識できるため、ユーザの労力や精神的負担を軽減することができるという効果も併せて発揮できる。
【０１０２】
なお、単語音響モデルは、音素、音節、ＣＶ及びＶＣのサブワード単位の音響モデルを連結してもよい。
【０１０３】
なお、本実施の形態１では、スペクトルが繰り返されるパターンの検出によって非言語音声の推定を行ったが、他の推定方法を用いてもよい。
【０１０４】
（実施の形態２）
次いで、本発明の実施の形態２に係る音声認識装置について、説明する。
【０１０５】
図６は、本発明の実施の形態２に係る音声認識装置の機能構成を示すブロック図である。なお、この実施の形態２では、非言語の推定の対象が笑い声である場合を例にして説明する。また、実施の形態１の音声認識装置１と対応する部分に同じ番号を付し、その詳細な説明を省略する。
【０１０６】
音声認識装置２は、音声認識装置１と同様に音声認識を用いてテレビの操作を行うようなコンピュータ装置であって、図６に示されるように、特徴量算出部１０１、ネットワーク辞書格納部１０２、経路計算部１０３、経路候補格納部１０４、認識結果出力部１０５、言語モデル格納部１０６、言語スコア計算部１０７、単語音響モデル格納部１０８、単語音響スコア計算部１０９、ガーベージ音響モデル格納部１１０、ガーベージ音響スコア計算部１１１、非言語音声推定部１１２及びガーベージ音響スコア修正部１１３の他、非言語推定用特徴量算出部１１４、非言語音響モデル格納部１１５及び高域パワー持続フレーム数計算部１１６をさらに備える。
【０１０７】
なお、このような音声認識装置２を構成する各部は、音声認識装置１と同様に、格納部を除き、ＣＰＵ、ＣＰＵによって実行されるプログラムを格納するＲＯＭ、プログラム実行の際にワークエリアを提供したり、入力された未知入力音声に対応するＰＣＭ信号の音響データ等を一時的に格納するメモリ等により実現される。
【０１０８】
非言語推定用特徴量算出部１１４は、入力された未知入力音声を音響分析し、非言語音響モデルとの照合に必要な特徴パラメータ及び高域パワーをフレーム毎に算出する。非言語音響モデル格納部１１５は、笑い声など非言語の音響モデルである非言語音響モデルを予め格納する。
【０１０９】
また、高域パワー持続フレーム数計算部１１６は、高域パワーの高いフレームがどれだけ連続するかというフレーム数をカウントする。非言語音声推定部１１２は、入力音声の非言語推定用特徴パラメータと非言語音響モデルの照合スコア及び高域パワーの高い部分の持続フレーム数を用いて、フレーム毎に非言語らしさである非言語音声推定関数を算出する。ガーベージ音響スコア修正部１１３は、フレーム毎にガーベージ音響スコア計算部１１１から算出されるガーベージ音響スコアを、非言語音声推定関数を用いて修正する。
【０１１０】
次いで、音声認識装置２の各部による未知入力音声の認識動作について、図７を用いて説明する。
【０１１１】
図７は、音声認識装置２の各部が実行する処理を示すフローチャートである。
音声認識装置２の各部は、フレーム毎に、入力フレームｔを１からＴまで１フレームずつ進めながら以下のステップＳ７０１からステップＳ７１４の処理を行う。なお、ここでも、フレーム長を１０ｍｓとする。
【０１１２】
まず、特徴量算出部１０１は、入力された未知入力音声を音響分析し、特徴パラメータを算出する（Ｓ７０１）。なお、ここでは、特徴パラメータとしてメルフィルタバンクケプストラム係数（ＭＦＣＣ）及びその回帰係数及び音声パワー差分を用いる。
【０１１３】
次に、非言語推定用特徴量算出部１１４は、入力された未知入力音声の笑い声の非言語推定用特徴パラメータを算出する（Ｓ７０２）。
【０１１４】
次に、高域パワー持続フレーム数計算部１１６は、スペクトル非言語推定用特徴量算出部１１４で得られた高域パワーが、予め定めた閾値Θより高い場合は、高域パワーの高いフレームとみなし、高域パワー持続フレーム数Ｎｈｐをインクリメントし、高域パワーが閾値Θよりも低くなった時点で高域パワー持続フレーム数Ｎｈｐを“０”にクリアする。つまり、高域パワーの高い部分が持続するフレーム数をカウントする（Ｓ７０３）。
【０１１５】
次に、非言語音声推定部１１２は、非言語推定用特徴パラメータと非言語音響モデルとを照合し、笑い声らしさを示す非言語推定関数の値を算出する。つまり、笑い声の非言語推定用特徴パラメータと非言語モデルとから非言語照合スコアを算出し、非言語照合スコアと高域パワー持続フレーム数とから笑い声らしさを示す非言語音声の推定値を算出する（Ｓ７０４）。その方法を以下に詳しく述べる。
【０１１６】
まず、非言語音響モデル格納部１１５に格納してある非言語音響モデルとの照合をフレーム毎に行う。非言語音響モデルは、予め多くの笑い声音声データから学習し、非言語音響モデル格納部１１５に格納しておく。
【０１１７】
非言語音響モデルの特徴パラメータは、ピッチ周波数、音声全域パワー、高域パワー、低域パワーなど単語音響モデルとは異なる特徴パラメータを用いる。あるいは単語音響モデルと同じ特徴パラメータ（ＭＦＣＣ）を用いるか、両方を併用してもよい。また、過去Ｎフレームにおける音声の最大パワー、最低パワー、最大パワーと最低パワーとの差、最小ピッチ周波数、最大ピッチ周波数及び最大ピッチ周波数と最小ピッチ周波数との差などのパラメータを用いてもよい。
【０１１８】
そして、当該フレーム又は当該フレームを含む複数フレームの特徴パラメータから特徴パラメータベクトルを構成し、非言語音響モデルとの照合のための非言語推定用特徴パラメータベクトルとする。
【０１１９】
非言語音響モデルとしては、隠れマルコフモデル（ＨＭＭ）やガウシアンミクスチャーモデル（ＧＭＭ）、ベイジアンネットワーク（ＢＮ）、グラフィカルモデル（ＧＭ）、ニューラルネットワーク（ＮＮ）等を用いることができる。なお、本実施の形態２ではＧＭＭを用いる。
【０１２０】
非言語音響モデルとの照合により得られた入力フレームｔにおける笑い声に対するスコアを非言語照合スコアＳ（ｔ）とする。非言語照合スコアＳ（ｔ）は、笑い声に似ているほど大きな値を持つものとし、正に数、“０”又は負の数の値を持つ。非言語照合スコアＳ（ｔ）と高域パワー持続フレーム数計算部１１６により得られた高域パワー持続フレーム数Ｎｈｐを用いて、笑い声用の非言語音声推定関数Ｒ（ｔ）を式（５）のように表す。ただし、α、λ、Ｒｍｉｎ、Ｒｍａｘは、定数で、認識実験により認識率が高くなるような値に定める。
【０１２１】
【数５】
0003678421.tif 000010
0003678421.tif 000011
【０１２２】
これにより、笑い声があるときに、非言語音声推定関数Ｒ（ｔ）の値が大きくなる。
【０１２３】
以下、ステップＳ７０５からステップＳ７１６の処理は、実施の形態１のステップＳ２０３からステップＳ２１４と同じであるため、ここでの説明は省略する。
【０１２４】
以上より、本実施の形態２の音声認識装置２では、非言語音声推定関数を適用することにより、一律にガーベージ音響スコアを底上げするのではなく、笑い声部分のガーベージ音響スコアのみ大きくすることができ、未知入力音声を正しく認識できるようになる。
【０１２５】
なお、単語音響モデルは、実施の形態１と同様に、音素、音節、ＣＶ及びＶＣのサブワード単位の音響モデルを連結してもよい。またガーベージ音響モデルは「えーと」や「うーん」などの不要語音声だけではなく、笑い声、咳払い及び突発音を含む非言語音声も含めて学習を行うと、さらに認識精度が向上する。
【０１２６】
これにより、例えば、テレビの操作を、音声認識を用いて行うような場合、ユーザが笑いながら喋ったとしても、正しく認識できるため、ユーザの労力や精神的負担を軽減することができる。
【０１２７】
なお、実施の形態２では、非言語音響モデルとの照合スコア及び高域パワー持続フレーム数の両方を用いて笑い声推定関数を定めたが、どちらか一方のみを用いてもよい。
【０１２８】
また実施の形態２では、非言語音声として笑い声を対象としたが、咳を対象としても同様の方法で咳を含む音声を認識できる。
【０１２９】
（実施の形態３）
次いで、本発明の実施の形態３に係る音声認識装置について説明する。
【０１３０】
図８は本発明の実施の形態３に係る音声認識装置の機能構成を示すブロック図であり、図９はカメラ付き携帯電話機に向かって、ユーザが音声でメール入力をしている場合の様子を表す図である。なお、この実施の形態３では、カメラ付き携帯電話機において、カメラ画像を入力として笑いや咳払いを検出し、音声認識のガーベージ音響スコアを修正する場合を例にして説明する。また、実施の形態１の音声認識装置１と対応する構成部分に同じ番号を付し、その説明を省略する。
【０１３１】
音声認識装置３は、音声認識を用いてメールを作成するような携帯電話機などのコンピュータ装置であって、図８に示されるように、特徴量算出部１０１、ネットワーク辞書格納部１０２、経路計算部１０３、経路候補格納部１０４、認識結果出力部１０５、言語モデル格納部１０６、言語スコア計算部１０７、単語音響モデル格納部１０８、単語音響スコア計算部１０９、ガーベージ音響モデル格納部１１０、ガーベージ音響スコア計算部１１１及びガーベージ音響スコア修正部１１３の他、非言語音声推定部１１２に代えて用いられる非言語現象推定部１１７をさらに備える。
【０１３２】
なお、このような音声認識装置３を構成する各部は、音声認識装置１と同様に、格納部を除き、ＣＰＵ、ＣＰＵによって実行されるプログラムを格納するＲＯＭ、プログラム実行の際にワークエリアを提供したり、入力された未知入力音声に対応するＰＣＭ信号の音響データ等を一時的に格納するメモリ等により実現される。
【０１３３】
非言語現象推定部１１７は、ユーザの顔をリアルタイムに撮影するカメラ画像情報を入力として笑い顔を検出し、「笑っているらしさ」を示す非言語現象推定関数Ｒ（ｔ）を計算する。笑い顔を検出する方式は既存のどのようなものを用いてもよく、非言語現象推定関数Ｒ（ｔ）は大きいほど「笑っているらしさ」を示すものとする。
【０１３４】
例えば、カメラ入力による顔画像から目・鼻・口などの個々の器官の輪郭を示すエッジ情報を抽出し、その形状や位置関係を特徴パラメータとし、笑い顔モデルと照合することにより笑いを検出する。また、笑い顔ではなく、咳をしている画像を検出し、「咳をしているらしさ」を示す非言語現象推定関数としてもよい。
【０１３５】
なお、非言語現象推定関数Ｒ（ｔ）は、実施の形態１，２と同様に、式（２）から式（５）を用いることができる。
【０１３６】
さらに、実施の形態１，２の少なくとも一方と組み合わせることで、音声による非言語音声推定関数と画像による非言語現象推定関数の重み付き和を用いて新たな非言語現象推定関数としてもよい。
【０１３７】
また、カメラ画像情報を入力とするのではなく、脳波、血圧、心拍数、発汗、顔の温度などの生体情報センサーをとりつけて、これらの生体情報を入力としてもよい。
【０１３８】
例えば、脳波測定器により入力された脳波の時系列パターンと、笑っている状態を表す笑い脳波モデルとを照合することにより、「笑っているらしさ」を示す非言語現象推定関数Ｒ（ｔ）を計算することができる。また、入力特徴量として、脳波だけでなく、血圧、心拍数を表す血圧計の圧電センサーからの電圧時系列パターンや、発汗量、顔の温度を表す湿度センサー、温度センサーからの電流時系列パターン等を組み合わせることにより、より高度な非言語現象を推定することができる。
【０１３９】
なお、実施の形態３の音声認識装置３では、携帯電話機を対象としたが、パソコン、カーナビゲーションシステム、テレビ、その他家電製品などでもよい。
【０１４０】
これにより、例えば、カメラ付き携帯電話機におけるメール入力では、顔画像を用いることにより、周囲の雑音が多い場所であっても、笑い声と同期して笑い顔を正確に検出でき、ガーベージ音響スコアを高い値に修正できるので、音声認識性能を向上させることができる。また、咳の場合についても笑い声と同様に、音声認識性能を向上させることができる。
【０１４１】
（実施の形態４）
次いで、本発明の実施の形態４に係る音声認識装置について説明する。
【０１４２】
図１０は本発明の実施の形態４に係る音声認識装置４の機能構成を示すブロック図であり、図１１は顔文字付きのメール本文を携帯電話機の画面９０１に実際に表示した状態を示す図である。なお、この実施の形態４では、携帯電話機の文字入力のインターフェースとして音声認識を用いる場合において、音声認識時に、笑ったり、咳をしたりした場合に、笑い又は咳に対する非言語音声推定関数が予め定めた閾値を超えた場合、その文中位置又は文末に、その非言語の種類に応じた顔文字を表示するものである。例えば、笑顔の顔文字としては「（＾Ｏ＾）」があり、咳をした場合の顔文字としては「ρ（＞ｏ＜）」がある。また、実施の形態２の音声認識装置２と対応する構成部分に同じ番号を付し、その説明を省略する。
【０１４３】
音声認識装置４は、音声認識を用いてメールを作成するような携帯電話機などのコンピュータ装置であり、図１０に示されるように、特徴量算出部１０１、ネットワーク辞書格納部１０２、経路計算部１０３、経路候補格納部１０４、認識結果出力部１０５、言語モデル格納部１０６、言語スコア計算部１０７、単語音響モデル格納部１０８、単語音響スコア計算部１０９、ガーベージ音響モデル格納部１１０、ガーベージ音響スコア計算部１１１、非言語音声推定部１１２、ガーベージ音響スコア修正部１１３、非言語推定用特徴量算出部１１４、非言語音響モデル格納部１１５及び高域パワー持続フレーム数計算部１１６の他、非言語対応文字挿入部１１８をさらに備える。
【０１４４】
なお、このような音声認識装置４を構成する各部は、音声認識装置２と同様に、格納部を除き、ＣＰＵ、ＣＰＵによって実行されるプログラムを格納するＲＯＭ、プログラム実行の際にワークエリアを提供したり、入力された未知入力音声に対応するＰＣＭ信号の音響データ等を一時的に格納するメモリ等により実現される。
【０１４５】
非言語対応文字挿入部１１８は、笑いや咳などの非言語音声に対応する顔文字や文字（表意文字）を備えており、非言語音声推定部１１２が出力する非言語音声推定関数Ｒ（ｔ）の大きさが、しきい値を超えた場合、その文中位置又は文末にその非言語の種類に応じた顔文字を挿入するものであり、認識結果出力部１０５が出力した認識結果に、図１１に示したような顔文字が挿入された文を表示する。なお、顔文字は、文字として表示することも可能である。例えば、ユーザが笑った場合には、「（笑）」を挿入し、ユーザが咳払いをした場合には、「（咳）」を挿入することもできる。
【０１４６】
なお、非言語現象によってどのような文字及び顔文字を表示するのかは、予めユーザ自身が設定することもでき、音声認識による文字入力中にも、ユーザにより非言語現象による文字及び顔文字の挿入の要否を設定することができる。
【０１４７】
また、非言語音声推定関数Ｒ（ｔ）の値が小さい場合は、微笑んでいるような顔文字とし、非言語音声推定関数Ｒ（ｔ）の値が大きい場合は、大笑いしているような顔文字とすることもできる。また、非言語音声推定関数の値が、予め定めた閾値以上となるフレームの持続フレーム数によって、非言語現象によって表示する文字及び顔文字を変更することができる。
【０１４８】
例えば、微笑んでいる場合には、「（⌒ｏ⌒）」の顔文字を表示し、大笑いしている場合には、「（≧∇≦）」の顔文字を表示することができる。
【０１４９】
さらに、表示位置をその非言語現象が現れた文中位置にするか文末にするか、ユーザ自身が設定することができる。
【０１５０】
なお、ガーベージ音響スコアは修正せずに、非言語音声推定関数Ｒ（ｔ）によって検出された非言語の種類に応じた文字や顔文字を表示するだけでもよい。この場合、「怒り」、「喜び」、「疑問」などの非言語音響モデルと照合して非言語音声推定関数を推定し、非言語音声推定関数の値が、予め定めた閾値以上である場合に、非言語現象に応じた文字を表示することも可能であり、さらに、実施の形態３の音声認識装置３に示したように、カメラ画像や生体情報を併用することにより算出された非言語現象推定関数Ｒ（ｔ）を用いることで、より精度よく表示させることができる。また、実施の形態１の音声認識装置１に非言語対応文字挿入部１１８を付加することにより、音声認識装置４を構成してもよい。
【０１５１】
ここで、「怒り」に対しては、「（怒）」や、「（▼▼メ）」などを表示し、「喜び」に対しては、「（喜）」や、「ｏ（＾▽＾）ｏ〜♪」などを表示し、「疑問」に対しては、「（？）」や、「（・＿・？）」などを表示することができる。
【０１５２】
なお、非言語現象を表示する文字及び顔文字は、上記以外の文字及び顔文字も表示することができる。
【０１５３】
以上の構成により、例えば、携帯電話機におけるメール入力では、音声認識が向上するにとどまらず、さらに実際に音声入力しながら笑ったところで顔文字を挿入するようなことができ、よりリアリティーのあるメールが書けるようになる。
【０１５４】
（実施の形態５）
次いで、本発明の実施の形態５に係る音声認識装置について説明する。
【０１５５】
図１２は、本発明の実施の形態５に係る音声認識装置の機能構成を示すブロック図である。なお、この実施の形態５では、パソコン上のエージェントとの対話において、吃音、笑い声、咳払いを検出したら、その非言語の種類に応じた対応をエージェントが実行するものである。また、実施の形態２の音声認識装置２と対応する構成部分に同じ番号を付し、その説明を省略する。
【０１５６】
音声認識装置５は、音声認識機能を備えるパソコンなどのコンピュータ装置であり、図１２に示されるように、特徴量算出部１０１、ネットワーク辞書格納部１０２、経路計算部１０３、経路候補格納部１０４、認識結果出力部１０５、言語モデル格納部１０６、言語スコア計算部１０７、単語音響モデル格納部１０８、単語音響スコア計算部１０９、ガーベージ音響モデル格納部１１０、ガーベージ音響スコア計算部１１１、非言語音声推定部１１２、ガーベージ音響スコア修正部１１３、非言語推定用特徴量算出部１１４、非言語音響モデル格納部１１５及び高域パワー持続フレーム数計算部１１６の他、エージェント制御部１１９をさらに備える。
【０１５７】
なお、このような音声認識装置５を構成する各部は、音声認識装置２と同様に、格納部を除き、ＣＰＵ、ＣＰＵによって実行されるプログラムを格納するＲＯＭ、プログラム実行の際にワークエリアを提供したり、入力された未知入力音声に対応するＰＣＭ信号の音響データ等を一時的に格納するメモリ等により実現される。
【０１５８】
エージェント制御部１１９は、画面に表示するエージェントの画像や、エージェントが話す合成音のデータを備え、認識結果出力部１０５から得られる認識結果と、非言語音声推定部１１２から得られる非言語音声推定関数の大きさに応じて、エージェントの動きや表情を変えて画面に表示するとともに、エージェントが対応する合成音声の文章を出力するものである。
【０１５９】
例えば、吃音が検出された場合には、エージェントが「緊張しなくていいよ！」という合成音声を出力すると共に、エージェントが手を振るなど、リラックスを促すような動作をエージェントに実行させる。また、笑い声が検出された場合には、エージェントが一緒に笑いながら「そんなにおかしい？」と合成音声を出力し、咳払いが検出された場合には、心配そうな顔で「風邪引いているの？」というように合成音声を出力する。
【０１６０】
さらに、笑い声や咳が多く検出され、認識結果が得られなかった場合に、「笑い声が多くて認識できませんでした」、あるいは「咳が多くて認識できませんでした」と合成音で出力し、画面上でエージェントがすまなさそうに謝るなどの動作を実行することができる。
【０１６１】
なお、実施の形態５では、パソコン上のエージェントとの対話としたが、パソコンに限らず、テレビや携帯電話機など他の電子機器でも同様の表示を実行することができる。また、実施の形態３と組み合わせて、携帯電話機のカメラ画像から笑い顔を検出した結果などを用いることで、エージェントに同様の動作を実行させることができる。また、実施の形態１の音声認識装置１にエージェント制御部１１９を付加することにより、音声認識装置５を構成してもよい。
【０１６２】
なお、実施の形態５では、非言語音声推定関数を用いて説明したが、非言語現象推定関数又は非言語音声推定関数の少なくとも一方を用いる構成としても同様の効果を得ることができる。
【０１６３】
以上の構成により、エージェントとの対話において、音声認識が向上するにとどまらず、ユーザの緊張をやわらげ、より楽しく会話を行うことができる。
【０１６４】
（実施の形態６）
次いで、本実施の形態６に係る音声認識装置について説明する。
【０１６５】
図１３は、本発明の実施の形態６に係る音声認識装置の機能構成を示すブロック図である。なお、この実施の形態６では、式（４）におけるガーベージ音響スコア修正部１１３で用いる修正パラメータｗの値を、ユーザが予め決定するものである。
【０１６６】
ここで、ｗの値を大きくすれば、音声認識結果として非言語部分が挿入され易くなり、ｗの値を小さくすれば、非言語部分が挿入され難くなる。例えば、吃音を発声し易いユーザは、修正度合いが大きい方が、性能が高く使い易くなり、吃音をあまり発声しないユーザは、修正度合いが小さい方が、性能が高く使い易い。
【０１６７】
また、くだけた文章のメールを音声で入力するような場合は、親しい友人へのメールなどでは、笑い声などにより顔文字が挿入され易い方が、都合がよく、また、目上の人へのメールなどでは、顔文字が挿入され難い方が、あるいは、全く挿入されない方が、都合がよい場合もある。このため、ユーザ自身が、非言語部分の挿入頻度を決定するパラメータを設定するものである。
【０１６８】
また、ここでは、音声認識装置２を基礎としてガーベージ音響スコア修正部１１３で用いる修正パラメータｗの値を、ユーザが修正する場合について説明する。また、音声認識装置２と対応する構成部分に同じ番号を付して、その説明を省略する。
【０１６９】
音声認識装置６は、音声認識機能を備えたコンピュータ装置であり、図１３に示されるように、特徴量算出部１０１、ネットワーク辞書格納部１０２、経路計算部１０３、経路候補格納部１０４、認識結果出力部１０５、言語モデル格納部１０６、言語スコア計算部１０７、単語音響モデル格納部１０８、単語音響スコア計算部１０９、ガーベージ音響モデル格納部１１０、ガーベージ音響スコア計算部１１１、非言語音声推定部１１２、ガーベージ音響スコア修正部１１３、非言語推定用特徴量算出部１１４、非言語音響モデル格納部１１５及び高域パワー持続フレーム数計算部１１６の他、修正パラメータ選択変更部１２０をさらに備える。
【０１７０】
なお、このような音声認識装置６を構成する各部は、音声認識装置２と同様に、格納部を除き、ＣＰＵ、ＣＰＵによって実行されるプログラムを格納するＲＯＭ、プログラム実行の際にワークエリアを提供したり、入力された未知入力音声に対応するＰＣＭ信号の音響データ等を一時的に格納するメモリ等により実現される。
【０１７１】
修正パラメータ選択変更部１２０は、画面に修正度合いを大きくするボタン、修正度合いを小さくするボタン、全く修正しなくするボタンの３つを表示し、ユーザの選択に基づいて、ガーベージ音響スコア修正部１１３が用いる式（４）のパラメータｗの値を変更するものである。
【０１７２】
まず、修正パラメータ選択変更部１２０は、初期設定などにおいて修正パラメータのボタンを画面に表示し、ユーザ自身の好みに合わせて、修正度合いを選択させる。
【０１７３】
次に、修正パラメータ選択変更部１２０が、ユーザの選択に基づいてガーベージ音響スコア修正部１１３で用いる式（４）の修正パラメータｗの値を変更する。
【０１７４】
これにより、認識結果の非言語部分の挿入頻度をユーザの嗜好により設定することができる。
【０１７５】
なお、修正パラメータ選択変更部１２０は、ボタンではなくスライドバーを表示して任意の値をユーザが指定できるようにしてもよく、また、携帯電話のように画面が小さくポインティングデバイスが使い難い場合は、数字ボタンや機能キーに割り当ててもよい。
【０１７６】
また、ユーザの声の質や喋り方によってガーベージスコアの値が変動するため、ユーザが自分の喋り方で最も精度よく非言語部分を含む音声を認識するように、実際に喋りながらガーベージスコアの修正パラメータを設定させるようにしてもよい。
【０１７７】
なお、本実施の形態６では修正パラメータｗのみをユーザが決定するとしたが、式（１）におけるＮｓ，Ｎｅと、式（２），式（３），式（５）におけるα，β，γ，Ｒｍｉｎ，Ｒｍａｘとをユーザが設定する構成とすることもできる。
【０１７８】
また、音声認識装置１や、音声認識装置３、音声認識装置４、音声認識装置５に修正パラメータ選択変更部１２０を付加し、パラメータを修正するようにしてもよい。
【０１７９】
これにより、例えば、吃音を発声し易いユーザは、修正度合いが大きくすることにより認識性能を向上させることができ、また、メール入力における顔文字挿入では、親しい友人へのメールと目上の人へのメールとで顔文字の挿入頻度を使い分けることなどができるようになる。
【０１８０】
なお、本発明は、プログラムによって実現し、これをフレキシブルディスクなどの記録媒体に記録して移送することにより、独立した他のコンピュータシステムで容易に実施することができる。ここで、記録媒体として、光ディスク、ＩＣカード及びＲＯＭカセットを含むプログラムを記録するのもであれば、いずれであっても同様に実施することができる。
【産業上の利用可能性】
【０１８１】
本発明に係る音声認識装置及び音声認識方法は、吃音、笑い声、咳払い等の非言語部分を含む未知入力音声であっても正しく音声認識することができるため、意味的に区別する必要のない不要語を許容する連続単語音声認識等を行う音声認識装置及び音声認識方法等として有用であり、音声認識機能を有するテレビや、電子レンジなどの家電機器、携帯電話機などの携帯情報端末、パソコンなどのコンピュータ装置に適用できる。
【図面の簡単な説明】
【０１８２】
【図１】図１は、従来の音声認識装置の構成を示す図である。
【図２】図２は、入力音声が「それは、だ、だれ」である場合の、経路候補を表す図である。
【図３】図３は、本発明の実施の形態１に係る音声認識装置の機能構成を示すブロック図である。
【図４】図４は、音声認識装置１の各部が実行する処理を示すフローチャートである。
【図５】図５は、未知入力音声が「それは、だ、だれ」である場合の、非言語音声推定関数及び経路候補を表す図である。
【図６】図６は、本発明の実施の形態２に係る音声認識装置の機能構成を示すブロック図である。
【図７】図７は、音声認識装置２の各部が実行する処理を示すフローチャートである。
【図８】図８は、本発明の実施の形態３に係る音声認識装置の機能構成を示すブロック図である。
【図９】図９は、カメラ付き携帯電話機に向かって、ユーザが音声でメール入力をしている場合の様子を表す図である。
【図１０】図１０は、本発明の実施の形態４に係る音声認識装置４の機能構成を示すブロック図である。
【図１１】図１１は、顔文字付きのメール本文を携帯電話機の画面９０１に実際に表示した状態を示す図である。
【図１２】図１２は、本発明の実施の形態５に係る音声認識装置の機能構成を示すブロック図である。
【図１３】図１３は、本発明の実施の形態６に係る音声認識装置の機能構成を示すブロック図である。
【図１】
0003678421.tif 000012
【図２】
0003678421.tif 000013
【図３】
0003678421.tif 000014
【図４】
0003678421.tif 000015
【図５】
0003678421.tif 000016
【図６】
0003678421.tif 000017
【図７】
0003678421.tif 000018
【図８】
0003678421.tif 000019
【図９】
0003678421.tif 000020
【図１０】
0003678421.tif 000021
【図１１】
0003678421.tif 000022
【図１２】
0003678421.tif 000023
【図１３】
0003678421.tif 000024