(57)【要約】【課題】ユーザの発話タイミングに基づいて出力メッセージを変更する音声ガイダンス出力装置があるが、音声認識方式に適応するものではないため、認識性能の大きな改善は見込めない問題があった。【解決手段】音声入力開始操作手段で音声入力操作が可能になった時刻からユーザが実際に発話を開始するまでの発話開始学習時間を学習して発話開始時間学習データ保持手段で保持し、音声入力手段により取得した音声から音声始端候補を検出し、この音声始端候補における音声入力操作が可能になった時刻からの音声開始時間を計測し、この計測時間と上記発話開始学習時間とを比較し、時間計測をした音声がユーザの入力音声か否かを判定し、ユーザの入力音声である時は音声認識手段で音声認識して認識結果を認識結果出力手段から出力する。【選択図】図１
2006313261.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの操作により、音声入力動作を可能にする音声入力開始操作手段と、ユーザの音声を取得する音声入力手段と、音声入力開始操作手段でユーザが操作を行なった時刻からユーザが実際に発話を開始するまでの時間を学習した学習発話開始時間を保持する発話開始時間学習データ保持手段と、音声入力手段により取得した音声から音声始端候補を検出し、この音声始端候補における音声入力開始操作手段でユーザが操作を行なった時刻からの音声開始時間を計測し、この計測時間と発話開始時間学習データ保持手段からの発話開始学習時間とを比較し、時間計測をした音声がユーザの入力音声か否かを判定し、ユーザの入力音声である時は音声認識する音声認識手段と、音声認識手段によって得られた認識結果を出力する認識結果出力手段を備えることを特徴とする音声認識装置。
【請求項２】
音声認識手段は、発話開始時間学習データ保持手段で保持している学習発話開始時間との差が予め定められた所定値より大きい音声始端候補を検出した場合はユーザの発話ではないものとしてその候補を棄却することを特徴とする請求項１記載の音声認識装置。
【請求項３】
音声認識手段は、
音声始端候補を持つ音声区間に対して、音響特徴の抽出し、この音響特徴により音響モデルを参照しての確率演算し、確率演算結果により認識辞書を参照して算出された音声区間の認識スコアを、発話開始時間学習データ保持手段で保持している学習発話開始時間と検出された音声始端候補の音声開始時間との差に応じて、前記音声始端候補を持つ音声区間の音声がユーザの入力音声か否かを判定するユーザ用認識スコアを算出することを特徴とする請求項１記載の音声認識装置。
【請求項４】
音声入力手段より入力された音声を認識するためコンピュータを
音声入力動作を可能にする音声入力開始操作手段の操作をユーザが行なった時刻からユーザが実際に発話を開始するまでの時間を学習して発話開始時間学習データ保持手段に保管する手段、
音声入力手段により取得した音声から音声始端候補を検出し、この音声始端候補における音声入力開始操作手段でユーザが操作を行なった時刻からの音声開始時間を計測する手段、
この計測時間と発話開始時間学習データ保持手段からの発話開始学習時間とを比較し、時間計測をした音声がユーザの入力音声か否かを判定する手段、
入力音声がユーザの音声であると判定されたとき、その入力音声を認識する音声認識手段、
音声認識手段によって得られた認識結果を出力する認識結果出力手段、
として機能させるための音声認識プログラム。
【請求項５】
音声入力手段より入力された音声を認識するためコンピュータを
音声入力動作を可能にする音声入力開始操作手段の操作をユーザが行なった時刻からユーザが実際に発話を開始するまでの時間を学習して発話開始時間学習データ保持手段に保管する手段、
音声入力手段により取得した音声から音声始端候補を検出し、この音声始端候補における音声入力開始操作手段でユーザが操作を行なった時刻からの音声開始時間を計測する手段、
この計測時間と発話開始時間学習データ保持手段からの発話開始学習時間とを比較し、時間計測をした音声がユーザの入力音声か否かを判定する手段、
入力音声がユーザの音声であると判定されたとき、その入力音声を認識する音声認識手段、
音声認識手段によって得られた認識結果を出力する認識結果出力手段、
として機能させるための音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ユーザの発話タイミングに基づいて入力音声の発話者がユーザか否かを判定し、ユーザの入力音声を認識する音声認識技術に関するものである。
【背景技術】
【０００２】
近年、様々な用途において音声認識装置が使用されるようになった。そのため、音声認識装置のユーザも増加しており、ユーザの多様化が進んでいる。そのためユーザの装置に対する習熟度などが原因でユーザによって発話開始時間は大きく異なる。ユーザの発話タイミングに適応させる方法については様々な技術が提案されている。たとえば、音声メッセージ出力中における音声入力のタイミングに基づいてユーザの習熟度を検出し、その習熟度に応じて出力メッセージを変更する技術が特開平４−３４４９３０号公報の「音声ガイダンス出力装置」において開示されている。
【０００３】
【特許文献１】特開平４−３４４９３０号公報「音声ガイダンス出力装置」
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の「音声ガイダンス出力装置」では、ユーザの発話タイミングに基づいて出力メッセージを変更しているが、音声認識方式に対する適応ではないため、認識性能の大きな改善は見込めないという問題点があった。
【０００５】
この発明は上記のような問題点を解決するためになされたもので、ユーザの発話開始時間を学習し、学習した発話開始時間との差に応じて、検出する音声の始端候補を棄却する、または認識スコアの計算をすることにより、認識性能を改善することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る音声認識装置は、ユーザによる操作により、音声入力操作を可能にする音声入力開始操作手段と、ユーザの音声を取得する音声入力手段と、音声入力開始操作手段でユーザが操作を行なった時刻からユーザが実際に発話を開始するまでの時間を学習した発話開始学習時間を保持する発話開始時間学習データ保持手段と、音声入力手段により取得した音声から音声始端候補を検出し、この音声始端候補における音声入力開始操作手段でユーザが操作を行なった時刻からの音声開始時間を計測し、この計測時間と発話開始時間学習データ保持手段からの発話開始学習時間とを比較し、時間計測をした音声がユーザの入力音声か否かを判定し、ユーザの入力音声である時は音声認識する音声認識手段と、音声認識手段によって得られた認識結果を出力する認識結果出力手段を備える。
【０００７】
また、この発明に係る音声認識プログラムは、音声入力手段より入力された音声を認識するためコンピュータを
音声入力動作を可能にする音声入力開始操作手段を、ユーザが操作を行なった時刻からユーザが実際に発話を開始するまでの時間を学習して発話開始時間学習データ保持手段に保管する手段、
音声入力手段により取得した音声から音声始端候補を検出し、この音声始端候補における音声入力開始操作手段でユーザが操作を行なった時刻からの音声開始時間を計測する手段、
この計測時間と発話開始時間学習データ保持手段からの発話開始学習時間とを比較し、時間計測をした音声がユーザの入力音声か否かを判定する手段、
入力音声がユーザの音声であると判定されたとき、その入力音声を認識する音声認識手段、
音声認識手段によって得られた認識結果を出力する認識結果出力手段、
として機能させる。
【発明の効果】
【０００８】
この発明に係る音声認識装置及びプログラムは、ユーザの発話から学習した発話開始時間情報を使用して入力音声の音声始端候補がユーザの発話ではない場合、その音声始端候補を棄却することにより、音声始端候補からユーザの発声を精度良く検出することが可能となり、ユーザの発声のみを音声認識する。これにより音声認識精度が向上する。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
音声認識装置を使用する際、ユーザのシステムへの習熟度など様々な要因によって、ユーザごとに発話開始時間が異なると考えられる。ここで発話開始時間とは、音声入力操作を可能にするためのユーザにより操作した時間から発話開始までの時間を指すものとする。この発話開始時間は、同一ユーザであれば大きく変化しないと考えられる。そこで、本実施の形態では、ユーザごとに学習した発話開始時間情報を使用して、ユーザからの発話かどうかを判定し、ユーザからの発話でないと判定した場合、音声認識候補を棄却することで認識性能の向上を図る。
【００１０】
図１はこの発明の実施の形態１に関する装置の構成図である。
図１において、１はユーザによる操作により、音声入力操作を可能にする音声入力開始操作手段、２はユーザの音声を取得する音声入力手段、３は音声入力開始操作手段１においてユーザが操作を行なった時間からユーザが実際に発話を開始するまでの時間を学習した発話開始時間学習データ保持手段、４は音声入力手段２により取得した音声を認識する音声認識手段、５は音声認識手段４によって得られた認識結果を出力する認識結果出力手段、６は音声入力手段２により入力された音声からユーザの発話開始時間を学習する発話開始時間学習手段である。発話開始時間学習手段６はユーザが学習用に発話した数をカウントするカウンタ、学習発話開始時間を演算する学習発話開始時間演算部、学習用として取得すべき発話数を設定する学習発話数設定部を有する。
【００１１】
図２は音声認識手段４の詳細構成を示す。４１は音声区間検出部で音声入力手段２からの入力音声を認識するために音声区間を区切りその区間を検出する。またユーザが発話した音声の始端候補を検出し、音声入力開始操作手段１をユーザが操作して装置が動作開始状態になった時刻から音声始端候補迄の時間を検出しそれらを保存する。また、装置が学習モードのときは発話開始時間学習手段６に出力する。さらに発話開始時間学習データ保持手段３に保存された発話開始時間学習データと音声始端候補の開始時間とを比較し、ユーザの音声か否かを判定し、ユーザ以外の発話であれば以後の認識動作を中止する。
４２は音響特徴抽出部であり、音声区間検出部４１で検出した音声区間に対して、音響特徴を抽出する。確率演算部４３はこの音響特徴抽出部４２で抽出された音響特徴により音響モデル４５を参照して確率演算をして、さらに認識スコア計算部４４で認識辞書４６を参照して音声区間の認識スコアを計算する。
【００１２】
以下、本実施の形態の動作について説明する。
本実施の形態において、発話開始時間の学習は、システム使用前にユーザによってあらかじめ行なうものとする。この学習にはいくつかの方法が考えられるが、例えば、図１に示すようなユーザに対して発話開始時間を学習するための「学習モード」を用意する。
以下具体的な学習例として、図３に示すフローチャートを用いて説明する。
【００１３】
まずステップＳ１０１において、発話開始時間学習手段６は学習用発話数カウンタのｋ及び学習発話開始時間演算部の学習発話開始時間ＬＴの初期化を行ない、学習発話数設定部に取得すべき発話数Ｎを設定する。
【００１４】
ステップＳ１０２において、発話開始時間学習手段６は音声入力手段２に入力された音声を音声認識手段４から取得する。また、学習用発話数のカウンタｋに１加える。
【００１５】
ステップＳ１０３において、音声認識手段４から発話開始時間Ｔを取得し、学習発話開始時間演算部の学習発話開始時間ＬＴにＴを加える。
【００１６】
ステップＳ１０４において、発話数カウンタｋが学習発話数Ｎと等しければ、学習のための発話を終え、次のステップへ進む。発話数カウンタｋがＮに達していない場合は、ステップ１０２に戻り、学習用発話の入力を行なう。
【００１７】
ステップＳ１０５において、発話開始時間学習手段６の学習発話開始時間演算部は学習発話開始時間を取得する。学習発話開始時間は各発話の発話開始時間Ｔに対する発話開始時間の平均ＬＴ＝ＬＴ／Ｎとする。
【００１８】
上記のように学習を行なった発話開始時間データが発話開始時間学習データ保持手段３において保持される。
【００１９】
次に、学習した発話開始時間データを用いてユーザからの発話かどうかを判定し、ユーザからの発話でないと判定した場合、音声候補を棄却する音声認識手段４の動作について図４に示すフローチャートを用いて説明する。
【００２０】
まずステップＳ２０１において、音声認識手段４の音声区間検出部４１は音声入力手段２に入力された音声を取得する。
【００２１】
ステップＳ２０２において、音声認識手段４の音声区間検出部４１は入力音声から、音声始端候補を検出する。このとき、音声始端候補は複数検出されることもある。その場合、最初に検出された始端候補について判定する。
【００２２】
次にステップＳ２０３において、音声区間検出部４１はＳ２０２で検出された音声始端候補の発話開始時間を計測し、その発話開始時間と発話開始時間学習データ保持手段３において保持された学習発話開始時間との差Ｄを求め、その差Ｄが閾値Ｔｈより小さければ、ステップＳ２０４に進み、検出した音声始端候補を採用する。もし、Ｄが閾値Ｔｈより大きければ、ステップＳ２０５に進み、検出した音声始端候補はユーザからの発話ではないものとして棄却する。
【００２３】
ステップＳ２０４にて検出した音声始端候補が採用された場合、ステップＳ２０６において、採用された音声始端候補を使用して音声認識を行ない、ステップＳ２０７において、認識結果を出力する。
ステップＳ２０６における音声認識は、音声区間検出部４１により検出された音声区間に対して音響特徴抽出部４２で音響特徴を抽出し、確率演算部４３で音響特徴抽出部４２にて抽出された音響特徴により音響モデル４５を参照して確率演算をし、さらに認識スコア計算部４４で認識辞書４６を参照して音声区間の認識スコアを計算する通常の音声認識方法である。
【００２４】
ステップＳ２０５にて検出した音声始端候補が棄却された場合、ステップＳ２０８において、ステップＳ２０２で検出された音声始端候補が他に存在するかをチェックする。他に音声始端候補があれば、ステップＳ２０３に戻り、その音声始端候補について、採用か否かの判定を行なう。他に音声始端候補がなければ、処理を終了する。
【００２５】
以上のように、本実施の形態によれば、ユーザの発話から学習した発話開始時間情報を使用して入力音声の音声始端候補がユーザの発話ではない場合、その音声始端候補を棄却することにより、音声始端候補からユーザの発声を精度良く検出することが可能となり、ユーザの発声のみを音声認識する。これにより音声認識精度が向上する。
【００２６】
本実施の形態を説明する上で、発話開始時間の学習方法としてユーザがシステム使用前にあらかじめ発話開始時間の学習を行なう方法としているが、任意の学習方法を使用することが可能である。例えば、図５に示すように、音声入力手段２に入力音声があれば発話開始時間学習手段６が動作を開始して、ユーザがシステムを使用中に逐次的に学習を行なう方法でも良い。
【００２７】
実施の形態２．
前記実施の形態１では、学習した発話開始時間情報を使用して音声始端候補を棄却する方法について述べた。しかし、発話が突発的に学習発話開始時間からずれてしまった場合、たとえユーザからの発話であっても音声始端候補が棄却されてしまう可能性がある。
【００２８】
このような問題に対応するため、学習した発話開始時間情報を加味して、ユーザの発話であるか否かの判断をする認識スコアの計算を行ない、認識スコアに応じて認識結果を採用もしくは棄却する認識スコアを計算する手法にすることにより、音声始端候補を誤って棄却する問題を回避することが出来る。本実施の形態では、学習した発話開始時間情報を使用して認識スコアを計算する方法について説明する。
【００２９】
本実施の形態に関する装置の構成図は実施の形態１と同様に図１で示すものであり、音声認識手段４の詳細な構成を図７に示す。図７において、４７は検出された音声始端候補の音声開始時間と学習発話開始時間との差Ｄを保存する差分データ保存部である。
また、発話開始時間の学習方法は実施の形態１と同じ方法とする。
【００３０】
学習した発話開始時間データを用いて認識スコアを計算する方法について図６に示すフローチャートを用いて説明する。
【００３１】
まずステップＳ３０１において、音声認識手段４の音声区間検出部４１は音声入力手段２に入力された音声を取得する。
【００３２】
ステップＳ３０２において、音声認識手段４の音声区間検出部４１は入力音声から、音声始端候補を検出する。音声始端候補は複数検出されることもある。その場合、最初に検出された始端候補について処理を行なう。
【００３３】
ステップＳ３０３において、音声区間検出部４１は検出された音声始端候補と学習発話開始時間との差Ｄを計算し、学習発話開始時間との差分データ保存部４７に保存する。
【００３４】
ステップＳ３０４において、音声区間検出部４１で検出した音声始端候補を持つ音声区間に対して、音響特徴抽出部４２で音響特徴を抽出し、この音響特徴により音響モデルを参照して確率演算部で確率演算をし、認識スコア計算部４４で認識辞書を参照して音声区間の認識スコアを計算する。さらにこの計算された認識スコアをＳ３０３で算出され、差分データ保存部４７に保存された差Ｄを加味してユーザの発話か否かの判断をするためのユーザ用認識スコアＲを計算する。ユーザ用認識スコアの計算方法としては、様々な方法が考えられるが、本実施の形態では、得られた音声区間に対する認識スコアをＳ、得られた音声始端候補と学習発話開始時間との差をＤとした場合、発話開始時間情報を加味した最終的なユーザ用認識スコアＲを、Ｒ＝Ｓ−αＤ（ただし、αは定数）とする方法と取る。
【００３５】
ステップＳ３０５において、他に検出された音声始端候補が存在するかをチェックする。他に音声始端候補があれば、ステップＳ３０３に戻り、音声始端候補がなくなるまで繰り返す。なければステップＳ３０６へ進む。
【００３６】
ステップＳ３０６において、全ての音声始端候補を用いて計算したユーザ用認識スコアの中で最も高いスコアであった認識結果を出力する。
【００３７】
なお、上記実施の形態１、２に記載の処理はプログラムによりコンピュータを動作させることによって実施される。
【００３８】
上記のように、学習した発話開始時間情報を使用して、認識スコアを計算することにより、ユーザの発話開始時間を考慮した、高精度な音声認識を行なうことが可能となる。
【００３９】
本実施形態を説明する上で、ユーザ用認識スコアの計算方法として、Ｒ＝Ｓ−αＤとする方法としているが、任意の認識スコア計算方法を使用することが可能である。
【００４０】
実施の形態３．
なお、前述した実施の形態の機能を実現するプログラムを記録した記録媒体をコンピュータに読み取らせ、実行することで実施することが出来る。プログラムを供給するための記録媒体としてはROM、CD-ROM、DVD-ROM、フロッピー（登録商標）ディスク、ハードディスク、メモリカード等を用いることができる。
【産業上の利用可能性】
【００４１】
この発明はＰＤＡ（Personal Digital Assistant)向け音声認識機能付きプラウザ等に適用されるとユーザの発話か否かで音声認識をする・しないの区別が可能となり音声認識性能が向上する。
【図面の簡単な説明】
【００４２】
【図１】この発明の実施の形態１による音声認識装置の構成を示すブロック図である。
【図２】同実施の形態１に係る音声認識手段の詳細構成図である。
【図３】同実施の形態１に係る発話開始時間の学習の動作を示すフローチャートである。
【図４】同実施の形態１に係る音声始端候補の判定の動作を示すフローチャートである。
【図５】同実施の形態１に係る音声認識装置の他の構成例を示すブロック図である。
【図６】同実施の形態２に係る音声始端候補の判定の動作を示すフローチャートである。
【図７】同実施の形態２に係る音声認識手段の詳細構成図である。
【符号の説明】
【００４３】
１；音声入力開始操作手段、２；音声入力手段、３；発話開始時間学習データ保持手段、４；音声認識手段、５；認識結果出力手段、６；発話開始時間学習手段、４１；音声区間検出部、４２；音響特徴抽出部、４３；確率演算部、４４；認識スコア計算部、４５；音響モデル、４６；認識辞書、４７；差分データ保存部。
【図１】
2006313261.tif 000003
【図２】
2006313261.tif 000004
【図３】
2006313261.tif 000005
【図４】
2006313261.tif 000006
【図５】
2006313261.tif 000007
【図６】
2006313261.tif 000008
【図７】
2006313261.tif 000009