(57)【要約】【課題】利用者の発話区間を高精度に検知すること。【解決手段】発話区間検知処理部２５に音声データから発話区間を検知する音声区間検知部２５ａと画像データから発話区間を検知する画像区間検知部２５ｂとを設け、スイッチＳＷ１，ＳＷ２，ＳＷ３の切り換え制御によって音声データと画像データのうちいずれか一方を選択的にもちいて発話区間を検知する。検知処理切換制御部２６が状況に応じてスイッチＳＷ１，ＳＷ２，ＳＷ３を制御し、いずれのデータを用いるかを状況に応じて決定する。【選択図】        図１
2008134572.tif 000002
【特許請求の範囲】
【請求項１】
利用者の音声データを蓄積する音声データ蓄積手段と、
前記利用者の画像データを蓄積する画像データ蓄積手段と、
前記音声データと前記画像データのうちいずれか一方を選択的にもちいて前記利用者の発話区間を検知する発話区間検知手段と、
前記発話区間検知手段による検知結果に基づいて前記音声データを切出して音声認識する認識手段と、
を備えたことを特徴とする音声認識装置。
【請求項２】
前記発話区間の検知に前記音声データと前記画像データのいずれかを優先して用いるかを設定する優先設定手段をさらに備え、前記発話区間検知手段は、前記優先するデータのみを使用して前記発話区間の検知を試行し、当該試行によって前記発話区間が検知できなかった場合に、他方のデータを使用して前記発話区間の検知を試行することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記音声データと前記画像データのいずれを用いた場合に前記発話区間の検知が成功したかを蓄積する検知結果蓄積手段をさらに備え、前記優先設定手段は、前記検知結果蓄積手段の蓄積内容に基づいていずれのデータを優先して使用するかを変更することを特徴とする請求項２に記載の音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、利用者の音声を認識する音声認識装置に関し、特に発話区間を高精度に検知して音声データを切出す音声認識装置に関する。
【背景技術】
【０００２】
近年、利用者の音声を認識する技術の実現に向けて、各種考案がなされている。利用者の音声を認識することができれば、利用者は各種機器の操作を音声によって実行することが可能であり、特に車載装置では運転者による手動操作の運転への影響が懸念されることから音声操作技術の実用化が切望されている。
【０００３】
かかる音声認識においては、利用者が音声を発している区間、すなわち発話区間を検知して音声データを切出すことが認識精度向上に重要な役割を果たす。そこで、例えば特許文献１〜４では、画像認識によって利用者の口の動きを認識することで発話区間を検知する技術を開示している。
【０００４】
【特許文献１】特開平８−１８７３６８号公報
【特許文献２】特開２００２−９１４６６号公報
【特許文献３】特開２００２−１６９５８６号公報
【特許文献４】特開２００６−２０８７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、口をあまり動かさない利用者やマスクをしている利用者の音声を認識する場合、夜間で利用者の口の動きを画像認識することが困難である場合などには、画像認識による発話区間の検知精度が著しく低下し、音声認識の精度を劣化させる可能性がある。
【０００６】
このような場合には、音声データ自体から発話区間を検知した方が音声認識精度は良好となるので、状況に応じて適切なデータから発話区間を検知することで音声認識精度を向上する技術の実現が重要な課題となっていた。
【０００７】
本発明は、上述した従来技術における課題を解決するためになされたものであり、特に発話区間を高精度に検知して音声データを切出すことで音声認識精度を向上した音声認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本発明に係る音声認識装置は、利用者の音声データと画像データを蓄積し、音声データと画像データのうちいずれか一方を選択的にもちいて利用者の発話区間を検知し、その検知結果に基づいて音声データを切出して音声認識する。
【発明の効果】
【０００９】
本発明によれば音声認識装置は、音声データと画像データのいずれを発話区間の検知に用いるかを切替えるので、発話区間を高精度に検知して音声データを切出すことで音声認識精度を向上した音声認識装置を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下に添付図面を参照して、この発明に係る音声認識装置の好適な実施例について詳細に説明する。
【実施例】
【００１１】
１．本発明の概要
まず、図１を参照して本発明にかかる音声認識装置の概要について説明する。本発明にかかる音声認識装置では、図１に示したように、利用者の音声をマイク１１によって集音して音声バッファ２１に蓄積すると共に、利用者の顔画像をカメラ１３によって撮影して画像バッファ２４に蓄積する。
【００１２】
そして、発話区間検知処理部２５が利用者の発話区間を検知し、検知された発話区間に従って音声データ切出処理部２２が音声データを切出して音声認識部２３による音声認識に用いる。
【００１３】
ここで、発話区間検知処理部２５が、音声データと画像データのうちいずれか一方を選択的にもちいて発話区間を検知する点に、本発明の主たる特徴がある。
【００１４】
一般に、音声認識における音声データの切出しでは、図２に示す様に実際の発話区間Ｖ０に前後のノイズ区間を加えた範囲を切り出すことが好適である。
【００１５】
これに対し、検知した発話区間Ｖ１が短すぎると前後のノイズ区間が切り出されずに音声認識精度が低下する。さらに重大なケースでは、音声自体の切り出し漏れによって音声認識ができなくなる。一方、検知した発話区間Ｖ２が長すぎると、ノイズ区間を長くなり、やはり音声認識精度が低下する。
【００１６】
ここで、利用者の顔画像が鮮明に取得でき、かつ利用者の発話時における口の動きが明確に画像内に現れているならば、画像認識によって発話区間を検知することで発話区間を精度良く検知することができる。
【００１７】
しかしながら、鮮明な顔画像の取得が困難な場合（例えば車両の運転者の画像を夜間に取得する場合）や、口の動きが明確で無い場合（例えば口をあまり動かさない利用者やマスクをしている利用者の口元を撮影した場合）画像認識による発話区間の検知精度が著しく低下するので、音声データ自体から発話区間を検知した方が良好な検知結果を得られる。
【００１８】
一方で、音声データからの発話区間の検知は、利用者以外の人物の音声が入る場合（例えば車両において同乗者が話している場合）や音楽が入る場合には精度が低下する。
【００１９】
このように、音声データからの発話区間検知と画像データからの発話区間検知は、それぞれ有効な状況が異なり、音声データもしくは画像データの一方からの検知が困難な状況下で双方を利用して発話区間の検知を行なうと、どちらかのみを選択的に用いるよりもかえって検知精度が低下する。
【００２０】
そこで本発明では、音声データと画像データのうちいずれか一方を選択的にもちいて発話区間を検知することとしている。具体的には、図１に示したように発話区間検知処理部２５は、その内部に音声区間検知部２５ａ、画像区間検知部２５ｂ、スイッチＳＷ１，ＳＷ２，ＳＷ３を有する。
【００２１】
音声区間検知部２５ａは、音声バッファ２１が蓄積した音声データから発話区間を検知する処理部であり、画像区間検知部２５ｂは、画像バッファ２４が蓄積した画像データから発話区間を検知する処理部である。
【００２２】
スイッチＳＷ１は音声バッファ２１と音声区間検知部２５ａとの間に、スイッチＳＷは画像バッファ２４と画像区間検知部２５ｂとの間に設けられ、スイッチＳＷ３は、音声区間検知部２５ａと画像区間検知部２５ｂのいずれかの出力を発話区間検知処理部２５の出力として外部に供給する。
【００２３】
このスイッチＳＷ１，ＳＷ２，ＳＷ３を検知処理切換制御部２６が切り換えることで、音声データと画像データのいずれかから検知された発話区間が検知結果として出力されることとなる。したがって、検知処理部切換制御部２６が状況に応じた切換制御を行なう事で、適切な発話区間の検知を選択することができる。
【００２４】
２．構成例
図３は、本発明の実施例である音声認識装置２０を搭載した車載システムの概要構成を示す概要構成図である。同図に示す車載システム１０は、マイク１１、トークスイッチ１２、カメラ１３、音声認識装置２０、車載統合機３０、ディスプレイ１４およびスピーカ１５を有する。
【００２５】
車載統合機３０は、目的地までの経路設定および経路誘導を行なうナビゲーション機能と、ラジオやテレビの受信、記録媒体に格納された音楽や影像の再生をおこなうオーディオ・ビジュアル機能とを備えた装置であり、その内部に機器操作部３１、記録媒体３２、ナビ処理部３３、ＡＶ処理部３４および出力処理部３５を有する。
【００２６】
機器操作部３１は、利用者からの操作入力を受け付ける処理部であり、受け付けた操作内容はナビ処理部３３およびＡＶ処理部３４の動作制御に用いられる。記録媒体３２は、ＨＤＤ、ＤＶＤ、ＣＤ、ＭＤなどであり、地図データや音楽データ、映像データが記録されている。ナビ処理部３３は、ナビゲーション機能を実現する処理部であり、ＡＶ処理部３４は、オーディオ・ビジュアル機能を実現する処理部である。そして、出力処理部３５は、ナビ処理部３３、ＡＶ処理部３４の出力に基づいてディスプレイ１４の表示出力およびスピーカの音声出力を制御する処理を行なう。
【００２７】
音声認識装置２０は、利用者の音声を認識して機器操作部３１に入力することで、車載統合機３０の動作を制御する操作手段として機能する。
【００２８】
具体的には、音声認識装置２０は、マイク１１、トークスイッチ１２、カメラ１３に接続される。また、音声認識装置２０は、その内部に音声バッファ２１、音声データ切出処理部２２、音声認識部２３、画像バッファ２４、発話区間検知処理部２５、検知処理切換制御部２６、優先設定部２７、検知結果履歴２８およびタイマー２９を有する。
【００２９】
ここで、トークスイッチ１２は、利用者によって操作される操作手段であり、音声認識の開始要求に用いられる。具体的は、トークスイッチ１２が操作された場合に音声バッファ２１および画像バッファ２４のバッファリングが開始される。
【００３０】
このようにトークスイッチ１２によってバッファリングの開始を制御することで音声認識装置２０の処理負荷を軽減することができるが、トークスイッチ１２を構成上省略し、音声と画像を常時バッファリングする構成で実施することもできる。
【００３１】
優先設定部２７は、発話区間検知処理部２５が音声データと画像データのいずれを優先して発話区間を検知するかの設定を行なう処理部であり、検知結果履歴２８は、発話区間検知処理部２５の検知結果の履歴を記憶する記憶部である。
【００３２】
検知処理部切換制御部２６は、この優先設定と検知結果履歴、およびタイマー２９の出力を参照してスイッチの切換を行なう。
【００３３】
このスイッチ制御によって、たとえば優先設定部２７によって画像優先に設定されている場合には、まず画像データからの発話区間の検知を試み、画像データから発話区間を検知できなかった場合に音声データからの発話区間の検知を試みる。
【００３４】
同様に、優先設定部２７によって音声優先に設定されている場合には、まず音声データからの発話区間の検知を試み、音声データから発話区間を検知できなかった場合に画像データからの発話区間の検知を試みる。
【００３５】
そして、優先設定部２７は、音声データと画像データのいずれを優先するかを検知結果履歴２８の内容や、その他の情報に基づいて決定する。
【００３６】
３．処理の詳細
つづいて、各処理の具体例について詳細に説明する。まず図４を参照し、画像区間検知部２５ｂの処理、すなわち画像データからの発話区間検知処理について説明する。画像区間検知部２５ｂは、利用者の顔画像データから下唇の位置を認識し、その位置の変位と閾値とを比較する。
【００３７】
この時、下唇の変位が突発的に閾値を越えたとしても発話区間の開始位置として検知せず、安定して閾値を越えた箇所を検出した場合にその箇所を発話区間開始位置とみなす。なお、安定して閾値を越えた状態とは、例えば所定時間以上連続して閾値を超えた状態や、閾値を越える頻度が所定値以上である状態、閾値を越える時間の比率が所定の比率以上である状態、などによって判断すればよい。
【００３８】
そして、発話区間の開始位置を検知した後、下唇の変位が閾値を下回る状態が一定時間以上連続したならば、その位置を発話区間終了位置とみなす。
【００３９】
つぎに、図５を参照し、音声区間検知部２５ａの処理、すなわち音声データからの発話区間検知処理について説明する。音声区間検知部２５ａは、利用者の音声データから振幅変化を認識し、閾値と比較する。
【００４０】
この時、振幅が突発的に閾値を越えたとしても発話区間の開始位置として検知せず、安定して閾値を越えた箇所を検出した場合にその箇所を発話区間開始位置とみなす。そして、発話区間の開始位置を検知した後、振幅が閾値を下回る状態が一定時間以上連続したならば、その位置を発話区間終了位置とみなす。
【００４１】
つづいて図６を参照し、音声認識装置２０の処理動作について説明する。同図に示した処理フローは、利用者がトークスイッチ１２を操作した場合に開始される。処理が開始すると、まず音声認識装置２０は、音声バッファ２１への音声データの蓄積および画像バッファ２４への画像データの蓄積を開始する（ステップＳ１０１）。
【００４２】
つづいて、検知処理切換制御部２６は、優先設定部２７の設定を参照し、画像優先となっているならば（ステップＳ１０２，Ｙｅｓ）、スイッチＳＷ１をオフ状態、スイッチＳＷ２をオン状態、スイッチＳＷ３を下側接続として、画像区間検知部２５ｂによる画像からの発話区間検知を実行する（ステップＳ１０３）。
【００４３】
この結果、発話区間の検知が成功したならば（ステップＳ１０４，Ｙｅｓ）、画像および音声のバッファリングを終了し（ステップＳ１１８）、発話区間の検知結果履歴２８を更新する（ステップＳ１０９）。そして、検知した発話区間に従って音声データ切出処理部２２が音声データを切出し（ステップＳ１１０）、音声認識処理部２３が音声認識を行なって（ステップＳ１１１）、処理を終了する。
【００４４】
一方、画像からの発話区間検知が成功していない場合（ステップＳ１０４，Ｎｏ）、タイマー２９の出力に基づいて処理がタイムアウトしたか否かを判定し（ステップＳ１０５）、タイムアウトしていなければ（ステップＳ１０５，Ｎｏ）、画像からの発話区間検知（ステップＳ１０３）を繰り返す。
【００４５】
そして、発話区間の検知が成功しないままタイムアウトしたならば（ステップＳ１０５，Ｙｅｓ）、画像および音声のバッファリングを終了し（ステップＳ１０６）、スイッチＳＷ１をオン状態、スイッチＳＷ３を上側接続として（スイッチＳＷ２はオン状態を維持しても、オフ状態としても良い）、音声区間検知部２５ａによる音声からの発話区間検知を実行する（ステップＳ１０７）。
【００４６】
その結果、発話区間検知が成功したならば（ステップＳ１０８，Ｙｅｓ）、発話区間の検知結果履歴更新（ステップＳ１０９）に移行し、発話区間検知が失敗したならば（ステップＳ１０８，Ｎｏ）、音声認識の失敗を利用者に伝えて終了する音声認識失敗処理を行なって（ステップＳ１１９）、処理を終了する。
【００４７】
また、優先設定部２７の設定が音声優先となっているならば（ステップＳ１０２，Ｎｏ）、スイッチＳＷ１をオン状態、スイッチＳＷ２をオフ状態、スイッチＳＷ３を上側接続として、音声区間検知部２５ａによる音声からの発話区間検知を実行する（ステップＳ１１２）。
【００４８】
この結果、発話区間の検知が成功したならば（ステップＳ１１３，Ｙｅｓ）、画像および音声のバッファリングを終了し（ステップＳ１１８）、発話区間の検知結果履歴更新（ステップＳ１０９）に移行する。
【００４９】
一方、音声からの発話区間検知が成功していない場合（ステップＳ１１３，Ｎｏ）、タイマー２９の出力に基づいて処理がタイムアウトしたか否かを判定し（ステップＳ１１４）、タイムアウトしていなければ（ステップＳ１１４，Ｎｏ）、音声からの発話区間検知（ステップＳ１１２）を繰り返す。
【００５０】
そして、発話区間の検知が成功しないままタイムアウトしたならば（ステップＳ１１４，Ｙｅｓ）、画像および音声のバッファリングを終了し（ステップＳ１１５）、スイッチＳＷ２をオン状態、スイッチＳＷ３を下側接続として（スイッチＳＷ１はオン状態を維持しても、オフ状態としても良い）、画像区間検知部２５ｂによる画像からの発話区間検知を実行する（ステップＳ１１６）。
【００５１】
その結果、発話区間検知が成功したならば（ステップＳ１１７，Ｙｅｓ）、発話区間の検知結果履歴更新（ステップＳ１０９）に移行し、発話区間検知が失敗したならば（ステップＳ１１７，Ｎｏ）、音声認識の失敗を利用者に伝えて終了する音声認識失敗処理を行なって（ステップＳ１１９）、処理を終了する。
【００５２】
このような処理動作を行なうことで、画像優先時は図７に示す動作が実行されることとなる。すなわち、画像データと音声データのバッファリングが開始され、その後バッファリングと平行して画像データからの発話区間検知が行なわれる。
【００５３】
そして、画像データから発話区間が検知できれば、音声データが切出されて音声認識される。一方、画像データから発話区間が検知できなかった場合には、バッファリングの終了後に音声データから発話区間を検知し、検知した発話区間を用いて音声データを切出して音声認識することとなる。
【００５４】
同様に、音声優先時は図８に示す動作が実行されることとなる。すなわち、画像データと音声データのバッファリングが開始され、その後バッファリングと平行して音声データからの発話区間検知が行なわれる。
【００５５】
そして、音声データから発話区間が検知できれば、音声データが切出されて音声認識される。一方、音声データから発話区間が検知できなかった場合には、バッファリングの終了後に画像データから発話区間を検知し、検知した発話区間を用いて音声データを切出して音声認識することとなる。
【００５６】
なお、かかる処理はあくまで一例であり、処理動作は適宜変更して実施することができる。たとえば、図６〜図８では発話区間の検知後に音声認識を開始するように動作制御しているが、バッファリングと平行して音声認識を試みるように動作制御することもできる。
【００５７】
一例として、画像優先時にバッファリングと平行して音声認識を行なう場合の動作例を図９に示す。同図では、画像データと音声データのバッファリングが開始され、その後バッファリングと平行して画像データからの発話区間検知と音声認識が行なわれる。
【００５８】
そして、画像データから発話区間が検知できれば、バッファリングおよび発話区間検の終了と同時に音声認識を終了することができる。一方、画像データから発話区間が検知できなかった場合には、バッファリングの終了後に音声データから発話区間を検知し、検知した発話区間を用いて音声データを切出して音声認識することとなるので、バッファリングと平行して行なった音声認識はこの場合には、無駄となる。
【００５９】
つづいて、優先設定部２７による優先設定につい説明する。優先設定部２７は、検知結果履歴２８を参照し、音声データと画像データのいずれを用いて発話区間検知結果を得ることができたかによって、優先度を切り換える。
【００６０】
すなわち、優先度の高い側での検知が失敗し、優先度が低い側での検知成功が多くなった場合には、優先設定部２７は、優先設定を切り換える処理を行なう。例えば、図１０に示すように画像優先の設定をしている状況下で、優先度の低い音声での検知成功が一回発生したとしても、画像優先の設定を維持するが、音声データからの検知成功が連続して発生した場合には、音声優先に設定を変更する。
【００６１】
また、検知結果履歴のほか、時刻情報や照度情報を用いて夜には音声優先に自動的に切り換えたり、同乗者の有無や音楽の出力状況などに基づいて優先設定の自動切換えを行なうこともできる。
【００６２】
このように、検知結果に基づいて優先度を切り換えることで、状況に応じた適切なデータから発話区間を検知し、もって音声認識精度を向上することができる。
【００６３】
上述してきたように、本実施例にかかる音声認識装置２０は、発話区間検知処理部２５に音声データから発話区間を検知する音声区間検知部２５ａと画像データから発話区間を検知する画像区間検知部２５ｂとを設け、スイッチＳＷ１，ＳＷ２，ＳＷ３の切り換え制御によって音声データと画像データのうちいずれか一方を選択的にもちいて発話区間を検知することで、発話区間の検知精度を向上し、もって音声認識精度を向上することができる。
【００６４】
なお、本実施例に示した構成および動作はあくまで一例であり、本発明を限定するものではない。本発明の構成および動作は適宜変更して実施することができる。例えば、本実施例中では発話区間検知処理部２５が有する音声区間検知部２５ａ、画像区間検知部２５ｂ、スイッチＳＷ１，ＳＷ２，ＳＷ３を物理的な処理手段として示したが、ソフトウェアによって同様の動作をするよう構成してもよい。
【産業上の利用可能性】
【００６５】
以上のように、本発明にかかる音声認識装置は、利用者の発話区間検知の精度向上、そして音声認識の精度向上に有用である。
【図面の簡単な説明】
【００６６】
【図１】本発明にかかる音声認識装置の概要について説明する説明図である。
【図２】発話区間検知と音声データ切出しについて説明する説明図である。
【図３】本発明にかかる音声認識を搭載した車載システムの概要構成を説明する概要構成図である。
【図４】画像データからの発話区間検知について説明する説明図である。
【図５】音声データからの発話区間検知について説明する説明図である。
【図６】音声認識装置の処理動作について説明するフローチャートである。
【図７】画像優先時の動作例について説明する説明図である。
【図８】音声優先時の動作例について説明する説明図である。
【図９】バッファリングと平行して音声認識を行なう場合の処理について説明する説明図である。
【図１０】優先設定の切り換えについて説明する説明図である。
【符号の説明】
【００６７】
１０    車載システム
１１    マイク
１２    トークスイッチ
１３    カメラ
１４    ディスプレイ
１５    スピーカ
２０    音声認識装置
２１    音声バッファ
２２    音声データ切出処理部
２３    音声認識部
２４    画像バッファ
２５    発話区間検知処理部
２５ａ  音声区間検知部
２５ｂ  画像区間検知部
２６    検知処理切換制御部
２７    優先設定部
２８    検知結果履歴
２９    タイマー
３０    車載統合機
３１    機器操作部
３２    記録媒体
３３    ナビ処理部
３４    ＡＶ処理部
３５    出力処理部
３６    ディスプレイ
３７    スピーカ
【図１】
2008134572.tif 000003
【図２】
2008134572.tif 000004
【図３】
2008134572.tif 000005
【図４】
2008134572.tif 000006
【図５】
2008134572.tif 000007
【図６】
2008134572.tif 000008
【図７】
2008134572.tif 000009
【図８】
2008134572.tif 000010
【図９】
2008134572.tif 000011
【図１０】
2008134572.tif 000012