(57)【要約】【課題】発話対象を高精度に認識し、車載装置に対する発話に対して選択的に音声認識を行なうことで音声認識精度を向上すること。【解決手段】座席に設置した圧力センサ４５の出力を用いて同乗者検知部２６が同乗者の存在を検知した場合に、運転者が同乗者と会話中である状態での音声、画像、運転席の振動を取得し、プロファイルデータとしてデータベース２４に格納する。そして音声入力検知部２５が運転者によるトークスイッチ４４の操作を検知した後、運転者の状態をプロファイルデータと比較することで、運転者の発声が同乗者に向けた会話であるか車載システムに向けた音声入力であるかを判定し、車載システムに向けた音声入力について選択的に音声認識する。【選択図】        図１
2008250236.tif 000002
【特許請求の範囲】
【請求項１】
運転者が同乗者と会話している状態に関する情報を取得し、該取得した情報からプロファイルデータを作成するプロファイル作成手段と、
運転者の発話中に前記運転者の状態を前記プロファイルデータと比較し、前記発話が同乗者に対する会話であるか音声操作入力であるかを判定する発話対象判定手段と、
前記発話対象判定手段によって音声操作入力であると判定された発話について音声認識を行なう音声認識手段と、
を備えたことを特徴とする音声認識装置。
【請求項２】
前記プロファイル作成手段は、前記運転者の音声、画像、運転席の振動のうち、少なくともいずれかを取得して前記プロファイルデータを作成することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記プロァイル作成手段は、前記運転者が同乗者と会話している際の前記運転者の音声の大きさ、該大きさの変化、音声の高さ、ノイズ区間との音声の大きさの差、発話開始部分もしくは発話終端部分の音声の特徴、発声速度のいずれかを少なくとも用いて前記プロファイルデータを作成することを特徴する請求項２に記載の音声認識装置。
【請求項４】
前記プロファイル作成手段は、前記運転者の顔画像から口の開きの変動幅を取得して前記プロファイルデータを作成することを特徴とする請求項２または３に記載の音声認識装置。
【請求項５】
同乗者の有無を検知する同乗者検知手段をさらに備え、前記プロファイル作成手段は前記同乗者検知手段によって同乗者の存在が検知された場合に前記プロファイルデータの作成を行なうことを特徴とする請求項１〜４のいずれか一つに記載の音声認識装置。
【請求項６】
音声操作入力の開始を指示する操作手段をさらに備え、前記音声認識手段は、前記操作手段が操作された後に入力された音声データのうち、前記発話対象判定手段によって音声操作入力であると判定された発話について音声認識を行なうことを特徴とする請求項１〜５のいずれか一つに記載の音声認識装置。
【請求項７】
運転者が同乗者と会話している状態に関する情報を取得し、該取得した情報からプロファイルデータを作成するプロファイル作成工程と、
運転者の発話中に前記運転者の状態を前記プロファイルデータと比較し、前記発話が同乗者に対する会話であるか音声操作入力であるかを判定する発話対象判定工程と、
前記発話対象判定工程によって音声操作入力であると判定された発話について音声認識を行なう音声認識工程と、
を含んだことを特徴とする音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識を用いて入力処理を行なう音声認識装置および音声認識方法に関し、特に、車載用の音声認識装置および音声認識方法に関する。
【背景技術】
【０００２】
近年、利用者の音声を認識する技術の実現に向けて、各種考案がなされている。利用者の音声を認識することができれば、利用者は各種機器の操作を音声によって実行することが可能であり、特に車載装置では運転者による手動操作の運転への影響が懸念されることから音声操作技術の実用化が切望されている。
【０００３】
また、音声認識では、だれがどこに向かって発話しているかの認識が必要な場合がある。そこで、例えば特許文献１は、マイクアレイによって音源を特定し、顔の向きを検出して話し相手を特定する技術を開示している。
【０００４】
また、特許文献２は、音声入力を受け付ける車載装置において、発話と発話との間の無音声時間を計時し、計時された無音声時間に基づいてその音声が車載装置に対する音声入力であるか否かを判別する技術を開示している。
【０００５】
【特許文献１】特開２００６−２１１１５６号公報
【特許文献２】特開２００３−３０８０７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら上述した従来技術のように発話と発話の間の無音声時間を用いる方法では、無音声時間を計時するまで音声認識を行なうことができないという問題点があった。また、音楽データの再生などで無音声時間が十分に得られない場合には発話か否かを判別することが困難であるという問題点があった。
【０００７】
そのため、ユーザの発話が行なわれた時点で、その発話が車載装置に対する音声入力であるか、同乗者との会話であるか、すなわち音声の発話対象を高精度に判定することの出来る音声認識装置および音声認識方法の実現が重要な課題となっていた。
【０００８】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、発話対象を高精度に認識し、車載装置に対する発話に対して選択的に音声認識を行なうことで音声認識精度を向上する音声認識装置および音声認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、本発明にかかる音声認識処理装置および音声認識方法は、運転者が同乗者と会話している状態からプロファイルデータを作成し、発話中にプロファイルデータを参照して、その発話が同乗者に対する会話であるか音声操作入力であるかを判定する。
【発明の効果】
【００１０】
本発明によれば音声認識装置および音声認識方法は、運転者が同乗者と会話する場合と車載装置に対して音声入力を行なう場合との違いを判別し、音声入力を行なっている場合にのみ音声認識を行なうので、音声認識精度が向上した音声認識装置および音声認識装置を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明に係る音声認識装置および音声認識方法の好適な実施の形態を詳細に説明する。
【実施例】
【００１２】
図１は、本発明の実施例である音声認識装置２０を搭載した車載システムの概要構成を示す概要構成図である。同図に示す車載システム１０は、音声認識装置２０、車載統合機３０、マイク４１、カメラ４２、振動センサ４３、トークスイッチ４４、圧力センサ４５、ディスプレイ５１およびスピーカ５２を有する。
【００１３】
車載統合機３０は、目的地までの経路設定および経路誘導を行なうナビゲーション機能と、ラジオやテレビの受信、記録媒体に格納された音楽や影像の再生をおこなうオーディオ・ビジュアル機能とを備えた装置であり、その内部に機器操作部３１、記録媒体３２、ナビ処理部３３、ＡＶ処理部３４および出力処理部３５を有する。
【００１４】
機器操作部３１は、利用者からの操作入力を受け付ける処理部であり、受け付けた操作内容はナビ処理部３３およびＡＶ処理部３４の動作制御に用いられる。記録媒体３２は、ＨＤＤ、ＤＶＤ、ＣＤ、ＭＤなどであり、地図データや音楽データ、映像データが記録されている。ナビ処理部３３は、ナビゲーション機能を実現する処理部であり、ＡＶ処理部３４は、オーディオ・ビジュアル機能を実現する処理部である。そして、出力処理部３５は、ナビ処理部３３、ＡＶ処理部３４の出力に基づいてディスプレイ５１の表示出力およびスピーカ５２の音声出力を制御する処理を行なう。
【００１５】
音声認識装置２０は、利用者の音声を認識して機器操作部３１に入力することで、車載統合機３０の動作を制御する操作手段として機能する。
【００１６】
具体的には、音声認識装置２０は、マイク１１、カメラ４２、振動センサ４３、トークスイッチ４４、圧力センサ４５に接続される。また、音声認識装置２０は、その内部にバッファメモリ２１、音声認識部２２、プロファイル作成部２３、プロファイルデータ２４、音声入力検知部２５、同乗者検知部２６、主制御部２７を有する。
【００１７】
マイク４１は、周囲の音、特に運転者の音声を取得する集音手段である。また、カメラ４２は、運転者の顔画像を撮影する撮影手段であり、振動センサ４３は、運転席の振動を検知する検知手段である。そして、マイク４１が取得した音声データ、カメラ４２が撮影した画像データ、振動センサ４３が取得した振動データは、バッファメモリ２１に格納される。
【００１８】
トークスイッチ４４は、利用者によって操作される操作手段であり、音声認識の開始要求に用いられる。音声認識装置２０は、トークスイッチ４４が操作された後にマイク４１が集音した音声データから発話を切り出して音声認識する。
【００１９】
ここで、トークスイッチ４４が操作された後に取得した音声データであっても、その全てが車載システム１０に対する音声操作指示であるとは限らない。例えば、運転者がトークスイッチを押した後、同乗者との会話が発生することもありえる。そのため、トークスイッチ操作後の発声を単純に車載システム１０に対する音声入力と看做して音声認識の対象とすると、本来同乗者に向けて発声されていた言葉についても操作入力として扱うととなり、誤認識を増加させてしまう。
【００２０】
そこで、音声認識装置２０では、運転者が同乗者に対して発話する際の状態を予め取得してプロファイルデータを作成しておく。そして、トークスイッチ操作後の運転者の状態とプロファイルデータとを比較することで、発声が同乗者に対する会話であるのか、車載システム２０に対する音声入力であるのかを判定する。
【００２１】
プロファイルデータの作成、およびプロファイルデータとの比較に用いる運転者の状態としては、運転者の音声の大きさとその変化、音声の高さ、ノイズ区間との音声の大きさの差、発話開始部分もしくは発話終端部分の音声の特徴、発声速度、画像データ内の顔の変化、運転席の振動などを使用可能である。
【００２２】
なお、同乗者がいなければ、運転者の発言は全て音声入力であると推定することが出来る。そこで、音声認識装置２０は、各座席の座面や背もたれに内蔵した圧力センサ４５の出力を同乗者検知部２６によって収集し、同乗者が乗車しているか否かを検知している。
【００２３】
主制御部２７は、音声認識装置２０を全体制御する制御部である。主制御部２７は、プロファイルデータがまだ作成されていなければ、バッファメモリ２１をプロファイル作成部２３に接続し、同乗者との会話時における運転者の状態を取得させる。プロファイル作成部２３は、取得した情報を用いてプロファイルデータを作成し、データベース２４に格納する。そして、トークスイッチ４４が操作されたことを音声入力検知部２５が検知した場合、主制御部２７は、バッファメモリ２１を音声認識部２２に接続し、同乗者との会話時における運転者の状態を取得させる。
【００２４】
音声認識部２２は、バッファメモリ２１に格納された音声データや画像データから発話の開始と終了を検知し、音声認識によって発話の内容を認識して機器操作部３１に入力する。
【００２５】
この時、音声認識部２２ａは、その内部の発話対象判定部２７ａによって音声データ内の発話が同乗者に対する会話であるのか、車載システム１０に対する音声入力であるのかは判定し、車載システム１０を対象とする発話に対してのみ音声認識を行なう。具体的には、発話対象判定部２２ａは、音声認識時における運転者の状態とプロファイルデータとを比較することで、発声対象を判定する。
【００２６】
図２は、音声認識装置２０の処理動作を示すフローチャートである。同図に示した処理動作は、音声認識装置２０が繰り返し実行するメインフローの一例である。
【００２７】
まず、音声認識装置２０はプロファイルデータの作成が必要であるか否か判定する（ステップＳ１０１）。具体的には、プロファイルデータが未作成である場合や、プロファイルデータの作成後、車両の乗員構成に変化があった場合にプロファイルデータの作成が必要であると判定する。なお、車両の乗員構成の変化は、圧力センサ４５の出力変化やドア開閉の検知によって行なうことができる。
【００２８】
そして、プロファイルデータの作成が必要である場合（ステップＳ１０１，Ｙｅｓ）、プロファイル作成部２３によってプロファイルデータを作成し、データベース２４に登録する（ステップＳ１０２）。このプロファイル学習の終了後、もしくはプロファイルデータの作成が不要である場合（ステップＳ１０１，Ｎｏ）、主制御部２７はトークスイッチ４４が操作されたか否かを監視し（ステップＳ１０３）、トークスイッチ４４が操作されていなければ（ステップＳ１０３，Ｎｏ）、そのまま処理を終了する。
【００２９】
一方、トークスイッチ４４が操作された場合（ステップＳ１０３，Ｙｅｓ）、音声認識装置２０は、音声認識部による音声認識を実行し（ステップＳ１０４）、音声認識の結果を用いて車載統合機３０に対する操作入力を実行し（ステップＳ１０５）、処理を終了する。
【００３０】
つづいて、図２に示したプロファイル学習処理の詳細について図３を参照してさらに説明する。同図に示したように、プロファイル学習処理では、まず、同乗者検知部２６が圧力センサ４５の出力に基づいて同乗者が乗車しているか否かを判定し（ステップＳ２０１）、同乗者が居ない場合（ステップＳ２０１，Ｎｏ）にはそのまま処理を終了する。
【００３１】
一方、同乗者が居る場合（ステップＳ２０１，Ｙｅｓ）には、プロファイル作成部２３がバッファメモリから音声データ、画像データなどを取得し（ステップＳ２０２）、プロファイルデータとして登録して（ステップＳ２０３）、処理を終了する。
【００３２】
つづいて、図２に示した音声認識処理の具体例について説明する。既に述べたように、本発明では、運転者の音声の大きさとその変化、音声の高さ、ノイズ区間との音声の大きさの差、発話開始部分もしくは発話終端部分の音声の特徴、発声速度、画像データ内の顔の変化、運転席の振動などをプロファイルデータと比較して発話対象を判別している。
【００３３】
例えば、声の大きさを用いる場合、図４に示したように、まず、入力音声について発声区間を検出し、次に発声区間の入力レベル平均を計算する。そして得られた計算結果と同様に計算されたプロファイルデータの値とを比較し、プロファイルデータの値に比して閾値以上大きい場合、車載システムに向けた発声であると判定する。すなわち、この方法では、運転者は音声入力を行なう際には、同乗者との会話時よりも大きい声で発声する、との観点に基づいて発声対象を判定することが出来る。
【００３４】
図５は、声の大きさの抑揚を用いる場合の発話対象判定方法である。同図では、まず入力音声について発声区間を検出し、発声区間の入力レベルを単位時間に区切って各区間毎に平均値を計算する。そして、計算結果の振れ幅（分散値）を計算し、同様に計算されたプロファイルの値と比較して、プロファイルデータの値に比して閾値以上大きい場合、車載システムに向けた発声であると判定する。すなわち、この方法では、運転者は音声入力を行なう際には、同乗者との会話時よりも明瞭な語調で発声する、との観点に基づいて発声対象を判定することが出来る。
【００３５】
図６は、声の高さの抑揚を用いる場合の発話対象判定方法である。この方法では、まず入力音声について発声区間を検出し、発声区間を周波数領域についてフーリエ変換し、一番強い周波数帯域について、周波数軸上における振れ幅を計算する。そして、計算結果を同様に計算されたプロファイルの値と比較して、プロファイルデータの値に比して閾値以上大きい場合、車載システムに向けた発声であると判定する。この方法でも、運転者は音声入力を行なう際には、同乗者との会話時よりも明瞭な語調で発声する、との観点に基づいて発声対象を判定することが出来る。
【００３６】
図７は、発声区間とそれ以外の区間との音の入力レベル差による発話対象判定方法である。同図では、まず入力音声について発声区間を検出し、発声区間とその他の区間についてそれぞれ入力レベルの平均を計算する。そして、この二つの入力レベル平均について差分を計算し、差分値が同様に計算されたプロファイルデータの値に比して閾値以上大きい場合、車載システムに向けた発声であると判定する。すなわち、この方法では、運転者は環境音（発声していない区間の周囲の音）の大きさに合わせて自らの発声音量を決め、またその環境音量に対する大きさは、同乗者との会話時よりも明瞭な語調で発声する、との観点に基づいて発声対象を判定することが出来る。
【００３７】
また、画像データを用いる場合、図８に示したように、まず、入力音声について発声区間を検出し、次に発声区間と同時間帯の下唇の位置をカメラ画像から検出する。そして、下唇の位置の振れ幅を計算する。得られた計算結果と、同様に計算されたプロファイルデータの値とを比較し、プロファイルデータの値に比して閾値以上大きい場合、車載システムに向けた発声であると判定する。すなわち、この方法では、運転者は音声入力を行なう際には、同乗者との会話時よりも大きい声で発声する、との観点に基づいて発声対象を判定することが出来る。
【００３８】
また、運転席の振動を用いる場合、図９に示したように、まず、入力音声について発声区間を検出し、次に発声区間と同時間帯の運転席の振動値を検出し、その振れ幅を計算する。そして得られた計算結果と、同様に計算されたプロファイルデータの値とを比較し、プロファイルデータの値に比して閾値以上大きい場合、車載システムに向けた発声であると判定する。すなわち、この方法では、運転者は音声入力を行なう際には、同乗者との会話時よりも大きい声や明瞭な口調で話し、発声の差が運転席の振動に現れる、との観点に基づいて発声対象を判定することが出来る。
【００３９】
このほか、図１０に示したように発話開始部分や発話終端部分の音声の特徴を用いる場合、まず入力音声について発声区間を検出し、発声区間の入力レベルを単位時間に区切って各区間毎に平均値を計算する。そして、単位時間ごとの入力レベル平均の推移を計算し、同様に計算されたプロファイルの値と比較する。その結果、入力レベルの減少度合い（開始部分の場合は上昇度合い）が、プロファイルデータの値に比して閾値以上大きい場合、車載システムに向けた発声であると判定する。すなわち、この方法では、運転者は音声入力を行なう際には、同乗者との会話時よりも明瞭な語調で発声し、発声の立ち上がりや終端にその差が現れる、との観点に基づいて発声対象を判定することが出来る。
【００４０】
さらに、図１１に示したように発声速度を用いることもできる。この場合、まず入力音声について発声区間を検出し、発声区間を周波数領域についてフーリエ変換し、入力音声の特徴から、単位時間当たりの音節数（母音数）を求める。そして、計算結果を同様に計算されたプロファイルの値と比較して、プロファイルデータの値に比して閾値以上発声速度が遅い場合、車載システムに向けた発声であると判定する。この方法でも、運転者は音声入力を行なう際には、同乗者との会話時よりも丁寧なゆっくりとした発声を行なう、との観点に基づいて発声対象を判定することが出来る。
【００４１】
以上説明してきたように、本発明にかかる音声認識装置２０は、運転者が同乗者と会話中である場合に運転者の状態をプロファイルデータとして取得し、音声入力時に運転者の状態をプロファイルデータと比較することで、運転者の発声が同乗者に向けた会話であるか車載システムに向けた音声入力であるかを判定する。
【００４２】
そのため、同乗者に対する会話を音声入力として誤って認識する誤認識の発生を抑え、高精度な音声入力を実現することができる。
【００４３】
なお、本実施例に示した構成および動作はあくまで一例であり、本発明を限定するものではない。本発明の構成および動作は適宜変更して実施することができる。例えば、運転者方向と助手席方向にそれぞれ指向性を有するマイクを設ける構成とすれば、それぞれのマイクの入力レベルの差から誰が発話を行なったかを判定することや、運転者がどの方向に顔を向けて発話したかを推定することができる。さらに、運転者からの音声入力があるか否かを監視することで、トークスイッチを省略した構成で実施することも可能である。
【産業上の利用可能性】
【００４４】
以上のように、本発明にかかる音声認識装置および音声認識方法は、音声認識精度向上に有用であり、特に車載装置での発話対象の判定による認識精度向上に適している。
【図面の簡単な説明】
【００４５】
【図１】本発明にかかる音声認識を搭載した車載システムの概要構成を説明する概要構成図である。
【図２】音声認識装置の処理動作について説明するフローチャートである。
【図３】プロファイル学習処理について説明するフローチャートである。
【図４】声の大きさによる発話対象判定について説明する説明図である。
【図５】声の大きさの抑揚による発話対象判定について説明する説明図である。
【図６】声の高さの抑揚による発話対象判定について説明する説明図である。
【図７】発話区間とその他の区間とのレベル差を用いた判定について説明する説明図である。
【図８】口の開き幅の変化による発話対象判定について説明する説明図である。
【図９】運転席の振動検知による発話対象判定について説明する説明図である。
【図１０】話し始めや話し終わりの特徴による発話対象判定について説明する説明図である。
【図１１】話の速度による発話対象判定について説明する説明図である。
【符号の説明】
【００４６】
１０    車載システム
２０    音声認識装置
２１    バッファメモリ
２２    音声認識部
２２ａ  発話対象判定部
２３    プロファイル作成部
２４    データベース
２５    音声入力検知部
２６    同乗者検知部
２７    主制御部
３０    車載統合機
３１    機器操作部
３２    記録媒体
３３    ナビ処理部
３４    ＡＶ処理部
３５    出力処理部
４１    マイク
４２    カメラ
４３    振動センサ
４４    トークスイッチ
４５    圧力センサ
５１    ディスプレイ
５２    スピーカ
【図１】
2008250236.tif 000003
【図２】
2008250236.tif 000004
【図３】
2008250236.tif 000005
【図４】
2008250236.tif 000006
【図５】
2008250236.tif 000007
【図６】
2008250236.tif 000008
【図７】
2008250236.tif 000009
【図８】
2008250236.tif 000010
【図９】
2008250236.tif 000011
【図１０】
2008250236.tif 000012
【図１１】
2008250236.tif 000013