(57)【要約】【課題】ユーザの発話中に突発ノイズが発生した場合であっても、ユーザの発話内容の認識率向上を図ることのできる車載音声認識装置を提供する。【解決手段】制御部１７は、突発ノイズ発生判断部１６によって突発ノイズが発生した旨判断されないことに基づいて、第１発話内容認識部１１によってユーザの発話内容の認識を行なう一方、突発ノイズ発生判断部１６によって突発ノイズが発生した旨判断されることに基づいて、第２発話内容認識部１５によってユーザの発話内容の認識を行なう。【選択図】図１
2010185975.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話音を集音する集音部と、
定常的に発生するとともに前記ユーザの発話音に重畳するノイズである定常ノイズのスペクトルパターンに基づいて、前記定常ノイズを低減する定常ノイズ低減部と、
前記定常ノイズ低減部によって前記定常ノイズが低減されたユーザの発話音に基づいて、その発話内容の認識を行なう第１発話内容認識部と、
前記ユーザの口唇の形状の画像を撮像可能な撮像装置によって撮像される画像に基づいて、前記ユーザの発話内容の認識を行なう第２発話内容認識部とを備え、自車両に搭載される車載音声認識装置であって、
前記ユーザの発話中に発生するとともに前記ユーザの発話音に重畳するノイズである突発ノイズの発生を判断する突発ノイズ発生判断部と、
前記突発ノイズ発生判断部によって突発ノイズが発生した旨判断されないことに基づいて、前記第１発話内容認識部によってユーザの発話内容の認識を行なう一方、前記突発ノイズ発生判断部によって突発ノイズが発生した旨判断されることに基づいて、前記第２発話内容認識部によってユーザの発話内容の認識を行なう制御部とを備えることを特徴とする車載音声認識装置。
【請求項２】
請求項１に記載の車載音声認識装置において、
前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載される加速度センサによって所定加速度帯から外れる加速度が検出されることに基づいて、前記突発ノイズが発生した旨を判断することを特徴とする車載音声認識装置。
【請求項３】
請求項１または２に記載の車載音声認識装置において、
前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載されるナビゲーション装置によって前記自車両が所定位置を通過することが検出されることに基づいて、前記突発ノイズが発生した旨を判断することを特徴とする車載音声認識装置。
【請求項４】
請求項１〜３のいずれか一項に記載の車載音声認識装置において、
前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載されるワイパー装置が払拭動作を行なうことに基づいて、前記突発ノイズが発生した旨を判断することを特徴とする車載音声認識装置。
【請求項５】
請求項１〜４のいずれか一項に記載の車載音声認識装置において、
前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載される空調機が空調動作を行なうことに基づいて、前記突発ノイズが発生した旨を判断することを特徴とする車載音声認識装置。
【請求項６】
請求項１〜５のいずれか一項に記載の車載音声認識装置において、
前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載されて他車両との間で双方向通信を行なう車車間通信機によって自車両周辺を他車両が通過した旨を受信することに基づいて、前記突発ノイズが発生した旨を判断することを特徴とする車載音声認識装置。
【請求項７】
請求項１〜６のいずれか一項に記載の車載音声認識装置において、
前記撮像装置を有するとともにユーザに携帯される携帯機との間で情報の送受信を行なう第１通信部をさらに備え、
前記第２発話内容認識部は、前記第１通信部によって受信される画像情報に基づいて、前記ユーザの発話内容の認識を行なうことを特徴とする車載音声認識装置。
【請求項８】
請求項１〜７のいずれか一項に記載の車載音声認識装置において、
前記ユーザの発話音の複数の音声パターンを記憶する第１記憶部をさらに備え、
前記第１発話内容認識部は、前記第１記憶部に記憶されている複数の音声パターンのうち、前記定常ノイズが低減されたユーザの発話音に対する尤度が最も高い音声パターンを抽出することで、前記ユーザの発話内容の認識を行なうことを特徴とする車載音声認識装置。
【請求項９】
請求項１〜８のいずれか一項に記載の車載音声認識装置において、
前記ユーザの発話音の複数の画像パターンを記憶する第２記憶部をさらに備え、
前記第２発話内容認識部は、前記第２記憶部に記憶されている複数の画像パターンのうち、前記ユーザの口唇の形状の画像に対する尤度が最も高い画像パターンを抽出することで、前記ユーザの発話内容の認識を行なうことを特徴とする車載音声認識装置。
【請求項１０】
請求項８または９のいずれか一項に記載の車載音声認識装置において、
各種情報をユーザに報知する報知部をさらに備え、
前記制御部は、前記尤度が所定尤度よりも低いことに基づいて、前記報知部によってその旨を報知し、再度発話を促すことを特徴とする車載音声認識装置。
【請求項１１】
請求項１０に記載の車載音声認識装置において、
前記制御部は、前記尤度が所定尤度よりも低いことに基づいて、ユーザの発話内容の認識を自動的に再度実行することを特徴とする車載音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車載オーディオ機器等に適用されて有益な、ユーザの発話内容を認識する車載音声認識装置に関する。
【背景技術】
【０００２】
従来、例えば特許文献１に記載の技術のように、車載ハンズフリー装置に適用された音声認識装置が知られている。この文献に記載の車載ハンズフリー装置は、搭載される車両の現在の走行路面に対応したノイズスペクトルパターンを取得し、このノイズスペクトルパターンの位相を反転した反転ノイズスペクトルパターンに基づいてノイズ消去用信号を生成する。そして、車載ハンズフリー装置は、そのノイズ消去用信号を受話音声（相手方の発話音）に重畳した上でスピーカから出力する。
【０００３】
また、例えば特許文献２に記載の技術のように、携帯電話機に適用された音声認識装置が知られている。この文献に記載の携帯電話機は、ユーザの口唇の形状の画像に基づいて、対応する音声データをＤＢから抽出し、その抽出した音声データを文字メッセージとして相手方に送信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１３８２２号公報
【特許文献２】特開２０００−６８８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術では、上記ノイズ消去用信号を受話音声に重畳した上でスピーカから出力するため、受話音声からロードノイズを消去することができ、ユーザは相手方の発話内容を容易に認識することができるようになる。しかしながら、ロードノイズのような定常ノイズではなく、相手方の発話中に発生する瞬間的な突発ノイズが受話音声に重畳するようなことがあると、上記ノイズ消去用信号を受話音声に重畳しても、受話音声から突発ノイズを消去することができなくなり、ユーザは相手方の発話内容を認識することが難しくなる。
【０００６】
一方、上記特許文献２に記載の技術では、ユーザの口唇の形状の画像を撮像した画像に基づいて、発話音が特定され、発話内容が認識される。そのため、上記定常ノイズ及び上記突発ノイズがユーザの発話音に重畳されても、ユーザの発話内容の認識率に与える影響は小さい。しかしながら、ユーザの発話音は、ユーザの口唇が同一の形状でも、声帯の振動の有無（有声音であるか、無声音であるか）によっても異なる。上記特許文献２に記載の技術では、声帯の振動の有無を判別することは難しいため、ユーザの発話音を特定することは難しく、ひいては、ユーザの発話内容の認識率が低下することがある。
【０００７】
本発明は、上記実情に鑑みてなされたものであって、その目的は、ユーザの発話内容の認識率向上を図ることのできる車載音声認識装置を提供することにある。
【課題を解決するための手段】
【０００８】
こうした目的を達成するため、請求項１に記載の発明では、ユーザの発話音を集音する集音部と、定常的に発生するとともに前記ユーザの発話音に重畳するノイズである定常ノイズのスペクトルパターンに基づいて、前記定常ノイズを低減する定常ノイズ低減部と、前記定常ノイズ低減部によって前記定常ノイズが低減されたユーザの発話音に基づいて、その発話内容の認識を行なう第１発話内容認識部と、前記ユーザの口唇の形状の画像を撮像可能な撮像装置によって撮像される画像に基づいて、前記ユーザの発話内容の認識を行なう第２発話内容認識部とを備え、自車両に搭載される車載音声認識装置であって、前記ユーザの発話中に発生するとともに前記ユーザの発話音に重畳するノイズである突発ノイズの発生を判断する突発ノイズ発生判断部と、前記突発ノイズ発生判断部によって突発ノイズが発生した旨判断されないことに基づいて、前記第１発話内容認識部によってユーザの発話内容の認識を行なう一方、前記突発ノイズ発生判断部によって突発ノイズが発生した旨判断されることに基づいて、前記第２発話内容認識部によってユーザの発話内容の認識を行なう制御部とを備えることを特徴とする。
【０００９】
突発ノイズが発生していない場合、定常ノイズ低減部は、スペクトルパターンに基づいて、ユーザの発話音に重畳する定常ノイズを低減することが可能である。そのため、上記構成では、突発ノイズが発生した旨判断されない場合、ユーザの声帯の振動の有無に関わらずユーザの発話内容を認識可能な第１発話内容認識部によってユーザの発話内容の認識を行なう。これにより、突発ノイズが発生した旨判断されない場合におけるユーザの発話内容の認識率を向上することが可能である。一方、突発ノイズが発生する場合、定常ノイズ低減部は、スペクトルパターンに基づいて、ユーザの発話音に重畳する定常ノイズを低減することは難しい。そのため、上記構成では、突発ノイズが発生した旨判断される場合、突発ノイズが重畳してもユーザの発話内容を認識可能な第２発話内容認識部によってユーザの発話内容の認識を行なう。これにより、突発ノイズが発生した旨判断される場合におけるユーザの発話内容の認識率を向上することが可能である。このようにして、ユーザの発話内容の認識率向上を図ることができるようになる。
【００１０】
例えば道路上に形成された窪み等、道路の凸凹を自車両が通過すると、第１発話内容認識部によるユーザの発話内容の認識率に影響を与える突発ノイズが発生することがある。この場合、自車両の加速度は大きく変化し、所定加速度帯から外れる。そのため、上記請求項１に記載の構成において、請求項２に記載の発明のように、前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載される加速度センサによって所定加速度帯から外れる加速度が検出されることに基づいて、前記突発ノイズが発生した旨を判断するとよい。これにより、自車両に搭載される加速度センサによって検出される加速度に基づいて、突発ノイズが発生した旨を判断することができるようになる。
【００１１】
ちなみに、所定加速度帯とは、道路の凸凹を自車両が通過することで突発ノイズが発生しても、第１発話内容認識部によるユーザの発話内容の認識率に影響を与えない程度の突発ノイズしか発生しない場合における加速度帯である。また、認識率とは、第１発話内容認識部（あるいは第２発話内容認識部）によってユーザの発話内容の認識を実行する回数に対する、第１発話内容認識部（あるいは第２発話内容認識部）による認識結果の尤度が所定尤度を上回る回数の割合である。
【００１２】
なお、自車両の加速度に生じる変化を検出する手段は、自車両に搭載される加速度センサに限らない。例えば、自車両の加速度を検出可能な車載ナビゲーション装置を当該自車両が搭載する場合、突発ノイズ発生判断部は、ユーザの発話中に、自車両に搭載される車載ナビゲーション装置によって所定加速度帯から外れる加速度が検出されることに基づいて、突発ノイズが発生した旨を判断してもよい。あるいは、加速度を検出可能な携帯機をユーザが携帯し、且つ、当該車載音声認識装置がこの携帯機との間で通信可能な第１通信部を備える場合、突発ノイズ発生判断部は、ユーザの発話中に、ユーザに携帯される携帯機によって所定加速度帯から外れる加速度が検出され、通信部によってその旨受信されることに基づいて、突発ノイズが発生した旨を判断してもよい。
【００１３】
自車両が通過することによって突発ノイズが発生することの多い地点（道路の凸凹の位置）は固定している。そのため、上記請求項１または２に記載の構成において、請求項３に記載の発明のように、前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載されるナビゲーション装置によって前記自車両が所定位置を通過することが検出されることに基づいて、前記突発ノイズが発生した旨を判断するとよい。これにより、自車両に搭載されるナビゲーション装置によって、突発ノイズが発生した旨を判断することができるようになる。ちなみに、所定地点とは、自車両が通過することによって、第１発話内容認識部によるユーザの発話内容の認識率に影響を与える突発ノイズが発生することの多い地点である。
【００１４】
なお、自車両の位置を検出する手段は、自車両に搭載されるナビゲーション装置に限らない。例えば、現在地を検出可能な携帯機をユーザが携帯し、且つ、当該車載音声認識装置がこの携帯機との間で通信可能な第１通信部を備える場合、突発ノイズ発生判断部は、ユーザの発話中に、ユーザに携帯される携帯機によって所定位置を通過することが検出されることに基づいて、前記突発ノイズが発生した旨を判断してもよい。
【００１５】
また、例えば自車両に搭載されるワイパー装置が払拭動作を行なうと、ワイパブレードの移動に起因して突発ノイズが発生することがある。そのため、請求項１〜３のいずれか一項に記載の構成において、請求項４に記載の発明のように、前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載されるワイパー装置が払拭動作を行なうことに基づいて、前記突発ノイズが発生した旨を判断するとよい。
【００１６】
また、例えば自車両に搭載される空調機が空調動作を行なうと、空調機風が吹出口から吹き出されることに起因して突発ノイズが発生することがある。そのため、請求項１〜４のいずれか一項に記載の構成において、請求項５に記載の発明のように、前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載される空調機が空調動作を行なうことに基づいて、前記突発ノイズが発生した旨を判断するとよい。
【００１７】
また、例えば自車両周辺を他車両が通過すると、他車両のエンジン音や排気音等の突発ノイズが発生することがある。そのため、請求項１〜５のいずれか一項に記載の構成において、請求項６に記載の発明のように、前記突発ノイズ発生判断部は、前記ユーザの発話中に、前記自車両に搭載されて他車両との間で双方向通信を行なう車車間通信機によって自車両周辺を他車両が通過した旨を受信することに基づいて、前記突発ノイズが発生した旨を判断するとよい。
【００１８】
ユーザの口唇の形状の画像を撮像可能な撮像装置については、当該車載音声認識装置自体が撮像装置を備え、第２発話内容認識部は、この撮像装置によって撮像される画像に基づいて、ユーザの発話内容の認識を行なうこととしてもよい。あるいは、上記請求項１〜６のいずれか一項に記載の構成において、請求項７に記載の発明のように、前記撮像装置を有するとともにユーザに携帯される携帯機との間で情報の送受信を行なう第１通信部をさらに備え、前記第２発話内容認識部は、前記第１通信部によって受信される画像情報に基づいて、前記ユーザの発話内容の認識を行なうこととしてもよい。なお、第１通信部は、携帯機との間で有線にて情報の送受信を行なってもよく、携帯機との間で無線にて情報の送受信を行なってもよい。さらに、携帯機との間で無線にて情報の送受信を行なう場合、例えばBluetooth（登録商標、以下ＢＴとも記載）通信方式等、任意の通信方式を採用することができる。
【００１９】
上記請求項１〜７のいずれか一項に記載の構成において、請求項８に記載の発明のように、前記ユーザの発話音の複数の音声パターンを記憶する第１記憶部をさらに備え、前記第１発話内容認識部は、前記第１記憶部に記憶されている複数の音声パターンのうち、前記定常ノイズが低減されたユーザの発話音に対する尤度が最も高い音声パターンを抽出することで、前記ユーザの発話内容の認識を行なうこととしてもよい。これにより、第１発話内容認識部によってユーザの発話内容の認識を行なうことができるようになる。
【００２０】
請求項１〜８のいずれか一項に記載の構成において、請求項９に記載の発明のように、前記ユーザの発話音の複数の画像パターンを記憶する第２記憶部をさらに備え、前記第２発話内容認識部は、前記第２記憶部に記憶されている複数の画像パターンのうち、前記ユーザの口唇の形状の画像に対する尤度が最も高い画像パターンを抽出することで、前記ユーザの発話内容の認識を行なうこととしてもよい。これにより、第２発話内容認識部によってユーザの発話内容の認識を行なうことができるようになる。
【００２１】
なお、上記請求項８または９のいずれか一項に記載の構成において、請求項１０に記載の発明のように、各種情報をユーザに報知する報知部をさらに備え、前記制御部は、前記尤度が所定尤度よりも低いことに基づいて、前記報知部によってその旨を報知し、再度発話を促すとよい。これにより、第１発話内容認識部あるいは第２発話内容認識部によって認識されたユーザの発話内容がそれほどもっともらしくないことをユーザに報知し、音声認識を再度実行することを促すことができるようになる。
【００２２】
また、上記請求項１０に記載の構成において、請求項１１に記載の発明のように、前記制御部は、前記尤度が所定尤度よりも低いことに基づいて、ユーザの発話内容の認識を自動的に再度実行するとよい。これにより、ユーザの発話内容の認識を再度自動的に行なうことができるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る車載音声認識装置の一実施の形態について、その構成を示すブロック図である。
【図２】車載音声認識装置によって実行される音声認識処理について、その処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明に係る車載音声認識装置の一実施の形態について、図１及び図２を参照して説明する。なお、図１は、車載音声認識装置１の構成を示すブロック図である。また、本実施の形態では、車載音声認識装置１は、車載オーディオ機器の一部として具体化されているものとする。
【００２５】
はじめに、図１を参照して、車載音声認識装置１の構成について説明する。図１に示されるように、車載音声認識装置１は、制御装置１０、音声認識開始スイッチ２１、マイクロホン２２、撮像装置２３、スピーカ３１、表示部３２を備えて構成されており、図示しない自車両に搭載される加速度センサ４１、車載ナビゲーション装置（以下、単にカーナビ装置と記載する）４２、ワイパ制御ＥＣＵ４３及びエアコン制御ＥＣＵ４４に接続されている。
【００２６】
音声認識開始スイッチ２１は、図２を用いて後述する音声認識処理を実行開始するためのスイッチであり、制御装置１０に接続されている。ユーザによってオン操作されると、その旨を示す信号を制御装置１０に送信し、制御装置１０は音声認識処理を実行開始する。ちなみに、音声認識処理の実行中に音声認識開始スイッチ２１がオン操作されると、制御装置１０は、そのオン操作時に実行中であった音声認識処理を中止し、最初から音声認識処理を再開する。
【００２７】
マイクロホン２２は、車室内の適宜の場所に設けられ、制御装置１０に接続されている。マイクロホン２２は、上記音声認識開始スイッチ２１がオン操作されると、ユーザの発話音（主に車載オーディオ機器へのコマンド）を含む車室内の音を集音し、その集音した音声情報を制御装置１０に出力する。また、このマイクロホン２２が特許請求の範囲に記載の集音部に相当する。
【００２８】
撮像装置２３は、ユーザの口唇の形状の画像を撮像可能な適宜の場所に設けられており、制御装置１０に接続されている。撮像装置２３は、上記音声認識開始スイッチ２１がオン操作されると、ユーザの口唇の形状の画像を撮像開始し、その撮像した画像情報を制御装置１０に出力する。
【００２９】
スピーカ３１は、例えばインストルメントパネル、車室の天井及び前席ドア等、各種情報をユーザが聴音可能な適宜の場所に設けられ、制御装置１０に接続されている。スピーカ３１は、制御装置１０から報知情報が入力されると、その入力された報知情報を車室内に音声出力する。また、このスピーカ３１が特許請求の範囲に記載の報知部に相当する。
【００３０】
表示部３２は、各種情報をユーザに目視可能な適宜の場所に設けられ、制御部１７に接続されている。表示部３２は、制御装置１０から報知情報が入力されると、その入力された報知情報を文字及び画像の少なくとも一方にて画面上に表示する。また、この表示部３２が特許請求の範囲に記載の報知部に相当する。
【００３１】
加速度センサ４１は、自車両の走行方向の加速度を検出する公知の加速度センサであり、例えば車内ＬＡＮ等にて制御装置１０に接続されている。加速度センサ４１は、自車両の走行方向の加速度を検出すると、制御装置１０に送信する。
【００３２】
カーナビ装置４２は、ＧＰＳ衛星から発せられるＧＰＳ信号及び記憶部に記憶されている地図データ（いずれも図示略）に基づいて自車両の現在地を検出し、ユーザによって指定された目的地まで案内する公知の車載ナビゲーション装置である。カーナビ装置４２は、例えば車内ＬＡＮ等にて制御装置１０に接続されており、検出した自車両の位置を制御装置１０（詳しくは定常ノイズ低減部１２）に送信する。
【００３３】
ワイパ制御ＥＣＵ４３は、自車両のフロントウインド等を払拭するワイパー装置（図示略）を構成する制御装置であり、例えば車内ＬＡＮ等にて制御装置１０に接続されている。ワイパー装置が払拭動作を行なうと、ワイパブレードの移動に起因して後述する突発ノイズが発生することがある。ワイパ制御ＥＣＵ４３は、ワイパー装置による払拭動作タイミング、すなわち、突発ノイズ発生タイミングに係る情報（タイミング情報）を制御装置１０に送信する。
【００３４】
エアコン制御ＥＣＵ４４は、自車両の車室内の空調を行う空調機（図示略）を構成する制御装置であり、例えば車内ＬＡＮ等にて制御装置１０に接続されている。空調機が空調動作を行なうと、空調機風が吹出口から吹き出されることに起因して後述する突発ノイズが発生することがある。エアコン制御ＥＣＵ４４は、空調機による空調気風の吹き出しタイミング、すなわち、突発ノイズ発生タイミングに係る情報（タイミング情報）を制御装置１０に送信する。
【００３５】
制御装置１０は、公知のマイクロコンピュータからなり、その内部にＣＰＵ、ＲＯＭ，ＲＡＭ、Ｉ／Ｏ及びこれらを接続するバスラインを備える。ただし、以下の説明では、便宜上、制御装置１０は、ＲＯＭに記載されているプログラムをＣＰＵが実行することによって実現される各種機能を有するものとして説明する。すなわち、以下の説明では、制御装置１０は、第１発話内容認識部１１、定常ノイズ低減部１２、第１記憶部１３、第２記憶部１４、第２発話内容認識部１５、突発ノイズ発生判断部１６及び制御部１７を備えて構成されているものとして説明する。
【００３６】
第１記憶部１３は、例えばＥＥＰＲＯＭ（Erasable andProgrammable Read OnlyMemory）により構成されており、第１発話内容認識部１１及び定常ノイズ低減部１２にそれぞれ接続されている。第１記憶部１３には、車載オーディオ機器に対する各種コマンドパターンが音声パターンにて複数記憶されており、ユーザの発話内容を認識する際に、第１発話内容認識部１１によって参照される。また、第１記憶部１３には、定常的に発生するとともにユーザの発話音に重畳するノイズである定常ノイズのスペクトルパターン（以下、単にノイズスペクトルパターンとも記載）が、自車両の位置に対応して記憶されており、定常ノイズを低減する際に、定常ノイズ低減部１２によってノイズスペクトルパターンが読み出される。
【００３７】
定常ノイズ低減部１２は、第１発話内容認識部１１、第１記憶部１３、マイクロホン２２及びカーナビ装置４２にそれぞれ接続されている。マイクロホン２２から定常ノイズ低減部１２に入力される音声情報には、ユーザの発話音に定常ノイズが重畳されていることが多い。そのため、定常ノイズ低減部１２は、カーナビ装置４２から自車両の位置情報を取得し、その取得した位置情報に対応するノイズスペクトルパターンを第１記憶部１３から読み出す。そして、定常ノイズ低減部１２は、その読み出したノイズスペクトルパターンの位相を反転させた上で音声情報に足し合わせることで、音声情報に重畳されている定常ノイズを低減する。そして、定常ノイズ低減部１２は、定常ノイズを低減した音声情報（ユーザの発話音）を第１発話内容認識部１１に出力する。
【００３８】
第１発話内容認識部１１は、定常ノイズ低減部１２及び第１記憶部１３にそれぞれ接続されている。第１発話内容認識部１１は、定常ノイズ低減部１２から定常ノイズが低減された音声情報を取得し、その取得した音声情報に対応するコマンドパターンを第１記憶部１３から抽出する。詳しくは、第１発話内容認識部１１は、第１記憶部１３に記憶されている複数の音声パターンのうち、音声情報に対する尤度が最も高い音声パターンを抽出する。そして、第１発話内容認識部１１は、抽出した音声パターンとその尤度を制御部１７に出力する。
【００３９】
第２記憶部１４は、例えばＥＥＰＲＯＭ（Erasable andProgrammable Read OnlyMemory）により構成されており、第２発話内容認識部１５に接続されている。第２記憶部１４には、車載オーディオ機器に対する各種コマンドが画像パターンにて複数記憶されており、ユーザの発話内容を認識する際に、第２発話内容認識部１５によって参照される。また、第２記憶部１４には、自車両が通過すると後述する突発ノイズが発生することの多い道路の凸凹の位置が記憶されており、ユーザの発話中に突発ノイズが発生したか否かを判断する際に、突発ノイズ発生判断部１６によって参照される。
【００４０】
第２発話内容認識部１５は、撮像装置２３、第２記憶部１４及び制御部１７にそれぞれ接続されている。第２発話内容認識部１５は、撮像装置２３からユーザの口唇の形状の画像を取得し、その取得した画像情報に対する画像パターンを第２記憶部１４から抽出する。詳しくは、第２発話内容認識部１５は、第２記憶部１４に記憶されている複数の画像パターンのうち、画像情報に対する尤度が最も高い画像パターンを抽出する。そして、第２発話内容認識部１５は、抽出した画像パターンとその尤度を制御部１７に出力する。
【００４１】
突発ノイズ発生判断部１６は、第２記憶部１４、制御部１７、マイクロホン２２、加速度センサ４１、カーナビ装置４２、ワイパ制御ＥＣＵ４３及びエアコン制御ＥＣＵ４４にそれぞれ接続されており、ユーザの発話中に発生するとともにユーザの発話音に重畳するノイズである突発ノイズの発生を下記のようにして判断する。そして、突発ノイズ発生判断部１６は、ユーザの発話中に突発ノイズが発生した旨を判断すると、制御部１７にその旨を送信する。
【００４２】
突発ノイズ発生判断部１６は、マイクロホン２２から音声情報を取得し、この取得した音声の振幅及び周波数帯に基づいて、ユーザの発話中であるか否かを判断する。ユーザの発話中であると判断される場合、さらに、突発ノイズ発生判断部１６は、突発ノイズが発生するか否かを判断する。
【００４３】
ここで、例えば道路上に形成された窪み等、道路の凸凹を自車両が通過すると、第１発話内容認識部１１によるユーザの発話内容の認識率に影響を与える突発ノイズが発生することがある。なお、道路の凸凹を自車両が通過すると、自車両の加速度は大きく変化し、所定加速度帯から外れる。そこで、突発ノイズ発生判断部１６は、ユーザの発話中であると判断されると、加速度センサ４１によって所定加速度帯から外れる加速度が検出されるか否かを判断し、所定加速度帯から外れる加速度が検出されると、突発ノイズが発生した旨を判断する。
【００４４】
また、上記道路の凸凹の位置は固定している。そこで、突発ノイズ発生判断部１６は、ユーザの発話中であると判断されると、カーナビ装置４２によって検出される自車両の位置及び第２記憶部１４に記憶されている道路の凸凹の位置に基づいて、自車両が道路の凸凹を通過したか否かを判断する。そして、ユーザの発話中に自車両が道路の凸凹を通過したと判断すると、突発ノイズが発生した旨を判断する。
【００４５】
また、例えば自車両に搭載されるワイパー装置が払拭動作を行なうと、ワイパブレードの移動に起因して突発ノイズが発生することがある。そこで、突発ノイズ発生判断部１６は、ユーザの発話中であると判断されると、ワイパ制御ＥＣＵ４３から入力されるタイミング情報に基づいて、ワイパー装置が払拭動作を行なったか否かを判断する。そして、ユーザの発話中にワイパー装置が払拭動作を行なったと判断すると、突発ノイズが発生した旨を判断する。
【００４６】
また、例えば自車両に搭載される空調機が空調動作を行なうと、空調機風が吹出口から吹き出されることに起因して突発ノイズが発生することがある。そこで、突発ノイズ発生判断部１６は、ユーザの発話中であると判断されると、エアコン制御ＥＣＵ４４から入力されるタイミング情報に基づいて、空調機が空調動作を行なったと判断すると、突発ノイズが発生した旨を判断する。
【００４７】
制御部１７は、音声認識開始スイッチ２１、突発ノイズ発生判断部１６、第１発話内容認識部１１、第２発話内容認識部１５、スピーカ３１及び表示部３２にそれぞれ接続されている。
【００４８】
制御部１７は、音声認識開始スイッチ２１からオン操作された旨を示す信号が入力されると、第１発話内容認識部１１によるユーザの発話内容の認識を行なう。この第１発話内容認識部１１によるユーザの発話内容の認識を行なった結果、抽出された音声パターン及びその尤度が入力されると、制御部１７は、入力された尤度が所定尤度以上であるか否かを判断する。ここで、制御部１７は、所定尤度以上であると判断すると、その抽出された音声パターンに対応するコマンドを車載オーディオ機器に与える。一方、制御部１７は、所定尤度よりも低いと判断すると、スピーカ３１からその旨を音声出力するとともに、その旨を表示部３２に表示し、音声認識開始スイッチ２１がオン操作されなくても、第１発話内容認識部１１によるユーザの発話内容の認識を自動的に再度実行する。
【００４９】
こうした第１発話内容認識部１１によるユーザの発話内容の認識を実行中、ユーザの発話中に突発ノイズが発生した旨の信号が突発ノイズ発生判断部１６から入力されると、制御部１７は、第２発話内容認識部１５によってユーザの発話内容の認識を行なう。そして、この第２発話内容認識部１５によるユーザの発話内容の認識を行なった結果、抽出された画像パターン及びその尤度が入力されると、制御部１７は、入力された尤度が所定尤度以上であるか否かを判断する。ここで、制御部１７は、所定尤度以上であると判断すると、その抽出された画像パターンに対応するコマンドを車載オーディオ機器に与える。一方、制御部１７は、所定尤度よりも低いと判断すると、スピーカ３１からその旨を音声出力するとともに、その旨を表示部３２に表示し、音声認識開始スイッチ２１がオン操作されなくても、第２発話内容認識部１５によるユーザの発話内容の認識を自動的に再度実行する。
【００５０】
以上のようにして構成された車載音声認識装置１の動作について、図２を参照して説明する。なお、図２は、車載音声認識装置１によって実行される音声認識処理Ｓ１の処理手順を示すフローチャートである。
【００５１】
音声認識処理Ｓ１が実行されると、制御部１７は、まず、ステップＳ１１の判断処理として、音声認識開始スイッチ２１がオン操作されたか否かを判断する。ここで、音声認識開始スイッチ２１がオン操作されたと判断されない場合（ステップＳ１１の判断処理で「Ｎｏ」）、制御部１７は、このステップＳ１１の判断処理を再度実行する一方、音声認識開始スイッチ２１がオン操作されたと判断される場合（ステップＳ１１の判断処理で「Ｙｅｓ」）、制御部１７は、続くステップＳ１２の判断処理に移行する。換言すれば、制御部１７は、音声認識開始スイッチ２１がオン操作されるまで、実質的に音声認識を行うことなく待機する。
【００５２】
ここで、図２では、便宜上、制御部１７は、音声認識開始スイッチ２１がオン操作されると、続くステップＳ１２の判断処理を行ない、この判断処理の結果に応じてステップＳ１３の処理あるいはステップＳ１７の処理に移行するように図示している。しかしながら、実際には、音声認識開始スイッチ２１がオン操作されると、ステップＳ１３の処理を実行しつつステップＳ１２の判断処理を適宜実行し、ステップＳ１２の判断処理で肯定判断がなされるとステップＳ１７の処理に移行する。
【００５３】
詳しくは、制御部１７は、音声認識開始スイッチ２１がオン操作されると、次に、ステップＳ１３の処理として、第１発話内容認識部１１によるユーザの発話内容の認識を実行し、ステップＳ１４の判断処理として、第１発話内容認識部１１による音声認識にて抽出された音声パターンの尤度が所定尤度以上であるか否かを判断する。
【００５４】
音声パターンの尤度が所定尤度以上であると判断される場合（ステップＳ１４の判断処理で「Ｙｅｓ」）、制御部１７は、続くステップＳ１５の処理として、ステップＳ１３の処理において抽出した音声パターンに対応するコマンドを車載オーディオ機器に与える。
【００５５】
一方、音声パターンの尤度が所定尤度よりも低いと判断する場合（ステップＳ１４の判断処理で「Ｎｏ」）、制御部１７は、続くステップＳ１６の処理として、スピーカ３１からその旨を音声出力するとともに、その旨を表示部３２に表示する。そして、制御部１７は、音声認識開始スイッチ２１がオン操作されなくても先のステップＳ１３の処理に移行し、第１発話内容認識部１１によるユーザの発話内容の認識を自動的に再度実行する。
【００５６】
こうしたステップＳ１３の処理の実行中、制御部１７は、ステップＳ１２の判断処理として、ユーザの発話中に突発ノイズが発生したか否かを判断する。ここで、ユーザの発話中に突発ノイズが発生したと判断される場合（ステップＳ１２の判断処理で「Ｙｅｓ」）、制御部１７は、ステップＳ１７の処理として、第２発話内容認識部１５による音声認識を実行し、ステップＳ１４の判断処理として、第２発話内容認識部１５による音声認識にて抽出された画像パターンの尤度が所定尤度以上であるか否かを判断する。
【００５７】
画像パターンの尤度が所定尤度以上であると判断される場合（ステップＳ１４の判断処理で「Ｙｅｓ」）、制御部１７は、続くステップＳ１５の処理として、ステップＳ１７の処理において抽出した画像パターンに対応するコマンドを車載オーディオ機器に与える。一方、画像パターンの尤度が所定尤度よりも低いと判断する場合（ステップＳ１４の判断処理で「Ｎｏ」）、制御部１７は、続くステップＳ１６の処理として、スピーカ３１からその旨を音声出力するとともに、その旨を表示部３２に表示する。そして、制御部１７は、音声認識開始スイッチ２１がオン操作されなくても先のステップＳ１７の処理に移行し、第２発話内容認識部１５によるユーザの発話内容の認識を自動的に再度実行する。
【００５８】
以上説明した実施の形態では、制御部１７は、突発ノイズ発生判断部１６によって突発ノイズが発生した旨判断されないことに基づいて、第１発話内容認識部１１によってユーザの発話内容の認識を行なう一方、突発ノイズ発生判断部１６によって突発ノイズが発生した旨判断されることに基づいて、第２発話内容認識部１５によってユーザの発話内容の認識を行なうこととした。突発ノイズが発生していない場合、ユーザの声帯の振動の有無に関わらずユーザの発話内容を認識可能な第１発話内容認識部１１によってユーザの発話内容の認識を行なうため、ユーザの発話内容の認識率を向上することができるようになる。また、突発ノイズが発生する場合、突発ノイズが重畳してもユーザの発話内容を認識可能な第２発話内容認識部によってユーザの発話内容の認識を行なうため、ユーザの発話内容の認識率を向上することができるようになる。このようにして、ユーザの発話内容の認識率向上を図ることができるようになる。
【００５９】
なお、上記実施の形態では、突発ノイズ発生判断部１６は、自車両に搭載される加速度センサ４１によって所定加速度帯から外れる加速度が検出されるか否かを判断していたが、これに限らない。加速度センサを有するカーナビ装置４２が自車両に搭載されている場合には、突発ノイズ発生判断部１６は、そのカーナビ装置４２の加速度センサによって所定加速度帯から外れる加速度が検出されるか否かを判断してもよい。あるいは、加速度を検出可能な携帯機をユーザが携帯し、且つ、当該車載音声認識装置がこの携帯機との間で通信可能な第１通信部（例えばBluetooth（登録商標）通信部）を備える場合、突発ノイズ発生判断部１６は、ユーザの発話中に、ユーザに携帯される携帯機によって所定加速度帯から外れる加速度が検出され、第１通信部によってその旨受信されることに基づいて、突発ノイズが発生した旨を判断してもよい。あるいは、そもそも車載音声認識装置１に加速度センサを備え、この加速度センサによって所定加速度帯から外れる加速度が検出されるか否かを判断してもよい。要は、突発ノイズ発生判断部１６が当該音声認識装置１の加速度を取得することができればよい。
【００６０】
上記実施の形態では、自車両が通過すると突発ノイズが発生することの多い道路の凸凹の位置は第２記憶部１４に記憶されていたが、これに限らない。他に例えばカーナビ装置４２が内蔵する図示しない記憶部に記憶してもよい。あるいは、記憶部を有する携帯機をユーザが携帯し、且つ、当該車載音声認識装置１がこの携帯機との間で通信可能な第１通信部（例えばBluetooth（登録商標）通信部）を備える場合、上記道路の凸凹の位置を携帯機の記憶部に記憶してもよい。またあるいは、当該車載音声認識装置１が、記憶部を有するサーバとの間で通信可能な第２通信部（例えば公衆回線通信部）を備える場合、上記道路の凸凹の位置をサーバの記憶部に記憶してもよい。またあるいは、当該車載音声認識装置１が、記憶部を有する携帯機との間で通信可能な第１通信部（例えばBluetooth（登録商標）通信部）を備え、この携帯機を経由してサーバとの間で通信可能である場合、上記道路の凸凹の位置をサーバの記憶部に記憶してもよい。要は、突発ノイズ発生判断部１６が道路の凸凹の位置情報を取得することができれば、その記憶場所については任意である。なお、道路の凸凹の位置をサーバの記憶部に記憶する場合、他車の情報を利用してもよい。
【００６１】
上記実施の形態では、突発ノイズ発生判断部１６は、加速度センサ４１のセンサ出力値、カーナビ装置４２によって検出される自車両の位置、ワイパ装置の駆動状況及びエアコンの駆動状況に基づいて突発ノイズが発生した旨を判断していたが、これに限らない。例えば次のような態様を採用してもよい。
【００６２】
他車両との間で双方向通信を行なう車車間通信機が自車両に搭載されている場合、突発ノイズ発生判断部１６は、ユーザの発話中に、車車間通信機によって自車両周辺を他車両が通過した旨を受信することに基づいて、突発ノイズが発生した旨を判断することとしてもよい。
【００６３】
突発ノイズ発生判断部１６は、マイクロホン２２によって集音される音（ユーザの発話音）の周波数が所定周波数（例えば「１０［Ｈｚ］」）以下であることに基づいて、突発ノイズが発生した旨を判断することとしてもよい。なお、自車両が道路の凸凹を通過すると生じることのある突発ノイズはおよそ「１０［Ｈｚ］」以下であることが発明者によって確認されている。
【００６４】
突発ノイズ発生判断部１６は、マイクロホン２２によって集音される音（ユーザの発話音）の振幅が所定閾値帯を外れることに基づいて、突発ノイズが発生した旨を判断することとしてもよい。また、制御部１７は、第１発話内容認識部１１によるユーザの発話内容の認識の実行時に、マイクロホン２２によって集音される音の振幅を第１記憶部１３に記憶しておき、突発ノイズ発生判断部１６は、第１記憶部１３に記憶した振幅に基づいて前記所定閾値を設定してもよい。
【００６５】
突発ノイズ発生判断部１６は、マイクロホン２２によって集音される音（ユーザの発話音）の平均パワーが所定閾値帯を外れることに基づいて、突発ノイズが発生した旨を判断することとしてもよい。また、制御部１７は、第１発話内容認識部１１によるユーザの発話内容の認識の実行時に、マイクロホン２２によって集音される音の平均パワーを第１記憶部１３に記憶しておき、突発ノイズ発生判断部１６は、第１記憶部１３に記憶した振幅に基づいて前記所定閾値を設定してもよい。
【００６６】
突発ノイズ発生判断部１６は、マイクロホン２２によって集音される音（ユーザの発話音）の継続時間が所定閾値（例えば「１００［ｍｓ］」）以下であることに基づいて、突発ノイズが発生した旨を判断することとしてもよい。通常、ユーザが車載オーディオ機器へのコマンドを発話すると、「１００［ｍｓ］」よりも長くなることが発明者によって確認されている。
【００６７】
上記所定周波数、上記振幅に係る所定閾値帯、上記平均パワーにかかる所定閾値帯、上記継続時間に係る所定閾値については、自車両の車種毎の遮音性、静粛性、車室内の音響特性、サスペンションの硬さなどを考慮して設定することができる。
【００６８】
携帯機は、ユーザの日常生活での通話音量及び周波数帯域に基づいて、上記所定周波数、上記振幅に係る所定閾値帯お呼び上記平均パワーにかかる所定閾値帯を設定し、記憶部に記憶しておく。そして、突発ノイズ発生判断部１６は、記憶部に記憶された各種値を用いて突発ノイズの発生の有無を判断してもよい。
【００６９】
上記実施の形態では、第２発話内容認識部１５は、当該音声認識装置１を構成する撮像装置２３によって撮像される画像情報に基づき音声認識を行なっていたが、画像情報の取得源は撮像装置２３に限らない。ユーザの口唇の形状の画像を撮像可能な撮像部を有する携帯機をユーザが携帯し、且つ、当該車載音声認識装置１がこの携帯機との間で通信可能な第１通信部を備える場合、第２発話内容認識部１５は、第１通信部によって受信される画像情報に基づいて、ユーザの発話内容の認識を行なうこととしてもよい。ちなみに、第１通信部は、携帯機との間で有線にて情報の送受信を行なってもよく、携帯機との間で無線にて情報の送受信を行なってもよい。さらに、携帯機との間で無線にて情報の送受信を行なう場合、例えばBluetooth（登録商標通信方式等、任意の通信方式を採用することができる。
【００７０】
上記実施の形態では、制御部１７は、第１発話内容認識部１１による音声認識を実行している間に、ユーザの発話中に自車両が道路の凸凹を通過したと判断することに基づいて、第２発話内容認識部１５による音声認識を実行していた。道路の凸凹区間が続く場合、第２発話内容認識部１５による音声認識を実行しても、画像パターンの尤度が所定尤度よりも低くなる可能性が高い。そこで、制御部１７は、道路の凸凹区間が続く場合には、スピーカ３１による音声出力及び表示部３２による表示にて、その凸凹区間を自車両が通過し終えてから発話をするよう、ユーザに促してもよい。
【００７１】
上記実施の形態では、制御部１７は、音声パターンの尤度が所定尤度よりも低いと判断される場合には、第１発話内容認識部１１によるユーザの発話内容の認識を自動的に再度実行することとしていたが、自動的に再度実行することなく音声認識処理Ｓ１を終了することとしてもよい。自動的に再度実行することなく音声認識処理Ｓ１を終了することとした場合、制御部１７は、音声認識開始スイッチ２１のオン操作が行われれば、音声認識処理Ｓ１を再度実行するが、制御部１７は、音声パターンの尤度が所定尤度以上となることなく音声認識処理Ｓ１を終了することが連続して所定回数（例えば「３回」）続いた場合、ユーザの発話中に突発ノイズが発生した旨判断されなくても、第２発話内容認識部１５による音声認識を実行することとしてもよい。
【００７２】
上記実施の形態では、制御部１７は、画像パターンの尤度が所定尤度よりも低いと判断される場合には、第２発話内容認識部１５によるユーザの発話内容の認識を自動的に再度実行することとしていたが、自動的に再度実行することなく、音声認識処理Ｓ１を終了することとしてもよい。
【００７３】
上記実施の形態では、制御部１７は、第１発話内容認識部１１による音声認識を実行している間に、ユーザの発話中に突発ノイズが発生したと判断することに基づいて、第２発話内容認識部１５による音声認識を実行することとしたが、これに限らない。自車両が高速度になると、定常ノイズ低減部１２による定常ノイズの低減効果が低下し、ひいては、第１発話内容認識部１１によるユーザの発話内容の認識率が低下してしまうことが懸念される。そこで、自車両に車速センサが搭載されている場合、制御部１７は、その車速センサから自車両の速度情報を取得し、第１発話内容認識部１１による音声認識の実行中、自車両の速度が所定速度（例えば「時速８０［ｋｍ］」）以上となることに基づいて、第２発話内容認識部１５による音声認識を実行することとしてもよい。これにより、定常ノイズの低減効果が低下しても、第２発話内容認識部１５によってユーザの発話内容の認識を行なうことができる。
【符号の説明】
【００７４】
１…車載音声認識装置、１０…制御装置、１１…第１発話内容認識部、１２…定常ノイズ低減部、１３…第１記憶部、１４…第２記憶部、１５…第２発話内容認識部、１６…突発ノイズ発生判断部、１７…制御部、２１…音声認識開始スイッチ、２２…マイクロホン、２３…撮像装置、３１…スピーカ、３２…表示部、４１…加速度センサ、４２…車載ナビゲーション装置（カーナビ装置）、４３…ワイパ制御ＥＣＵ、４４…エアコン制御ＥＣＵ
【図１】
2010185975.tif 000003
【図２】
2010185975.tif 000004