(57)【要約】  【課題】  複数の話者音声が存在する場合でも誤認識の発生を低減することが可能な音声認識装置を提供すること。  【解決手段】  話者が発話した話者音声を収音するマイク１０１ａ、１０１ｂおよびそれを増幅するアンプ１０２ａ、１０２ｂ、話者音声を強調する話者音声強調部４０３、検出した話者音声が会話の一部であるか否かを判断するためにも受けられたパワー算出器１０７ａ、１０７ｂ、音声検出器１０８ａ、１０８ｂ、および会話検出器１０９、音声検出器１０８ａ、１０８ｂが話者音声を検出したときに、検出した話者音声の音声認識を行い、音声認識で認識された言葉が予め決められたキーワードと一致するとき、所定の信号を出力する音声認識部１１３と、会話検出器１０９が会話を検出したときに音声認識部１１３がキーワード検出を行うことを抑制する認識制御器１１０とを備えた構成を有する。【選択図】  図１
2005157086.tif 000002
【特許請求の範囲】
【請求項１】
話者が発話した話者音声を含む音声を収音する複数の収音手段と、各前記収音手段が収音した音声に複数話者の話者音声の候補が含まれる場合に、複数の話者の話者音声の候補を強調する話者音声強調手段と、前記話者音声強調手段が強調した話者音声の候補のパワーを算出するパワー算出手段と、前記パワー算出手段が算出したパワーに基づいて前記話者音声の候補中の話者音声を検出する音声検出手段と、前記音声検出手段が過去の一定時間内に複数話者の話者音声を検出したか否かを検出する会話検出手段と、前記音声検出手段が話者音声を検出したときに、検出した話者音声の音声認識を行い、音声認識で認識された言葉が予め決められたキーワードと一致するとき、所定の信号を出力する音声認識手段と、前記音声検出手段が過去の一定時間内に複数話者の話者音声を検出したことを前記会話検出手段が検出した場合、複数話者の話者音声が検出された前記一定時間内に発話された話者音声の音声認識を前記音声認識手段が行うことを抑制する認識制御手段とを備えたことを特徴とする音声認識装置。
【請求項２】
前記音声認識装置は、さらに、前記会話検出手段が過去の前記一定時間内に複数話者の話者音声があったことを検出したことによって、前記音声認識手段が前記話者音声の音声認識を行わなかったとき、複数話者の話者音声の存在が理由で音声認識を行わなかったことを通知する信号を生成するガイダンス出力手段を備えたことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
話者が発話した話者音声を含む音声を収音して収音信号を生成する複数の収音手段と、各前記収音手段が収音した音声に複数話者の話者音声の候補が含まれる場合に、複数の話者の話者音声の候補を強調する話者音声強調手段と、複数の前記収音手段が生成した収音信号間の相関値を前記収音信号間の遅延時間を変えて算出する相関算出手段と、前記収音信号間の相関値が最大となる遅延時間が予め決められた時間の範囲内にあるか否かに基づいて話者の居る方向を検出することによって話者を特定すると共に特定した話者の話者音声の候補中の話者音声を検出する話者方向検出手段と、前記話者方向検出手段が過去の一定時間内に複数話者の話者音声を検出したか否かを検出する会話検出手段と、前記話者方向検出手段が話者音声を検出したときに、検出した話者音声の音声認識を行い、音声認識で認識された言葉が予め決められたキーワードと一致するとき、所定の信号を出力する音声認識手段と、前記話者方向検出手段が過去の一定時間内に複数話者の話者音声を検出したことを前記会話検出手段が検出した場合、複数話者の話者音声が検出された前記一定時間内に発話された話者音声の音声認識を前記音声認識手段が行うことを抑制する認識制御手段とを備えたことを特徴とする音声認識装置。
【請求項４】
前記音声認識装置は、さらに、前記会話検出手段が過去の前記一定時間内に複数話者の話者音声があったことを検出したことによって、前記音声認識手段が前記話者音声の音声認識を行わなかったとき、複数話者の話者音声の存在が理由で音声認識を行わなかったことを通知する信号を生成するガイダンス出力手段を備えたことを特徴とする請求項３に記載の音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不特定話者の音声を音声認識し、接続される他の装置の制御等を行うための音声認識装置に関する。
【背景技術】
【０００２】
従来、複数話者を想定した音声認識装置として、それぞれの話者の近傍に複数のマイクを配置し、これらのマイクを介して収音された信号を用いるものが知られている（例えば、特許文献１参照。）。図６は、特許文献１に開示された従来の音声認識装置の構成を示す概念図である。図６に示す従来の音声認識装置は、以下に説明するように動作する。
【０００３】
まず、話者の音声である話者音声は、マイク６０１ａ〜６０１ｃによって収音され、マイク６０１ａ〜６０１ｃによって電気信号である収音信号に変換される。マイク６０１ａ〜６０１ｃによって得られた収音信号は、アンプ６０２ａ〜６０２ｃによって増幅された後、フィルタ６０３ａ〜６０３ｃによってそれぞれ帯域制限される。その後、フィルタ６０３ａ〜６０３ｃのうち、最も高いレベルの信号（帯域制限して得られた信号）を出力したフィルタ（以下、このフィルタをフィルタ６０３ａとする。）の信号をコンパレータ６０４が検出し、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｓｅｃｃｉｎｇ  Ｕｎｉｔ）６０７が検出結果に応じて音声切替部６０５を制御し、音声認識対象の「音声入力」とし、音声認識部６０６が音声入力を音声認識するようになっている。そして、音声入力を出力したフィルタ６０３ａに対応するマイク（この場合は、マイク６０１ａ。）以外のマイク６０１ｂ、６０１ｃからの信号は、音声認識対象外の信号である「騒音入力」として判定されていた。
【０００４】
さらに、上記の音声入力のスペクトルから騒音入力のスペクトルを減算して音声入力に含まれる騒音成分を削減した後、騒音成分削除後の信号が音声認識部６０６に入力されていた。音声認識部６０６は、音声入力と予め定められたキーワードが一致するか否かを検出することにより、音声認識開始スイッチを用いずに音声認識を起動させるようになっていた。
【特許文献１】特開平１１−５２９７６号公報（第１−５頁、図１）
【非特許文献１】電子情報通信学会編、「音響システムとディジタル処理」、第７章、マイクロホン系における信号処理、１７３〜２１８頁
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、このような従来の音声認識装置では、音声認識の待機中に常時キーワード検出を行っているために、本来キーワード検出の不要な話者同士の会話に対してもキーワード検出を行うために誤認識が発生するという問題があった。
【０００６】
また、音声認識中には、認識対象の話者音声に他の話者音声が重畳されることに起因する誤認識が発生し、さらにその誤認識の発生要因が他の話者音声が重畳することによるものか否かが判断できないために、話者に対し、他の話者音声が重畳するために音声認識ができない旨の指示を与えることもできなかった。このため、音声認識を再度繰り返しても誤認識が発生してしまうという課題を有していた。
【０００７】
本発明はこのような問題を解決するためになされたもので、複数の話者音声が存在する場合でも誤認識の発生を低減することが可能な音声認識装置を提供するものである。
【課題を解決するための手段】
【０００８】
本発明の音声認識装置は、話者が発話した話者音声を含む音声を収音する複数の収音手段と、各前記収音手段が収音した音声に複数話者の話者音声の候補が含まれる場合に、複数の話者の話者音声の候補を強調する話者音声強調手段と、前記話者音声強調手段が強調した話者音声の候補のパワーを算出するパワー算出手段と、前記パワー算出手段が算出したパワーに基づいて前記話者音声の候補中の話者音声を検出する音声検出手段と、前記音声検出手段が過去の一定時間内に複数話者の話者音声を検出したか否かを検出する会話検出手段と、前記音声検出手段が話者音声を検出したときに、検出した話者音声の音声認識を行い、音声認識で認識された言葉が予め決められたキーワードと一致するとき、所定の信号を出力する音声認識手段と、前記音声検出手段が過去の一定時間内に複数話者の話者音声を検出したことを前記会話検出手段が検出した場合、複数話者の話者音声が検出された前記一定時間内に発話された話者音声の音声認識を前記音声認識手段が行うことを抑制する認識制御手段とを備えた構成を有している。
【０００９】
この構成により、会話検出手段を用いて、検出された話者音声が会話を構成する一部の話者音声か否かを判断し、会話を構成する話者音声であると判断した場合、キーワードの検出処理を行わないこととしたため、複数の話者音声が存在する場合でも誤認識の発生を低減することが可能な音声認識装置を実現することができる。
【００１０】
また、本発明の音声認識装置は、さらに、前記会話検出手段が過去の前記一定時間内に複数話者の話者音声があったことを検出したことによって、前記音声認識手段が前記話者音声の音声認識を行わなかったとき、複数話者の話者音声の存在が理由で音声認識を行わなかったことを通知する信号を生成するガイダンス出力手段を備えた構成を有している。
【００１１】
この構成により、ガイダンス出力手段を設けて会話を検出して音声認識を行わなかったことを出力できるようにしたため、操作性を向上することが可能な音声認識装置を実現することができる。
【００１２】
また、本発明の音声認識装置は、話者が発話した話者音声を含む音声を収音して収音信号を生成する複数の収音手段と、各前記収音手段が収音した音声に複数話者の話者音声の候補が含まれる場合に、複数の話者の話者音声の候補を強調する話者音声強調手段と、複数の前記収音手段が生成した収音信号間の相関値を前記収音信号間の遅延時間を変えて算出する相関算出手段と、前記収音信号間の相関値が最大となる遅延時間が予め決められた時間の範囲内にあるか否かに基づいて話者の居る方向を検出することによって話者を特定すると共に特定した話者の話者音声の候補中の話者音声を検出する話者方向検出手段と、前記話者方向検出手段が過去の一定時間内に複数話者の話者音声を検出したか否かを検出する会話検出手段と、前記話者方向検出手段が話者音声を検出したときに、検出した話者音声の音声認識を行い、音声認識で認識された言葉が予め決められたキーワードと一致するとき、所定の信号を出力する音声認識手段と、前記話者方向検出手段が過去の一定時間内に複数話者の話者音声を検出したことを前記会話検出手段が検出した場合、複数話者の話者音声が検出された前記一定時間内に発話された話者音声の音声認識を前記音声認識手段が行うことを抑制する認識制御手段とを備えた構成を有している。
【００１３】
この構成により、会話検出手段を設け、検出された話者音声が会話を構成する一部の話者音声か否かを判断し、会話を構成する話者音声であると判断した場合、キーワードの検出処理を行わないこととしたため、複数の話者音声が存在する場合でも誤認識の発生を低減することができると共に、話者の特定をより的確に行うことが可能な音声認識装置を実現することができる。
【００１４】
また、本発明の音声認識装置は、さらに、前記会話検出手段が過去の前記一定時間内に複数話者の話者音声があったことを検出したことによって、前記音声認識手段が前記話者音声の音声認識を行わなかったとき、複数話者の話者音声の存在が理由で音声認識を行わなかったことを通知する信号を生成するガイダンス出力手段を備えた構成を有している。
【００１５】
この構成により、ガイダンス出力手段を設けて会話を検出して音声認識を行わなかったことを出力できるようにしたため、操作性を向上することが可能な音声認識装置を実現することができる。
【発明の効果】
【００１６】
本発明は、複数の話者音声が存在する場合でも誤認識の発生を低減することが可能な音声認識装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１８】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る音声認識装置のブロック構成を示す概念図である。図１において、音声認識装置１００は、車両２００の室内で音声認識を行い、音声認識されたキーワードに対応する対応信号を外部に出力する構成となっており、話者が発話した話者音声を含む音声を収音する複数の収音手段（図１には、マイク１０１ａおよびアンプ１０２ａからなる収音手段と、マイク１０１ｂおよびアンプ１０２ｂからなる収音手段とが示されている。）と、各収音手段が収音した音声に複数話者の話者音声の候補が含まれる場合に、収音手段毎に一人の話者の話者音声の候補を強調する話者音声強調手段（図１に、話者音声強調部と示す。以下、話者音声強調部という。）１０３と、話者音声強調部１０３が強調した話者音声の候補のパワーを算出するパワー算出手段（図１に、パワー算出器と示す。以下、パワー算出器という。）１０７ａ、１０７ｂと、パワー算出器１０７ａ、１０７ｂが算出したパワーに基づいて話者音声の候補中の話者音声を検出する音声検出手段（図１に、音声検出器と示す。以下、音声検出器という。）１０８ａ、１０８ｂと、音声検出器１０８ａ、１０８ｂが過去の一定時間内に複数話者の話者音声を検出したか否かを検出する会話検出手段（図１に、会話検出器と示す。以下、会話検出器という。）１０９と、音声検出器１０８ａ、１０８ｂが話者音声を検出したときに、検出した話者音声の音声認識を行い、音声認識で認識された言葉が予め決められたキーワードと一致するとき、所定の信号を出力する音声認識手段（図１に、音声認識部と示す。以下、音声認識部という。）１１３と、音声検出器１０８ａ、１０８ｂが過去の一定時間内に複数話者の話者音声を検出したことを会話検出器１０９が検出した場合、複数話者の話者音声が検出された一定時間内に発話された話者音声の音声認識を音声認識部１１３が行うことを抑制する認識制御手段（図１に、認識制御器と示す。以下、認識制御器という。）１１０とを含むように構成される。
【００１９】
ここで、収音手段を構成するマイク１０１ａ、１０１ｂは、例えば、車両２００中に設けられ、各座席に座った人の話者音声を収音しやすくなっている。そして、各話者が発話した話者音声を含む音声を収音して収音信号を生成するようになっている。また、収音手段を構成するアンプ１０２ａ、１０２ｂは、マイク１０１ａから出力された収音信号を増幅して増幅収音信号を生成するようになっている。ただし、マイク１０１ａ、１０１ｂから出力された収音信号のレベルが十分高い場合は、アンプ１０２ａ、１０２ｂを省略した構成とするのでもよい。
【００２０】
ここで、話者音声強調部１０３は、さらに、アンプ１０２ａから出力された増幅収音信号を遅延させて遅延信号を生成する遅延器１０４ａ、アンプ１０２ｂから出力された増幅収音信号を遅延させて遅延信号を生成する遅延器１０４ｂ、アンプ１０２ａからの増幅収音信号と遅延器１０４ｂからの遅延信号とを加算する加算器１０５ａ、アンプ１０２ｂからの増幅収音信号と遅延器１０４ａからの遅延信号とを加算する加算器１０５ｂ、加算器１０５ａの出力信号の周波数スペクトルを所定の規則で変化させるイコライザ１０６ａ、加算器１０５ｂの出力信号の周波数スペクトルを所定の規則で変化させるイコライザ１０６ｂを含むように構成される。イコライザ１０６ａからの出力は、パワー算出器１０７ａおよびバッファ１１２に入力され、イコライザ１０６ｂからの出力は、パワー算出器１０７ｂおよびバッファ１１２に入力されるようになっている。
【００２１】
ここで、加算器１０５ａ、１０５ｂが、遅延器１０４ａ、１０４ｂが生成した遅延信号を、符号を反転してそれぞれアンプ１０２ｂ、１０２ａが生成した増幅収音信号に加算すること（以下、加算処理という。）によって、遅延成分を除去することができ、特定の話者音声（例えば、マイクに最も接近している話者の話者音声）を強調することができる。また、イコライザ１０６ａ、１０６ｂは、加算処理を行うことによってレベルが低下した低周波成分をもとの周波数スペクトルに復元させる（近づける）ように設けられたものである。
【００２２】
音声認識装置１００は、図１に示すように、さらに、認識制御器１１０の制御の下に所定のメッセージ等を出力するガイダンス出力部１１４を有するのでもよい。ガイダンス出力部１１４は、会話検出器１０９が過去の一定時間内に複数話者の話者音声があったこと（すなわち、会話があったこと）を検出したことによって、音声認識部１１３が話者音声の音声認識を行わなかったとき、複数話者の話者音声の存在が理由で音声認識を行わなかったことを通知する信号を生成するようになっているのでもよい。この場合、アンプ１１５とスピーカ１１６とを音声認識装置１００に接続し、ガイダンス出力部１１４からの出力信号をアンプ１１５で増幅し、スピーカ１１６を介して出力するのでもよい。
【００２３】
音声認識装置１００は、図１に示すように、さらに、話者音声強調部１０３からの出力信号を記憶するバッファ１１２、認識制御器１１０の制御の下にバッファ１１２に記憶されたデータを選択する入力選択器１１１、認識制御器１１０の制御の下に所定のメッセージ等を出力するガイダンス出力部１１４を含み、認識制御器１１０の制御の下にバッファ１１２に記憶されたデータを選択し、音声認識部１１３が選択したデータに対して音声認識を行うようになっているのでもよい。
【００２４】
以下、本発明の第１の実施の形態に係る音声認識装置１００の動作について図２、図３を用いて説明する。図２に示すように、音声認識装置１００は、待機モードと音声認識モードの２つのモードで動作するものとする。待機モードＳ２１０では、音声認識を開始するトリガとなるキーワードが発話されたことを検出するようになっており、音声認識開始ボタンを押すこと等の発話以外の手段または方法による音声認識開始の合図をユーザに要求することなく、発話のみで音声認識が開始できる。
【００２５】
音声認識モードＳ２２０は、待機モードＳ２１０において音声認識を開始するトリガとなるキーワードが検出された場合に移るモードであり、音声コマンドを認識できるモードである。音声認識装置１００は、音声認識モードＳ２２０での動作が終了すると待機モードＳ２１０に戻るようになっている。
【００２６】
待機モードＳ２１０では、まず、終了条件が成立しているか否かについての判断が認識制御器１１０によって行われる（Ｓ２１１）。ここで、終了条件とは、音声認識装置の電源オフの命令などの予め終了処理を行う際に満たすべき条件をいうものとする。ステップＳ２１１で終了条件が成立していないと判断された場合、処理はステップＳ２１２に進む。
【００２７】
ステップＳ２１１で終了条件が成立していないと判断された場合、マイク１０１ａおよびマイク１０１ｂが生成した収音信号中の話者音声の候補が強調される（Ｓ２１２）。以下、ステップＳ２１２での処理を行う動作を「話者音声強調動作」といい、話者音声強調動作の詳細を、図３を用いて説明する。
【００２８】
まず、話者音声が収音されて収音信号がマイク１０１ａ、１０１ｂによって生成される（Ｓ３０１）。車両２００内で話者Ａと話者Ｂが発話する話者音声とは、マイク１０１ａとマイク１０１ｂとにそれぞれ重畳されて収音される。ただし、車両走行騒音等の話者音声以外の音源がある場合、マイク１０１ａとマイク１０１ｂには話者音声以外の音源から出力される音も収音されることになる。
【００２９】
収音信号は、アンプ１０２ａとアンプ１０２ｂによって所定の信号レベルまで増幅される。マイク１０１ａ、１０１ｂが話者音声を収音して得られた直後の信号は、一般にアナログ信号であるが、デジタル信号にして信号処理を行う方がその後の信号処理が効率的である。そのため、以下では、収音信号はデジタル信号で出力されるものとする。ここで、アナログ信号からデジタル信号への変換には、いわゆるＡＤ（Ａｎａｌｏｇｕｅ  ｔｏ  Ｄｉｇｉｔａｌ）変換器を用いることができ、ＡＤ変換器については公知であり、その説明を省略する。デジタル信号への変換の際のサンプリング周波数は、音声の周波数帯域をカバーできれば良く、一般的には、１０〜４８ｋＨｚの範囲が用いられる。
【００３０】
ステップＳ３０１で話者音声の収音信号が生成されたら、特定の話者方向に指向性を持たせるための遅延付加処理が行われる（Ｓ３０２）。指向性を持たせるための遅延付加処理は、本発明の構成の場合、遅延器１０４ａ、１０４ｂが収音信号（または増幅収音信号）を遅延させて遅延信号を生成し、遅延信号を符号反転して収音信号（または増幅収音信号）に重畳することによって行われる。
【００３１】
なお、指向性を持たせる方法は、上記の方法に限られるものではなく、例えば非特許文献１に示された複数の方法を適用できる。具体的には、複数のマイクを配置し、特定の方向から到達する音声を同相にして加算して強調する、いわゆる、遅延和アレイ等も含まれる。本発明の第１の実施の形態においては、複数のマイクからの収音信号の遅延時間を、特定の方向から到来する信号が互いに打ち消されるよう設定してその他の方向からの音声を強調する、減算型アレイを用いて動作を説明する。
【００３２】
話者音声強調部１０３を構成する加算器１０５ａは、話者Ｂの方向から到来する音声に由来する信号（以下、Ｂ話者到来信号という。）を打ち消すことにより話者Ａの方向から到来する音声に由来する信号（以下、Ａ話者到来信号という。）を強調する処理を行う。すなわち、話者Ｂとマイク１０１ａの距離は、話者Ｂとマイク１０１ｂの距離より長いため、話者Ｂの発話する音声はマイク１０１ｂに時間的に先に到達し、マイク１０１ａに遅れて到達する。
【００３３】
そこで、話者Ｂから発話された音声がマイク１０１ａとマイク１０１ｂに到達する時間差を遅延器１０４ｂに設定してマイク１０１ａ、１０１ｂが収音する話者Ｂの話者音声の収音信号の時間差が加算器１０５ａの入力端でなくなるように設定した後、遅延器１０４ｂの出力信号の極性を反転させた信号と、アンプ１０２ａの出力信号とを加算器１０５ａが加算するようになっている。その結果、加算器１０５ａの出力信号からは、Ｂ話者到来信号は打ち消されるが、Ａ話者到来信号はＢ話者到来信号に比べて打ち消される程度が少ないため、Ｂ話者到来信号に対してＡ話者到来信号が強調されることとなる。遅延器の実現方法は、非特許文献１に記載されるＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタによる方法でも良く、１次または２次の全域通過型ＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタによる方法も演算量が小さいため有利である。
【００３４】
加算器１０５ｂにおいて、Ａ話者到来信号を打ち消すことによりＢ話者到来信号を強調する処理を行う。その処理は、加算器１０５ａが行う上記処理において、打ち消す信号をＡ話者到来信号として同様の処理を行う。これにより、加算器１０５ｂの出力信号からは、Ａ話者到来信号は打ち消されるが、Ｂ話者到来信号は比較的打ち消されないため、Ａ話者到来信号に対してＢ話者到来信号が強調されることとなる。なお、ステップＳ３０２以降の処理は、サンプル点毎に実施するサンプル処理でも可能であるが、一定のフレーム長毎に処理を実施するフレーム処理による方が、演算量が少なく有利であるため、以下では、フレーム処理を行うものとして説明を行う。
【００３５】
ステップＳ３０２で遅延加算が行われ各話者Ａ、Ｂからの話者音声が強調されたら、遅延加算によって変化した各話者Ａ、Ｂの話者音声の周波数スペクトルを元の周波数スペクトルに戻すようにするための処理（以下、「イコライジング」処理という。）が、イコライザ１０６ａによって行われる（Ｓ３０３）。例えば、イコライジング処理により、Ａ話者到来信号の周波数スペクトルの変化が補正される。
【００３６】
これは、加算器１０５ａにおいて、マイク１０１ａの出力信号からマイク１０１ｂの出力信号を減算することにより、Ａ話者到来信号が、加算器１０５ａの出力信号において、低域ほど感度が低下する周波数スペクトルとなるため等によって必要とされる。この周波数スペクトルの変化を補正するため、低周波数ほどレベルを高くする補正がイコライザ１０６ａによって行われ、話者Ａの方向から到来する音声に対する感度の周波数特性が平坦化される。イコライザ１０６ａの実現方法は、入力信号を複数の周波数帯域の信号に分割し、各周波数帯域の信号のゲインを調整した後、各周波数帯域の信号を加算する方法でも良いが、２次程度のＩＩＲフィルタを用いて周波数スペクトルの補正を行う方法が一般的である。
【００３７】
イコライザ１０６ａと同様に、イコライザ１０６ｂを用いて、加算器１０５ｂが行う上記処理により、話者Ｂの方向から到来する信号の周波数スペクトルの変化を補正するイコライジング処理を行う。補正により、話者Ｂの方向から到来する音声に対する感度の周波数スペクトルが平坦化される。
【００３８】
以上の処理により、イコライザ１０６ａの出力信号として、Ａ話者到来信号を強調した信号が得られ、またイコライザ１０６ｂの出力信号として、Ｂ話者到来信号を強調した信号が得られる。その結果、Ａ話者到来信号を強調した信号およびＢ話者到来信号を強調した信号が話者音声強調部１０３から出力される。
【００３９】
ステップＳ２１２で話者音声の候補の強調が行われたら、話者音声の候補を検出する（Ｓ２１３）。具体的には、以下の処理を行う。まず、イコライザ１０６ａからの出力信号のパワーが、パワー算出器１０７ａによって算出される。パワーの算出方法としては、イコライザ１０６ａの出力信号の全周波数成分を対象に算出する方法もとりうるが、音声が卓越する帯域に帯域制限した後、振幅を二乗する方法の方が好適である。パワー算出器１０７ａからは、振幅が二乗された後に時間平滑化が行われた後の信号が出力される。なお、時間平滑化の時定数は１００ｍｓ〜１ｓ程度が適当である。パワー算出器１０７ｂにおいても、上記パワー算出器１０７ａと同様に、イコライザ１０６ｂの出力信号を用いてパワーを算出する。
【００４０】
パワー算出器１０７ａ、１０７ｂによって算出されたパワーに基づいて、話者Ａの音声の有無が音声検出器１０８ａによって検出される。音声の有無の検出方法としては、例えば、パワー算出器１０７ａの出力を観測し、出力が予め定めた基準値を超える場合に話者音声の候補があると判断する方法がある。また、他の検出方法として、パワー算出器１０７ａの出力をさらに時間平滑化することにより平滑化パワーを算出し、パワー算出器１０７ａの出力と平滑化パワーとを比較して、パワー算出器１０７ａの出力が平滑化パワーより予め定めた相対基準値を超える場合に話者音声の候補があると判断する方法がある。
【００４１】
後者の方法は、基準値が相対的に定められるため、周囲騒音がある場合に有効である。さらに、その他の話者音声の候補の検出方法として、パワー算出器１０７ａの出力とパワー算出器１０７ｂの出力を用いて、パワー算出器１０７ａの出力がパワー算出器１０７ｂの出力と比較して、パワー算出器１０７ａの出力がパワー算出器１０７ｂの出力より予め定めた相対基準値を超える場合に話者音声の候補があると判断する方法がある。この方法は、話者Ａのみが発話するとき、パワー算出器１０７ａの出力がパワー算出器１０７ｂの出力に比べて相対的に大きくなることを用いたもので、話者Ａのみが発話する場合の音声の検出精度を高めることができ有効である。
【００４２】
音声検出器１０８ｂは、上記の音声検出器１０８ａと同様の処理を行い、話者Ｂの話者音声の候補の有無を検出する。
【００４３】
ステップＳ２１３で話者音声の候補が検出されたら、検出された話者音声の候補が話者音声であるか否かの判断を行い（Ｓ２１４）、音声検出器１０８ａまたは音声検出器１０８ｂの少なくともいずれか１つから話者音声が検出された場合、処理はステップＳ２１５に進み、いずれからも検出されない場合、処理は、ステップＳ２１１に戻る。
【００４４】
ステップＳ２１４で、検出された話者音声の候補が話者音声であると判断された場合、その話者音声を含む話者間の会話を検出する処理が会話検出器１０９によってなされる（Ｓ２１５）。具体的には、ある話者（例えば、話者Ａ）の話者音声が検出された場合、一定時間内に他の話者（この場合は、話者Ｂ）の話者音声が収音されたかを検出する。ここで、上記の「一定時間」としては、１０秒から３０秒が適当である。
【００４５】
ステップＳ２１５で話者間の会話を検出処理が行われたら、検出処理によって会話が検出されたか否かの判断を行う（Ｓ２１６）。ステップＳ２１６で会話が検出されたと判断された場合、ステップＳ２１４で話者音声とされた音声は、話者Ａと話者Ｂとの間で行われる会話の一部であるため、キーワード検出を行う対象の音声ではないものとして、処理はステップＳ２１１に戻る。また、ステップＳ２１６で会話が検出されないと判断された場合、話者Ａもしくは話者Ｂによる単独の発話であると判断し、処理はステップＳ２１７に移る。
【００４６】
ステップＳ２１６で単独の発話であると判断された場合、発話された音声を対象にキーワード検出を行う（Ｓ２１７）。キーワード検出は、音声認識を用いて行うものとし、音声認識としては公知の音声認識を用いるものでよく、その詳細は本発明の本質ではないので省略する。ここで、キーワード検出の対象となるキーワードは予め設定されているものとし、予め設定されているキーワードは、例えば、「音声認識開始」、「音声認識スタート」等の音声認識の開始を意味するものでよい。
【００４７】
キーワード検出は、認識制御器１１０により制御される。具体的には、ステップＳ２１４で音声検出器１０８ａによって話者音声が検出されたと判断された場合、バッファ１１２に蓄積されたイコライザ１０６ａからの出力を入力選択器１１１により選択する。また、音声検出器１０８ｂにおいて音声が検出された場合には、バッファ１１２に蓄積されたイコライザ１０６ｂからの出力を入力選択器１１１により選択する。さらに、音声認識部１１３により入力選択器１１１の出力に対しキーワード検出を行う。
【００４８】
ステップＳ２１７でキーワード検出を行った後、予め設定されたキーワードが検出されたか否かを判断し（Ｓ２１８）、予め設定されたキーワードが検出された場合、音声認識装置１００の動作は音声認識モードＳ２２０に移り、そうでない場合にはステップＳ２１１に戻る。
【００４９】
音声認識装置１００は、音声認識モードＳ２２０で音声認識コマンドを受け付ける処理を行う。まず、音声認識モードＳ２２０のモード終了条件が成立しているか否かを判断し（Ｓ２２１）、予め定めた音声認識終了を表すキーワードの検出等のモード終了条件が成立していると判断した場合、待機モードＳ２１０に移る。モード終了条件が成立していない場合にはステップＳ２２２に進む。
【００５０】
ステップＳ２２２〜ステップＳ２２４で、それぞれステップＳ２１２〜ステップＳ２１４での処理と同じ処理を行い、話者音声が検出された場合にはステップＳ２２５に進み、そうでない場合にはステップＳ２２１に戻る。
【００５１】
ステップＳ２２４で話者音声が検出されたと判断された場合、音声認識コマンドや地名、機器の設定など、予め定められたキーワードの検出処理を行う（Ｓ２２５）。キーワードの検出処理は公知の音声認識を用いて行うものであれば良く、音声認識の詳細は本発明の本質ではないので省略する。キーワードの検出処理は、認識制御器１１０により制御され、ステップＳ２２３で、音声検出器１０８ａによって話者音声が検出された場合には、バッファ１１２に蓄積されたイコライザ１０６ａの出力を入力選択器１１１により選択する。また、音声検出器１０８ｂにおいて音声が検出された場合には、バッファ１１２に蓄積されたイコライザ１０６ｂの出力を入力選択器１１１により選択する。
【００５２】
ステップＳ２２５でキーワードの検出処理が行われたら、キーワードの検出処理の対象となった話者音声が予め決められたキーワードと一致するか否かの判断が音声認識部１１３によって行われ、キーワードと一致する場合、処理はステップＳ２２７に移り、一致しない場合、処理はステップＳ２２８に進む。
【００５３】
ステップＳ２２６でキーワードが検出されたと判断した場合には、車両に搭載された機器やネットワークで接続されたセンター等にキーワードに対応する信号（以下、対応信号という。）を出力または送信をし（Ｓ２２７）、ステップＳ２２１に戻る。キーワードが検出されないと判断した場合、処理はステップＳ２２８に移る。
【００５４】
ステップＳ２２８では、妨害話者の判定を行う。ステップＳ２２３で、音声検出器１０８ａと音声検出器１０８ｂのいずれにも音声が検出された場合には、複数の話者が発話しているためキーワードを検出できないものと判断し、処理は、ステップＳ２２９に進む。そうでない場合にはステップＳ２２１に戻る。
【００５５】
ステップＳ２２９では、ユーザに対し、複数の話者があるために音声認識が不可能である旨の情報を伝達する。情報の伝達手段は、モニタ等に文字や絵で表示する方法や音声により伝達する方法がある。本実施の形態では音声により伝達する方法をとり、ガイダンス出力部１１４より音声信号を出力し、アンプ１１５により増幅した後スピーカ１１６より出力する。伝達する音声の内容は、例えば、「音声認識を行いますのでドライバーの方以外はお静かに願います」等が考えられ、車両搭乗者に音声認識が出来ない原因を伝達できれば良い。このような情報を伝達することにより、他の話者がいることにより音声認識を失敗しても、情報伝達後に再度音声認識を行う際には音声認識を操作する話者のみが発話することが期待でき、音声認識が可能になる。ステップＳ２２９が終了するとステップＳ２２１に戻る。
【００５６】
以上説明したように、本発明の第１の実施の形態に係る音声認識装置は、複数の話者方向に指向性を持たせて話者音声を収音し、それぞれの指向性収音出力を用いて判定した音声検出結果を用いる会話検出器を設け、搭乗者相互の会話が行われている場合には、音声認識待機時におけるキーワード検出を行わないことにより、音声認識起動における誤検出を抑制することができる。
【００５７】
また、ガイダンス出力部を設けて会話を検出して音声認識を行わなかったことを出力できるようにしたため、操作性を向上することができる。
【００５８】
（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る音声認識装置のブロック構成を示す図である。図４において、本発明の第２の実施の形態に係る音声認識装置４００は、本発明の第１の実施の形態に係る音声認識装置１００同様、車両２００の室内で音声認識を行い、音声認識されたキーワードに対応する対応信号を外部に出力する構成となっており、話者が発話した話者音声を含む音声を収音して収音信号を生成する複数の収音手段（図４には、マイク１０１ａおよびアンプ１０２ａからなる収音手段と、マイク１０１ｂおよびアンプ１０２ｂからなる収音手段とが示されている。）と、各収音手段が収音した音声に複数話者の話者音声の候補が含まれる場合に、収音手段毎に一人の話者の話者音声の候補を強調する話者音声強調手段（図１に、話者音声強調部と示す。以下、話者音声強調部という。）４０３と、複数の収音手段が生成した収音信号間の相関値を収音信号間の遅延時間を変えて算出する相関算出手段（図１に、相関算出器と示す。以下、相関算出器という。）４０１と、収音信号間の相関値が最大となる遅延時間が予め決められた時間の範囲内にあるか否かに基づいて話者の居る方向を検出することによって話者を特定すると共に特定した話者の話者音声の候補中の話者音声を検出する話者方向検出手段（図１に、話者方向検出器と示す。以下、話者方向検出器という。）４０２と、話者方向検出器４０２が過去の一定時間内に複数話者の話者音声を検出したか否かを検出する会話検出手段（図１に、会話検出器と示す。以下、会話検出器という。）４０９と、話者方向検出器４０２が話者音声を検出したときに、検出した話者音声の音声認識を行い、音声認識で認識された言葉が予め決められたキーワードと一致するとき、所定の信号を出力する音声認識手段（図１に、音声認識部と示す。以下、音声認識部という。）１１３と、話者方向検出器４０２が過去の一定時間内に複数話者の話者音声を検出したことを会話検出部４０９が検出した場合、複数話者の話者音声が検出された一定時間内に発話された話者音声の音声認識を音声認識部１１３が行うことを抑制する認識制御手段（図１に、認識制御器と示す。以下、認識制御器という。）１１０とを含むように構成される。
【００５９】
本発明の第２の実施の形態に係る音声認識装置４００の構成手段のうち、本発明の第１の実施の形態に係る音声認識装置１００の構成手段と同様の構成手段には同一の符号を付し、その説明を省略する。本発明の第２の実施の形態に係る話者音声強調部４０３は、話者音声強調部４０３を構成する遅延器４０４ａ、４０４ｂの遅延時間を音声認識装置４００の動作中に設定できる点を除けば、本発明の第１の実施の形態の話者音声強調部１０３と同様の機能であるため、その説明を省略する。
【００６０】
音声認識装置４００は、図４に示すように、さらに、遅延器４０４ａ、４０４ｂの遅延時間を設定する遅延時間設定器４０８を有し、話者方向検出器４０２が検出した話者の方向に応じて遅延器４０４ａ、４０４ｂに設定されている時間を更新するようになっているのでもよい。
【００６１】
以下、本発明の第２の実施の形態に係る音声認識装置４００の動作について図５を用いて説明する。図５に示すように、音声認識装置４００は、本発明の第１の実施の形態に係る音声認識装置１００と同様に、待機モードと音声認識モードの２つのモードで動作するものとする。待機モードＳ５１０では、音声認識を開始するトリガとなるキーワードが発話されたことを検出するようになっており、音声認識開始ボタンを押すこと等の発話以外の手段または方法による音声認識開始の合図をユーザに要求することなく、発話のみで音声認識が開始できる。また、本発明の第１の実施の形態で説明した各ステップでの処理と同様の処理を行うステップについては、同一の番号を付し、その説明を省略する。
【００６２】
ステップＳ２１２で収音信号中の話者音声が強調された後、アンプ１０２ａの出力信号とアンプ１０２ｂの出力信号との間の相互相関関数が相関算出器４０１によって算出される（Ｓ５１３１）。相互相関関数の算出方法として、時間領域において、アンプ１０２ａの出力信号をアンプ１０２ｂの出力信号に対し、時間遅れ（タイムラグ）τだけずらし、ずらした信号と他の信号との相関係数を算出する方法がある。また、その他の相互相関関数の算出方法としては、公知のＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）等の方法によりアンプ１０２ａの出力信号とアンプ１０２ｂの出力信号を周波数領域に変換し、両者のクロススペクトルを算出した後、公知の逆ＦＦＴ等の方法により時間領域に戻すことにより算出する方法がある。この方法は演算量が少ないという特徴がある。
【００６３】
ステップＳ５１３１で相関関数が算出されたら、話者方向の検出を行うことによって話者を特定すると共に特定した話者の話者音声の候補中の話者音声を検出する（Ｓ５１３２）。話者方向の検出は、前記ステップＳ５１３１で算出された相互相関関数の最大値をとるタイムラグτが、予め定められた話者方向に相当する時間差の許容範囲内にあるかによって行われる。予め定めた許容範囲以内にある場合にその方向に話者がいると話者方向検出器４０２により判定される。なお、許容範囲としては、幾何学的に算出される話者方向±１０°〜３０°に相当する時間差を設定することが適当である。ここで、タイムラグτは、話者のいる方向を特定する情報とすることができる。
【００６４】
ステップＳ２１４で話者音声が検出された際のタイムラグの最大値（以下、相関時間という。）が予め設定されている相関時間と異なるとき、新たに検出された相関時間を話者方向検出器４０２を介して遅延器４０４ａ、４０４ｂに設定する（Ｓ５３０）。相関時間を話者方向検出器４０２に設定することは、話者方向の情報を設定することと同等である。この処理は、処理フレーム毎に実施する必要はなく、検出される話者方向の長時間平均値を用いて、処理フレーム長よりも長い適当な時間間隔で実施すれば良く、例えば、音声認識装置の終了時や起動時などにのみ実施する構成でも良い。また、この処理は、必ずしも必須ではないのでステップＳ５３０を省いた構成も可能である。
【００６５】
ステップＳ２２２で話者音声の候補を強調したら、ステップＳ５１３１での処理と同様にアンプ１０２ａの出力とアンプ１０２ｂの出力の間の相関関数を算出する（Ｓ５２３１）。ステップＳ５２３１で相関関数が算出されたら、ステップＳ５２３２での処理と同様に話者方向が検出される（Ｓ５１３２）。話者方向が検出されたら、ステップＳ２２４以上でのステップでの処理が本発明の第１の実施の形態で説明したようになされる。
【００６６】
以上説明したように、本発明の第２の実施の形態に係る音声認識装置は、複数のマイクを用いて収音した信号の相関を用いて話者方向を検出し、その話者方向を用いて搭乗者相互の会話が行われているか否かを判定し、搭乗者相互の会話が行われている場合には、音声認識待機時におけるキーワード検出を行わないことにより、音声認識起動における誤検出を抑制することができる。
【産業上の利用可能性】
【００６７】
本発明にかかる音声認識装置は、複数の話者がある場合の誤認識を削減できるという効果を有し、音声認識を行って車載機器等を操作する操作装置等として有用である。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施の形態に係る音声認識装置のブロック構成を示す概念図
【図２】本発明の第１の実施の形態に係る音声認識装置の動作を説明するためのフローチャート
【図３】本発明の第１の実施の形態に係る音声認識装置の話者音声強調動作を説明するためのフローチャート
【図４】本発明の第２の実施の形態に係る音声認識装置のブロック構成を示す概念図
【図５】本発明の第２の実施の形態に係る音声認識装置の動作を説明するためのフローチャート
【図６】従来の音声認識装置のブロック構成を示す概念図
【符号の説明】
【００６９】
１００、４００、６００  音声認識装置
１０１ａ、１０１ｂ、６０１ａ、６０１ｂ、６０１ｃ  マイク
１０２ａ、１０２ｂ、１１５、６０２ａ、６０２ｂ、６０２ｃ  アンプ
１０３、４０３  話者音声強調部
１０４ａ、１０４ｂ、４０４ａ、４０４ｂ  遅延器
１０５ａ、１０５ｂ  加算器
１０６ａ、１０６ｂ  イコライザ
１０７ａ、１０７ｂ  パワー算出器
１０８ａ、１０８ｂ  音声検出器
１０９、４０９  会話検出器
１１０  認識制御器
１１１  入力選択器
１１２  バッファ
１１３、６０６  音声認識部
１１４  ガイダンス出力部
１１６  スピーカ
２００  車両
４０１  相関算出器
４０２  話者方向検出器
４０８  遅延時間設定器
６０３ａ、６０３ｂ、６０３ｃ  フィルタ
６０４  コンパレータ
６０５  音声切替部
６０７  ＣＰＵ
【図１】
2005157086.tif 000003
【図２】
2005157086.tif 000004
【図３】
2005157086.tif 000005
【図４】
2005157086.tif 000006
【図５】
2005157086.tif 000007
【図６】
2005157086.tif 000008