(57)【特許請求の範囲】
【請求項１】
対象者の音声を含む音声信号から、前記音声信号において前記対象者が発話している確率を示す音声発話尤度を算出する音声発話尤度算出部と、
前記対象者を含む画像を示す画像信号から、前記画像信号において前記対象者が発話している確率を示す画像発話尤度を算出する画像発話尤度算出部と、
前記音声信号の信頼性を示す音声信頼性、及び、前記画像信号の信頼性を示す画像信頼性を判定する環境情報判定部と、
前記音声信頼性が高いほど前記音声発話尤度の重みを重くし、前記画像信頼性が高いほど前記画像発話尤度の重みを重くして、前記音声発話尤度及び前記画像発話尤度を用いて、前記音声信号及び前記画像信号において前記対象者が発話している確率を示す発話尤度を算出し、前記算出された発話尤度が予め定められた閾値以上となっている区間を、発話区間として検出する発話区間検出部と、
前記音声信号に対して、前記発話区間において音声認識を実行する音声認識部と、を備える情報処理装置であって、
前記情報処理装置は、車に搭載され、
前記環境情報判定部は、前記車の速度が速いほど、前記音声信頼性を低くし、前記車に搭乗している搭乗者の数が多いほど、前記画像信頼性を低くすること
を特徴とする情報処理装置。
【請求項２】
マイクロホンから入力された音声アナログ信号に対して、アナログ／デジタル変換を行うことにより音声デジタル信号を生成し、前記音声デジタル信号から、ノイズ成分を除去することにより前記音声信号を生成する音声信号処理部をさらに備えること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記環境情報判定部は、前記画像信号で示される前記画像から前記搭乗者の数を検出すること
を特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記環境情報判定部は、前記車の座席に設置されている体重計の検出値により、前記搭乗者の数を検出すること
を特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記発話区間検出部は、前記音声信頼性が高いほど重みが大きくなる音声重みを前記音声発話尤度に乗算した値と、前記画像信頼性が高いほど重みが大きくなる画像重みを前記画像発話尤度に乗算した値とを乗算することで、前記発話尤度を算出すること
を特徴とする請求項１から４の何れか一項に記載の情報処理装置。
【請求項６】
前記発話区間検出部は、前記音声信頼性が高いほど重みが大きくなる音声重みを前記音声発話尤度に乗算した値、前記画像信頼性が高いほど重みが大きくなる画像重みを前記画像発話尤度に乗算した値、及び、過去に算出された前記発話尤度を変数とする予め定められた関数から、前記発話尤度を算出すること
を特徴とする請求項１から４の何れか一項に記載の情報処理装置。
【請求項７】
コンピュータを、
対象者の音声を含む音声信号から、前記音声信号において前記対象者が発話している確率を示す音声発話尤度を算出する音声発話尤度算出部、
前記対象者を含む画像を示す画像信号から、前記画像信号において前記対象者が発話している確率を示す画像発話尤度を算出する画像発話尤度算出部、
前記音声信号の信頼性を示す音声信頼性、及び、前記画像信号の信頼性を示す画像信頼性を判定する環境情報判定部、
前記音声信頼性が高いほど前記音声発話尤度の重みを重くし、前記画像信頼性が高いほど前記画像発話尤度の重みを重くして、前記音声発話尤度及び前記画像発話尤度を用いて、前記音声信号及び前記画像信号において前記対象者が発話している確率を示す発話尤度を算出し、前記算出された発話尤度が予め定められた閾値以上となっている区間を、発話区間として検出する発話区間検出部、及び、
前記音声信号に対して、前記発話区間において音声認識を実行する音声認識部、として機能させるプログラムであって、
前記コンピュータは、車に搭載され、
前記環境情報判定部は、前記車の速度が速いほど、前記音声信頼性を低くし、前記車に搭乗している搭乗者の数が多いほど、前記画像信頼性を低くすること
を特徴とするプログラム。
【請求項８】
車に乗っている対象者の音声を含む音声信号から、前記音声信号において前記対象者が発話している確率を示す音声発話尤度を算出し、
前記対象者を含む画像を示す画像信号から、前記画像信号において前記対象者が発話している確率を示す画像発話尤度を算出し、
前記車の速度が早いほど、前記音声信号の信頼性を示す音声信頼性を低く判定し、及び、前記車に搭乗している搭乗者の数が多いほど、前記画像信号の信頼性を示す画像信頼性を低く判定し、
前記音声信頼性が高いほど前記音声発話尤度の重みを重くし、前記画像信頼性が高いほど前記画像発話尤度の重みを重くして、前記音声発話尤度及び前記画像発話尤度を用いて、前記音声信号及び前記画像信号において前記対象者が発話している確率を示す発話尤度を算出し、前記算出された発話尤度が予め定められた閾値以上となっている区間を、発話区間として検出し、
前記音声信号に対して、前記発話区間において音声認識を実行すること
を特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、プログラム及び情報処理方法に関する。
【背景技術】
【０００２】
複数の信号を入力として何らかの認識処理結果等を出力させる方式をマルチモーダルという。一般的に一つの信号のみを用いて処理を行うユニモーダルと比べてマルチモーダルはシステムとしての性能が高くなり、信号ノイズに対してロバストになる傾向がある。【０００３】
例えば、音響信号と、画像信号とを用いているシステムであれば、音響雑音が強い場合は、より画像信号を用いて認識するように処理することでロバストな認識結果を得ることができる。このような機構は適応型ノイズ抑圧と呼ばれる。【０００４】
従来の適応型ノイズ抑圧の手法には、例えば、特許文献１に記載されているように、汎用的なデータセットで学習したモデルに対して、使用する環境でのノイズを含む信号で誤認識が少なくなるように再学習させる手法がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１６９５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の手法は、例えば、既存の人検出技術を組み合わせ、「近辺に音響雑音となりうる人がいなければ画像信号は使用しない方が良い」等といった人間の事前知識を組み込んで、信号の信頼性を調整するような柔軟なシステム設計を行うのは困難である。【０００７】
そこで、本発明の１又は複数の態様は、信号の信頼性を判定することにより、よりノイズ環境下に強い信号処理を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１態様に係る情報処理装置は、対象者の音声を含む音声信号から、前記音声信号において前記対象者が発話している確率を示す音声発話尤度を算出する音声発話尤度算出部と、前記対象者を含む画像を示す画像信号から、前記画像信号において前記対象者が発話している確率を示す画像発話尤度を算出する画像発話尤度算出部と、前記音声信号の信頼性を示す音声信頼性、及び、前記画像信号の信頼性を示す画像信頼性を判定する環境情報判定部と、前記音声信頼性が高いほど前記音声発話尤度の重みを重くし、前記画像信頼性が高いほど前記画像発話尤度の重みを重くして、前記音声発話尤度及び前記画像発話尤度を用いて、前記音声信号及び前記画像信号において前記対象者が発話している確率を示す発話尤度を算出し、前記算出された発話尤度が予め定められた閾値以上となっている区間を、発話区間として検出する発話区間検出部と、前記音声信号に対して、前記発話区間において音声認識を実行する音声認識部と、を備える情報処理装置であって、前記情報処理装置は、車に搭載され、前記環境情報判定部は、前記車の速度が速いほど、前記音声信頼性を低くし、前記車に搭乗している搭乗者の数が多いほど、前記画像信頼性を低くすることを特徴とする。
【０００９】
本発明の１態様に係るプログラムは、コンピュータを、対象者の音声を含む音声信号から、前記音声信号において前記対象者が発話している確率を示す音声発話尤度を算出する音声発話尤度算出部、前記対象者を含む画像を示す画像信号から、前記画像信号において前記対象者が発話している確率を示す画像発話尤度を算出する画像発話尤度算出部、前記音声信号の信頼性を示す音声信頼性、及び、前記画像信号の信頼性を示す画像信頼性を判定する環境情報判定部、前記音声信頼性が高いほど前記音声発話尤度の重みを重くし、前記画像信頼性が高いほど前記画像発話尤度の重みを重くして、前記音声発話尤度及び前記画像発話尤度を用いて、前記音声信号及び前記画像信号において前記対象者が発話している確率を示す発話尤度を算出し、前記算出された発話尤度が予め定められた閾値以上となっている区間を、発話区間として検出する発話区間検出部、及び、前記音声信号に対して、前記発話区間において音声認識を実行する音声認識部、として機能させるプログラムであって、前記コンピュータは、車に搭載され、前記環境情報判定部は、前記車の速度が速いほど、前記音声信頼性を低くし、前記車に搭乗している搭乗者の数が多いほど、前記画像信頼性を低くすることを特徴とする。
【００１０】
本発明の１態様に係る情報処理方法は、車に乗っている対象者の音声を含む音声信号から、前記音声信号において前記対象者が発話している確率を示す音声発話尤度を算出し、前記対象者を含む画像を示す画像信号から、前記画像信号において前記対象者が発話している確率を示す画像発話尤度を算出し、前記車の速度が早いほど、前記音声信号の信頼性を示す音声信頼性を低く判定し、及び、前記車に搭乗している搭乗者の数が多いほど、前記画像信号の信頼性を示す画像信頼性を低く判定し、前記音声信頼性が高いほど前記音声発話尤度の重みを重くし、前記画像信頼性が高いほど前記画像発話尤度の重みを重くして、前記音声発話尤度及び前記画像発話尤度を用いて、前記音声信号及び前記画像信号において前記対象者が発話している確率を示す発話尤度を算出し、前記算出された発話尤度が予め定められた閾値以上となっている区間を、発話区間として検出し、前記音声信号に対して、前記発話区間において音声認識を実行することを特徴とする。
【発明の効果】
【００１１】
本発明の一態様によれば、信号の信頼性を判定することにより、よりノイズ環境下に強い信号処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係る音声認識装置の構成を概略的に示すブロック図である。
【図２】実施の形態に係る音声認識装置を含む、車載用の音声認識システムの概略図である。
【図３】環境情報判定部の構成を概略的に示すブロック図である。
【図４】一人の搭乗者の発話リストの一例を示す概略図である。
【図５】実施の形態に係る音声認識装置のハードウェア構成を概略的に示すブロック図である。
【図６】実施の形態に係る音声認識装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、実施の形態に係る情報処理装置である音声認識装置１００の構成を概略的に示すブロック図である。
音声認識装置１００は、インターフェース部（以下、Ｉ／Ｆ部という）１０１と、音声信号処理部１０２と、音声発話尤度算出部１０３と、画像発話尤度算出部１０４と、環境情報判定部１０５と、発話区間検出部１０８と、音声認識部１０９とを備える。
【００１４】
実施の形態に係る音声認識装置１００は、例えば、図２に示されているように、車載用の音声認識システム１２０に含まれる。
音声認識システム１２０は、音声認識装置１００と、集音装置としてのＮ個のマイクロホン１２１１、１２１２、・・・、１２１Ｎと、撮像装置としてのカメラ１２２と、車速計１２３とを備える。本実施の形態では、音声認識システム１２０は、搭乗者をモニタリングするためのカメラ１２２が搭載された車内環境における車載音声認識システムとなっている。
ここで、Ｎは、１以上の整数である。本実施の形態では、Ｎは、音声認識システム１２０が搭載されている車１３０に設けられている座席数Ｍ（Ｍは１以上の整数）以上の数となっている。図２の例では、Ｎ≧Ｍ、Ｍ＝４となっている。
マイクロホン１２１１、１２１２、・・・、１２１Ｎの各々を特に区別する必要がない場合には、マイクロホン１２１という。
【００１５】
マイクロホン１２１は、車１３０内の音声を示すアナログ信号である音声アナログ信号を生成する。
本実施の形態においては、１つのマイクロホン１２１は、無指向性のマイクロホンであり、Ｎ個のマイクロホン１２１１、１２１２、・・・、１２１Ｎを一定間隔に配置することにより、アレイマイクが構成されているものとする。そして、Ｎ個のマイクロホン１２１１、１２１２、・・・、１２１Ｎにより、車１３０のＭ人の搭乗者の音声を取得したＮ個の音声アナログ信号Ｓ１、Ｓ２、・・・、ＳＮが取得される。言い換えると、音声アナログ信号Ｓ１、Ｓ２、・・・、ＳＮは、マイクロホン１２１１、１２１２、・・・、１２１Ｎと一対一に対応する。
【００１６】
なお、マイクロホン１２１の構成は、このような例に限定されない。マイクロホン１２１は、車１３０の搭乗者の音声を示す音声信号を生成することができれば、どのような構成であってもよい。例えば、１つのマイクロホンを指向性のマイクロホンとして、Ｎ個のマイクロホン１２１１、１２１２、・・・、１２１Ｎが、車１３０の座席の前に配置されてもよい。また、マイクロホン１２１の設置場所は、座席に着座する全ての搭乗者の音声を取得できる場所であれば、どの場所でもよい。
【００１７】
カメラ１２２は、搭乗者をモニタリングするために、車１３０内の画像を示す画像信号Ｖを生成する。
カメラ１２２は、車１３０内の搭乗者の顔が撮影されるような画角を有する向きに設置されている。カメラ１２２は、可視光カメラでもよく、赤外線カメラでもよい。カメラ１２２として赤外線カメラが使用される場合には、付近に設置された発光ダイオード（図示せず）から、搭乗者に赤外線を照射し、その反射光を観測するタイプのアクティブ型であってもよい。
なお、全搭乗者の顔を撮像するために、複数のカメラ１２２が車１３０内に設置されていてもよい。
【００１８】
車速計１２３は、車１３０の走行速度を計測する計測器であり、車１３０の走行速度を示す速度情報Ｃを生成する。例えば、車速計１２３は、ドアメーター等の車載モジュールが接続されたＣＡＮバスと呼ばれる通信線を通じて、車１３０の運行を制御するシステムから車速を取得することができる。
【００１９】
図１に戻り、Ｉ／Ｆ部１０１は、マイクロホン１２１から音声アナログ信号Ｓ１〜ＳＮ、カメラ１２２から画像信号Ｖ、及び、車速計１２３から速度情報Ｃの入力を受け付ける。そして、Ｉ／Ｆ部１０１は、マイクロホン１２１からの音声アナログ信号Ｓ１〜ＳＮを音声信号処理部１０２に与え、カメラ１２２からの画像信号Ｖを画像発話尤度算出部１０４及び環境情報判定部１０５に与え、車速計１２３からの速度情報Ｃを環境情報判定部１０５に与える。
【００２０】
音声信号処理部１０２は、マイクロホン１２１により出力された音声アナログ信号Ｓ１〜ＳＮのそれぞれに対して、アナログ／デジタル変換（以下「Ａ／Ｄ変換」を行うことで、音声デジタル信号を生成する。そして、音声信号処理部１０２は、音声デジタル信号に対して、音声認識を行う対象となる搭乗者の発話音声を強調する処理である音声信号処理を行うことで、音声信号ＳＳ１〜ＳＳＭを生成する。
【００２１】
なお、以下では、Ｍ人の搭乗者のうち、音声認識を行う対象となる搭乗者を、対象者とする。
また、１〜Ｍの整数の各々は、１つの座席に対応付けられているものとする。「１」の下付き文字が付された要素、例えば、音声信号ＳＳ１は、「１」で識別される座席に対応付けられているものとする。このため、音声信号ＳＳ１は、「１」で識別される座席の搭乗者に対応付けられているともいえる。なお、符号ｉは、１以上、Ｍ以下の任意の整数とする。
【００２２】
音声信号処理部１０２は、Ｎ個の音声デジタル信号の各々に含まれている成分のうち、対象者が発話した音声と異なる音声に対応する成分（以下「ノイズ成分」という。）を除去する。また、後段の音声認識部１０９で、Ｍ人の搭乗者の各々を対象者として、独立して音声認識を実行できるように、Ｍ個の音声認識対象座席の各々に着座したＭ人の搭乗者の各々の音声のみを、それぞれ抽出したＭ個の音声信号ＳＳ１〜ＳＳＭを生成する。そして、音声信号処理部１０２は、生成された音声信号ＳＳ１〜ＳＳＭを、音声発話尤度算出部１０３、環境情報判定部１０５及び音声認識部１０９に与える。
【００２３】
ノイズ成分は、例えば、車１３０の走行により発生した騒音に対応する成分、及び、対象者以外の搭乗者により発話された音声に対応する成分等を含むものである。音声信号処理部１０２におけるノイズ成分の除去には、ビームフォーミング法、バイナリマスキング法、又は、スペクトルサブトラクション法等の公知の種々の方法を用いることができる。このため、音声信号処理部１０２におけるノイズ成分の除去についての詳細な説明は省略する。
【００２４】
なお、音声信号処理部１０２は、独立成分分析等のブラインド音声分離技術を利用することで、Ｎ個の音声デジタル信号からＭ個の音声信号ＳＳ１〜ＳＳＭを分離してもよい。但し、このブラインド音声分離技術を利用する場合は、搭乗者数に対応する音源数が必要となるため、例えば、画像発話尤度算出部１０４が、カメラ１２２から得られる画像信号Ｖで示される画像から搭乗者数を検知して、音声信号処理部１０２に伝える必要がある。なお、画像信号Ｖが音声信号処理部１０２に入力されて、音声信号処理部１０２が搭乗者数を検知してもよい。
【００２５】
音声発話尤度算出部１０３は、音声認識の前処理として発話区間検出を行うために、音声信号ＳＳ１〜ＳＳＭのそれぞれから、音声信号ＳＳ１〜ＳＳＭのそれぞれにおいて対象者が発話している確率を示す音声発話尤度を算出する。音声発話尤度は、音声に基づく発話らしさを示す確率でもある。
【００２６】
音声発話尤度の算出方法は、過去様々な手法が提案されてきた。例えば、発話時と非発話時のＳＴＦＴ（Ｓｈｏｒｔ−Ｔｉｍｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）スペクトル及びＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）係数を、それぞれＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）で学習し、音声信号を各ＧＭＭへ入力した際の、音響の対数尤度Ｓｃｏｒｅを音声発話尤度とする方法等がある。音声発話尤度算出部１０３は、Ｍ人の搭乗者のそれぞれに対応する音声信号ＳＳ１〜ＳＳＭから、Ｍ人の搭乗者のそれぞれに対応する音声発話尤度ＡＦ１〜ＡＦＭを算出する。算出された音声発話尤度ＡＦ１〜ＡＦＭは、発話区間検出部１０８に与えられる。
【００２７】
画像発話尤度算出部１０４は、音声発話尤度算出部１０３と同じように発話区間検出を行うために、画像信号Ｖにおいて対象者が発話している確率を示す画像発話尤度を、その画像信号Ｖから算出する。画像発話尤度は、画像に基づく発話らしさを示す確率でもある。
【００２８】
画像発話尤度の算出方法は、例えば、顔パーツ辞書の勾配ベクトルの分布を学習し、複数の学習モデルを組み合わせて口の開き具合を算出した開口度を、画像発話尤度とする方法等がある。なお、画像発話尤度算出部１０４も、Ｍ人の搭乗者のそれぞれに対応する画像発話尤度ＶＦ１〜ＶＦＭを生成する。そして、画像発話尤度算出部１０４は、生成された画像発話尤度ＶＦ１〜ＶＦＭを、発話区間検出部１０８に与える。
【００２９】
環境情報判定部１０５は、音声信号処理部１０２から受け取った、搭乗者の発話が強調された音声信号ＳＳ１〜ＳＳＭ、カメラ１２２から受け取った画像信号Ｖ、及び、車速計１２３から受け取った速度情報Ｃから、音声信号ＳＳ１〜ＳＳＭの信頼性Ｘ１〜ＸＭ（以下、音声信頼性ともいう）及び画像信号Ｖの信頼性Ｙ１〜ＹＭ（以下、画像信頼性ともいう）を算出する。
【００３０】
図３は、環境情報判定部１０５の構成を概略的に示すブロック図である。
環境情報判定部１０５は、搭乗者有無判定部１０６と、信頼性判定部１０７とを備える。
【００３１】
搭乗者有無判定部１０６は、画像信号Ｖで示される画像から、車１３０に設けられている座席毎に人の有無を判定し、その座席毎に人の有無を示すバイナリ信号である搭乗者有無判定結果信号Ｅ１〜ＥＭを生成する。搭乗者有無判定部１０６は、人の有無の判定結果を示すバイナリ信号である搭乗者有無判定結果信号Ｅ１〜ＥＭを信頼性判定部１０７に与える。
【００３２】
人の有無を判定する手段は、人検出アルゴリズムとして過去多数提案されており、それら既存技術を用いることができる。搭乗者有無判定部１０６は、画像信号Ｖの代わりに、座席に設けられた体重計（図示せず）で検出された検出値である体重を示す体重情報を受け取り、その体重情報に基づいて、各座席に搭乗者が存在しているかを判断してもよい。
【００３３】
信頼性判定部１０７は、搭乗者有無判定部１０６からの搭乗者有無判定結果信号Ｅ１〜ＥＭ、車速計１２３からの速度情報Ｃ、及び、音声信号処理部１０２からの音声信号ＳＳ１〜ＳＳＭを受け取り、音声信号ＳＳ１〜ＳＳＭ及び画像信号Ｖのそれぞれの信頼性Ｘ１〜ＸＭ、Ｙ１〜ＹＭを算出する。
【００３４】
ここで、信頼性Ｘ１〜ＸＭは、音声信号ＳＳ１〜ＳＳＭに対する信頼性、信頼性Ｙ１〜ＹＭは、画像信号Ｖに対する信頼性を表すパラメータである。
各信号の信頼性Ｘ１〜ＸＭ、Ｙ１〜ＹＭは、例えば以下のような算出方式が考えられる。
【００３５】
時刻ｔの音声信号ＳＳ１〜ＳＳＭの信頼性Ｘ１，ｔ〜ＸＭ，ｔは、車が速度を上げるほど音声に雑音が入り込みやすくなっていくことを考慮し、信頼性判定部１０７は、車の速度が速いほど、信頼性Ｘ１，ｔ〜ＸＭ，ｔを低くする。例えば、時刻ｔの車速計の値Ｃｔに負の指数関数として比例すると仮定した場合、以下の（１）式により、信頼性Ｘ１，ｔ〜ＸＭ，ｔを算出することができる。
【数１】
0006833147.tif 000002
【００３６】
また、対象となる搭乗者以外の搭乗者がいれば、当然、認識対象ではない発話が増え、音声信号ＳＳ１〜ＳＳＭの信頼性が下がり、相対的に画像信号Ｖの信頼性はあがると考えられる。このため、信頼性判定部１０７は、車１３０に搭乗している搭乗者の数が多いほど、信頼性Ｙ１，ｔ〜ＹＭ，ｔを低くする。例えば、信頼性判定部１０７は、下記に示されている（２）式及び（３）式により、信頼性Ｙ１，ｔ〜ＹＭ，ｔを算出する。
【数２】
0006833147.tif 000003
【数３】
0006833147.tif 000004
但し、ｊは、搭乗者の各々を識別する識別番号であり、ここでは、ｊ＝１，２，・・・，Ｍである。また、δ（ｉ≠ｊ）は、搭乗者ｉと搭乗者ｊとが異なる場合のみ１になる関数である。
【００３７】
図１に戻り、発話区間検出部１０８は、音声発話尤度ＡＦ１〜ＡＦＭ、画像発話尤度ＶＦ１〜ＶＦＭ、信頼性Ｘ１〜ＸＭ、及び、信頼性Ｙ１〜ＹＭから、対象者毎に、発話が行われている区間の時刻を推定し、対象者毎に発話が行われている区間の時刻を示す区間情報である発話リストを生成する。例えば、発話区間検出部１０８は、対応する信頼性Ｘｉが高いほど対応する音声発話尤度ＡＦｉの重みを重くし、対応する画像信頼性Ｙｉが高いほど対応する画像発話尤度ＶＦｉの重みを重くして、対応する音声発話尤度ＡＦｉ及び対応する画像発話尤度ＶＦｉを用いて、対応する音声信号ＳＳｉ及び画像信号Ｖにおいて対象者が発話している確率を示す発話尤度を算出し、算出された発話尤度が予め定められた閾値以上となっている区間を、発話区間として検出する。そして、発話区間検出部１０８は、生成された区間情報を音声認識部１０９に与える。
【００３８】
発話が行われている区間の時刻の推定は、以下のように行われる。
まず、発話区間検出部１０８は、下記の（４）式及び（５）式に示されているソフトマックス関数に従って、搭乗者ｉ及び時刻ｔにおける信頼性Ｘｉ，ｔ，Ｙｉ，ｔから、搭乗者ｉ及び時刻ｔにおける各信号への重みＷｉ，tＡ及び重みＷｉ，tＶを算出する。Ｗｉ，tＡは、音声信号ＳＳｉの重みとしての音声重み、Ｗｉ，tＶは、画像信号Ｖの重みとしての画像重みである。
【数４】
0006833147.tif 000005
【数５】
0006833147.tif 000006
【００３９】
次に、発話区間検出部１０８は、最終的な発話尤度Ｓ（ｉ，ｔ）を算出する。発話尤度Ｓ（ｉ，ｔ）は、時刻ｔにおいて、搭乗者ｉが発話している確率である。発話尤度Ｓ（ｉ，ｔ）は、下記の（６）式のように、時刻ｔの音声発話尤度ＡＦｉ，ｔ及び画像発話尤度ＶＦｉ，ｔに重みを乗算した値から求まるものとする。
【数６】
0006833147.tif 000007
（６）式によれば、音声信頼性が高いほど重みが大きくなる音声重みを音声発話尤度に乗算した値と、画像信頼性が高いほど重みが大きくなる画像重みを画像発話尤度に乗算した値とを乗算することで、発話尤度が算出される。
【００４０】
発話区間検出部１０８は、こうして算出された発話尤度Ｓ（ｉ，ｔ）に対して、予め定められた閾値以上の区間を発話している区間として検出することにより、搭乗者毎の発話リストＵ１〜ＵＭを生成することができる。
図４は、一人の搭乗者の発話リストＵの一例を示す概略図である。
発話リストＵ＃は、発話区間列Ｕ＃１と、始端時刻列Ｕ＃２と、終端時刻列Ｕ＃３とを備えるテーブル情報である。
発話区間列Ｕ＃１は、検出された発話区間を識別するための発話区間識別情報を格納する。
始端時刻列Ｕ＃２は、検出された発話区間の開始時刻を示す。
終端時刻列Ｕ＃３は、検出された発話区間の終了時刻を示す。
【００４１】
発話区間検出部１０８が最終的な発話尤度Ｓ（ｉ，ｔ）を算出する方法については、上記の（６）式に限定されない。例えば、発話尤度Ｓ（ｉ，ｔ）を過去の状態列、音声発話尤度及び画像発話尤度に重みを乗算した値、並びに、状態遷移テーブルσから求まるものとした場合、発話区間検出部１０８は、下記の（７）式により、発話尤度Ｓ（ｉ，ｔ）を算出することができる。
【数７】
0006833147.tif 000008
但し、状態遷移テーブルσは、過去の状態遷移列と、現在の音声発話尤度及び画像発話尤度とから一意な状態を返す関数であるものとする。
このため、（７）式によれば、音声信頼性が高いほど重みが大きくなる音声重みを音声発話尤度に乗算した値、画像信頼性が高いほど重みが大きくなる画像重みを画像発話尤度に乗算した値、及び、過去に算出された発話尤度を変数とする予め定められた関数から、発話尤度が算出されることになる。
【００４２】
音声認識部１０９は、対象者毎に、対応する音声信号ＳＳ１〜ＳＳＭに対して、対応する発話リストＵ１〜ＵＭで示される発話区間において、音声認識を実行する。音声認識は、例えば、音声認識用の特徴量を抽出し、抽出された特徴量を用いることで行われる。
【００４３】
音声認識処理には、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）等の公知の種々の音響モデルを用いることができる。なお、音声認識部１０９は、各搭乗者を対象者として、独立して音声認識を実行し、搭乗者毎に、発話区間を検出した音声認識結果と音声認識結果の信頼度（以下、音声認識スコアという）とを出力する。
なお、音声認識スコアは、音響モデルの出力確率と言語モデルの出力確率との双方を考慮した値でもよいし、音響モデルの出力確率のみの音響スコアであってもよい。
【００４４】
なお、音声認識装置１００の構成要素は、ネットワーク上のサーバ、スマートフォン等の携帯端末、又は、車載器に分散されてもよい。
【００４５】
図５は、実施の形態に係る音声認識装置１００のハードウェア構成を概略的に示すブロック図である。
音声認識装置１００のハードウェアは、メモリ１５０と、プロセッサ１５１と、音声インターフェース（以下、音声Ｉ／Ｆという）１５２と、画像インターフェース（以下、画像Ｉ／Ｆという）１５３と、車状態インターフェース（以下、車状態Ｉ／Ｆという）１５４と、ネットワークインターフェース（以下、ネットワークＩ／Ｆという）１５５とを備えるコンピュータで実現できる。
【００４６】
メモリ１５０は、音声信号処理部１０２、音声発話尤度算出部１０３、画像発話尤度算出部１０４、環境情報判定部１０５、発話区間検出部１０８及び音声認識部１０９として機能するプログラムが記憶されている。メモリ１５０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の半導体メモリ、又は、磁気ディスク、光ディスク若しくは光磁気ディスク等を用いた記憶装置である。
【００４７】
プロセッサ１５１は、メモリ１５０からの音声信号処理部１０２、音声発話尤度算出部１０３、環境情報判定部１０５、画像発話尤度算出部１０４、発話区間検出部１０８及び音声認識部１０９として機能するプログラムを読み出し、そのプログラムを実行する。プロセッサ１５１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等である。
【００４８】
音声Ｉ／Ｆ１５２は、マイクロホン１２１からの音声アナログ信号Ｓ１〜ＳＭをマルチチャネルで受けとるための音声入力インターフェースである。また、音声認識結果として、車又はエアコンを搭乗員と対話的に制御するための自然言語をスピーカー（図示せず）から出力する場合には、音声Ｉ／Ｆ１５２は、音声出力インターフェースとしても機能する。スピーカーによる出力を必要としない構成となっていれば、音声出力インターフェースとしての機能は不要である。
【００４９】
画像Ｉ／Ｆ１５３は、カメラ１２２からの画像信号Ｖを受け取るための画像入力インターフェースである。また、音声認識部１０９の最終的な音声認識結果を受けて搭乗員に必要な情報をモニタ等の表示装置（図示せず）を使ってテキスト又は画像表示で通知する場合には、画像Ｉ／Ｆ１５３は、画像出力インターフェースとしても機能する。表示装置での表示を必要としない構成となっていれば、画像出力インターフェースとしての機能は不要である。
【００５０】
車状態Ｉ／Ｆ１５４は、車速計１２３が測定した速度情報Ｃを受け取るための入力インターフェースである。また、車状態Ｉ／Ｆ１５４は、車速に限らずドアの開閉状態等の車の現在の状態に関する情報を取得することもできる。
【００５１】
ネットワークＩ／Ｆ１５５は、音声認識部１０９を使用する代わりにインターネットのクラウド上で公開されている音声認識サービスを利用して音声認識を実行する際に、通信するためのインターフェースである。また、ネットワークＩ／Ｆ１５５は、コネクテッドカーとして近辺の車とＰ２Ｐ（Ｐｅｅｒ  ｔｏ  Ｐｅａｒ）通信を行ったり、基地局と通信しナビゲーションを実行したりするため等に利用するインターフェースでもある。ネットワークＩ／Ｆ１５５は、通信を必要としない構成となっていれば、不要である。
【００５２】
図１に示されているＩ／Ｆ部１０１は、音声Ｉ／Ｆ１５２、画像Ｉ／Ｆ１５３、車状態Ｉ／Ｆ１５４又はネットワークＩ／Ｆ１５５により実現することができる。
【００５３】
なお、図５において、メモリ１５０は、音声認識装置１００の内部に配置されているが、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ等の外部メモリを接続して、プログラム又はデータを読み込むように構成してもよい。また、装置内のメモリ及び外部メモリを共に使用する構成としてもよい。
【００５４】
図６は、実施の形態に係る音声認識装置１００の動作の流れを示すフローチャートである。
まず、音声信号処理部１０２は、マイクロホン１２１からの音声アナログ信号Ｓ１〜ＳＮに対して、Ａ／Ｄ変換を行うことで、音声デジタル信号を生成し、その音声デジタル信号に対して、音声を取得する対象者の発話音声を強調して、音声信号ＳＳ１〜ＳＳＭを生成する（Ｓ１０）。例えば、車１３０内に運転席、助手席、後席左、後席右に４人の搭乗者が着座しており、その全ての座席が音声認識対象座席であるとすると、音声信号処理部１０２は、これら４つの方向からの音声をそれぞれ強調する。音声信号処理部１０２は、音声信号ＳＳ１〜ＳＳＭを音声発話尤度算出部１０３、環境情報判定部１０５及び音声認識部１０９に与える。
【００５５】
次に、音声発話尤度算出部１０３は、音声信号ＳＳ１〜ＳＳＭのそれぞれから音声発話尤度ＡＦ１〜ＡＦＭを算出する（Ｓ１１）。
次に、画像発話尤度算出部１０４は、画像信号Ｖで示される画像から画像発話尤度ＶＦ１〜ＶＦＭを算出する（Ｓ１２）。
【００５６】
次に、環境情報判定部１０５は、音声信号処理部１０２から受け取った、搭乗者の発話が強調された音声信号ＳＳ１〜ＳＳＭ、カメラ１２２から受け取った画像信号Ｖ、及び、車速計１２３から受け取った速度情報Ｃから、音声信号ＳＳ１〜ＳＳＭの音声信頼性Ｘ１〜ＸＭ及び画像信号Ｖの画像信頼性Ｙ１〜ＹＭを算出する（Ｓ１３）。
【００５７】
次に、発話区間検出部１０８は、音声発話尤度ＡＦ１〜ＡＦＭ、画像発話尤度ＶＦ１〜ＶＦＭ、音声信頼性Ｘ１〜ＸＭ及び画像信頼性Ｙ１〜ＹＭから、搭乗者毎に、発話が行われている区間の時刻を推定し、搭乗者毎に発話が行われている発話区間を検出する（Ｓ１４）。そして、発話区間検出部１０８は、検出された発話区間の開始時刻と終了時刻とを含む発話リストＵ１〜ＵＭを音声認識部１０９に与える。
【００５８】
音声認識部１０９は、対象者に対応する音声信号ＳＳｉに対して、対象者に対応する発話リストＵｉで示される発話区間において、音声認識用の特徴量を抽出し、抽出された特徴量を用いて音声認識を実行する（Ｓ１５）。そして、音声認識部１０９は、音声認識結果を出力する。
【００５９】
以上のように、本実施の形態によれば、信号の信頼性を判定することにより、よりノイズ環境下に強い信号処理を行うことができる。
【００６０】
以上に記載された音声認識装置１００は、ナビゲーションシステム、運転者用のメータディスプレイも含む統合コックピットシステム、ＰＣ、タブレットＰＣ、又は、スマートフォン等の携帯情報端末に適用することができる。
【符号の説明】
【００６１】
１００  音声認識装置、  １０１  Ｉ／Ｆ部、  １０２  音声信号処理部、  １０３  音声発話尤度算出部、  １０４  画像発話尤度算出部、  １０５  環境情報判定部、  １０６  搭乗者有無判定部、  １０７  信頼性判定部、  １０８  発話区間検出部、  １０９  音声認識部、  １２０  音声認識システム、  １２１  マイクロホン、  １２２  カメラ、  １２３  車速計、  １３０  車。
【図１】
0006833147.tif 000009
【図２】
0006833147.tif 000010
【図３】
0006833147.tif 000011
【図４】
0006833147.tif 000012
【図５】
0006833147.tif 000013
【図６】
0006833147.tif 000014