(57)【特許請求の範囲】
【請求項１】
車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離する音声信号処理部と、
前記音声信号処理部により分離された前記搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出する音声認識部と、
前記搭乗者ごとの音声認識スコアを用いて、前記搭乗者ごとの音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定するスコア利用判定部と、
前記複数人の搭乗者が撮像された画像を用いて前記搭乗者ごとの顔の特徴量を算出する画像解析部と、
前記搭乗者ごとの発話音声の始端時刻から終端時刻までの顔の特徴量を用いて、前記搭乗者ごとに発話しているか否かを判定する画像利用判定部とを備え、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の音声認識結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコアを用いて、前記２人以上の搭乗者ごとの同一の音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定する
ことを特徴とする音声認識装置。
【請求項２】
前記画像利用判定部は、前記搭乗者ごとの顔の特徴量を用いて、前記搭乗者ごとの発話区間を判定し、
前記音声認識部は、前記画像利用判定部により発話区間が無いと判定された搭乗者の発話音声を音声認識しないことを特徴とする請求項１記載の音声認識装置。
【請求項３】
音声認識結果と実行すべき機能との対応関係を定義した対話管理データベースと、
前記対話管理データベースを参照して、前記スコア利用判定部により採用された音声認識結果に対応する機能を決定する応答決定部とを備えることを特徴とする請求項１記載の音声認識装置。
【請求項４】
前記画像利用判定部は、前記搭乗者ごとに、発話しているか否かの判定の信頼度を示す判定スコアを算出し、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の音声認識結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコア及び判定スコアの少なくとも一方を用いて音声認識結果を採用するか否かを判定することを特徴とする請求項１記載の音声認識装置。
【請求項５】
車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離する音声信号処理部と、
前記音声信号処理部により分離された前記搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出する音声認識部と、
前記搭乗者ごとの音声認識結果を用いて、前記搭乗者ごとの発話の意図を理解すると共に意図理解スコアを算出する意図理解部と、
前記搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて、前記搭乗者ごとの意図理解結果のうち、どの搭乗者に対応する意図理解結果を採用するかを判定するスコア利用判定部と、
前記複数人の搭乗者が撮像された画像を用いて前記搭乗者ごとの顔の特徴量を算出する画像解析部と、
前記搭乗者ごとの発話音声の始端時刻から終端時刻までの顔の特徴量を用いて、前記搭乗者ごとに発話しているか否かを判定する画像利用判定部とを備え、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の意図理解結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて、前記２人以上の搭乗者に対応する意図理解結果のうち、どの搭乗者に対応する意図理解結果を採用するかを判定する
ことを特徴とする音声認識装置。
【請求項６】
前記画像利用判定部は、前記搭乗者ごとの顔の特徴量を用いて、前記搭乗者ごとの発話区間を判定し、
前記音声認識部は、前記画像利用判定部により発話区間が無いと判定された搭乗者の発話音声を音声認識せず、
前記意図理解部は、前記画像利用判定部により発話区間が無いと判定された搭乗者の発話の意図を理解しないことを特徴とする請求項５記載の音声認識装置。
【請求項７】
意図理解結果と実行すべき機能との対応関係を定義した対話管理データベースと、
前記対話管理データベースを参照して、前記スコア利用判定部により採用された意図理解結果に対応する機能を決定する応答決定部とを備えることを特徴とする請求項５記載の音声認識装置。
【請求項８】
前記画像利用判定部は、前記搭乗者ごとに、発話しているか否かの判定の信頼度を示す判定スコアを算出し、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の意図理解結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方に加えて判定スコアを用いて意図理解結果を採用するか否かを判定することを特徴とする請求項５記載の音声認識装置。
【請求項９】
車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離する音声信号処理部と、
前記音声信号処理部により分離された前記搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出する音声認識部と、
前記搭乗者ごとの音声認識スコアを用いて、前記搭乗者ごとの音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定するスコア利用判定部と、
前記複数人の搭乗者が撮像された画像を用いて前記搭乗者ごとの顔の特徴量を算出する画像解析部と、
前記搭乗者ごとの発話音声の始端時刻から終端時刻までの顔の特徴量を用いて、前記搭乗者ごとに発話しているか否かを判定する画像利用判定部とを備え、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の音声認識結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコアを用いて、前記２人以上の搭乗者ごとの同一の音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定する
ことを特徴とする音声認識システム。
【請求項１０】
音声信号処理部が、車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離し、
音声認識部が、前記音声信号処理部により分離された前記搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出し、
スコア利用判定部が、前記搭乗者ごとの音声認識スコアを用いて、前記搭乗者ごとの音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定し、
画像解析部が、前記複数人の搭乗者が撮像された画像を用いて前記搭乗者ごとの顔の特徴量を算出し、
画像利用判定部が、前記搭乗者ごとの発話音声の始端時刻から終端時刻までの顔の特徴量を用いて、前記搭乗者ごとに発話しているか否かを判定し、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の音声認識結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコアを用いて、前記２人以上の搭乗者ごとの同一の音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定する
ことを特徴とする音声認識方法。
【請求項１１】
車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離する音声信号処理部と、
前記音声信号処理部により分離された前記搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出する音声認識部と、
前記搭乗者ごとの音声認識結果を用いて、前記搭乗者ごとの発話の意図を理解すると共に意図理解スコアを算出する意図理解部と、
前記搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて、前記搭乗者ごとの意図理解結果のうち、どの搭乗者に対応する意図理解結果を採用するかを判定するスコア利用判定部と、
前記複数人の搭乗者が撮像された画像を用いて前記搭乗者ごとの顔の特徴量を算出する画像解析部と、
前記搭乗者ごとの発話音声の始端時刻から終端時刻までの顔の特徴量を用いて、前記搭乗者ごとに発話しているか否かを判定する画像利用判定部とを備え、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の意図理解結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて、前記２人以上の搭乗者に対応する意図理解結果のうち、どの搭乗者に対応する意図理解結果を採用するかを判定する
ことを特徴とする音声認識システム。
【請求項１２】
音声信号処理部が、車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離し、
音声認識部が、前記音声信号処理部により分離された前記搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出し、
意図理解部が、前記搭乗者ごとの音声認識結果を用いて、前記搭乗者ごとの発話の意図を理解すると共に意図理解スコアを算出し、
スコア利用判定部が、前記搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて、前記搭乗者ごとの意図理解結果のうち、どの搭乗者に対応する意図理解結果を採用するかを判定し、
画像解析部が、前記複数人の搭乗者が撮像された画像を用いて前記搭乗者ごとの顔の特徴量を算出し、
画像利用判定部が、前記搭乗者ごとの発話音声の始端時刻から終端時刻までの顔の特徴量を用いて、前記搭乗者ごとに発話しているか否かを判定し、
前記スコア利用判定部は、前記画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の意図理解結果が存在する場合、前記２人以上の搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて、前記２人以上の搭乗者に対応する意図理解結果のうち、どの搭乗者に対応する意図理解結果を採用するかを判定する
ことを特徴とする音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識装置、音声認識システム、及び音声認識方法に関するものである。
【背景技術】
【０００２】
従来、車両内の情報機器を音声で操作する音声認識装置が開発されている。以下、車両における音声認識の対象となる座席を「音声認識対象座席」という。また、音声認識対象座席に着座している搭乗者のうちの操作用の音声を発話した搭乗者を「発話者」という。また、音声認識装置に向けた発話者の音声を「発話音声」という。【０００３】
車両内には乗員同士の会話、車両走行騒音、又は車載機器のガイダンス音声等、様々な騒音が生じ得ることから、音声認識装置は、当該騒音によって発話音声を誤認識する場合があった。そこで、特許文献１に記載された音声認識装置は、音データに基づいて音声入力開始時刻と音声入力終了時刻とを検出し、搭乗者を撮像した画像データに基づいて音声入力開始時刻から音声入力終了時刻までの期間が搭乗者が発話している発話区間であるか否かを判断する。これにより、上記音声認識装置は、搭乗者が発話していない音声に対する誤認識を抑制する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９９５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、上記特許文献１に記載された音声認識装置を、複数人の搭乗者が存在する車両に適用した例を想定する。この例において、ある搭乗者が発話している区間において別の搭乗者があくび等して発話に近い口の動きをしていた場合、上記音声認識装置は、あくび等した当該別の搭乗者は発話していないにも関わらず発話していると誤判断し、上記ある搭乗者の発話音声を当該別の搭乗者の発話音声であるものとして誤認識してしまう場合があった。このように、車両に搭乗している複数人の搭乗者が発する音声を認識する音声認識装置では、特許文献１のように音データとカメラの撮像画像とを用いたとしても、誤認識が発生するという課題があった。【０００６】
この発明は、上記のような課題を解決するためになされたもので、複数の搭乗者が利用する音声認識装置において他搭乗者が発話した音声に対する誤認識を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る音声認識装置は、車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離する音声信号処理部と、音声信号処理部により分離された搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出する音声認識部と、搭乗者ごとの音声認識スコアを用いて、搭乗者ごとの音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定するスコア利用判定部と、複数人の搭乗者が撮像された画像を用いて搭乗者ごとの顔の特徴量を算出する画像解析部と、搭乗者ごとの発話音声の始端時刻から終端時刻までの顔の特徴量を用いて、搭乗者ごとに発話しているか否かを判定する画像利用判定部とを備え、スコア利用判定部は、画像利用判定部により発話していると判定された２人以上の搭乗者に対応する同一の音声認識結果が存在する場合、２人以上の搭乗者ごとの音声認識スコアを用いて、２人以上の搭乗者ごとの同一の音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定するものである。
【発明の効果】
【０００８】
この発明によれば、複数の搭乗者が利用する音声認識装置において他搭乗者が発話した音声に対する誤認識を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る音声認識装置を備えた情報機器の構成例を示すブロック図である。
【図２Ａ】実施の形態１に係る音声認識装置の理解を助けるための参考例であり、車両内の状況の一例を示す図である。
【図２Ｂ】図２Ａの状況における、参考例の音声認識装置による処理結果を示す図である。
【図３Ａ】実施の形態１における車両内の状況の一例を示す図である。
【図３Ｂ】図３Ａの状況における、実施の形態１に係る音声認識装置による処理結果を示す図である。
【図４Ａ】実施の形態１における車両内の状況の一例を示す図である。
【図４Ｂ】図４Ａの状況における、実施の形態１に係る音声認識装置による処理結果を示す図である。
【図５Ａ】実施の形態１における車両内の状況の一例を示す図である。
【図５Ｂ】図５Ａの状況における、実施の形態１に係る音声認識装置による処理結果を示す図である。
【図６】実施の形態１に係る音声認識装置の動作例を示すフローチャートである。
【図７】実施の形態２に係る音声認識装置を備えた情報機器の構成例を示すブロック図である。
【図８】図３Ａの状況における、実施の形態２に係る音声認識装置による処理結果を示す図である。
【図９】図４Ａの状況における、実施の形態２に係る音声認識装置による処理結果を示す図である。
【図１０】図５Ａの状況における、実施の形態２に係る音声認識装置による処理結果を示す図である。
【図１１】実施の形態２に係る音声認識装置の動作例を示すフローチャートである。
【図１２】実施の形態２に係る音声認識装置の変形例を示すブロック図である。
【図１３】実施の形態３に係る音声認識装置を備えた情報機器の構成例を示すブロック図である。
【図１４】実施の形態３に係る音声認識装置の動作例を示すフローチャートである。
【図１５】実施の形態３に係る音声認識装置による処理結果を示す図である。
【図１６】実施の形態４に係る音声認識装置を備えた情報機器の構成例を示すブロック図である。
【図１７】実施の形態４に係る音声認識装置の動作例を示すフローチャートである。
【図１８】実施の形態４に係る音声認識装置による処理結果を示す図である。
【図１９Ａ】各実施の形態に係る音声認識装置のハードウェア構成の一例を示す図である。
【図１９Ｂ】各実施の形態に係る音声認識装置のハードウェア構成の別の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る音声認識装置２０を備えた情報機器１０の構成例を示すブロック図である。情報機器１０は、例えば、車両用のナビゲーションシステム、運転者用のメータディスプレイを含む統合コックピットシステム、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、又はスマートフォン等の携帯情報端末である。この情報機器１０は、集音装置１１及び音声認識装置２０を備える。
なお、以下では、日本語を認識する音声認識装置２０を例に挙げて説明するが、音声認識装置２０が認識対象とする言語は日本語に限定されない。
【００１１】
音声認識装置２０は、音声信号処理部２１、音声認識部２２、スコア利用判定部２３、対話管理データベース２４（以下、「対話管理ＤＢ２４」と称する）、及び応答決定部２５を備える。また、音声認識装置２０には、集音装置１１が接続されている。
【００１２】
集音装置１１は、Ｎ個（Ｎは２以上の整数）のマイク１１−１〜１１−Ｎにより構成されている。なお、集音装置１１は、無指向性のマイク１１−１〜１１−Ｎが一定間隔に配置されたアレイマイクであってもよい。また、指向性のマイク１１−１〜１１−Ｎが、車両の各音声認識対象座席前に配置されていてもよい。このように、音声認識対象座席に着座する全搭乗者が発する音声を集音できる位置であれば、集音装置１１の配置場所は問わない。
【００１３】
実施の形態１においては、マイク１１−１〜１１−Ｎがアレイマイクである前提で音声認識装置２０を説明する。この集音装置１１は、マイク１１−１〜１１−Ｎにより集音された音声に対応するアナログ信号（以下、「音声信号」と称する）Ａ１〜ＡＮを出力する。すなわち、音声信号Ａ１〜ＡＮは、マイク１１−１〜１１−Ｎと一対一に対応する。
【００１４】
音声信号処理部２１は、まず、集音装置１１が出力したアナログの音声信号Ａ１〜ＡＮをアナログデジタル変換（以下、「ＡＤ変換」と称する）し、デジタルの音声信号Ｄ１〜ＤＮにする。次に、音声信号処理部２１は、音声信号Ｄ１〜ＤＮから、各音声認識対象座席に着座する発話者の発話音声のみの音声信号ｄ１〜ｄＭを分離する。なお、ＭはＮ以下の整数であり、例えば音声認識対象座席の座席数に対応する。以下、音声信号Ｄ１〜ＤＮから音声信号ｄ１〜ｄＭを分離する音声信号処理について、詳細に説明する。
【００１５】
音声信号処理部２１は、音声信号Ｄ１〜ＤＮのうち、発話音声とは異なる音声に対応する成分（以下、「ノイズ成分」と称する）を除去する。また、音声認識部２２が各搭乗者の発話音声を独立して音声認識できるように、音声信号処理部２１はＭ個の第１〜第Ｍ処理部２１−１〜２１−Ｍを有し、第１〜第Ｍ処理部２１−１〜２１−Ｍが各音声認識対象座席に着座した発話者の音声のみを抽出したＭ個の音声信号ｄ１〜ｄＭを出力する。
【００１６】
ノイズ成分は、例えば、車両の走行により発生した騒音に対応する成分、及び搭乗者のうちの発話者と異なる搭乗者により発話された音声に対応する成分等を含むものである。音声信号処理部２１におけるノイズ成分の除去には、ビームフォーミング法、バイナリマスキング法又はスペクトルサブトラクション法等の公知の種々の方法を用いることができる。このため、音声信号処理部２１におけるノイズ成分の除去についての詳細な説明は省略する。
【００１７】
なお、音声信号処理部２１が独立成分分析等のブラインド音声分離技術を用いる場合、音声信号処理部２１は１個の第１処理部２１−１を有し、第１処理部２１−１が音声信号Ｄ１〜ＤＮから音声信号ｄ１〜ｄＭを分離する。ただし、ブラインド音声分離技術を用いる場合は複数の音源数（つまり発話者数）が必要となるため、後述するカメラ１２及び画像解析部２６によって搭乗者数及び発話者数を検知して音声信号処理部２１に通知する必要がある。
【００１８】
音声認識部２２は、まず、音声信号処理部２１が出力した音声信号ｄ１〜ｄＭのうちの発話音声に対応する音声区間（以下、「発話区間」と称する）を検出する。次に、音声認識部２２は、当該発話区間に対し、音声認識用の特徴量を抽出し、当該特徴量を用いて音声認識を実行する。なお、音声認識部２２は、各搭乗者の発話音声を独立して音声認識できるように、Ｍ個の第１〜第Ｍ認識部２２−１〜２２−Ｍを有する。第１〜第Ｍ認識部２２−１〜２２−Ｍは、音声信号ｄ１〜ｄＭから検出した発話区間の音声認識結果と、音声認識結果の信頼度を示す音声認識スコアと、発話区間の始端時刻及び終端時刻とを、スコア利用判定部２３へ出力する。
【００１９】
音声認識部２２における音声認識処理には、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）法等の公知の種々の方法を用いることができる。このため、音声認識部２２における音声認識処理についての詳細な説明は省略する。また、音声認識部２２が算出する音声認識スコアは、音響モデルの出力確率と言語モデルの出力確率との双方を考慮した値でもよいし、音響モデルの出力確率のみの音響スコアでもよい。
【００２０】
スコア利用判定部２３は、まず、音声認識部２２が出力した音声認識結果のうち、一定時間内（例えば、１秒以内）に同一の音声認識結果が存在するか否かを判定する。この一定時間は、ある搭乗者の発話音声が他の搭乗者の発話音声に重畳することによって当該他の搭乗者の音声認識結果に反映され得る時間であり、スコア利用判定部２３に対して予め与えられている。スコア利用判定部２３は、一定時間内に同一の音声認識結果が存在する場合、当該同一の音声認識結果それぞれに対応する音声認識スコアを参照し、最良スコアの音声認識結果を採用する。最良スコアでない音声認識結果は棄却される。一方、スコア利用判定部２３は、一定時間内に異なる音声認識結果が存在する場合、異なる音声認識結果のそれぞれを採用する。
【００２１】
なお、複数の発話者が同時に同じ発話内容を発話することも考えられる。そこで、スコア利用判定部２３は、音声認識スコアの閾値を設け、当該閾値以上の音声認識スコアを持つ音声認識結果に対応する搭乗者が発話していると判定し、この音声認識結果を採用することとしてもよい。また、スコア利用判定部２３は、認識対象語ごとに当該閾値を変更するようにしてもよい。また、スコア利用判定部２３は、先に音声認識スコアの閾値判定を行い、上記同一の音声認識結果全ての音声認識スコアが閾値未満である場合には最良スコアの音声認識結果のみを採用することとしてもよい。
【００２２】
対話管理ＤＢ２４には、音声認識結果と情報機器１０が実行すべき機能との対応関係が、データベースとして定義されている。例えば、「エアコンの風量を下げて」という音声認識結果に対して、「エアコンの風量を１段階下げる」という機能が定義されている。また、対話管理ＤＢ２４には、機能が発話者に依存するか否かを示す情報が定義されていてもよい。
【００２３】
応答決定部２５は、対話管理ＤＢ２４を参照し、スコア利用判定部２３が採用した音声認識結果に対応する機能を決定する。また、応答決定部２５は、もし、スコア利用判定部２３が複数の同一の音声認識結果を採用した場合、機能が発話者に依存しないものであれば、最良の音声認識スコアを持つ音声認識結果、つまり最も信頼度が高い音声認識結果に対応する機能のみを決定する。応答決定部２５は、決定した機能を情報機器１０へ出力する。情報機器１０は、応答決定部２５が出力した機能を実行する。情報機器１０は、機能実行時に当該機能実行を搭乗者に通知する応答音声をスピーカから出力する等してもよい。
【００２４】
ここで、発話者に依存する機能例と依存しない機能例を説明する。
例えば、エアコンの操作に関しては、座席ごとに異なる風量及び温度を設定可能であるため、同一の音声認識結果であっても発話者ごとに機能を実行する必要がある。より具体的には、第１搭乗者１と第２搭乗者２の発話音声の音声認識結果が「エアコンの温度を下げて」であり、双方の音声認識結果の音声認識スコアが閾値以上であったとする。この場合、応答決定部２５は、音声認識結果「エアコンの温度を下げて」に対応する機能「エアコンの風量を１段階下げる」が発話者に依存すると判断し、第１搭乗者１と第２搭乗者２とに対してエアコンの温度を下げる機能を実行する。
【００２５】
一方、目的地検索及び音楽再生等、発話者に依存せず全搭乗者共通である機能に関しては、音声認識結果が同一である場合に発話者ごとに機能を実行する必要がない。そのため、同一の音声認識結果が複数存在し、かつ、当該音声認識結果に対応する機能が発話者に依存しない場合、応答決定部２５は、最良スコアの音声認識結果のみに対応する機能を決定する。より具体的には、第１搭乗者１と第２搭乗者２の発話音声の音声認識結果が「音楽かけて」であり、双方の音声認識結果の音声認識スコアが閾値以上であったとする。この場合、応答決定部２５は、音声認識結果「音楽かけて」に対応する機能「音楽を再生する」が発話者に依存しないと判断し、第１搭乗者１の音声認識結果及び第２搭乗者２の音声認識結果のうちのより音声認識スコアが高い方に対応する機能を実行する。
【００２６】
次に、音声認識装置２０の動作の具体例を説明する。
まず、図２Ａ及び図２Ｂを用いて、実施の形態１に係る音声認識装置２０の理解を助けるための参考例を説明する。図２Ａにおいて、車両には参考例の情報機器１０Ａと音声認識装置２０Ａとが設置されている。参考例の音声認識装置２０Ａは、先立って説明した特許文献１記載の音声認識装置に相当するものとする。図２Ｂは、図２Ａの状況における、参考例の音声認識装置２０による処理結果を示す図である。
【００２７】
図２Ａにおいて、第１〜第４搭乗者１〜４の４人は、音声認識装置２０Ａの音声認識対象座席に着座している。第１搭乗者１は「エアコンの風量を下げて」と発話している。第２搭乗者２と第４搭乗者４は発話していない。第３搭乗者３は、第１搭乗者１の発話中にたまたまあくびをしている。声認識装置２０Ａは、音声信号を用いて発話区間を検出すると共に、カメラの撮像画像を用いて当該発話区間が適切な発話区間であるか否か（つまり、発話か非発話か）を判定する。この状況においては、音声認識装置２０Ａが第１搭乗者１の音声認識結果「エアコンの風量を下げて」のみを出力するべきである。しかし、音声認識装置２０Ａは、第１搭乗者１だけでなく、第２搭乗者２、第３搭乗者３、及び第４搭乗者４についても音声認識を行っているため、図２Ｂのように第２搭乗者２及び第３搭乗者３についても誤って音声を誤検出してしまう場合がある。第２搭乗者２については、音声認識装置２０Ａがカメラの撮像画像を用いて第２搭乗者２が発話しているか否かを判定することにより、第２搭乗者２は非発話であると判定して音声認識結果「エアコンの風量を下げて」を棄却することができる。一方、第３搭乗者３がたまたまあくびをしており発話に近い口の動きをしていた場合、音声認識装置２０Ａがカメラの撮像画像を用いて第３搭乗者３が発話しているか否かを判定したとしても、第３搭乗者３が発話していると誤判定してしまう。すると、第３搭乗者３が「エアコンの風量を下げて」と発話しているという誤認識が発生する。この場合、情報機器１０Ａは、音声認識装置２０Ａの音声認識結果に従い、「前席左と後席左のエアコンの風量を下げます。」という間違った応答をしてしまう。
【００２８】
図３Ａは、実施の形態１における車両内の状況の一例を示す図である。図３Ｂは、図３Ａの状況における、実施の形態１に係る音声認識装置２０による処理結果を示す図である。図３Ａでは、図２Ａと同様に第１搭乗者１が「エアコンの風量を下げて」と発話している。第２搭乗者２と第４搭乗者４は発話していない。第３搭乗者３は、第１搭乗者１の発話中にたまたまあくびをしている。音声信号処理部２１が第１搭乗者１の発話音声を音声信号ｄ２，ｄ３から完全に分離できていない場合、第１搭乗者１の発話音声が第２搭乗者２の音声信号ｄ２と第３搭乗者３の音声信号ｄ３とに残る。その場合、音声認識部２２は、第１〜第３搭乗者１〜３の音声信号ｄ１〜ｄ３から発話区間を検出すると共に、「エアコンの風量を下げて」という音声を認識する。ただし、音声信号処理部２１が第２搭乗者２の音声信号ｄ２及び第３搭乗者３の音声信号ｄ３から第１搭乗者１の発話音声成分を減衰させたため、音声信号ｄ２，ｄ３に対応する音声認識スコアは、発話音声が強調されている音声信号ｄ１の音声認識スコアよりも低くなる。スコア利用判定部２３は、第１〜第３搭乗者１〜３についての同一の音声認識結果に対応する音声認識スコアを比較し、最良の音声認識スコアに対応する第１搭乗者１の音声認識結果のみを採用する。また、スコア利用判定部２３は、第２搭乗者２及び第３搭乗者３の音声認識結果は最良の音声認識スコアではないため、非発話と判定して音声認識結果を棄却する。これにより、音声認識装置２０は、第３搭乗者３に対応する不要な音声認識結果を棄却し、第１搭乗者１のみの音声認識結果を適切に採用することができている。この場合、情報機器１０は、音声認識装置２０の音声認識結果に従い、「前席左のエアコンの風量を下げます。」という正しい応答ができる。
【００２９】
図４Ａは、実施の形態１における車両内の状況の一例を示す図である。図４Ｂは、図４Ａの状況における、実施の形態１に係る音声認識装置２０による処理結果を示す図である。図４Ａの例では、第１搭乗者１が「エアコンの風量を下げて」と発話し、このとき、第２搭乗者２が「音楽かけて」と発話している。第３搭乗者３は、第１搭乗者１と第２搭乗者２の発話中にあくびをしている。第４搭乗者４は発話していない。第３搭乗者３が発話していない状態であるにも関わらず、音声認識部２２は、第１搭乗者１と第３搭乗者３とに対して「エアコンの風量を下げて」という音声を認識する。ただし、スコア利用判定部２３は、音声認識スコアが最良となる第１搭乗者１の音声認識結果を採用し、第３搭乗者３の音声認識結果は棄却する。一方で、第２搭乗者２の「音楽かけて」という音声認識結果は、第１搭乗者１及び第３搭乗者３の音声認識結果とは異なるため、スコア利用判定部２３は、音声認識スコアの比較を行わずに第２搭乗者２の音声認識結果を採用する。この場合、情報機器１０は、音声認識装置２０の音声認識結果に従い、「前席左のエアコンの風量を下げます。」及び「音楽を再生します。」という正しい応答ができる。
【００３０】
図５Ａは、実施の形態１における車両内の状況の一例を示す図である。図５Ｂは、図５Ａの状況における、実施の形態１に係る音声認識装置２０による処理結果を示す図である。図５Ａでは、第１搭乗者１と第２搭乗者２とが「エアコンの風量を下げて」と略同時に発話し、発話中に第３搭乗者３はあくびをしている。第４搭乗者４は発話していない。第３搭乗者３は、第１搭乗者１と第２搭乗者２の発話中にあくびをしている。第４搭乗者４は発話していない。第３搭乗者３は発話していない状態であるにも関わらず、音声認識部２２は、第１搭乗者１と第２搭乗者２と第３搭乗者３とに対して「エアコンの風量を下げて」という音声を認識する。この例において、スコア利用判定部２３は、音声認識スコアの閾値「５０００」と、第１〜第３搭乗者１〜３の同一の音声認識結果に対応する音声認識スコアとを比較する。そして、スコア利用判定部２３は、閾値「５０００」以上の音声認識スコアを持つ第１搭乗者１と第２搭乗者２の音声認識結果を採用する。一方、スコア利用判定部２３は、閾値「５０００」未満の音声認識スコアを持つ第３搭乗者３の音声認識結果を棄却する。この場合、情報機器１０は、音声認識装置２０の音声認識結果に従い、「前席のエアコンの風量を下げます。」という正しい応答ができる。
【００３１】
次に、音声認識装置２０の動作例を説明する。
図６は、実施の形態１に係る音声認識装置２０の動作例を示すフローチャートである。音声認識装置２０は、例えば情報機器１０が作動している間、図６のフローチャートに示される動作を繰り返す。
【００３２】
ステップＳＴ００１において、音声信号処理部２１は、集音装置１１が出力した音声信号Ａ１〜ＡＮをＡＤ変換し、音声信号Ｄ１〜ＤＮにする。
【００３３】
ステップＳＴ００２において、音声信号処理部２１は、音声信号Ｄ１〜ＤＮに対してノイズ成分を除去する音声信号処理を実行し、音声認識対象座席に着座している搭乗者ごとの発話内容を分離した音声信号ｄ１〜ｄＭにする。例えば、図３Ａのように車両に第１〜第４搭乗者１〜４の４人が着座している場合、音声信号処理部２１は、第１搭乗者１の方向を強調した音声信号ｄ１と、第２搭乗者２の方向を強調した音声信号ｄ２と、第３搭乗者３の方向を強調した音声信号ｄ３と、第４搭乗者４の方向を強調した音声信号ｄ４とを出力する。
【００３４】
ステップＳＴ００３において、音声認識部２２は、音声信号ｄ１〜ｄＭを用いて、搭乗者ごとに発話区間を検出する。ステップＳＴ００４において、音声認識部２２は、音声信号ｄ１〜ｄＭを用いて、検出した発話区間に対応する音声の特徴量を抽出し、音声認識を実行すると共に音声認識スコアを算出する。
【００３５】
なお、図６の例では、音声認識部２２及びスコア利用判定部２３は、ステップＳＴ００３において発話区間が検出されなかった搭乗者に関して、ステップＳＴ００４以降の処理を実行しない。
【００３６】
ステップＳＴ００５において、スコア利用判定部２３は、音声認識部２２が出力した音声認識結果の音声認識スコアと閾値とを比較し、音声認識スコアが閾値以上である音声認識結果に対応する搭乗者について発話していると判定し、当該音声認識結果をスコア利用判定部２３へ出力する（ステップＳＴ００５“ＹＥＳ”）。一方、スコア利用判定部２３は、音声認識スコアが閾値未満である音声認識結果に対応する搭乗者について発話していないと判定する（ステップＳＴ００５“ＮＯ”）。
【００３７】
ステップＳＴ００６において、スコア利用判定部２３は、発話していると判定した搭乗者に対応する音声認識結果のうち、一定時間内に同一の音声認識結果が複数個あるか否かを判定する。スコア利用判定部２３は、一定時間内に同一の音声認識結果が複数個あると判定した場合（ステップＳＴ００６“ＹＥＳ”）、ステップＳＴ００７において、複数個の同一の音声認識結果のうち、最良スコアを持つ音声認識結果を採用する（ステップＳＴ００７“ＹＥＳ”）。ステップＳＴ００８において、応答決定部２５は、対話管理ＤＢ２４を参照し、スコア利用判定部２３が採用した音声認識結果に対応する機能を決定する。一方、スコア利用判定部２３は、複数個の同一の音声認識結果のうち、最良スコアを持つ音声認識結果以外の音声認識結果を棄却する（ステップＳＴ００７“ＮＯ”）。
【００３８】
発話していると判定した搭乗者に対応する音声認識結果が、一定時間内に１つである場合又は一定時間内に複数個あるが同一でない場合（ステップＳＴ００６“ＮＯ”）、処理はステップＳＴ００８へ進む。ステップＳＴ００８において、応答決定部２５は、対話管理ＤＢ２４を参照し、スコア利用判定部２３が採用した音声認識結果に対応する機能を決定する。
【００３９】
なお、図６では、スコア利用判定部２３が、ステップＳＴ００５において閾値判定を実行するが、実行しなくてもよい。また、スコア利用判定部２３は、ステップＳＴ００７において最良スコアを持つ音声認識結果を採用するが、閾値以上の音声認識スコアを持つ音声認識結果を採用してもよい。さらに、応答決定部２５は、ステップＳＴ００８において音声認識結果に対応する機能を決定する際に、機能が発話者に依存するか否かを考慮してもよい。
【００４０】
以上のように、実施の形態１に係る音声認識装置２０は、音声信号処理部２１と、音声認識部２２と、スコア利用判定部２３とを備える。音声信号処理部２１は、車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離する。音声認識部２２は、音声信号処理部２１により分離された搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出する。スコア利用判定部２３は、搭乗者ごとの音声認識スコアを用いて、搭乗者ごとの音声認識結果のうち、どの搭乗者に対応する音声認識結果を採用するかを判定する。この構成により、複数の搭乗者が利用する音声認識装置２０において、他搭乗者が発話した音声に対する誤認識を抑制することができる。
【００４１】
また、実施の形態１に係る音声認識装置２０は、対話管理ＤＢ２４と、応答決定部２５とを備える。対話管理ＤＢ２４は、音声認識結果と実行すべき機能との対応関係を定義したデータベースである。応答決定部２５は、対話管理ＤＢ２４を参照して、スコア利用判定部２３により採用された音声認識結果に対応する機能を決定する。この構成により、複数の搭乗者が音声で操作する情報機器１０において、他搭乗者が発話した音声に対する誤った機能実行を抑制することができる。
【００４２】
なお、実施の形態１では、音声認識装置２０が対話管理ＤＢ２４及び応答決定部２５を備える例を示したが、情報機器１０が対話管理ＤＢ２４及び応答決定部２５を備えていてもよい。この場合、スコア利用判定部２３は、採用した音声認識結果を、情報機器１０の応答決定部２５へ出力する。
【００４３】
実施の形態２．
図７は、実施の形態２に係る音声認識装置２０を備えた情報機器１０の構成例を示すブロック図である。実施の形態２に係る情報機器１０は、図１に示された実施の形態１の情報機器１０に対して、カメラ１２が追加された構成である。また、実施の形態２に係る音声認識装置２０は、図１に示された実施の形態１の音声認識装置２０に対して、画像解析部２６及び画像利用判定部２７が追加された構成である。図７において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
【００４４】
カメラ１２は、車室内を撮像する。このカメラ１２は、例えば、赤外線カメラ又は可視光カメラにより構成されており、少なくとも、音声認識対象座席に着座している搭乗者の顔を含む範囲を撮像可能な画角を有している。なお、カメラ１２は、各音声認識対象座席に着座している全搭乗者の顔を撮像するために、複数のカメラにより構成されていてもよい。
【００４５】
画像解析部２６は、３０ＦＰＳ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ）等の一定周期にて、カメラ１２が撮像した画像データを取得し、画像データから顔に関する特徴量である顔特徴量を抽出する。顔特徴量は、上唇及び下唇の座標値、並びに口の開き度合い等である。なお、画像解析部２６は、各搭乗者の顔特徴量を独立して抽出できるように、Ｍ個の第１〜第Ｍ解析部２６−１〜２６−Ｍを有する。第１〜第Ｍ解析部２６−１〜２６−Ｍは、各搭乗者の顔特徴量と、顔特徴量を抽出した時刻（以下、「顔特徴量抽出時刻」と称する）とを、画像利用判定部２７へ出力する。
【００４６】
画像利用判定部２７は、音声認識部２２が出力した発話区間の始端時刻及び終端時刻と、画像解析部２６が出力した顔特徴量と顔特徴量抽出時刻とを用いて、発話区間に対応する顔特徴量を抽出する。そして、画像利用判定部２７は、発話区間に対応する顔特徴量から、搭乗者が発話しているか否かを判定する。なお、画像利用判定部２７は、各搭乗者の発話の有無を独立して判定できるように、Ｍ個の第１〜第Ｍ判定部２７−１〜２７−Ｍを有する。例えば、第１判定部２７−１は、第１認識部２２−１が出力した第１搭乗者１の発話区間の始端時刻及び終端時刻と、第１解析部２６−１が出力した第１搭乗者１の顔特徴量と顔特徴量抽出時刻とを用いて、第１搭乗者１の発話区間に対応する顔特徴量を抽出して発話しているか否かを判定する。第１〜第Ｍ判定部２７−１〜２７−Ｍは、画像を利用した各搭乗者の発話判定結果と、音声認識結果と、音声認識結果の音声認識スコアとを、スコア利用判定部２３Ｂへ出力する。
【００４７】
なお、画像利用判定部２７は、顔特徴量に含まれる口の開き度合い等を数値化し、数値化した口の開き度合い等と予め定められた閾値とを比較することにより、発話しているか否かを判定してもよい。また、学習用画像を用いた機械学習等により発話モデルと非発話モデルとが事前に作成され、画像利用判定部２７がこれらのモデルを用いて発話しているか否かを判定してもよい。また、画像利用判定部２７は、モデルを用いて判定する場合、判定の信頼度を示す判定スコアを算出してもよい。
【００４８】
ここで、画像利用判定部２７は、音声認識部２２が発話区間を検出した搭乗者のみについて、発話しているか否かを判定する。例えば、図３Ａに示される状況では、第１〜第３認識部２２−１〜２２−３が第１〜第３搭乗者１〜３について発話区間を検出したため、第１〜第３判定部２７−１〜２７−３は、第１〜第３搭乗者１〜３が発話しているか否かを判定する。これに対し、第４判定部２７−４は、第４認識部２２−４が第４搭乗者４について発話区間を検出しなかったため、第４搭乗者４が発話しているか否かの判定を行わない。
【００４９】
スコア利用判定部２３Ｂは、実施の形態１のスコア利用判定部２３と同様に動作する。ただし、スコア利用判定部２３Ｂは、画像利用判定部２７が発話していると判定した搭乗者の音声認識結果と、当該音声認識結果の音声認識スコアとを用いて、どの音声認識結果を採用するか否かを判定する。
【００５０】
次に、音声認識装置２０の動作の具体例を説明する。
図８は、図３Ａの状況における、実施の形態２に係る音声認識装置２０による処理結果を示す図である。画像利用判定部２７は、音声認識部２２により発話区間が検出された第１〜第３搭乗者１〜３について発話しているか否かを判定する。第１搭乗者１は「エアコンの風量を下げて」と発話しているため、画像利用判定部２７により発話と判定される。第２搭乗者２は、口を閉じているため、画像利用判定部２７により非発話と判定される。第３搭乗者３は、あくびをしており発話に近い口の動きをしていたため、画像利用判定部２７により発話と誤判定される。スコア利用判定部２３Ｂは、画像利用判定部２７により発話と判定された第１搭乗者１及び第３搭乗者３についての同一の音声認識結果に対応する音声認識スコアを比較し、最良の音声認識スコアに対応する第１搭乗者１の音声認識結果のみを採用する。
【００５１】
図９は、図４Ａの状況における、実施の形態２に係る音声認識装置２０による処理結果を示す図である。画像利用判定部２７は、音声認識部２２により発話区間が検出された第１〜第３搭乗者１〜３について発話しているか否かを判定する。第１搭乗者１は「エアコンの風量を下げて」と発話しているため、画像利用判定部２７により発話と判定される。第２搭乗者２は、「音楽かけて」と発話しているため、画像利用判定部２７により発話と判定される。第３搭乗者３は、あくびをしており発話に近い口の動きをしていたため、画像利用判定部２７により発話と誤判定される。スコア利用判定部２３Ｂは、画像利用判定部２７により発話と判定された第１搭乗者１及び第３搭乗者３についての同一の音声認識結果に対応する音声認識スコアを比較し、最良の音声認識スコアに対応する第１搭乗者１の音声認識結果のみを採用する。一方で、第２搭乗者２の「音楽かけて」という音声認識結果は、第１搭乗者１及び第３搭乗者３の音声認識結果とは異なるため、スコア利用判定部２３Ｂは、音声認識スコアの比較を行わずに第２搭乗者２の音声認識結果を採用する。
【００５２】
図１０は、図５Ａの状況における、実施の形態２に係る音声認識装置２０による処理結果を示す図である。画像利用判定部２７は、音声認識部２２により発話区間が検出された第１〜第３搭乗者１〜３について発話しているか否かを判定する。第１搭乗者１及び第２搭乗者２は「エアコンの風量を下げて」と発話しているため、画像利用判定部２７により発話と判定される。第３搭乗者３は、あくびをしており発話に近い口の動きをしていたため、画像利用判定部２７により発話と誤判定される。この例において、スコア利用判定部２３Ｂは、音声認識スコアの閾値「５０００」と、第１〜第３搭乗者１〜３の同一の音声認識結果に対応する音声認識スコアとを比較する。そして、スコア利用判定部２３Ｂは、閾値「５０００」以上の音声認識スコアを持つ第１搭乗者１と第２搭乗者２の音声認識結果を採用する。
【００５３】
次に、音声認識装置２０の動作例を説明する。
図１１は、実施の形態２に係る音声認識装置２０の動作例を示すフローチャートである。音声認識装置２０は、例えば情報機器１０が作動している間、図１１のフローチャートに示される動作を繰り返す。図１１のステップＳＴ００１〜ＳＴ００４は、実施の形態１における図６のステップＳＴ００１〜ＳＴ００４と同一の動作であるため、説明を省略する。
【００５４】
ステップＳＴ０１１において、画像解析部２６は、カメラ１２から一定周期にて画像データを取得する。ステップＳＴ０１２において、画像解析部２６は、取得した画像データから音声認識対象座席に着座している搭乗者ごとの顔特徴量を抽出し、顔特徴量と顔特徴量抽出時刻とを画像利用判定部２７へ出力する。
【００５５】
ステップＳＴ０１３において、画像利用判定部２７は、音声認識部２２が出力した発話区間の始端時刻及び終端時刻と、画像解析部２６が出力した顔特徴量と顔特徴量抽出時刻とを用いて、発話区間に対応する顔特徴量を抽出する。そして、画像利用判定部２７は、発話区間が検出され、かつ当該発話区間において発話に近い口の動きをしている搭乗者について、発話していると判定する（ステップＳＴ０１３“ＹＥＳ”）。一方、画像利用判定部２７は、発話区間が検出されなかった搭乗者、又は発話区間は検出されたが当該発話区間において発話に近い口の動きをしていない搭乗者について、発話していないと判定する（ステップＳＴ０１３“ＮＯ”）。
【００５６】
ステップＳＴ００６〜ＳＴ００８において、スコア利用判定部２３Ｂは、画像利用判定部２７により発話していると判定された搭乗者に対応する音声認識結果のうち、一定時間内に同一の音声認識結果が複数個あるか否かを判定する。なお、スコア利用判定部２３ＢによるステップＳＴ００６〜ＳＴ００８の動作は、実施の形態１における図６のステップＳＴ００６〜ＳＴ００８と同一の動作であるため、説明を省略する。
【００５７】
以上のように、実施の形態２に係る音声認識装置２０は、画像解析部２６と、画像利用判定部２７とを備える。画像解析部２６は、複数人の搭乗者が撮像された画像を用いて搭乗者ごとの顔特徴量を算出する。画像利用判定部２７は、搭乗者ごとの発話音声の始端時刻から終端時刻までの顔特徴量を用いて、搭乗者ごとに発話しているか否かを判定する。スコア利用判定部２３Ｂは、画像利用判定部２７により発話していると判定された２人以上の搭乗者に対応する同一の音声認識結果が存在する場合、２人以上の搭乗者ごとの音声認識スコアを用いて音声認識結果を採用するか否かを判定する。この構成により、複数の搭乗者が利用する音声認識装置２０において、他搭乗者が発話した音声に対する誤認識をさらに抑制することができる。
【００５８】
なお、実施の形態２のスコア利用判定部２３Ｂは、音声認識スコアを用いて音声認識結果を採用するか否かを判定するようにしたが、画像利用判定部２７が算出した判定スコアも考慮した上で音声認識結果を採用するか否かを判定するようにしてもよい。この場合、スコア利用判定部２３Ｂは、例えば、音声認識スコアに代えて、音声認識スコアと画像利用判定部２７が算出した判定スコアとを加算した値又は平均した値を用いる。この構成により、音声認識装置２０は、他搭乗者が発話した音声に対する誤認識をさらに抑制することができる。
【００５９】
図１２は、実施の形態２に係る音声認識装置２０の変形例を示すブロック図である。図１２に示されるように、画像利用判定部２７は、画像解析部２６が出力した顔特徴量を用いて、搭乗者が発話している発話区間の始端時刻及び終端時刻を判定し、発話区間の有無及び判定した発話区間を音声認識部２２へ出力する。音声認識部２２は、画像利用判定部２７を介して音声信号処理部２１から取得した音声信号ｄ１〜ｄＭのうち、画像利用判定部２７が判定した発話区間に対して音声認識を実行する。すなわち、音声認識部２２は、画像利用判定部２７により発話区間が有ると判定された搭乗者の発話区間の発話音声を音声認識し、発話区間が無いと判定された搭乗者の発話音声を音声認識しない。この構成により、音声認識装置２０の処理負荷を軽減可能である。また、音声認識部２２が音声信号ｄ１〜ｄＭを用いて発話区間を検出する構成（例えば、実施の形態１）の場合には発話音声が小さい等の理由で発話区間を検出できない可能性があるが、画像利用判定部２７による顔特徴量を用いた発話区間の判定を実施することにより発話区間の判定性能が向上する。なお、音声認識部２２は、音声信号ｄ１〜ｄＭを、画像利用判定部２７を介さずに音声信号処理部２１から取得してもよい。
【００６０】
実施の形態３．
図１３は、実施の形態３に係る音声認識装置２０を備えた情報機器１０の構成例を示すブロック図である。実施の形態３に係る音声認識装置２０は、図１に示された実施の形態１の音声認識装置２０に対して、意図理解部３０が追加された構成である。図１３において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
【００６１】
意図理解部３０は、音声認識部２２が出力した搭乗者ごとの音声認識結果に対し、意図理解処理を実行する。意図理解部３０は、搭乗者ごとの意図理解結果と、意図理解結果の信頼度を示す意図理解スコアとを、スコア利用判定部２３Ｃへ出力する。なお、意図理解部３０は、音声認識部２２と同様に、各搭乗者の発話内容を独立して意図理解処理できるように、各音声認識対象座席に対応するＭ個の第１〜第Ｍ理解部３０−１〜３０−Ｍを有する。
【００６２】
意図理解部３０が意図理解処理を実行するために、例えば、想定される発話内容がテキストに書き起こされ、当該テキストが意図ごとに分類されたベクトル空間モデル等のモデルが用意される。意図理解部３０は、意図理解処理実行時、用意されているベクトル空間モデルを用いて、コサイン類似度等の、音声認識結果の単語ベクトルと事前に意図ごとに分類されたテキスト群の単語ベクトルとの類似度を算出する。そして、意図理解部３０は、最も類似度の高い意図を意図理解結果とする。なお、この例では、意図理解スコアは類似度に相当する。
【００６３】
スコア利用判定部２３Ｃは、まず、意図理解部３０が出力した意図理解結果のうち、一定時間内に同一の意図理解結果が存在するか否かを判定する。スコア利用判定部２３Ｃは、一定時間内に同一の意図理解結果が存在する場合、当該同一の意図理解結果それぞれに対応する意図理解スコアを参照し、最良スコアの意図理解結果を採用する。最良スコアでない意図理解結果は棄却される。また、実施の形態１，２と同様に、スコア利用判定部２３Ｃは、意図理解スコアの閾値を設け、当該閾値以上の意図理解スコアを持つ意図理解結果に対応する搭乗者が発話していると判定し、この意図理解結果を採用することとしてもよい。また、スコア利用判定部２３Ｃは、先に意図理解スコアの閾値判定を行い、上記同一の意図理解結果全ての意図理解スコアが閾値未満である場合には最良スコアの意図理解結果のみを採用することとしてもよい。
【００６４】
なお、スコア利用判定部２３Ｃは、上記のように意図理解スコアを用いて意図理解結果を採用するか否か判定するようにしたが、音声認識部２２が算出した音声認識スコアを用いて意図理解結果を採用するか否か判定するようにしてもよい。この場合、スコア利用判定部２３Ｃは、音声認識部２２が算出した音声認識スコアを、音声認識部２２から取得してもよいし、意図理解部３０を介して取得してもよい。そして、スコア利用判定部２３Ｃは、例えば、閾値以上の音声認識スコアを持つ音声認識結果に対応する意図理解結果に対応する搭乗者が発話していると判定し、この意図理解結果を採用する。
この場合、スコア利用判定部２３Ｃがまず音声認識スコアを用いて搭乗者の発話有無を判定し、その後、意図理解部３０がスコア利用判定部２３Ｃにより発話と判定された搭乗者の音声認識結果のみに対して意図理解処理を実行してもよい。この例については、図１４で詳述する。
【００６５】
また、スコア利用判定部２３Ｃは、意図理解スコアだけでなく音声認識スコアを考慮した上で意図理解結果を採用するか否かを判定するようにしてもよい。この場合、スコア利用判定部２３Ｃは、意図理解スコアに代えて、例えば、意図理解スコアと音声認識スコアとを加算した値又は平均した値を用いる。
【００６６】
対話管理ＤＢ２４Ｃには、意図理解結果と情報機器１０が実行すべき機能との対応関係がデータベースとして定義されている。例えば、「エアコンの風量を下げて」という発話に対応する意図が「ＣｏｎｔｒｏｌＡｉｒＣｏｎｄｉｔｉｏｎｅｒ（ｖｏｌｕｍｅ＝ｄｏｗｎ）」であるものとすると、当該意図に対して、「エアコンの風量を１段階下げる」という機能が定義されている。また、実施の形態１，２と同様に、対話管理ＤＢ２４Ｃには、機能が発話者に依存するか否かを示す情報が定義されていてもよい。
【００６７】
応答決定部２５Ｃは、対話管理ＤＢ２４Ｃを参照し、スコア利用判定部２３Ｃが採用した意図理解結果に対応する機能を決定する。また、応答決定部２５Ｃは、もし、スコア利用判定部２３Ｃが複数の同一の意図理解結果を採用した場合、機能が発話者に依存しないものであれば、最良の意図理解スコアを持つ意図理解結果に対応する機能のみを決定する。応答決定部２５Ｃは、決定した機能を情報機器１０へ出力する。情報機器１０は、応答決定部２５Ｃが出力した機能を実行する。情報機器１０は、機能実行時に当該機能実行を搭乗者に通知する応答音声をスピーカから出力する等してもよい。
【００６８】
ここで、発話者に依存する機能例と依存しない機能例を説明する。
実施の形態１，２と同様に、エアコンの操作に関しては、座席ごとに異なる風量及び温度を設定可能であるため、同一の意図理解結果であっても発話者ごとに機能を実行する必要がある。より具体的には、第１搭乗者１の音声認識結果が「エアコンの温度を下げて」であり、第２搭乗者２の音声認識結果が「暑い」であり、第１搭乗者１と第２搭乗者２の意図理解結果が「ＣｏｎｔｒｏｌＡｉｒＣｏｎｄｉｔｉｏｎｅｒ（ｔｅｍｐｅｒｅａｔｕｒｅ＝ｄｏｗｎ）」であり、双方の意図理解結果の意図理解スコアが閾値以上であったとする。この場合、応答決定部２５Ｃは、意図理解結果「ＣｏｎｔｒｏｌＡｉｒＣｏｎｄｉｔｉｏｎｅｒ」が発話者に依存すると判断し、第１搭乗者１と第２搭乗者２とに対してエアコンの温度を下げる機能を実行する。
【００６９】
一方、目的地検索及び音楽再生等、発話者に依存せず全搭乗者共通である機能に関しては、意図理解結果が同一である場合に発話者ごとに機能を実行する必要がない。そのため、同一の意図理解結果が複数存在し、かつ、当該意図理解結果に対応する機能が発話者に依存しない場合、応答決定部２５Ｃは、最良スコアの意図理解結果のみに対応する機能を決定する。より具体的には、第１搭乗者１の音声認識結果が「音楽かけて」であり、第２搭乗者２の音声認識結果が「音楽再生して」であり、第１搭乗者１と第２搭乗者２の意図理解結果が「ＰｌａｙＭｕｓｉｃ（ｓｔａｔｅ＝ｏｎ）」であり、双方の意図理解結果の意図理解スコアが閾値以上であったとする。この場合、応答決定部２５Ｃは、意図理解結果「ＰｌａｙＭｕｓｉｃ」が発話者に依存しないと判断し、第１搭乗者１の意図理解結果及び第２搭乗者２の意図理解結果のうちのより意図理解スコアが高い方に対応する機能を実行する。
【００７０】
次に、音声認識装置２０の動作例を説明する。
図１４は、実施の形態３に係る音声認識装置２０の動作例を示すフローチャートである。音声認識装置２０は、例えば情報機器１０が作動している間、図１４のフローチャートに示される動作を繰り返す。図１４のステップＳＴ００１〜ＳＴ００５は、実施の形態１における図６のステップＳＴ００１〜ＳＴ００５と同一の動作であるため、説明を省略する。
【００７１】
図１５は、実施の形態３に係る音声認識装置２０による処理結果を示す図である。ここでは、例として、図１５に示される具体例を交えながら説明する。図１５の例では、第１搭乗者１が「エアコンの風量を上げて」と発話し、第２搭乗者２が「エアコンの風を強くして」と発話している。第３搭乗者３は、第１搭乗者１と第２搭乗者２の発話中にあくびをしている。第４搭乗者４は発話していない。
【００７２】
ステップＳＴ１０１において、意図理解部３０は、スコア利用判定部２３Ｃにより音声認識スコアが閾値以上であると判定された音声認識結果に対して意図理解処理を実行し、意図理解結果と意図理解スコアとをスコア利用判定部２３Ｃへ出力する。図１５の例では、第１搭乗者１、第２搭乗者２及び第３搭乗者３のいずれも音声認識スコアが閾値「５０００」以上であるため、意図理解処理が実行される。第１搭乗者１、第２搭乗者２及び第３搭乗者３のいずれも意図理解結果が「ＣｏｎｔｒｏｌＡｉｒＣｏｎｄｉｔｉｏｎｅｒ（ｖｏｌｕｍｅ＝ｕｐ）」で同一となっている。また、意図理解スコアは、第１搭乗者１が「０．９６」、第２搭乗者２が「０．９」、第３搭乗者３が「０．６７」となっている。なお、第３搭乗者３は、第１搭乗者１及び第２搭乗者２の発話音声を誤認識した「エアの風量を強くげて」という音声認識結果に対して意図理解処理が実行されたため、意図理解スコアが低くなっている。
【００７３】
ステップＳＴ１０２において、スコア利用判定部２３Ｃは、意図理解部３０が出力した意図理解結果のうち、一定時間内に同一の意図理解結果が複数個あるか否かを判定する。スコア利用判定部２３Ｃは、一定時間内に同一の意図理解結果が複数個あると判定した場合（ステップＳＴ１０２“ＹＥＳ”）、ステップＳＴ１０３において、複数個の同一の意図理解結果それぞれの意図理解スコアが閾値以上か否かを判定し、意図理解スコアが閾値以上である意図理解結果に対応する搭乗者について発話していると判定する（ステップＳＴ１０３“ＹＥＳ”）。仮に、閾値が「０．８」である場合、図１５の例では、第１搭乗者１及び第２搭乗者２が発話と判定される。一方、スコア利用判定部２３Ｃは、意図理解スコアが閾値未満である意図理解結果に対応する搭乗者について発話していないと判定する（ステップＳＴ１０３“ＮＯ”）。
【００７４】
意図理解部３０が出力した意図理解結果が一定時間内に１つである場合又は意図理解部３０が出力した意図理解結果が一定時間内に複数個あるが同一でない場合（ステップＳＴ１０２“ＮＯ”）、スコア利用判定部２３Ｃは、意図理解部３０が出力した意図理解結果全てを採用する。ステップＳＴ１０５において、応答決定部２５Ｃは、対話管理ＤＢ２４Ｃを参照し、意図理解部３０が出力した意図理解結果全てに対応する機能を決定する。
【００７５】
ステップＳＴ１０４において、応答決定部２５Ｃは、対話管理ＤＢ２４Ｃを参照し、スコア利用判定部２３Ｃが採用した閾値以上の意図理解スコアを持つ複数個の同一の意図理解結果に対応する機能が発話者依存か否かを判定する。応答決定部２５Ｃは、閾値以上の意図理解スコアを持つ複数個の同一の意図理解結果に対応する機能が発話者依存である場合（ステップＳＴ１０４“ＹＥＳ”）、ステップＳＴ１０５において、複数個の同一の意図理解結果それぞれに対応する機能を決定する。一方、閾値以上の意図理解スコアを持つ複数個の同一の意図理解結果に対応する機能が発話者非依存である場合（ステップＳＴ１０４“ＮＯ”）、応答決定部２５ＣはステップＳＴ１０６において、複数個の同一の意図理解結果のうち、最良スコアを持つ意図理解結果に対応する機能を決定する。図１５の例では、第１搭乗者１及び第２搭乗者２の意図理解結果「ＣｏｎｔｒｏｌＡｉｒＣｏｎｄｉｔｉｏｎｅｒ」に対応する機能はエアコン操作であり発話者依存であるため、応答決定部２５Ｃは、第１搭乗者１及び第２搭乗者２に対してエアコンの風量を１段階上げる機能を決定する。したがって、情報機器１０は、第１搭乗者１側及び第２搭乗者２側のエアコンの風量を１段階上げる機能を実行する。
【００７６】
以上のように、実施の形態３に係る音声認識装置２０は、音声信号処理部２１と、音声認識部２２と、意図理解部３０と、スコア利用判定部２３Ｃとを備える。音声信号処理部２１は、車両における複数の音声認識対象座席に着座している複数人の搭乗者の発話音声を、搭乗者ごとの発話音声に分離する。音声認識部２２は、音声信号処理部２１により分離された搭乗者ごとの発話音声を音声認識すると共に音声認識スコアを算出する。意図理解部３０は、搭乗者ごとの音声認識結果を用いて、搭乗者ごとの発話の意図を理解すると共に意図理解スコアを算出する。スコア利用判定部２３Ｃは、搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて、搭乗者ごとの意図理解結果のうち、どの搭乗者に対応する意図理解結果を採用するかを判定する。この構成により、複数の搭乗者が利用する音声認識装置２０において、他搭乗者が発話した音声に対する誤認識を抑制することができる。また、音声認識装置２０は、意図理解部３０を備えることにより、搭乗者が認識対象語を意識せず自由に発話した場合でも当該発話の意図を理解することができる。
【００７７】
また、実施の形態３に係る音声認識装置２０は、対話管理ＤＢ２４Ｃと、応答決定部２５Ｃとを備える。対話管理ＤＢ２４Ｃは、意図理解結果と実行すべき機能との対応関係を定義した対話管理データベースである。応答決定部２５Ｃは、応答決定部２５Ｃを参照して、スコア利用判定部２３Ｃにより採用された意図理解結果に対応する機能を決定する。この構成により、複数の搭乗者が音声で操作する情報機器１０において、他搭乗者が発話した音声に対する誤った機能実行を抑制することができる。また、音声認識装置２０が意図理解部３０を備えることにより、情報機器１０は、搭乗者が認識対象語を意識せず自由に発話した場合でも搭乗者が意図した機能を実行することができる。
【００７８】
なお、実施の形態３では、音声認識装置２０が対話管理ＤＢ２４Ｃ及び応答決定部２５Ｃを備える例を示したが、情報機器１０が対話管理ＤＢ２４Ｃ及び応答決定部２５Ｃを備えていてもよい。この場合、スコア利用判定部２３Ｃは、採用した意図理解結果を、情報機器１０の応答決定部２５Ｃへ出力する。
【００７９】
実施の形態４．
図１６は、実施の形態４に係る音声認識装置２０を備えた情報機器１０の構成例を示すブロック図である。実施の形態４に係る情報機器１０は、図１３に示された実施の形態３の情報機器１０に対して、カメラ１２が追加された構成である。また、実施の形態４に係る音声認識装置２０は、図１３に示された実施の形態３の音声認識装置２０に対して、図７に示された実施の形態２の画像解析部２６及び画像利用判定部２７が追加された構成である。図１６において、図７及び図１３と同一又は相当する部分は、同一の符号を付し説明を省略する。
【００８０】
意図理解部３０は、画像利用判定部２７が出力した、画像を利用した各搭乗者の発話判定結果と、音声認識結果と、音声認識結果の音声認識スコアとを受け取る。意図理解部３０は、画像利用判定部２７が発話していると判定した搭乗者の音声認識結果のみに対して意図理解処理を実行し、画像利用判定部２７が発話していないと判定した搭乗者の音声認識結果に対して意図理解処理を実行しない。そして、意図理解部３０は、意図理解処理を実行した搭乗者ごとの意図理解結果と、意図理解スコアとを、スコア利用判定部２３Ｄへ出力する。
【００８１】
スコア利用判定部２３Ｄは、実施の形態３のスコア利用判定部２３Ｃと同様に動作する。ただし、スコア利用判定部２３Ｄは、画像利用判定部２７が発話していると判定した搭乗者の音声認識結果に対応する意図理解結果と、当該意図理解結果の意図理解スコアとを用いて、どの意図理解結果を採用するか否かを判定する。
【００８２】
なお、スコア利用判定部２３Ｄは、上記のように意図理解スコアを用いて意図理解結果を採用するか否か判定するようにしたが、音声認識部２２が算出した音声認識スコアを用いて意図理解結果を採用するか否か判定するようにしてもよい。この場合、スコア利用判定部２３Ｄは、音声認識部２２が算出した音声認識スコアを、音声認識部２２から取得してもよいし、画像利用判定部２７と意図理解部３０とを介して取得してもよい。そして、スコア利用判定部２３Ｄは、例えば、閾値以上の音声認識スコアを持つ音声認識結果に対応する意図理解結果に対応する搭乗者が発話していると判定し、この意図理解結果を採用する。
【００８３】
また、スコア利用判定部２３Ｄは、意図理解スコアだけでなく音声認識スコア又は判定スコアの少なくとも一方を考慮した上で意図理解結果を採用するか否かを判定するようにしてもよい。この場合、スコア利用判定部２３Ｄは、画像利用判定部２７が算出した判定スコアを、画像利用判定部２７から取得してもよいし、意図理解部３０を介して取得してもよい。そして、スコア利用判定部２３Ｄは、意図理解スコアに代えて、例えば、意図理解スコアと音声認識スコアと判定スコアとを加算した値又は平均した値を用いる。
【００８４】
次に、音声認識装置２０の動作例を説明する。
図１７は、実施の形態４に係る音声認識装置２０の動作例を示すフローチャートである。音声認識装置２０は、例えば情報機器１０が作動している間、図１７のフローチャートに示される動作を繰り返す。図１７のステップＳＴ００１〜ＳＴ００４及びステップＳＴ０１１〜ＳＴ０１３は実施の形態２における図１１のステップＳＴ００１〜ＳＴ００４及びステップＳＴ０１１〜ＳＴ０１３と同一の動作であるため、説明を省略する。
【００８５】
図１８は、実施の形態４に係る音声認識装置２０による処理結果を示す図である。ここでは、例として、図１８に示される具体例を交えながら説明する。図１８の例では、実施の形態３における図１５の例と同様に、第１搭乗者１が「エアコンの風量を上げて」と発話し、第２搭乗者２が「エアコンの風を強くして」と発話している。第３搭乗者３は、第１搭乗者１と第２搭乗者２の発話中にあくびをしている。第４搭乗者４は発話していない。
【００８６】
ステップＳＴ１１１において、意図理解部３０は、画像利用判定部２７により発話していると判定された搭乗者に対応する音声認識結果に対して意図理解処理を実行し、意図理解結果と意図理解スコアとをスコア利用判定部２３Ｄへ出力する。図１８の例では、第１搭乗者１、第２搭乗者２、及び第３搭乗者３のいずれも発話又は発話に近い口の動きをしていたため、画像利用判定部２７により発話していると判定され、意図理解処理が実行される。
図１７のステップＳＴ１０２〜ＳＴ１０６は実施の形態３における図１４のステップＳＴ１０２〜ＳＴ１０６の動作と同一であるため、説明を省略する。
【００８７】
以上のように、実施の形態４に係る音声認識装置２０は、画像解析部２６と、画像利用判定部２７とを備える。画像解析部２６は、複数人の搭乗者が撮像された画像を用いて搭乗者ごとの顔特徴量を算出する。画像利用判定部２７は、搭乗者ごとの発話音声の始端時刻から終端時刻までの顔特徴量を用いて、搭乗者ごとに発話しているか否かを判定する。スコア利用判定部２３Ｄは、画像利用判定部２７により発話していると判定された２人以上の搭乗者に対応する同一の意図理解結果が存在する場合、２人以上の搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方を用いて意図理解結果を採用するか否かを判定する。この構成により、複数の搭乗者が利用する音声認識装置２０において、他搭乗者が発話した音声に対する誤認識をさらに抑制することができる。
【００８８】
なお、実施の形態４のスコア利用判定部２３Ｄは、画像利用判定部２７により発話していると判定された２人以上の搭乗者に対応する同一の意図理解結果が存在する場合、２人以上の搭乗者ごとの音声認識スコア又は意図理解スコアの少なくとも一方に加えて画像利用判定部２７が算出した判定スコアを用いて意図理解結果を採用するか否かを判定するようにしてもよい。この構成により、音声認識装置２０は、他搭乗者が発話した音声に対する誤認識をさらに抑制することができる。
【００８９】
また、実施の形態４の音声認識部２２は、実施の形態２の図１２に示される音声認識部２２と同様に、画像利用判定部２７により発話区間が無いと判定された搭乗者の発話音声を音声認識しなくてもよい。この場合、意図理解部３０は、図１２の音声認識部２２とスコア利用判定部２３Ｂとの間に相当する位置に設けられる。そのため、意図理解部３０も、画像利用判定部２７により発話区間が無いと判定された搭乗者の発話の意図を理解しないことになる。この構成により、音声認識装置２０の処理負荷が軽減可能であり、かつ、発話区間の判定性能が向上する。
【００９０】
最後に、各実施の形態に係る音声認識装置２０のハードウェア構成を説明する。
図１９Ａ及び図１９Ｂは、各実施の形態に係る音声認識装置２０のハードウェア構成例を示す図である。音声認識装置２０における音声信号処理部２１、音声認識部２２、スコア利用判定部２３，２３Ｂ，２３Ｃ，２３Ｄ、対話管理ＤＢ２４，２４Ｄ、応答決定部２５，２５Ｃ、画像解析部２６、画像利用判定部２７、及び意図理解部３０の機能は、処理回路により実現される。即ち、音声認識装置２０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
【００９１】
図１９Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、又はこれらを組み合わせたものが該当する。音声信号処理部２１、音声認識部２２、スコア利用判定部２３，２３Ｂ，２３Ｃ，２３Ｄ、対話管理ＤＢ２４，２４Ｄ、応答決定部２５，２５Ｃ、画像解析部２６、画像利用判定部２７、及び意図理解部３０の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。
【００９２】
図１９Ｂに示されるように、処理回路がプロセッサ１０１である場合、音声信号処理部２１、音声認識部２２、スコア利用判定部２３，２３Ｂ，２３Ｃ，２３Ｄ、応答決定部２５，２５Ｃ、画像解析部２６、画像利用判定部２７、及び意図理解部３０の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、音声認識装置２０は、プロセッサ１０１により実行されるときに、図６等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、音声信号処理部２１、音声認識部２２、スコア利用判定部２３，２３Ｂ，２３Ｃ，２３Ｄ、応答決定部２５，２５Ｃ、画像解析部２６、画像利用判定部２７、及び意図理解部３０の手順又は方法をコンピュータに実行させるものであるとも言える。
【００９３】
ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等のことである。
【００９４】
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の光ディスクであってもよいし、光磁気ディスプであってもよい。
対話管理ＤＢ２４，２４Ｄは、メモリ１０２によって構成される。
【００９５】
なお、音声信号処理部２１、音声認識部２２、スコア利用判定部２３，２３Ｂ，２３Ｃ，２３Ｄ、応答決定部２５，２５Ｃ、画像解析部２６、画像利用判定部２７、及び意図理解部３０の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、音声認識装置２０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
【００９６】
上記例では、音声信号処理部２１、音声認識部２２、スコア利用判定部２３，２３Ｂ，２３Ｃ，２３Ｄ、対話管理ＤＢ２４，２４Ｃ、応答決定部２５，２５Ｃ、画像解析部２６、画像利用判定部２７、及び意図理解部３０の機能が、車両に搭載される又は持ち込まれる情報機器１０に集約された構成であったが、ネットワーク上のサーバ装置、スマートフォン等の携帯端末、及び車載器等に分散されていてもよい。例えば、音声信号処理部２１及び画像解析部２６を備える車載器と、音声認識部２２、スコア利用判定部２３，２３Ｂ，２３Ｃ，２３Ｄ、対話管理ＤＢ２４，２４Ｃ、応答決定部２５，２５Ｃ、画像利用判定部２７、及び意図理解部３０を備えるサーバ装置とにより、音声認識システムが構築される。
【００９７】
本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００９８】
この発明に係る音声認識装置は、複数の発話者の音声認識を行うようにしたので、音声認識対象が複数存在する車両、鉄道、船舶又は航空機等を含む移動体用の音声認識装置に用いるのに適している。
【符号の説明】
【００９９】
１〜４  第１〜第４搭乗者、１０，１０Ａ  情報機器、１１  集音装置、１１−１〜１１−Ｎ  マイク、１２  カメラ、２０，２０Ａ  音声認識装置、２１  音声信号処理部、２１−１〜２１−Ｍ  第１〜第Ｍ処理部、２２  音声認識部、２２−１〜２２−Ｍ  第１〜第Ｍ認識部、２３，２３Ｂ，２３Ｃ，２３Ｄ  スコア利用判定部、２４，２４Ｃ  対話管理ＤＢ、２５，２５Ｃ  応答決定部、２６  画像解析部、２６−１〜２６−Ｍ  第１〜第Ｍ解析部、２７  画像利用判定部、２７−１〜２７−Ｍ  第１〜第Ｍ判定部、３０  意図理解部、３０−１〜３０−Ｍ  第１〜第Ｍ理解部、１００  処理回路、１０１  プロセッサ、１０２  メモリ。
【図１】
0006847324.tif 000002
【図２Ａ】
0006847324.tif 000003
【図２Ｂ】
0006847324.tif 000004
【図３Ａ】
0006847324.tif 000005
【図３Ｂ】
0006847324.tif 000006
【図４Ａ】
0006847324.tif 000007
【図４Ｂ】
0006847324.tif 000008
【図５Ａ】
0006847324.tif 000009
【図５Ｂ】
0006847324.tif 000010
【図６】
0006847324.tif 000011
【図７】
0006847324.tif 000012
【図８】
0006847324.tif 000013
【図９】
0006847324.tif 000014
【図１０】
0006847324.tif 000015
【図１１】
0006847324.tif 000016
【図１２】
0006847324.tif 000017
【図１３】
0006847324.tif 000018
【図１４】
0006847324.tif 000019
【図１５】
0006847324.tif 000020
【図１６】
0006847324.tif 000021
【図１７】
0006847324.tif 000022
【図１８】
0006847324.tif 000023
【図１９Ａ】
0006847324.tif 000024
【図１９Ｂ】
0006847324.tif 000025