(57)【要約】【課題】ユーザが使用する機器からクラウドへの音声データの送信頻度、機器１２からクラウドへの音声データの送信頻度を効率的に低減することができ、コストの低廉化を図ることができる音声インタフェイスシステムを提供する。【解決手段】音声インタフェイス装置１４は、機器１２側の音声認識ユニット８４で発話内容についての音声認識をする前に、ユーザの発話における音声信号データと、機器１２側の記憶部４４に記憶されたキャッシュ１０２としての過去の発話における音声信号データとを比較し、当該音声信号データに、一致度が高いキャッシュとしての過去の発話における音声信号データがある場合、キャッシュとしての過去の発話における音声信号データに対応した応答音声データを、次のプロセスを処理するユニットへ送信する調停ユニット８６を備える。【選択図】図７
2020166075.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話の内容に基づいて、当該ユーザが使用する機器の動作を制御し、当該機器に搭載される音声インタフェイス装置を有する音声インタフェイスシステムであって、
前記音声インタフェイス装置は、前記ユーザの発話から得られた音声信号データから発話内容を認識する前記機器側の音声認識ユニットを少なくとも備えるとともに、
前記音声インタフェイスシステムは、前記音声インタフェイス装置と通信して該音声インタフェイス装置から送信される前記ユーザの発話における音声信号データから発話内容を認識するサーバ側の音声認識ユニットを備えるサーバ装置を有し、
前記音声インタフェイス装置は、前記機器側の音声認識ユニットで発話内容についての認識処理をする前に、前記ユーザの発話における音声信号データと、前記機器側の記憶部に記憶されるキャッシュとしての過去の発話における音声信号データとを比較して、当該音声信号データに、一致度が高い前記キャッシュとしての過去の発話における音声信号データがある場合、キャッシュとしての過去の発話における音声信号データに対応した応答音声データを、次のプロセスを処理するユニットへ送信する調停ユニットを備える、音声インタフェイスシステム。
【請求項２】
請求項１に記載の音声インタフェイスシステムにおいて、
前記機器側の記憶部に記憶されたキャッシュとしての過去の発話における音声信号データは、その発話時に、前記機器の位置及びその日時が関連するものは、対応する位置データ及び日時データが対応付けられて記憶され、
前記調停ユニットは、当該音声信号データについての一致度が高いキャッシュとしての音声信号データが、対応する位置データや対応する日時データがないものであった場合は、前記機器の位置及び日時は関連しないものとして、当該一致度に基づいて処理する、音声インタフェイスシステム。
【請求項３】
請求項１に記載の音声インタフェイスシステムにおいて、
前記機器側の記憶部に記憶されたキャッシュとしての過去の発話における音声信号データは、その発話時に、前記機器の位置及びその日時が関連するものは、対応する位置データ及び日時データが対応付けられて記憶され、
前記調停ユニットには、前記キャッシュとしての音声信号データに対応づけられた前記機器の位置データ及び日時データを含むキャッシュとしての音声関連データの有効性を判断する有効性判断ユニットが含まれる、音声インタフェイスシステム。
【請求項４】
請求項１に記載の音声インタフェイスシステムにおいて、
前記サーバ装置は、自然言語理解ユニットを備える、音声インタフェイスシステム。
【請求項５】
請求項３に記載の音声インタフェイスシステムにおいて、
前記機器に搭載された前記有効性判断ユニットが、前記キャッシュとしての音声関連データを有効であると判断した場合は、
前記機器側の記憶部に搭載された前記キャッシュとしての音声関連データに基づいて、前記機器に搭載された報知機構にて前記機器を使用するユーザへ報知する、音声インタフェイスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声インタフェイスシステムに関する。
【背景技術】
【０００２】
特許文献１では、利用者との対話型ＧＵＩを備えた情報提示システムに関し、とくに利用者との対話プロセスにおいてその表情や声などの反応を読みとって、システムやコンテンツの評価指標として利用する技術を提供することを課題としている。
【０００３】
当該課題を解決するため、特許文献１では、利用者反応分類手段と、利用履歴作成手段とを備える。利用者反応分類手段は、提示情報に接している利用者の顔を含む姿を撮影するためのビデオカメラと、ある情報番組の提示期間中にビデオカメラで撮影された映像を所定のアルゴリズムで分析し、提示情報に対する利用者の表情変化を分類する。利用履歴作成手段は、利用者に逐次提示した情報番組の識別データを記録にとるとともに、それら各情報番組の提示に対応して利用者反応分類手段が出力した分類結果を各番組識別データに対応づけして記録する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４４９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザが使用する機器（車両、船舶、航空機等の移動体やＩｏＴ機能を有する装置等）に用いた音声インタフェイスシステム、例えばクラウドと連携した音声インタフェイスシステムは、音声認識を行う際に、音声データをクラウド側と機器側に同時に送信する方式が多い。常にクラウドに音声データを送信する技術では、転送量が増えることにより、コストが増大し、サービス事業者やユーザが費用を負担する必要が生じてしまう。
【０００６】
本発明は上述した問題を解決するためになされたものであり、ユーザが使用する機器からクラウドへの音声データの送信頻度を効率的に低減することができ、レスポンスの向上、コストの低廉化を図ることができる音声インタフェイスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の態様は、ユーザの発話の内容に基づいて、当該ユーザが使用する機器の動作を制御し、当該機器に搭載される音声インタフェイス装置を有する音声インタフェイスシステムであって、
前記音声インタフェイス装置は、前記ユーザの発話から得られた音声信号データから発話内容を認識する前記機器側の音声認識ユニットを少なくとも備えるとともに、
前記音声インタフェイスシステムは、前記音声インタフェイス装置と通信して該音声インタフェイス装置から送信される前記ユーザの発話における音声信号データから発話内容を認識するサーバ側の音声認識ユニットを備えるサーバ装置を有し、
前記音声インタフェイス装置は、前記機器側の音声認識ユニットで発話内容についての認識処理をする前に、前記ユーザの発話における音声信号データと、前記機器側の記憶部に記憶されるキャッシュとしての過去の発話における音声信号データとを比較して、当該音声信号データに、一致度が高い前記キャッシュとしての過去の発話における音声信号データがある場合、キャッシュとしての過去の発話における音声信号データに対応した応答音声データを、次のプロセスを処理するユニットへ送信する調停ユニットを備える。
【発明の効果】
【０００８】
本発明の態様によれば、ユーザが使用する機器からクラウドへの音声データの送信頻度を効率的に低減することができ、レスポンスの向上、コストの低廉化を図ることができる音声インタフェイスシステムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る音声インタフェイスシステムを示す概略構成図である。
【図２】音声インタフェイス装置の一構成例を示すブロック図である。
【図３】運転席から見た車室内の一例を示す図である。
【図４】車両を上から見た車室内の一例を示す図である。
【図５】サーバ装置の一構成例を示すブロック図である。
【図６】音声インタフェイスシステムの処理動作を示すフローチャートである。
【図７】音声インタフェイスシステムの動作例を示す機能ブロック図である。
【図８】図８Ａ〜図８Ｅは、ユーザと音声インタフェイスシステムとの情報のやりとりの例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態例を図１〜図８Ｅを参照しながら説明する。
【００１１】
本実施形態に係る音声インタフェイスシステム１０は、図１に示すように、ユーザが使用する機器１２（車両、船舶、航空機等の移動体やＩｏＴ機能を具備した各種機器等）において、ユーザの発話の内容に基づいて、該機器１２の動作を制御する。そして、音声インタフェイスシステム１０は、機器１２に搭載される音声インタフェイス装置１４と、音声インタフェイス装置１４と通信するサーバ装置１６（例えばクラウド）とを有する。以下の説明では、機器１２として車両１８に適用した音声インタフェイスシステム１０の例を示す。
【００１２】
車両１８は、例えば、二輪や三輪、四輪等の車両である。これらの車両の駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、あるいはこれらの組み合わせであってよい。電動機は、内燃機関に連結された発電機による発電電力、あるいは二次電池や燃料電池の放電電力を使用して動作する。
【００１３】
音声インタフェイス装置１４とサーバ装置１６とは、ネットワーク２０を介して通信可能に接続される。ネットワーク２０は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等が含まれる。ネットワーク２０には、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標、以下省略）等、無線通信を利用したネットワークが含まれてよい。
【００１４】
音声インタフェイス装置１４は、車両１８のユーザと音声対話を行ったり、ユーザ同士の対話を支援したりする機能を有する装置である。この機能は、ある種の人工知能的機能を持つソフトウェアによって実現される。
【００１５】
サーバ装置１６は、各車両１８に搭載された音声インタフェイス装置１４と通信し、音声インタフェイス装置１４から各種データを収集する。サーバ装置１６は、収集したデータを解析することで、各音声インタフェイス装置１４の機能を、より高精度な機能に更新する。
【００１６】
音声インタフェイス装置１４は、図２に示すように、通信部３０と、操作入力部３２と、車両センサ３４と、ＧＮＳＳ（Global Navigation Satellite System）受信機３６と、車室内カメラ３８と、マイクロフォン４０と、時計４１と、制御部４２と、記憶部４４とを有する。
【００１７】
また、音声インタフェイス装置１４は、報知機構５０と、後処理部５１とを備える。報知機構５０は、スピーカ５２と、表示部５４と、音声合成部５６と、第２出力制御部５８Ｂとを有する。
【００１８】
報知機構５０は、報知内容の作成等の信号処理を実行するＣＰＵ等のほか、報知内容を出力する機器、例えば上述したスピーカ５２、表示部５４を含む。
【００１９】
これらの装置や機器は、例えばＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてよい。なお、図２に示す音声インタフェイス装置１４の構成はあくまでも一例であり、構成の一部が省略されてもよいし、さらに別の構成が追加されてもよい。
【００２０】
通信部３０は、ＮＩＣ等の通信インタフェイスを含む。通信部３０は、ネットワーク２０を介してサーバ装置１６等と通信する。
【００２１】
操作入力部３２は、例えば、ボタン、キーボードやマウス等のユーザインタフェイスである。操作入力部３２は、ユーザの操作を受け付けて、受け付けた操作に応じた信号を制御部４２に出力する。操作入力部３２は、表示部５４と一体として構成されるタッチパネルであってもよい。
【００２２】
車両センサ３４は、車両１８の向きを検出する方位センサや、車両１８の速度を検出する車速センサ、車両１８の加速度を検出する加速度センサ、車両１８の鉛直軸回りの角速度を検出するヨーレートセンサ、操舵トルクを検出するトルクセンサ等を含む。車両センサ３４は、検出した方位や速度、加速度等を含むデータを制御部４２に出力する。
【００２３】
ＧＮＳＳ受信機３６は、ＧＰＳ（Global Positioning System）衛星等のＧＮＳＳ衛星から受信した電波に基づいて、車両１８の位置を検出する。ＧＮＳＳ受信機３６によって検出される位置は、例えば、緯度及び経度によって表される絶対座標であってよい。ＧＮＳＳ受信機３６は、検出した車両１８の位置を示すデータ（以下、位置データ）を制御部４２に出力する。
【００２４】
車室内カメラ３８は、例えば、音声インタフェイス装置１４が搭載された車両１８の車室内に設置され、車室内のシートに着座する各ユーザの顔等を撮像する。車室内カメラ３８は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ３８は、例えば、所定のタイミングで各ユーザを繰り返し撮像する。車室内カメラ３８は、ユーザを撮像した画像のデータ（以下、画像データ）を生成し、生成した画像データを音声インタフェイス装置１４に出力する。
【００２５】
マイクロフォン４０は、例えばユーザが車室内のシートに着座したときの前方付近に設置される。また、マイクロフォン４０は、例えばマットランプ、ステアリングホイール、インストルメントパネル、又はシートの付近に設置される。マイクロフォン４０は、車室内に複数設置されてもよい。
【００２６】
報知機構５０のスピーカ５２は、例えば、車室内のシート付近又は表示部５４付近に設置される。スピーカ５２は、制御部４２により出力される情報に基づいて音声を出力する。
【００２７】
また、時計４１からの時刻情報を取得する第１取得部４６ａと、ＧＮＳＳ受信機３６から車両１８の位置を取得する第２取得部４６ｂとを有する。すなわち、時計４１と第１取得部４６ａとで第１取得機器４８ａが構成され、ＧＮＳＳ受信機３６と第２取得部４６ｂとで第２取得機器４８ｂが構成される。
【００２８】
報知機構５０の表示部５４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）等の表示装置を含む。表示部５４は、制御部４２により出力される情報に基づいて画像を表示する。
【００２９】
後処理部５１は、ユーザからの発話内容に含まれている機器名に基づいて、機器名に対応する機器を、発話内容に含まれている動作に関する文言に従って駆動する。例えば抽出された第２音声関連データ１００Ｂに格納された発話内容が「運転席側のウィンドウを開けて」であれば、運転席側のウィンドウを開くように制御する。この場合、後述するように、ウィンドウの開閉は、天候に左右されることから、車両の現在位置の天候情報や車両の現在位置等に応じて、開かないように制御する場合もある。反対に、天候等に左右されない機器（デフロスター等）については、天候情報等を参照することなく、起動する。特に、天候等に左右されない機器については、第１音声関連データ１００Ａに位置データや日時データが格納されない。このデータ構造は、第２音声関連データ１００Ｂにも踏襲される。従って、後処理部５１は、抽出された第２音声関連データ１００Ｂに位置データや日時データが格納されていなければ、要求に従って、対応する機器の起動、停止を実施する。
【００３０】
図３は、運転席から見た車室内の一例を示す図である。図示の例の車室内には、マイクロフォン４０Ａ、４０Ｂと、スピーカ５２Ａ〜５２Ｃと、表示部５４Ａ〜５４Ｃとが設置されている。マイクロフォン４０Ａは、例えば、ステアリングホイールに設けられ、主に運転者が発話した音声を収音する。マイクロフォン４０Ｂは、例えば、助手席正面のインストルメントパネル７０（ダッシュボード又はガーニッシュ）に設けられ、主に助手席のユーザが発話した音声を収音する。
【００３１】
スピーカ５２Ａは、例えば、表示部５４Ｃの付近、つまり、インストルメントパネル７０の中央付近に設置される。スピーカ５２Ｂは、例えば、運転席側のドアの下部に設置され、スピーカ５２Ｃは、例えば、助手席側のドアの下部に設置される。
【００３２】
表示部５４Ａは、例えば運転者が車外を視認する際の視線の先に虚像を表示させるＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、例えば、車両１８のフロントウインドシールド、あるいはコンバイナーと呼ばれる光の透過性を有する透明な部材に光を投光することで、ユーザに虚像を視認させる装置である。ユーザは、主に運転者であるが、運転者以外のユーザであってもよい。
【００３３】
表示部５４Ｂは、運転席（ステアリングホイールに最も近い座席）の正面付近のインストルメントパネル７０に設けられ、ユーザがステアリングホイールの間隙から、あるいはステアリングホイール越しに視認可能な位置に設置される。表示部５４Ｂは、例えば、ＬＣＤや有機ＥＬ表示装置等である。表示部５４Ｂには、例えば、車両１８の速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像が表示される。
【００３４】
表示部５４Ｃは、インストルメントパネル７０の中央付近に設置される。表示部５４Ｃは、例えば、表示部５４Ｂと同様に、ＬＣＤや有機ＥＬ表示装置等である。表示部５４Ｃは、テレビ番組や映画等のコンテンツを表示する。
【００３５】
なお、車両１８には、さらに、後部座席付近にマイクロフォン４０とスピーカ５２が設けられてもよい。図４は、車両１８を上から見た車室内の一例を示す図である。車室内には、図３で例示したマイクロフォン４０Ａ、４０Ｂ、スピーカ５２Ａ〜５２Ｃに加えて、さらに、マイクロフォン４０Ｃ、４０Ｄと、スピーカ５２Ｄ、５２Ｅとが設置されてもよい。
【００３６】
マイクロフォン４０Ｃは、例えば、助手席ＳＴ２の後方に設置された第１後部座席ＳＴ３の付近（例えば、助手席ＳＴ２の後面）に設けられ、主に、第１後部座席ＳＴ３に着座するユーザが発話した音声を収音する。マイクロフォン４０Ｄは、例えば、運転席ＳＴ１の後方に設置された第２後部座席ＳＴ４の付近（例えば、運転席ＳＴ１の後面）に設けられ、主に、第２後部座席ＳＴ４に着座するユーザが発話した音声を収音する。
【００３７】
スピーカ５２Ｄは、例えば、第１後部座席ＳＴ３側のドアの下部に設置され、スピーカ５２Ｅは、例えば、第２後部座席ＳＴ４側のドアの下部に設置される。
【００３８】
なお、図１に例示した車両１８は、図３又は図４に例示するように、ユーザである運転手が操作可能なステアリングホイールを備える車両であるものとして説明したが、これに限られない。例えば、車両１８は、ルーフがない、すなわち、車室がない（又はその明確な区分けがない）自動車であってもよい。また、図３又は図４の例では、車両１８を運転操作する運転手が座る運転席と、その他の運転操作をしないユーザが座る助手席や後部座席とが一つの室内にあるものとして説明しているが、これに限られない。例えば、車両１８は、電車や機関車がけん引する列車のように、運転手が座る運転席に対して他の運転操作をしないユーザが座る座席とは隔離されているような車両であってもよい。また、図３又は図４の例では、車両１８が、ステアリングホイールを備える車両であるものとして説明しているが、これに限られない。例えば、車両１８は、ステアリングホイールのような運転操作機器が設けられていない自動運転車であってもよい。
【００３９】
そして、図２に示すように、制御部４２は、例えば、取得部８０と、発話期間抽出部８２と、音声認識ユニット８４と、調停ユニット８６と、第１出力制御部５８Ａと、通信制御部９０と、第１音声関連データ作成部９２Ａと、第２音声関連データ作成部９２Ｂと、有効性判断ユニット９４と、キャッシュ管理ユニット９６とを備える。
【００４０】
これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部４４に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部４４にインストールされてもよい。
【００４１】
なお、記憶部４４は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部４４には、例えば、プロセッサによって参照されるプログラム等が格納される。
【００４２】
取得部８０は、車室内カメラ３８から画像データを取得したり、マイクロフォン４０から音声信号データを取得したり、車両センサ３４から方位や速度等のデータを取得する。音声信号データは、マイクロフォン４０からの音声信号をデジタル化（標本化、符号化、量子化）することで得られる。
【００４３】
発話期間抽出部８２は、音声信号データから、ユーザが発話している期間（以下、発話期間と称する）を抽出する。例えば、発話期間抽出部８２は、例えば零交差法を利用して、音声信号データの振幅に基づいて発話期間を抽出してよい。また、発話期間抽出部８２は、例えば混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model）に基づいて、音声信号データから発話期間を抽出してもよいし、発話期間特有の音声信号データをテンプレート化したデータベースとテンプレートマッチング処理を行うことで、音声データから発話期間を抽出してもよい。
【００４４】
音声認識ユニット８４は、発話期間抽出部８２によって抽出された発話期間ごとに音声を認識し、認識した音声をテキスト化することで、発話内容を表すテキストデータを生成する。
【００４５】
例えば、音声認識ユニット８４は、発話期間の音声信号データを、低周波数や高周波数等の複数の周波数帯に分離し、分離した各音声信号データをフーリエ変換することで、スペクトログラムを生成する。音声認識ユニット８４は、生成したスペクトログラムを、再帰的ニューラルネットワークに入力することで、スペクトログラムから文字列を得る。再帰的ニューラルネットワークは、例えば、学習用の音声から生成したスペクトログラムに対して、その学習用の音声に対応した既知の文字列が教師ラベルとして対応付けられた教師データを利用することで、予め学習されていてもよい。そして、音声認識ユニット８４は、再帰的ニューラルネットワークから得た文字列のデータを、発話内容（テキストデータ）として出力する。
【００４６】
なお、音声認識ユニット８４に加えてＮＬＵ９８（自然言語理解処理：図７参照）があってもよい。これにより、音声認識ユニット８４から構造化されていないテキストが出力された場合に、それを機械が解釈可能な形式のテキストに変換するため、誤解を含むような表現や意味不明な表現の頻出を低減することができる。
【００４７】
第１音声関連データ作成部９２Ａは、記憶部４４に格納する１つの第１音声関連データ１００Ａを作成する。第１音声関連データ１００Ａは、ユーザからの新たな発話による音声信号データと、第１取得部４６ａにて取得されたユーザの音声による発話時刻（年月日及び時刻等）と、第２取得部４６ｂにて取得されたユーザの音声による発話時の車両１８の位置情報とを少なくとも有する。
【００４８】
第２音声関連データ作成部９２Ｂは、１以上の第２音声関連データ１００Ｂを作成して、キャッシュ１０２に記憶する。キャッシュ１０２には、複数の第２音声関連データ１００Ｂが、例えば時系列に配列されて格納される。第２音声関連データ１００Ｂは、対応する第１音声関連データ１００Ａの内容と、該第１音声関連データ１００Ａの音声信号データ（ユーザからの新たな発話内容）に対応するサーバ装置１６からの応答データと、応答時刻（年月日及び時刻等）とを含む。
【００４９】
調停ユニット８６は、今回作成された第１音声関連データ１００Ａに基づいて、キャッシュ１０２から関連する１つ以上の第２音声関連データ１００Ｂを抽出する。例えばキャッシュ１０２に格納された複数の第２音声関連データ１００Ｂのうち、今回の第１音声関連データ１００Ａに格納された音声信号データの内容と一致する複数の第２音声関連データ１００Ｂを抽出する（一次抽出）。
【００５０】
有効性判断ユニット９４は、今回の第１音声関連データ１００Ａの発話時刻、発話時の車両１８の位置情報等に基づいて、発話時の天候情報を気象庁等の天候情報サービスから入手する。
【００５１】
有効性判断ユニット９４は、一次抽出された複数の第２音声関連データ１００Ｂについて、それぞれ天候情報を入手し、第１音声関連データ１００Ａの天候情報と一致する１つの第２音声関連データ１００Ｂを抽出する（二次抽出）。
【００５２】
キャッシュ管理ユニット９６は、キャッシュ１０２に格納された複数の第２音声関連データ１００Ｂが現在も有効であるかどうかを判断し、第２音声関連データ１００Ｂの有効状態を管理する。例えばキャッシュ１０２に格納された複数の第２音声関連データ１００Ｂのうち、応答時刻から所定期間経過していないデータ、機器１２の応答時刻からの移動量が所定距離以内であるデータを有効な第２音声関連データ１００Ｂとして判定する。もちろん、有効でないと判定された第２音声関連データ１００Ｂは、キャッシュ１０２から削除される。すなわち、キャッシュ１０２内のデータの古いものを捨てて、データの最新化且つデータ量の減量化が行われる。キャッシュ１０２内のデータの最新化且つ減量化によって、有効性判断ユニット９４による有効な第２音声関連データ１００Ｂを検索するスピードを上げ、検索時間の短縮化を図ることができる（検索の効率化）。
【００５３】
［サーバ装置の構成］
一方、サーバ装置１６は、図５に示すように、例えばサーバ側通信部１１０と、サーバ側制御部１１２と、サーバ側記憶部１１４とを備える。
【００５４】
サーバ側通信部１１０は、例えばＮＩＣ（ネットワーク・インタフェイス・カード）等の通信インタフェイスを含む。サーバ側通信部１１０は、ネットワーク２０を介して車両１８に搭載された音声インタフェイス装置１４等と通信する。
【００５５】
サーバ側制御部１１２は、例えば、サーバ側取得部１２０と、サーバ側発話期間抽出部１２２と、サーバ側音声認識ユニット１２４と、サーバ側通信制御部１２６とを備える。
【００５６】
これらの構成要素は、例えば、ＣＰＵやＧＰＵ等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めサーバ側記憶部１１４に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでサーバ側記憶部１１４にインストールされてもよい。
【００５７】
サーバ側記憶部１１４は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、または、ＲＡＭ等により実現される。サーバ側記憶部１１４には、例えば、プロセッサによって参照されるプログラム等が格納される。
【００５８】
サーバ側取得部１２０は、サーバ側通信制御部１２６を介して、音声インタフェイス装置１４から、音声信号、位置データ及び識別データを取得する。
【００５９】
サーバ側発話期間抽出部１２２及びサーバ側音声認識ユニット１２４は、上述した音声インタフェイス装置１４側の発話期間抽出部８２及び音声認識ユニット８４とほぼ同様の処理を行うが、信号処理上の分解能や精度が音声インタフェイス装置１４よりも高い。従って、サーバ装置１６で処理された発話内容はほとんど満足のいくものとなる。
【００６０】
そして、サーバ側通信制御部１２６は、生成したテキストデータを、位置データ及び識別データに基づいて、送信元の音声インタフェイス装置１４に送信する。
【００６１】
なお、サーバ装置１６についても、サーバ側音声認識ユニット１２４に加えてサーバ側ＮＬＵ９８（自然言語理解処理：図７参照）があってもよい。
【００６２】
ここで、音声インタフェイス装置１４の説明に戻り、図２に示す報知機構５０は、音声インタフェイス装置１４の音声認識ユニット８４で処理された発話内容（テキストデータ）に基づいた報知内容（テキストデータ）、又はサーバ装置１６のサーバ側音声認識ユニット１２４で処理された発話内容（テキストデータ）に基づいた報知内容（テキストデータ）を出力する。報知内容は、サーバ装置１６から直接送られてきた報知内容のほか、第２音声関連データ１００Ｂに格納された報知内容が挙げられる。
【００６３】
報知内容は、主にユーザからの発話内容（質問等）に対して回答する内容や、ユーザからの発話内容（指示や依頼等）に対して承諾する、許可する、禁止する等の内容である。
【００６４】
音声合成部５６は、報知機構５０の報知内容（テキストデータ）に基づいて、人工的な合成音声を生成する。第２出力制御部５８Ｂは、音声合成部５６によって合成音声が生成されると、その合成音声をスピーカ５２に出力する。また、第２出力制御部５８Ｂは、報知機構５０の報知内容（テキストデータ）を画像として表示部５４に表示する。
【００６５】
一方、図２に示す制御部４２の通信制御部９０は、通信部３０を介して、取得部８０によって取得された音声信号データ、位置データ及び車両１８の識別データ等をサーバ装置１６に送信する。さらに、通信制御部９０は、送信した音声信号データに対応するテキストデータ（サーバ装置１６から送信）を受信する。なお、通信制御部９０は、通信部３０を介して、取得部８０によって取得された画像データや速度等のデータをサーバ装置１６に送信してもよい。
【００６６】
ここで、上述した音声インタフェイス装置１４の処理動作について、図６のフローチャート及び図７の機能ブロック図を参照しながら説明する。
【００６７】
先ず、図６のステップＳ１において、ユーザが発話した音声をマイクロフォン４０にて収音して、ユーザの音声信号データを取得する。
【００６８】
ステップＳ２において、第１音声関連データ作成部９２Ａは、今回の音声信号データを含む１つの第１音声関連データ１００Ａを作成する。
【００６９】
ステップＳ３において、調停ユニット８６は、今回作成された第１音声関連データ１００Ａ（特に、音声信号データ）に基づいて、キャッシュ１０２のデータファイルから関連する１つ以上の第２音声関連データ１００Ｂを抽出する（一次抽出）。すなわち、音声信号データの内容が一致する１つ以上の第２音声関連データ１００Ｂを抽出する。
【００７０】
ステップＳ４において、１つ以上の第２音声関連データ１００Ｂが抽出されたか否かを判別する。抽出されていれば、次のステップＳ５に進み、有効性判断ユニット９４は、一次抽出された１つ以上の第２音声関連データ１００Ｂについて、それぞれ天候情報を入手し、第１音声関連データ１００Ａの天候情報と一致する１つの第２音声関連データ１００Ｂを抽出する（二次抽出）。１つの第２音声関連データ１００Ｂが抽出された場合は、ステップＳ６に進み、調停ユニット８６は、ユーザの音声信号データを音声認識ユニット８４に入力する（図７において、Ａで示すルート参照）。音声認識ユニット８４は、入力された音声信号データからユーザの発話内容を認識する。すなわち、音声信号データをテキストデータに変換する。
【００７１】
ステップＳ７において、制御部４２は、音声認識ユニット８４にて認識された発話内容（テキストデータ）を、そのまま、あるいはＮＬＵ９８での処理を経て後処理に移行する。すなわち、制御部４２は、キャッシュ１０２から抽出された１つの第２音声関連データ１００Ｂのうち、応答データ（応答内容）を報知機構５０に出力する。
【００７２】
ステップＳ８において、報知機構５０は、入力された第２音声関連データ１００Ｂのうち、応答データ（応答内容）を音声出力する。もちろん、応答内容を表示部５４に表示出力してもよい。
【００７３】
ステップＳ９において、後処理部５１は、入力された第２音声関連データ１００Ｂのうち、音声信号データによって特定される機器（特定機器）が天候等に左右されない機器（例えばデフロスター等）である場合に、当該特定機器を、要求に応じて起動又は停止する。なお、音声信号データによって特定される機器が天候等に左右される機器（例えばウィンドウ等）である場合は、特定の要求（例えば「開く」）であれば、当該機器への起動又は停止を一時的に保留する。
【００７４】
一方、上記ステップＳ４において、第２音声関連データ１００Ｂが抽出されないと判別された場合は、ステップＳ１０に進み、調停ユニット８６は、音声インタフェイス装置１４の通信制御部９０及び通信部３０を通じて、音声信号データ、位置データ及び車両１８の識別データ等をサーバ装置１６に送信する（図７において、Ｂで示すルート参照）。その後、ステップＳ１１において、音声インタフェイス装置１４の通信制御部９０は、サーバ装置１６から送信された音声信号データに対応するテキストデータ（音声信号に対応する応答データ）を受信する。
【００７５】
その後、ステップＳ８において、制御部４２は、サーバ装置１６から送信された発話内容（テキストデータ）に対する後処理に移行する。すなわち、制御部４２は、サーバ装置１６から送信された応答データを報知機構５０に出力する。
【００７６】
その後、前記ステップＳ９を経てステップＳ１２において、制御部４２のキャッシュ管理ユニット９６は、キャッシュ１０２に格納された複数の第２音声関連データ１００Ｂが現在も有効であるかどうかを判断し、第２音声関連データ１００Ｂの有効状態を管理する（図７参照）。なお、キャッシュ管理ユニット９６での処理は、調停ユニット８６での処理や有効性判断ユニット９４での処理と並行して行うようにしてもよい。
【００７７】
ステップＳ１２での処理が終了した後、所定時間経過後にステップＳ１以降の処理を繰り返す。なお、キャッシュ１０２に、第１音声関連データ１００Ａに対応する第２音声関連データ１００Ｂがなく、且つ、ネットワーク２０の通信状態が不安定でサーバ装置１６と繋がらない場合は、機器１２側でユーザとの対話を継続する。例えば機器１２側から「サーバ装置と繋がらないため、別の指示を下さい」等の発話が挙げられる。
【００７８】
次に、ユーザ（例えばドライバＡ）と音声インタフェイスシステムとの情報のやりとりについて、図８Ａ〜図８Ｅに示す５つの例を参照しながら簡単に説明する。
【００７９】
先ず、ドライバＡが発した要求が「運転席のウィンドウを全開にして」であれば、調停ユニット８６は、この内容を示す音声信号データを基に第２音声関連データ１００Ｂを抽出する。このとき、図８Ａ及び図８Ｃに示す２つの第２音声関連データ１００Ｂが抽出されることになる。
【００８０】
そこで、有効性判断ユニット９４は、発話時刻、発話時の車両１８の位置情報基づいて、発話時の天候情報を入手する。入手した天候情報が「雨」を示していれば、図８Ａに示すメッセージが出力される。
【００８１】
しかし、ユーザによって続いて発話される内容が「ドライブスルーだから、窓を開けて」であれば、入手した天候情報が「雨」であっても、図８Ｂに示すメッセージが出力され、後処理部５１によってウィンドウが開く。
【００８２】
同様に、発話時の車両１８の位置情報が料金所を示していれば、入手した天候情報が「雨」であっても、図８Ｃに示すメッセージが出力され、後処理部５１によってウィンドウが開く。
【００８３】
なお、図８Ｄに示すように、ユーザが発した要求が「運転席のウィンドウを閉めて」であれば、天候情報は関係ないため、天候情報を考慮せずに、「はい、わかりました。閉めます」というメッセージが出力され、後処理部５１によってウィンドウが閉まる。
【００８４】
同様に、図８Ｅに示すように、ユーザが発した要求が「デフロスターを起動して」であれば、天候情報は関係ないため、天候情報を考慮せずに、「はい、わかりました。起動します」というメッセージが出力され、後処理部５１によってデフロスターが起動する。
【００８５】
［実施の形態から得られる発明］
上記実施の形態から把握しうる発明について、以下に記載する。
【００８６】
［１］  本実施形態に係る音声インタフェイスシステム１０は、ユーザの発話の内容に基づいて、当該ユーザが使用する機器１２の動作を制御し、当該機器１２に搭載される音声インタフェイス装置１４を有する音声インタフェイスシステム１０であって、前記音声インタフェイス装置１４は、ユーザの発話から得られた音声信号データから発話内容を認識する機器１２側の音声認識ユニット８４を少なくとも備えると共に、音声インタフェイスシステム１０は、音声インタフェイス装置１４と通信して該音声インタフェイス装置１４から送信されるユーザの発話における音声信号データから発話内容を認識するサーバ側音声認識ユニット１２４を備えるサーバ装置１６を有し、音声インタフェイス装置１４は、機器１２側の音声認識ユニット８４で発話内容についての認識処理をする前に、ユーザの発話における音声信号データと、機器１２側の記憶部４４に記憶されたキャッシュ１０２としての過去の発話における音声信号データとを比較し、当該音声信号データに、一致度が高いキャッシュ１０２としての過去の発話における音声信号データがある場合、キャッシュ１０２としての過去の発話における音声信号データに対応した応答音声データを、次のプロセスを処理するユニット（後処理部５１）へ送信する調停ユニット８６を備える。
【００８７】
機器１２側の記憶部４４には、キャッシュ１０２としての過去の発話における音声信号データが記憶される。キャッシュ１０２としての過去の発話における音声信号データには、この音声信号データに対応した応答音声データ（テキストデータ）が存在し、お互いに対応して記憶される。入力音声データ（ユーザの音声信号データ）と対応関係にある一致度が高いキャッシュ（テキストデータ）が存在しているかを確認し、一致度が高いキャッシュが存在している場合には、記憶部４４に記憶されるキャッシュ１０２を後段処理プロセスに渡す。
【００８８】
今まで必要であった「サーバ（クラウド）への音声データの送信」が減少し、ランニングコストの低減につながる。また、機器１２側による認識を行わずに調停が可能なことから、レスポンスを向上させることができる。時間が経った古いキャッシュでも有効に活用できて、今まで必要だった「サーバ（クラウド）への音声データの送信」が減少する。
【００８９】
［２］  本実施形態において、機器１２側の記憶部４４に記憶されたキャッシュ１０２としての過去の発話における音声信号データは、その発話時に、機器１２の位置及びその日時が関連するものは、対応する位置データ及び日時データが対応付けられて記憶され、調停ユニット８６は、当該音声信号データについての一致度が高いキャッシュとしての音声信号データが、対応する位置データや対応する日時データがないものであった場合は、機器１２の位置及び日時は関連しないものとして、当該一致度に基づいて処理する。
【００９０】
調停ユニット８６は、当該音声信号データについての一致度が高いキャッシュとしての音声信号データが、対応する位置データや対応する日時データがないものであった場合は、機器１２の位置及び日時は関連しないものとして、当該一致度に基づいて処理するため、時間が経った古いキャッシュでも有効に活用でき、今まで必要であった「サーバ（クラウド）への音声データの送信」が減少する。
【００９１】
例えば、ユーザが「デフロスターを起動して」という発話をした場合、入力音声データとして、その音声信号データが入力されると、「デフロスターを起動して」という文言に対応する音声信号データと一致度が高いキャッシュ（過去のユーザの音声信号データ）が存在しているかを確認する。一致度が高いキャッシュが存在している場合には、対応する位置データや対応する日時データがあるか否かも確認する。通常、「デフロスターを起動して」には、その発話時の、機器１２の位置及びその日時が関連しないものなので、記憶部４４に記憶されるキャッシュ１０２（過去のユーザの音声信号データに対応した音声認識の結果）を後段処理プロセスに渡すため、そのままデフロスターが起動される。
【００９２】
［３］  本実施形態において、機器１２側の記憶部４４に記憶されたキャッシュ１０２としての過去の発話における音声信号データは、その発話時に、機器１２の位置及びその日時が関連するものは、対応する位置データ及び日時データが対応付けられて記憶され、調停ユニット８６には、キャッシュ１０２としての音声信号データに対応づけられた機器１２の位置データ及び日時データを含むキャッシュ１０２としての音声関連データの有効性を判断する有効性判断ユニット９４が含まれる。
【００９３】
調停ユニット８６は、当該音声信号データについての一致度が高いキャッシュ１０２としての音声信号データが、対応する位置データや対応する日時データがあるものであった場合は、前記キャッシュ１０２としての音声信号データに対応づけられた前記機器１２の位置データ及び日時データを含むキャッシュ１０２としての音声関連データの有効性を判断する。
【００９４】
例えば、ユーザが「窓を全開にして」という発話をした場合、入力音声データとして、その音声信号データが入力されると、「窓を全開にして」という文言に対応する音声信号データと一致度が高いキャッシュ（過去のユーザの音声信号データ）が存在しているかを確認する。一致度が高いキャッシュが存在している場合には、対応する位置データや対応する日時データがあるか否かも確認する。
【００９５】
「窓を全開にして」を実行するには、その場所の天候が関係する。天候は刻々と変化するから、通常、機器１２の位置及び日時が関連するものなので、記憶部４４に記憶されるキャッシュ１０２（過去のユーザの音声信号データに対応した音声認識の結果）の有効性を判断する。有効性があれば、キャッシュの内容を後段処理プロセスに渡す。
【００９６】
［４］  本実施形態において、前記サーバ装置１６は、自然言語理解ユニットを備えることが好ましい。
【００９７】
［５］  本実施形態において、機器１２に搭載された有効性判断ユニット９４が、キャッシュ１０２としての音声関連データを有効であると判断した場合は、機器１２側の記憶部４４に搭載されたキャッシュ１０２としての音声関連データに基づいて、機器１２に搭載された報知機構５０にて機器１２を使用するユーザへ報知することが好ましい。
【００９８】
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
【符号の説明】
【００９９】
１０…音声インタフェイスシステム        １２…機器
１４…音声インタフェイス装置            １６…サーバ装置
１８…車両                              ２０…ネットワーク
３０…通信部                            ３２…操作入力部
３６…ＧＮＳＳ受信機                    ４０…マイクロフォン
４１…時計                              ４２…制御部
４４…記憶部                            ５０…報知機構
５１…後処理部                          ５２…スピーカ
５４…表示部                            ８０…取得部
８２…発話期間抽出部                    ８４…音声認識ユニット
８６…調停ユニット                      ９０…通信制御部
９２Ａ…第１音声関連データ作成部        ９２Ｂ…第２音声関連データ作成部
９４…有効性判断ユニット                ９６…キャッシュ管理ユニット
９８…ＮＬＵ（自然言語理解処理）        １００Ａ…第１音声関連データ
１００Ｂ…第２音声関連データ            １０２…キャッシュ
１１０…サーバ側通信部                  １１２…サーバ側制御部
１１４…サーバ側記憶部                  １２０…サーバ側取得部
１２２…サーバ側発話期間抽出部          １２４…サーバ側音声認識ユニット
１２６…サーバ側通信制御部
【図１】
2020166075.tif 000003
【図２】
2020166075.tif 000004
【図３】
2020166075.tif 000005
【図４】
2020166075.tif 000006
【図５】
2020166075.tif 000007
【図６】
2020166075.tif 000008
【図７】
2020166075.tif 000009
【図８】
2020166075.tif 000010