(57)【要約】【課題】ユーザが使用する機器からクラウドへの音声データの送信頻度を効率的に低減することができ、コストの低廉化を図ることができる音声インタフェイスシステムを提供する。【解決手段】音声インタフェイスシステム１０の音声インタフェイス装置１４は、機器１２側の記憶部４４に記憶された音声関連データ１２４のうち、少なくとも分類結果に基づいて、機器１２側の音声認識ユニット７４で処理された新たな音声データと音声信号とを、サーバ装置１６側の音声認識ユニット１０４へ送信するか否かを決定する調停ユニット７６を備える。【選択図】図２
2020166073.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話の内容に基づいて該ユーザが使用する機器の動作を制御し当該ユーザが使用する機器に搭載される音声インタフェイス装置、及び該音声インタフェイス装置と通信するサーバ装置を有する音声インタフェイスシステムであって、
前記音声インタフェイス装置は、前記ユーザの発話から得られた音声信号データから発話内容を認識する前記機器側の音声認識ユニットを少なくとも備えると共に、
前記サーバ装置は、前記ユーザの発話から得られた音声信号データから発話内容を認識するサーバ装置側の音声認識ユニットを少なくとも備え、
少なくとも前記機器側の音声認識ユニットで処理された報知内容か、又は前記サーバ装置側の音声認識ユニットで処理された報知内容に基づいて報知する前記ユーザが使用する機器に搭載された報知機構を備え、
前記報知機構は、前記ユーザへ報知する際、報知中の前記ユーザの顔の表情及び発話内容のうち少なくとも一方から、前記報知内容に対するユーザ感情変化を分類するユーザ感情分類モジュールを有し、
前記報知内容が、前記機器側の音声認識ユニットで処理されたのか、前記サーバ装置側の音声認識ユニットで処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応する前記ユーザ感情分類モジュールが出力する分類結果を、対応づけて音声関連データとして記憶する前記機器側の記憶部を備える、音声インタフェイスシステム。
【請求項２】
請求項１に記載の音声インタフェイスシステムにおいて、
新たに前記ユーザの音声信号を取得した際には、
前記音声インタフェイス装置は、前記機器側の記憶部に記憶された音声関連データのうち、少なくとも前記分類結果に基づいて、前記機器側の音声認識ユニットで処理された新たな音声データと前記音声信号とを、前記サーバ装置側の音声認識ユニットへ送信するか否かを決定する調停ユニットを備える、音声インタフェイスシステム。
【請求項３】
単一又は複数のコンピュータが、ユーザの発話の内容に基づいて該ユーザが使用する機器の動作を制御する制御方法であって、
前記ユーザの発話から得られた音声信号データから発話内容を認識する音声認識ステップと、
前記音声認識ステップで処理された報知内容に基づいて報知する報知ステップと、
前記報知ステップが実行される際、報知中の前記ユーザの顔の表情及び発話内容のうち少なくとも一方から、前記報知内容に対するユーザ感情変化を分類するユーザ感情分類ステップと、
前記ユーザが使用する機器の記憶部に、前記報知内容が、前記機器側の音声認識ユニットで処理されたのか、前記機器と通信を行うサーバ装置側の音声認識ユニットで処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応する前記ユーザ感情分類ステップにて得られた分類結果を、対応づけて音声関連データとして記憶させるステップと、
を有する制御方法。
【請求項４】
単一又は複数のコンピュータにインストールされ、前記コンピュータに実行させるプログラムであって、ユーザの発話の内容に基づいて該ユーザが使用する機器の動作を制御するプログラムであって、
前記ユーザの発話から得られた音声信号データから発話内容を認識する処理と、
生成された報知内容に基づいて報知する報知処理と、
前記報知処理が実行される際、報知中の前記ユーザの顔の表情及び発話内容のうち、少なくとも一方から、前記報知内容に対するユーザ感情変化を分類する処理と、
前記ユーザが使用する機器の記憶部に、前記報知内容が、前記ユーザが使用する機器側の音声認識ユニットで処理されたのか、前記ユーザが使用する機器と通信するサーバ装置側の音声認識ユニットで処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応して出力されたユーザ感情変化の分類結果を、対応づけて音声関連データとして記憶させる処理と、を含む、前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声インタフェイスシステム、制御方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１では、利用者との対話型ＧＵＩを備えた情報提示システムに関し、とくに利用者との対話プロセスにおいてその表情や声等の反応を読みとって、システムやコンテンツの評価指標として利用する技術を提供することを課題としている。
【０００３】
当該課題を解決するため、特許文献１では、利用者反応分類手段と、利用履歴作成手段とを備える。利用者反応分類手段は、提示情報に接している利用者の顔を含む姿を撮影するためのビデオカメラと、ある情報番組の提示期間中にビデオカメラで撮影された映像を所定のアルゴリズムで分析し、提示情報に対する利用者の表情変化を分類する。利用履歴作成手段は、利用者に逐次提示した情報番組の識別データを記録にとるとともに、それら各情報番組の提示に対応して利用者反応分類手段が出力した分類結果を各番組識別データに対応づけして記録する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４４９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザが使用する機器（車両、船舶、航空機等の移動体やＩｏＴ機能を有する装置等）に用いた音声インタフェイスシステム、例えばクラウドと連携した音声インタフェイスシステムは、音声認識を行う際に、音声データをクラウド側と機器に同時に送信する方式が多い。常にクラウドに音声データを送信する技術では、転送量が増えることにより、コストが増大し、サービス事業者やユーザが費用を負担する必要が生じてしまう。
【０００６】
本発明は上述した問題を解決するためになされたものであり、ユーザが使用する機器からクラウドへの音声データの送信頻度を効率的に低減することができ、コストの低廉化を図ることができる音声インタフェイスシステム、制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、ユーザの発話の内容に基づいて該ユーザが使用する機器の動作を制御し当該ユーザが使用する機器に搭載される音声インタフェイス装置、及び該音声インタフェイス装置と通信するサーバ装置を有する音声インタフェイスシステムであって、
前記音声インタフェイス装置は、前記ユーザの発話から得られた音声信号データから発話内容を認識する前記機器側の音声認識ユニットを少なくとも備えると共に、
前記サーバ装置は、前記ユーザの発話から得られた音声信号データから発話内容を認識するサーバ装置側の音声認識ユニットを少なくとも備え、
少なくとも前記機器側の音声認識ユニットで処理された報知内容か、又は前記サーバ装置側の音声認識ユニットで処理された報知内容に基づいて報知する前記ユーザが使用する機器に搭載された報知機構を備え、
前記報知機構は、前記ユーザへ報知する際、報知中の前記ユーザの顔の表情及び発話内容のうち少なくとも一方から、前記報知内容に対するユーザ感情変化を分類するユーザ感情分類モジュールを有し、
前記報知内容が、前記機器側の音声認識ユニットで処理されたのか、前記サーバ装置側の音声認識ユニットで処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応する前記ユーザ感情分類モジュールが出力する分類結果を、対応づけて音声関連データとして記憶する前記機器側の記憶部を備える。
【０００８】
本発明の第２の態様は、単一又は複数のコンピュータが、ユーザの発話の内容に基づいて該ユーザが使用する機器の動作を制御する制御方法であって、
前記ユーザの発話から得られた音声信号データから発話内容を認識する音声認識ステップと、
前記音声認識ステップで処理された報知内容に基づいて報知する報知ステップと、
前記報知ステップが実行される際、報知中の前記ユーザの顔の表情及び発話内容のうち少なくとも一方から、前記報知内容に対するユーザ感情変化を分類するユーザ感情分類ステップと、
前記ユーザが使用する機器の記憶部に、前記報知内容が、前記機器側の音声認識ユニットで処理されたのか、前記機器と通信を行うサーバ装置側の音声認識ユニットで処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応する前記ユーザ感情分類ステップにて得られた分類結果を、対応づけて音声関連データとして記憶させるステップと、を有する。
【０００９】
本発明の第３の態様は、単一又は複数のコンピュータにインストールされ、前記コンピュータに実行させるプログラムであって、ユーザの発話の内容に基づいて該ユーザが使用する機器の動作を制御するプログラムであって、
前記ユーザの発話から得られた音声信号データから発話内容を認識する処理と、
生成された報知内容に基づいて報知する報知処理と、
前記報知処理が実行される際、報知中の前記ユーザの顔の表情及び発話内容のうち、少なくとも一方から、前記報知内容に対するユーザ感情変化を分類する処理と、
前記ユーザが使用する機器の記憶部に、前記報知内容が、前記ユーザが使用する機器側の音声認識ユニットで処理されたのか、前記ユーザが使用する機器と通信するサーバ装置側の音声認識ユニットで処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応して出力されたユーザ感情変化の分類結果を、対応づけて音声関連データとして記憶させる処理と、を含む、前記コンピュータに実行させる。
【発明の効果】
【００１０】
本発明の態様によれば、移動体からクラウドへの音声データの送信頻度、移動体からクラウドへの音声データの送信頻度を効率的に低減することができ、コストの低廉化を図ることができる音声インタフェイスシステム、制御方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る音声インタフェイスシステムを示す概略構成図である。
【図２】音声インタフェイス装置の一構成例を示すブロック図である。
【図３】運転席から見た車室内の一例を示す図である。
【図４】車両を上から見た車室内の一例を示す図である。
【図５】サーバ装置の一構成例を示すブロック図である。
【図６】音声インタフェイス装置の処理動作（制御方法）を示すフローチャート（その１）である。
【図７】音声インタフェイス装置の処理動作（制御方法）を示すフローチャート（その２）である。
【図８】音声インタフェイスシステムを示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る実施形態例を図１〜図８を参照しながら説明する。
【００１３】
本実施形態に係る音声インタフェイスシステム１０は、図１に示すように、ユーザが使用する機器１２（車両、船舶、航空機等の移動体やＩｏＴ機能を具備した各種機器等）において、ユーザの発話の内容に基づいて、該機器１２の動作を制御する。そして、音声インタフェイスシステム１０は、機器１２に搭載される音声インタフェイス装置１４と、音声インタフェイス装置１４と通信するサーバ装置１６とを有する。以下の説明では、機器１２として車両１８に適用した音声インタフェイスシステム１０の例を示す。
【００１４】
車両１８は、例えば、二輪や三輪、四輪等の車両である。これらの車両の駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、あるいはこれらの組み合わせであってよい。電動機は、内燃機関に連結された発電機による発電電力、あるいは二次電池や燃料電池の放電電力を使用して動作する。
【００１５】
音声インタフェイス装置１４とサーバ装置１６とは、ネットワーク２０を介して通信可能に接続される。ネットワーク２０は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等が含まれる。ネットワーク２０には、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標、以下省略）等、無線通信を利用したネットワークが含まれてよい。
【００１６】
音声インタフェイス装置１４は、車両１８の乗員と音声対話を行ったり、乗員同士の対話を支援したりする機能を有する装置である。この機能は、ある種の人工知能的機能を持つソフトウェアによって実現される。
【００１７】
サーバ装置１６は、各車両１８に搭載された音声インタフェイス装置１４と通信し、音声インタフェイス装置１４から各種データを収集する。サーバ装置１６は、収集したデータを解析することで、各音声インタフェイス装置１４の機能を、より高精度な機能に更新する。
【００１８】
音声インタフェイス装置１４は、図２に示すように、通信部３０と、操作入力部３２と、車両センサ３４と、ＧＮＳＳ（Global Navigation Satellite System）受信部３６と、車室内カメラ３８と、マイクロフォン４０と、制御部４２と、記憶部４４とを有する。
【００１９】
また、音声インタフェイス装置１４は、報知機構５０を備える。報知機構５０は、スピーカ５２と、表示部５４と、音声合成部５６と、出力制御部５８とを有する。
【００２０】
報知機構５０は、報知内容の作成等の信号処理を実行するＣＰＵ等のほか、報知内容を出力する機器、例えば上述したスピーカ５２、表示部５４を含む。
【００２１】
これらの装置や機器は、例えばＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてよい。なお、図２に示す音声インタフェイス装置１４の構成はあくまでも一例であり、構成の一部が省略されてもよいし、さらに別の構成が追加されてもよい。
【００２２】
通信部３０は、ＮＩＣ等の通信インタフェイスを含む。通信部３０は、ネットワーク２０を介してサーバ装置１６等と通信する。
【００２３】
車室内カメラ３８は、例えば、音声インタフェイス装置１４が搭載された車両１８の車室内に設置され、車室内のシートに着座する各乗員の顔等を撮像する。車室内カメラ３８は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ３８は、例えば、所定のタイミングで各乗員を繰り返し撮像する。車室内カメラ３８は、乗員を撮像した画像のデータ（以下、画像データ）を生成し、生成した画像データを音声インタフェイス装置１４に出力する。
【００２４】
マイクロフォン４０は、例えば乗員が車室内のシートに着座したときの前方付近に設置される。また、マイクロフォン４０は、例えばマットランプ、ステアリングホイール、インストルメントパネル、又はシートの付近に設置される。マイクロフォン４０は、車室内に複数設置されてもよい。
【００２５】
スピーカ５２は、例えば、車室内のシート付近又は表示部５４付近に設置される。スピーカ５２は、制御部４２により出力される情報に基づいて音声を出力する。
【００２６】
表示部５４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）等の表示装置を含む。表示部５４は、制御部４２により出力される情報に基づいて画像を表示する。
【００２７】
操作入力部３２は、例えば、ボタン、キーボードやマウス等のユーザインタフェイスである。操作入力部３２は、乗員の操作を受け付けて、受け付けた操作に応じた信号を制御部４２に出力する。操作入力部３２は、表示部５４と一体として構成されるタッチパネルであってもよい。
【００２８】
図３は、運転席から見た車室内の一例を示す図である。図示の例の車室内には、マイクロフォン４０Ａ、４０Ｂと、スピーカ５２Ａ〜５２Ｃと、表示部５４Ａ〜５４Ｃとが設置されている。マイクロフォン４０Ａは、例えば、ステアリングホイールに設けられ、主に運転者が発話した音声を収音する。マイクロフォン４０Ｂは、例えば、助手席正面のインストルメントパネル６０（ダッシュボード又はガーニッシュ）に設けられ、主に助手席の乗員が発話した音声を収音する。
【００２９】
スピーカ５２Ａは、例えば、表示部５４Ｃの付近、つまり、インストルメントパネル６０の中央付近に設置される。スピーカ５２Ｂは、例えば、運転席側のドアの下部に設置され、スピーカ５２Ｃは、例えば、助手席側のドアの下部に設置される。
【００３０】
表示部５４Ａは、例えば運転者が車外を視認する際の視線の先に虚像を表示させるＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、例えば、車両１８のフロントウインドシールド、あるいはコンバイナーと呼ばれる光の透過性を有する透明な部材に光を投光することで、乗員に虚像を視認させる装置である。乗員は、主に運転者であるが、運転者以外の乗員であってもよい。
【００３１】
表示部５４Ｂは、運転席（ステアリングホイールに最も近い座席）の正面付近のインストルメントパネル６０に設けられ、乗員がステアリングホイールの間隙から、あるいはステアリングホイール越しに視認可能な位置に設置される。表示部５４Ｂは、例えば、ＬＣＤや有機ＥＬ表示装置等である。表示部５４Ｂには、例えば、車両１８の速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像が表示される。
【００３２】
表示部５４Ｃは、インストルメントパネル６０の中央付近に設置される。表示部５４Ｃは、例えば、表示部５４Ｂと同様に、ＬＣＤや有機ＥＬ表示装置等である。表示部５４Ｃは、テレビ番組や映画等のコンテンツを表示する。
【００３３】
なお、車両１８には、さらに、後部座席付近にマイクロフォンとスピーカが設けられてもよい。図４は、車両１８を上から見た車室内の一例を示す図である。車室内には、図３で例示したマイクロフォン４０Ａ、４０Ｂ、スピーカ５２Ａ〜５２Ｃに加えて、さらに、マイクロフォン４０Ｃ、４０Ｄと、スピーカ５２Ｄ、５２Ｅとが設置されてもよい。
【００３４】
マイクロフォン４０Ｃは、例えば、助手席ＳＴ２の後方に設置された第１後部座席ＳＴ３の付近（例えば、助手席ＳＴ２の後面）に設けられ、主に、第１後部座席ＳＴ３に着座する乗員が発話した音声を収音する。マイクロフォン４０Ｄは、例えば、運転席ＳＴ１の後方に設置された第２後部座席ＳＴ４の付近（例えば、運転席ＳＴ１の後面）に設けられ、主に、第２後部座席ＳＴ４に着座する乗員が発話した音声を収音する。
【００３５】
スピーカ５２Ｄは、例えば、第１後部座席ＳＴ３側のドアの下部に設置され、スピーカ５２Ｅは、例えば、第２後部座席ＳＴ４側のドアの下部に設置される。
【００３６】
なお、図１に例示した車両１８は、図３又は図４に例示するように、乗員である運転手が操作可能なステアリングホイールを備える車両であるものとして説明したが、これに限られない。例えば、車両１８は、ルーフがない、すなわち、車室がない（又はその明確な区分けがない）自動車であってもよい。また、図３又は図４の例では、車両１８を運転操作する運転手が座る運転席と、その他の運転操作をしない乗員が座る助手席や後部座席とが一つの室内にあるものとして説明しているが、これに限られない。例えば、車両１８は、電車や機関車がけん引する列車のように、運転手が座る運転席に対して他の運転操作をしない乗員が座る座席とは隔離されているような車両であってもよい。また、図３又は図４の例では、車両１８が、ステアリングホイールを備える車両であるものとして説明しているが、これに限られない。例えば、車両１８は、ステアリングホイールのような運転操作機器が設けられていない自動運転車であってもよい。
【００３７】
図２に示すように、車両センサ３４は、車両１８の向きを検出する方位センサや、車両１８の速度を検出する車速センサ、車両１８の加速度を検出する加速度センサ、車両１８の鉛直軸回りの角速度を検出するヨーレートセンサ、操舵トルクを検出するトルクセンサ等を含む。車両センサ３４は、検出した方位や速度、加速度等を含むデータを制御部４２に出力する。
【００３８】
ＧＮＳＳ受信部３６は、ＧＰＳ（Global Positioning System）衛星等のＧＮＳＳ衛星から受信した電波に基づいて、車両１８の位置を検出する。ＧＮＳＳ受信部３６によって検出される位置は、例えば、緯度及び経度によって表される絶対座標であってよい。ＧＮＳＳ受信部３６は、検出した車両１８の位置を示すデータ（以下、位置データ）を制御部４２に出力する。
【００３９】
そして、制御部４２は、例えば、取得部７０と、発話期間抽出部７２と、音声認識ユニット７４と、調停ユニット７６と、出力制御部７８と、通信制御部８０とを備える。
【００４０】
これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部４４に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部４４にインストールされてもよい。
【００４１】
なお、記憶部４４は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部４４には、例えば、プロセッサによって参照されるプログラム等が格納される。
【００４２】
取得部７０は、車室内カメラ３８から画像データを取得したり、マイクロフォン４０から音声信号データを取得したり、車両センサ３４から方位や速度等のデータを取得したり、ＧＮＳＳ受信部３６から位置データを取得したりする。音声信号データは、マイクロフォン４０からの音声信号をデジタル化（標本化、符号化、量子化）することで得られる。
【００４３】
発話期間抽出部７２は、音声信号データから、乗員が発話している期間（以下、発話期間と称する）を抽出する。例えば、発話期間抽出部７２は、例えば零交差法を利用して、音声信号データの振幅に基づいて発話期間を抽出してよい。また、発話期間抽出部７２は、例えば混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model）に基づいて、音声信号データから発話期間を抽出してもよいし、発話期間特有の音声信号データをテンプレート化したデータベースとテンプレートマッチング処理を行うことで、音声データから発話期間を抽出してもよい。
【００４４】
音声認識ユニット７４は、発話期間抽出部７２によって抽出された発話期間ごとに音声を認識し、認識した音声をテキスト化することで、発話内容を表すテキストデータを生成する。
【００４５】
例えば、音声認識ユニット７４は、発話期間の音声信号データを、低周波数や高周波数等の複数の周波数帯に分離し、分離した各音声信号データをフーリエ変換することで、スペクトログラムを生成する。音声認識ユニット７４は、生成したスペクトログラムを、再帰的ニューラルネットワークに入力することで、スペクトログラムから文字列を得る。再帰的ニューラルネットワークは、例えば、学習用の音声から生成したスペクトログラムに対して、その学習用の音声に対応した既知の文字列が教師ラベルとして対応付けられた教師データを利用することで、予め学習されていてよい。そして、音声認識ユニット７４は、再帰的ニューラルネットワークから得た文字列のデータを、発話内容（テキストデータ）として出力する。
【００４６】
なお、音声認識ユニット７４に加えてＮＬＵ８２（自然言語理解処理：図８参照）があってもよい。これにより、音声認識ユニット７４から構造化されていないテキストが出力された場合に、それを機械が解釈可能な形式のテキストに変換するため、誤解を含むような表現や意味不明な表現の頻出を低減することができる。
【００４７】
［サーバ装置の構成］
一方、サーバ装置１６は、図５に示すように、例えばサーバ側通信部９０と、サーバ側制御部９２と、サーバ側記憶部９４とを備える。
【００４８】
サーバ側通信部９０は、ＮＩＣ等の通信インタフェイスを含む。サーバ側通信部９０は、ネットワーク２０を介して車両１８に搭載された音声インタフェイス装置１４等と通信する。
【００４９】
サーバ側制御部９２は、例えば、サーバ側取得部１００と、サーバ側発話期間抽出部１０２と、サーバ側音声認識ユニット１０４と、サーバ側出力制御部１０６と、サーバ側通信制御部１０８とを備える。
【００５０】
これらの構成要素は、例えば、ＣＰＵやＧＰＵ等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めサーバ側記憶部９４に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでサーバ側記憶部９４にインストールされてもよい。
【００５１】
サーバ側記憶部９４は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、または、ＲＡＭ等により実現される。サーバ側記憶部９４には、例えば、プロセッサによって参照されるプログラム等が格納される。
【００５２】
サーバ側取得部１００は、サーバ側通信部９０を介して、音声インタフェイス装置１４から、音声信号データ、位置データ及び識別データを取得する。
【００５３】
サーバ側発話期間抽出部１０２及びサーバ側音声認識ユニット１０４は、上述した音声インタフェイス装置１４側の発話期間抽出部７２及び音声認識ユニット７４とほぼ同様の処理を行うが、信号処理上の分解能や精度が音声インタフェイス装置１４よりも高い。従って、サーバ装置１６で処理された発話内容はほとんど満足のいくものとなる。
【００５４】
そして、サーバ側通信制御部１０８は、生成したテキストデータを、位置データ及び識別データに基づいて、送信元の音声インタフェイス装置１４に送信する。
【００５５】
なお、サーバ装置１６についても、サーバ側音声認識ユニット１０４に加えてサーバ側ＮＬＵ８４（自然言語理解処理：図８参照）があってもよい。
【００５６】
ここで、音声インタフェイス装置１４の説明に戻り、報知機構５０は、音声インタフェイス装置１４の音声認識ユニット７４で処理された発話内容（テキストデータ）に基づいた報知内容（テキストデータ）、又はサーバ装置１６のサーバ側音声認識ユニット１０４で処理された発話内容（テキストデータ）に基づいた報知内容（テキストデータ）を出力する。報知内容は、主に乗員からの発話内容（質問等）に対して回答する内容や、乗員からの発話内容（指示や依頼等）に対して承諾する、許可する、禁止する等の内容である。もちろん、乗員からの質問等の発話内容が不明確であれば、報知内容も不明確、曖昧、いい加減な内容となる。
【００５７】
報知機構５０は、上述した機能のほか、音声合成部５６、出力制御部５８、スピーカ５２、表示部５４等を有する。
【００５８】
音声合成部５６は、入力された報知内容（テキストデータ）に基づいて、人工的な合成音声を生成する。出力制御部５８は、音声合成部５６によって合成音声が生成されると、その合成音声をスピーカ５２に出力する。また、出力制御部５８は、入力された報知内容（テキストデータ）を画像として表示部５４に表示する。
【００５９】
制御部４２の通信制御部８０は、通信部３０を介して、取得部７０によって取得された音声信号データ、位置データ及び車両の識別データ等をサーバ装置１６に送信する。さらに、通信制御部８０は、送信した音声信号データに対応するテキストデータ（サーバ装置１６から送信）を受信する。なお、通信制御部８０は、通信部３０を介して、取得部７０によって取得された画像データや速度等のデータをサーバ装置１６に送信してもよい。
【００６０】
上述した報知機構５０は、その他、ユーザ感情分類モジュール１２０を有する。ユーザ感情分類モジュール１２０は、報知中の内容（報知内容）及びそのときの乗員の表情の変化のうち、少なくとも１つから乗員の感情の変化を分類する。このユーザ感情分類モジュール１２０も、上述した制御部４２と同様に、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。
【００６１】
ユーザ感情分類モジュール１２０での報知内容による分類は、テキストデータとして変換できた文字の数のうち、車両１８に対する指示や命令とは異なる文字（例えば不愉快なときに思わず発する言葉等）の個数、意味不明な記号（文字化け）の個数等に基づいて、乗員の感情の変化を分類する。分類としては、上記個数に応じて、例えば５段階に分け、「満足」、「良好」、「普通」、「不愉快」、「不満足」等が挙げられる。
【００６２】
乗員の表情の変化による分類は、発話内容の報知中における乗員の顔の変化を時系列にサンプリングすることで行われる。例えば、サンプリングされた表情の変化データ（時系列データ）と、例えば予め登録しておいた乗員の例えば喜怒哀楽に対応した表情の変化データ（時系列データ）とに基づいて、乗員の感情の変化を分類する。分類の内訳としては、例えば５段階に分け、その上位から下位に向かって、「１（喜）：満足」、「２（楽）：良好」、「３：普通」、「４（哀）：不愉快」、「５（怒）：不満足」等に分けることが挙げられる。
【００６３】
報知機構５０はさらに記憶部１３２を有し、該記憶部１３２は、少なくとも下記内容（１）〜（５）を対応づけて音声関連データ１２４として記憶する。
（１）音声信号データ
（２）発話内容（テキストデータ）
（３）報知内容（テキストデータ）
（４）報知内容の基となる発話内容（テキストデータ）が、車両１８側の音声認識ユニット７４で処理されたのか、サーバ装置１６側の音声認識ユニット１０４で処理されたのかの履歴。
（５）報知内容に対応するユーザ感情分類モジュール１２０が出力する分類結果。
【００６４】
なお、（５）については、車両１８側の音声認識ユニット７４で処理された場合の分類結果のみに絞ってもよい。
【００６５】
ここで、上述した音声インタフェイス装置１４の処理動作について、図６及び図７のフローチャート及び図８の機能ブロック図を参照しながら説明する。
【００６６】
先ず、図６のステップＳ１において、マイクロフォン４０によって乗員が発話した音声が収音された場合、マイクロフォン４０から乗員の音声信号データＳａが取得され、音声認識ユニット７４に入力される。ステップＳ２において、音声認識ユニット７４は、入力された音声信号データＳａからユーザの発話内容を認識する。
【００６７】
ステップＳ３において、制御部４２は、音声認識ユニット７４にて認識された発話内容を、そのまま、あるいはＮＬＵ８２での処理を経て調停ユニット７６に入力する。
【００６８】
ステップＳ４〜Ｓ１２において、調停ユニット７６は、記憶部４４に記憶された音声関連データ１２４のうち、少なくとも発話内容（テキストデータ）と報知内容（テキストデータ）に対応する分類結果に基づいて、分類結果の基となる少なくとも音声信号データＳａをサーバ装置１６に送信するか否かを決定する。この決定には、車両１８側の音声認識ユニット７４で処理されたのか、サーバ装置１６の音声認識ユニット１０４で処理されたのかの履歴等も考慮される。
【００６９】
すなわち、図６のステップＳ４及び図７のステップＳ５において、調停ユニット７６は、記憶部４４に記憶されている音声関連データ１２４から、今回の報知内容の基となる音声信号データＳａに対応する分類結果を検索する。
【００７０】
検索の結果、今回の報知内容の基となる音声信号データＳａに対応する分類結果が存在しない場合は、初の音声信号データ、すなわち、分類されていない音声信号データであるため、調停ユニット７６は、ステップＳ６において、音声信号データＳａを報知機構５０に出力する（図８において、Ａで示すルート参照）。
【００７１】
ステップＳ６での処理が終了した段階で、ステップＳ７に進み、報知機構５０は、音声インタフェイス装置１４の音声認識ユニット７４からの発話内容に基づいた報知内容を出力する（図８において、Ｂで示すルート参照）。
【００７２】
上記分類結果が上位、例えば「１（喜）：満足」、「２（楽）：良好」、「３：普通」であって、且つ、報知機構５０側での音声認識の履歴が多ければ、調停ユニット７６は、ステップＳ８において、音声信号データＳａを、サーバ装置１６には送らずに、直接、当該車両１８における音声インタフェイス装置１４の報知機構５０に出力する（図８において、Ａで示すルート参照）。
【００７３】
ステップＳ８での処理が終了した段階で、ステップＳ９に進み、報知機構５０は、音声インタフェイス装置１４の音声認識ユニット７４からの発話内容に基づいた報知内容を出力する（図８において、Ｂで示すルート参照）。
【００７４】
一方、分類結果が下位、例えば「４（哀）：不愉快」、「５（怒）：不満足」であって、且つ、報知機構５０側での音声認識の履歴が多ければ、ステップＳ１０において、音声信号データＳａをサーバ装置１６に送信する（図８において、Ｃで示すルート参照）。
【００７５】
ステップＳ１０での処理が終了した段階で、ステップＳ１１に進み、報知機構５０は、サーバ装置１６の音声認識ユニット１０４からの発話内容に基づいた報知内容を出力する（図８において、Ｂで示すルート参照）。
【００７６】
そして、ステップＳ７、Ｓ９又はＳ１１での処理が終了した段階で、ステップＳ１２において、報知機構５０のユーザ感情分類モジュール１２０は、報知中の内容（報知内容）及びそのときの乗員の表情の変化のうち、少なくとも１つから乗員の感情の変化を分類し、音声関連データ１２４を更新する。
【００７７】
［実施形態から得られる発明］
上記実施形態から把握しうる発明について、以下に記載する。
【００７８】
［１］  本実施形態に係る音声インタフェイスシステム１０は、ユーザの発話の内容に基づいて該ユーザが使用する機器１２（例えば移動体）の動作を制御し、当該ユーザが使用する機器に搭載される音声インタフェイス装置１４、及び該音声インタフェイス装置１４と通信するサーバ装置１６を有する音声インタフェイスシステム１０である。
【００７９】
音声インタフェイス装置１４は、ユーザの発話から得られた音声信号データＳａ（図８参照）から発話内容を認識する機器１２側の音声認識ユニット７４を少なくとも備える。サーバ装置１６は、ユーザの発話から得られた音声信号データＳａから発話内容を認識するサーバ装置１６側の音声認識ユニット１０４を少なくとも備える。
【００８０】
音声インタフェイス装置１４は、少なくとも機器１２側の音声認識ユニット７４で処理された報知内容（テキストデータ）か、又はサーバ装置１６側の音声認識ユニット１０４で処理された報知内容（テキストデータ）に基づいて報知するユーザが使用する機器に搭載された報知機構５０を備える。
【００８１】
報知機構５０は、ユーザへ報知する際、報知中のユーザの顔の表情及び発話内容のうち少なくとも一方から、報知内容（テキストデータ）に対するユーザ感情変化を分類するユーザ感情分類モジュール１２０を有する。
【００８２】
報知内容が、機器１２側の音声認識ユニット７４で処理されたのか、サーバ装置１６側の音声認識ユニット１０４で処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応するユーザ感情分類モジュール１２０が出力する分類結果を、対応づけて音声関連データ１２４として記憶する機器１２側の記憶部４４を備える。
【００８３】
すなわち、報知機構５０は、ユーザへ報知する際、報知中のユーザの顔の表情及び発話内容のうち少なくとも一方から、報知内容（テキストデータ）に対するユーザ感情変化を分類するユーザ感情分類モジュール１２０を有する。報知内容が、機器１２側の音声認識ユニット７４で処理されたのか、サーバ装置１６側の音声認識ユニット１０４で処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応するユーザ感情分類モジュール１２０が出力する分類結果を、対応づけて音声関連データ１２４として記憶する機器１２側の記憶部４４を備える。
【００８４】
これにより、ユーザ感情分類モジュール１２０が、ユーザの音声や、ユーザの顔色（表情）から、「正しく処理できたか否か」を判定し、分類することができ、その情報を、「調停機能」に返すことができるようになる。すなわち、機器１２側で処理された発話内容を使用するか、サーバ装置１６側で処理された発話内容を使用するかを調停する機能を持たせることができる。
【００８５】
［２］  本実施形態において、新たにユーザの音声信号を取得した際には、音声インタフェイス装置１４は、機器１２側の記憶部４４に記憶された音声関連データ１２４のうち、少なくとも分類結果に基づいて、機器１２側の音声認識ユニット７４で処理された新たな音声データと音声信号（音声信号データ）を、サーバ装置１６側の音声認識ユニット１０４に送信するか否かを決定する調停ユニット７６を備える。
【００８６】
具体的には、音声関連データ１２４の中には、少なくとも分類結果が含まれ、音声信号データが対応付けられて記憶されているので、分類結果、具体的には「正しく処理できたか否か」等に基づいて比較できるから、音声インタフェイスシステム１０は、「不満度」が比較的高いものはサーバ装置１６で処理させ、「満足度」が低くないものは、機器１２側（例えば移動体側）で処理するので、今まで必要だった「サーバ(クラウド)への音声信号データの送信」が減少し、ランニングコストの低減につながる。
【００８７】
［３］  本実施形態に係る制御方法は、単一又は複数のコンピュータが、ユーザの発話の内容に基づいて該ユーザが使用する機器１２の動作を制御する制御方法である。
【００８８】
上記制御方法は、ユーザの発話から得られた音声信号データから発話内容を認識する音声認識ステップと、音声認識ステップで処理された報知内容に基づいて報知する報知ステップと、報知ステップが実行される際、報知中のユーザの顔の表情及び発話内容のうち少なくとも一方から、報知内容に対するユーザ感情変化を分類するユーザ感情分類ステップと、を有する。
【００８９】
上記制御方法は、さらに、ユーザが使用する機器１２の記憶部４４に、報知内容が、機器１２側の音声認識ユニット７４で処理されたのか、サーバ装置１６側の音声認識ユニット１０４で処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応する前記ユーザ感情分類ステップにて得られた分類結果を、対応づけて音声関連データ１２４として記憶させるステップを有する。
【００９０】
これにより、ユーザ感情分類ステップにおいて、ユーザの音声や、ユーザの顔色（表情）から、「正しく処理できたか否か」を判定し、分類することができ、その情報を、「調停機能」に返すことができるようになる。すなわち、ユーザが使用する機器１２側で処理された発話内容を使用するか、サーバ装置１６側で処理された発話内容を使用するかを調停する機能を持たせることができる。
【００９１】
［４］  本実施形態に係るプログラムは、単一又は複数のコンピュータにインストールされ、前記コンピュータに実行させるプログラムであって、ユーザの発話の内容に基づいて該ユーザが使用する機器１２の動作を制御するプログラムである。
【００９２】
そして、上記プログラムは、前記ユーザの発話から得られた音声信号データから発話内容を認識する処理と、生成された報知内容に基づいて報知する報知処理と、前記報知処理が実行される際、報知中の前記ユーザの顔の表情及び発話内容のうち、少なくとも一方から、前記報知内容に対するユーザ感情変化を分類する処理と、を有する。
【００９３】
上記プログラムは、さらに、前記ユーザが使用する機器１２の記憶部４４に、前記報知内容が、前記ユーザが使用する機器１２側の音声認識ユニット７４で処理されたのか、前記ユーザが使用する機器１２と通信するサーバ装置１６側の音声認識ユニット１０４で処理されたのかの履歴と共に、当該報知内容、及び、当該報知内容に対応して出力されたユーザ感情変化の分類結果を、対応づけて音声関連データ１２４として記憶させる処理と、を有する。
【００９４】
これにより、ユーザ感情変化を分類する処理において、ユーザの音声や、ユーザの顔色（表情）から、「正しく処理できたか否か」を判定し、分類することができ、その情報を、「調停機能」に返すことができるようになる。すなわち、ユーザが使用する機器１２側で処理された発話内容を使用するか、サーバ装置１６側で処理された発話内容を使用するかを調停する機能を持たせることができる。
【００９５】
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
【符号の説明】
【００９６】
１０…音声インタフェイスシステム    １２…機器
１４…音声インタフェイス装置        １６…サーバ装置
１８…車両                          ２０…ネットワーク
４０…マイクロフォン                ４０Ａ〜４０Ｄ…マイクロフォン
４２…制御部                        ４４…記憶部
５０…報知機構                      ５２…スピーカ
５２Ａ〜５２Ｅ…スピーカ            ５４…表示部
５４Ａ〜５４Ｃ…表示部              ５６…音声合成部
５８、７８…出力制御部              ７０…取得部
７２…発話期間抽出部                ７４…音声認識ユニット
７６…調停ユニット                  ８０…通信制御部
９０…サーバ側通信部                ９２…サーバ側制御部
９４…サーバ側記憶部                １００…サーバ側取得部
１０２…サーバ側発話期間抽出部      １０４…サーバ側音声認識ユニット
１０６…サーバ側出力制御部          １０８…サーバ側通信制御部
１２０…ユーザ感情分類モジュール    １２４…音声関連データ
【図１】
2020166073.tif 000003
【図２】
2020166073.tif 000004
【図３】
2020166073.tif 000005
【図４】
2020166073.tif 000006
【図５】
2020166073.tif 000007
【図６】
2020166073.tif 000008
【図７】
2020166073.tif 000009
【図８】
2020166073.tif 000010