(57)【要約】【課題】音声対話技術において、より適切な回答を決定することを目的とする。【解決手段】質問者からの質問を示す音声信号の音響特徴量に基づいて、前記質問者の主観的状態を推定する第１の推定手段と、前記第１の推定手段により推定された前記質問者の主観的状態に基づいて、前記質問に対する回答を決定する決定手段と、を有する。【選択図】図４
2018013595.tif 000002
【特許請求の範囲】
【請求項１】
質問者からの質問を示す音声信号の音響特徴量に基づいて、前記質問者の主観的状態を推定する第１の推定手段と、
前記第１の推定手段により推定された前記質問者の主観的状態に基づいて、前記質問に対する回答を決定する決定手段と、
を有する情報処理装置。
【請求項２】
前記第１の推定手段は、前記音声信号に基づいて、前記質問者の心理的な状態を、前記質問者の主観的状態として推定する請求項１記載の情報処理装置。
【請求項３】
前記第１の推定手段は、前記音声信号の音響特徴量と、設定された複数の心理的な状態それぞれに対応する音響特徴量と、に基づいて、前記質問者の心理的な状態を推定する請求項２記載の情報処理装置。
【請求項４】
前記第１の推定手段は、前記複数の心理的な状態それぞれに対応する音響特徴量のうち、前記音声信号の音響特徴量と最も類似する音響特徴量に対応する心理的な状態を、前記質問者の心理的な状態として推定する請求項３記載の情報処理装置。
【請求項５】
前記質問者の設定された主観的状態における音響特徴量を登録する登録手段を更に有し、
前記第１の推定手段は、前記登録手段により登録された音響特徴量を含む前記複数の心理的な状態それぞれに対応する音響特徴量のうち、前記音声信号の音響特徴量と最も類似する音響特徴量に対応する心理的な状態を、前記質問者の心理的な状態として推定する請求項４記載の情報処理装置。
【請求項６】
前記決定手段は、回答候補と回答候補に対応する主観的状態と回答候補に対する前記質問者の満足の度合いを示す満足度との対応を示す対応情報と、前記第１の推定手段により推定された前記質問者の主観的状態と、に基づいて、前記質問に対する回答を決定する請求項１乃至５何れか１項記載の情報処理装置。
【請求項７】
前記決定手段は、前記対応情報に含まれる回答候補のうち、対応する主観的状態が前記第１の推定手段により推定された前記質問者の主観的状態と同一であり、満足度が設定された閾値以上である回答候補を、前記質問に対する回答として決定する請求項６記載の情報処理装置。
【請求項８】
前記質問者の客観的状態を推定する第２の推定手段を更に有し、
前記決定手段は、回答候補と回答候補に対応する主観的状態と回答候補に対応する客観的状態と回答候補に対する満足度との対応を示す前記対応情報と、前記第１の推定手段により推定された前記質問者の主観的状態と、前記第２の推定手段により推定された前記質問者の客観的状態とに基づいて、前記質問に対する回答を決定する請求項６記載の情報処理装置。
【請求項９】
前記第２の推定手段は、前記質問者の身体的状態を、前記質問者の客観的状態として推定する請求項８記載の情報処理装置。
【請求項１０】
前記第２の推定手段は、前記情報処理装置に含まれるセンサからの信号に基づいて、前記質問者の客観的状態を推定する請求項８又は９記載の情報処理装置。
【請求項１１】
前記決定手段は、前記対応情報に含まれる回答候補のうち、対応する主観的状態が前記第１の推定手段により推定された前記質問者の主観的状態と同一であり、対応する客観的状態が前記第２の推定手段により推定された前記質問者の客観的状態と類似し、満足度が設定された閾値以上である回答候補を、前記質問に対する回答として決定する請求項８乃至１０何れか１項記載の情報処理装置。
【請求項１２】
前記決定手段は、前記対応情報に含まれる回答候補のうち、対応する主観的状態が前記第１の推定手段により推定された前記質問者の主観的状態と同一であり、対応する客観的状態に対応する客観的情報のうち半数以上が前記第２の推定手段により推定された前記質問者の客観的状態に対応する客観的情報と同一であり、満足度が設定された閾値以上である回答候補を、前記質問に対する回答として決定する請求項１１記載の情報処理装置。
【請求項１３】
前記決定手段により決定された前記質問に対する回答に対する応答を受付ける受付手段と、
前記受付手段により受付けられた前記応答に基づいて、前記対応情報を更新する更新手段と、
を更に有する請求項７乃至１２何れか１項記載の情報処理装置。
【請求項１４】
前記受付手段は、前記決定手段により決定された前記質問に対する回答についての満足の有無の回答を受付け、
前記更新手段は、前記質問に対する回答について、前記受付手段により受付けられた複数の回答に基づいて、前記質問に対する回答に対する前記質問者の満足度を算出し、算出した満足度で、前記対応情報の中の前記質問に対する回答に対応する回答候補の満足度を更新する請求項１３記載の情報処理装置。
【請求項１５】
前記第１の推定手段は、前記音声信号の音響特徴量である音量、発話速度、抑揚の大きさのうち、少なくとも１つに基づいて、前記質問者の主観的状態を推定する請求項１乃至１４何れか１項記載の情報処理装置。
【請求項１６】
前記決定手段により決定された回答に応じて、設定されたパラメータを変更する変更手段を更に有する請求項１乃至１５何れか１項記載の情報処理装置。
【請求項１７】
質問者から質問を示す音声を受付ける受付手段と、
前記受付手段により受け付けた前記音声に対応する音声信号を、情報処理装置に送信する音声送信手段と、
前記音声送信手段により送信された前記音声信号に対する応答として、前記情報処理装置から送信された前記質問に対する回答の情報を出力する出力手段と、
を有する端末装置。
【請求項１８】
前記質問に対する回答の決定条件を設定する設定手段と、
前記設定手段により設定された前記決定条件の情報を前記情報処理装置に送信する条件送信手段と、
を更に有する請求項１７記載の端末装置。
【請求項１９】
前記決定条件には、前記質問に対する回答の決定処理に前記質問者の主観的状態が利用されるか否かの条件が含まれる請求項１８記載の端末装置。
【請求項２０】
端末装置と情報処理装置とを含むシステムであって、
前記端末装置は、
質問者から質問を示す音声を受付ける受付手段と、
前記受付手段により受け付けた前記音声に対応する音声信号を、前記情報処理装置に送信する音声送信手段と、
前記音声送信手段により送信された前記音声信号に対する応答として、前記情報処理装置から送信された前記質問に対する回答の情報を出力する出力手段と、
を有し、
前記情報処理装置は、
前記端末装置から送信された前記音声信号の音響特徴量に基づいて、前記質問者の主観的状態を推定する推定手段と、
前記推定手段により推定された前記質問者の主観的状態に基づいて、前記質問に対する回答を決定する決定手段と、
前記決定手段により決定された前記質問に対する回答の情報を前記端末装置に送信する回答送信手段と、
を有するシステム。
【請求項２１】
情報処理装置が実行する情報処理方法であって、
質問者からの質問を示す音声信号の音響特徴量に基づいて、前記質問者の主観的状態を推定する推定ステップと、
前記推定ステップで推定された前記質問者の主観的状態に基づいて、前記質問に対する回答を決定する決定ステップと、
を含む情報処理方法。
【請求項２２】
端末装置が実行する情報処理方法であって、
質問者から質問を示す音声を受付ける受付ステップと、
前記受付ステップで受け付けた前記音声に対応する音声信号を、情報処理装置に送信する音声送信ステップと、
前記音声送信ステップで送信された前記音声信号に対する応答として、前記情報処理装置から送信された前記質問に対する回答の情報を出力する出力ステップと、
を含む情報処理方法。
【請求項２３】
端末装置と情報処理装置とを含むシステムにおける情報処理方法であって、
前記端末装置が、質問者から質問を示す音声を受付ける受付ステップと、
前記端末装置が、前記受付ステップで受け付けた前記音声に対応する音声信号を、前記情報処理装置に送信する音声送信ステップと、
前記情報処理装置が、前記端末装置から送信された前記音声信号の音響特徴量に基づいて、前記質問者の主観的状態を推定する推定ステップと、
前記情報処理装置が、前記推定ステップで推定された前記質問者の主観的状態に基づいて、前記質問に対する回答を決定する決定ステップと、
前記情報処理装置が、前記決定ステップで決定された前記質問に対する回答の情報を前記端末装置に送信する回答送信ステップと、
前記端末装置が、前記回答送信ステップで前記情報処理装置から送信された前記質問に対する回答の情報を出力する出力ステップと、
を含む情報処理方法。
【請求項２４】
コンピュータを、請求項１乃至１６何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【請求項２５】
コンピュータを、請求項１７乃至１９何れか１項記載の端末装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、端末装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、音声認識技術が様々な製品に搭載され、普及が進んでいる。音声認識技術の一つが音声対話技術である。音声対話技術とは、質問者からの音声による質問に対して適切な回答を行うというものであり、１つの質問に対して少なくとも１つ以上の回答が関係づけられている。音声対話技術における質問には、大きく分けて２種類の質問がある。１つは回答が１つに限定される質問で、例えば富士山の高さを質問する場合がこれに該当する。この質問に対する回答は、「３７７６メートルです」という内容となる。もう１つは、回答が複数存在する質問で、例えば、現在地周辺で提供されるお薦めランチ等を質問する場合が該当する。近年では前者の質問に加え、後者の質問に対して適切に回答することが望まれている。回答が複数存在する質問に対して適切な回答を行うためには、質問を行った際の質問者の状態を把握したうえで質問に回答する必要がある。質問者の状態を把握しないと、回答内容と質問者が所望する内容とに不一致が生じ、質問者の要求が満たされないという事態が発生する。
近年、質問者の状態を把握して質問に回答する方法には、様々な方法がある。例えば、質問者の性別や年齢、現在地等の質問者の意思に関係なくセンサ等を利用して取得できる情報から質問者の状態を推定し、推定した状態に応じて回答を決める方法がある。質問者の意思に関係なく取得できる情報から推定される質問者の状態を、以下では、質問者の客観的状態とする。特許文献１では、質問者の客観的状態である属性情報をもとに回答内容を決定する方法が提案されている。特許文献１には、より具体的には、自動車に搭載するナビゲーションシステムにおいて、ゴルフ場を検索する際に、質問者の年齢・平均スコア・現在地等の質問者の客観的状態から、最適なゴルフ場を回答する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４８１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
同じ質問内容であっても、質問を行った質問者の主観的状態により、求める回答に違いが生じる。質問者の主観的状態とは、例えば、質問者の心理的状態等の、質問者の意思により決定される状態である。
例えば、質問者に時間的な余裕がなく、回答をすぐに求めている場合、質問者の主観的状態（例えば、焦っている等の状態）に応じた回答が求められる。例えば、質問者がカメラ等の装置を操作している場合、急いでいるのであれば、少ない操作で使用できる操作方法の回答が求められる。
しかし、特許文献１では質問者の客観的状態しか考慮していない。
本発明の目的は、音声対話技術において、より適切な回答を決定することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、質問者からの質問を示す音声信号の音響特徴量に基づいて、前記質問者の主観的状態を推定する第１の推定手段と、前記第１の推定手段により推定された前記質問者の主観的状態に基づいて、前記質問に対する回答を決定する決定手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、音声対話技術において、より適切な回答を決定することができる。
【図面の簡単な説明】
【０００７】
【図１】音声対話システムのシステム構成の一例を示す図である。
【図２】音声対話システムの各構成要素のハードウェア構成の一例を示す図である。
【図３】音声対話システムの各構成要素の機能構成の一例を示す図である。
【図４】回答選択処理の一例を示すフローチャートである。
【図５】初期設定処理の一例を示すフローチャートである。
【図６】質問者の主観的状態の推定処理の一例を示すフローチャートである。
【図７】回答決定処理の一例を示すフローチャートである。
【図８】回答データベースの更新処理の一例を示すフローチャートである。
【図９】インターフェース画面の一例を示す図である。
【図１０】提示される回答等の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。以下では、質問の際に質問者が発した質問に関する音声情報を、質問発話情報とする。質問発話情報は、発声した言葉の意味を示す質問内容の情報と、発声した音の情報である音響情報と、を含む。
【０００９】
＜実施形態１＞
本実施形態では、音声対話システムにおける質問者の質問発話情報に対し、質問者の客観的状態だけでなく、主観的状態に基づいて、適切な回答を提示する処理を説明する。
図１は、本実施形態の音声対話システムのシステム構成の一例を示す図である。
音声対話システムは、情報端末１０、カメラ２０、サーバー３０を含む。情報端末１０、カメラ２０、サーバー３０は、例えば、インターネット等のネットワークを介して相互に接続されている。質問者は、カメラ２０を用いて、撮影を行っているものとする。そして、質問者は、情報端末に対して、音声で質問を行う。質問者からの質問を受付けた情報端末１０は、質問発話情報を、サーバー３０に送信する。サーバー３０は、送信された質問発話情報に基づいて、質問者の質問に対する適切な回答を決定し、情報端末に送信する。情報端末１０は、送信された回答を、音声で出力したり、表示部１２に表示したりして質問者に提示する。
情報端末１０は、例えば、スマートフォンやタブレット端末、ウェアラブル端末等の端末装置である。情報端末１０は、質問者から質問発話情報を取得し、質問発話情報に対する回答を表示等することができる。情報端末１０は、質問発話情報に対して音声信号処理を行うことや、取得した音声認識結果の保存等を行うことができる。情報端末１０は、種々のセンサを含み、センサからの情報に基づいて、現在位置や現在時刻等を取得することができる。
【００１０】
カメラ２０は、カメラ等の撮像装置である。カメラ２０は、画像やセンサ情報等を取得することができる。カメラ２０は、質問者からの質問に対する回答を決定する処理を行うわけではなく、情報端末１０から設定情報を受信し、受信した設定情報をカメラ２０に反映する処理を行う。
サーバー３０は、情報端末１０やカメラ２０と接続されるパーソナルコンピュータ、タブレット装置、サーバー装置等の情報処理装置である。情報端末から受信した質問発話情報に基づいて音声認識や回答検索を行ったり、ウェブサービス等から取得した情報をデータベースとして保存したりすることができる。
本実施形態では、音声対話システムは、３つの構成要素を含むとした。しかし、情報端末１０がサーバー３０の機能を有する場合、音声対話システムは、情報端末１０、カメラ２０のみを含むこととしてもよい。また、カメラ２０が情報端末１０及びサーバー３０の機能を含む場合、音声対話システムは、カメラ２０のみで構成されることとしてもよい。
【００１１】
図２は、音声対話システムの各構成要素のハードウェア構成の一例を示す図である。
情報端末１０は、操作部１１、表示部１２、通信部１３、ＣＰＵ１４、メモリ１５、記憶装置１６、マイク１７、センサ１８を含む。操作部１１、表示部１２、通信部１３、ＣＰＵ１４、メモリ１５、記憶装置１６、マイク１７、センサ１８は、情報端末１０のシステムバスを介して相互に接続されている。
操作部１１は、情報端末１０の操作部である。操作部１１は、例えば、質問者の操作を受け付ける際に利用されるボタンやタッチパネル式ディスプレイ等である。質問者は、操作部１１を介して、質問に対する回答についての満足の可否等を、情報端末１０に入力することができる。
表示部１２は、情報端末１０の表示部である。表示部１２は、例えば、ディスプレイ等である。表示部１２は、例えば、入力された質問や回答等の内容を表示することができる。
【００１２】
通信部１３は、情報端末１０の通信部である。通信部１３は、マイク１７やセンサ１８等を介して取得されたデータをサーバー３０に送信したり、サーバー３０で処理された音声認識結果や回答等の情報を受信したりする際に利用される。
ＣＰＵ１４は、情報端末１０のＣＰＵである。ＣＰＵ１４は、メモリ１５や記憶装置１６に格納されているコンピュータプログラムやデータを用いて各種処理を行う。また、ＣＰＵ１４は、音声情報の雑音除去処理や回答情報の表示レイアウト作成処理等を行う。
メモリ１５は、情報端末１０のメモリである。メモリ１５は、マイクやセンサ等から取得したデータや、記憶装置１６に格納されているコンピュータプログラムを一時的に保持するワークエリアを含む。
記憶装置１６は、情報端末１０の記憶装置である。記憶装置１６は、音声処理等を行うためのコンピュータプログラムや回答情報の表示レイアウトフォーマット等の情報を記憶する。記憶装置１６は、例えば、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等である。
【００１３】
マイク１７は、情報端末１０のマイクである。マイク１７は、質問者からの質問発話情報を取得することができる。ＣＰＵ１４は、質問発話情報を、通信部１３を経てサーバーに送信する。
センサ１８は、情報端末１０のセンサである。センサ１８は、例えば、ＧＰＳや近接センサ等である。センサ１８は、情報端末１０の現在地や現在質問者が所持しているデバイスやアタッチメント等に関する情報を取得することができる。
ＣＰＵ１４が、メモリ１５又は記憶装置１６に記憶されたプログラムに基づき処理を実行することによって、図３で後述する情報端末１０の機能及び図４、５で後述するフローチャートにおける情報端末１０の処理等が実現される。
【００１４】
カメラ２０は、通信部２１、ＣＰＵ２２、メモリ２３、記憶装置２４、センサ２５を含む。通信部２１、ＣＰＵ２２、メモリ２３、記憶装置２４、センサ２５は、カメラ２０のシステムバスを介して相互に接続されている。
通信部２１は、カメラ２０の通信部である。通信部２１は、センサ２５等を介して取得されたデータを情報端末１０やサーバー３０に送信したり、情報端末１０やサーバー３０から情報を受信したりする際に利用される。
ＣＰＵ２２は、カメラ２０のＣＰＵである。ＣＰＵ２２は、メモリ２３や記憶装置２４に格納されているコンピュータプログラムやデータを用いて各種処理を行う。
メモリ２３は、カメラ２０のメモリである。メモリ２３は、センサ２５等から取得したデータや、記憶装置２４に格納されているコンピュータプログラムを一時的に保持するワークエリアを含む。
【００１５】
記憶装置２４は、カメラ２０の記憶装置である。記憶装置２４は、撮影処理等を行うためのコンピュータプログラム等の情報を記憶する。記憶装置２４は、例えば、ＨＤＤやＳＳＤ等である。
センサ２５は、カメラ２０のセンサである。センサ２５は、例えば、撮像素子、ジャイロセンサ、照度センサ等を含む。センサ２５は、カメラ２０の姿勢に関する情報を取得できる。ＣＰＵ２２は、センサ２５を介して、撮影処理を行う。
ＣＰＵ２２が、メモリ２３又は記憶装置２４に記憶されたプログラムに基づき処理を実行することによって、図３で後述するカメラ２０の機能及びカメラ２０の処理等が実現される。
【００１６】
サーバー３０は、通信部３１、ＣＰＵ３２、メモリ３３、記憶装置３４を含む。通信部３１、ＣＰＵ３２、メモリ３３、記憶装置３４は、サーバー３０のシステムバスを介して相互に接続されている。
通信部３１はサーバー３０の通信部である。通信部３１は、情報端末１０やカメラ２０が取得・処理したデータの受信や、サーバー３０で処理した音声認識結果や回答等の情報の送信に利用される。
ＣＰＵ３２は、サーバー３０のＣＰＵである。ＣＰＵ３２は、メモリ３３や記憶装置３４に格納されているコンピュータプログラムやデータを用いて各種処理を行う。ＣＰＵ３２は、情報端末１０やカメラ２０では処理に時間がかかるような処理を行う。
メモリ３３は、サーバー３０のメモリである。メモリ３３は、例えば、情報端末１０のマイク１７やセンサ１８等から取得したデータを、一時的に保持するためのワークエリアを有する。また、メモリ３３は、ＣＰＵ３２が処理を実行する際に必要となるワークエリアも有する。
記憶装置３４は、サーバー３０の記憶装置である。記憶装置３４は、各種処理を行うためのコンピュータプログラムや、音声認識に必要な各種モデル、質問に対する回答候補を記憶するデータベース等を記憶する。記憶装置３４は、例えば、ＨＤＤやＳＳＤ等である。
ＣＰＵ３２が、メモリ３３又は記憶装置３４に記憶されたプログラムに基づき処理を実行することによって、図３で後述するサーバー３０の機能及び図４〜８で後述するフローチャートにおけるサーバー３０の処理等が実現される。
【００１７】
図３は、音声対話システムに含まれる情報端末１０、カメラ２０、サーバー３０の機能構成の一例を示す図である。
情報端末１０は、情報端末制御部３１１、音声取得部３１２、内容提示部３１３、表示操作部３１４、操作内容取得部３１５、センサ情報取得部３１６、表示条件設定部３１７を含む。
情報端末制御部３１１は、情報端末１０による質問発話情報取得、センサ情報取得、内容表示等を滞りなく行うよう、タスクの制御を行う。
音声取得部３１２は、マイク１７を介して、質問者からの質問を受け付け、質問発話情報を取得することができる。また必要に応じて質問発話情報以外に、交通音や水の流れる音、雑踏音等の音声以外の環境音を取得することもできる。
内容提示部３１３は、表示部１２に対して、質問者からの質問や質問に対する回答の内容を表示し、質問者に提示することができる。
表示操作部３１４は、操作部１１を介して、表示部１２に表示させる内容を切り替えたり、選択したりすることができる。
操作内容取得部３１５は、操作部１１を介した質問者の操作に基づいて、質問者がどの回答に目を通したか、実行したか、提示した回答に満足したか否か等の情報を取得することができる。
センサ情報取得部３１６は、情報端末１０に含まれるセンサ１８から、質問者の現在地や現在所持しているデバイスやアタッチメント等の情報を取得することができる。
表示条件設定部３１７は、表示操作部３１４を介して、表示部１２に表示させる内容の決定方法や、表示する回答数の上限数等の表示条件を設定できる。
【００１８】
カメラ２０は、カメラ制御部３２１、パラメータ設定部３２２、センサ情報取得部３２３を含む。
カメラ制御部３２１は、カメラ２０による撮像、パラメータ設定、センサ情報取得等の処理が滞りなく行われるよう、カメラ２０を制御する。
パラメータ設定部３２２は、カメラ２０の動作に関するパラメータを、カメラ２０に反映させる。パラメータ設定部３２２は、例えば、質問者から質問発話情報として、カメラ２０の使い方や設定についての質問の情報が取得された場合、質問者による回答確認後に、カメラのパラメータを変更することができる。パラメータ設定部３２２は、カメラ２０の操作部を介した質問者の操作に基づいて、又は、情報端末１０から受信される設定情報に基づいて、カメラ２０のパラメータを更新できる。
センサ情報取得部３２３は、センサ２５から、カメラの向いている方向や周囲の明るさ等の情報を取得することができる。
【００１９】
サーバー３０は、サーバー制御部３３１、音声認識部３３２、初期設定実行部３３３、客観状態推定部３３４、主観状態推定部３３５、回答情報記憶部３３６、質問者情報記憶部３３７、感情情報記憶部３３８、回答決定部３３９を含む。
サーバー制御部３３１は、サーバー３０による音声認識、回答決定、データベースの更新等の処理が滞りなく行われるように、タスクの制御を行う。
音声認識部３３２は、音声取得部３１２により取得された質問発話情報に基づいて、質問発話情報に係る質問者の音声の音響特徴量の抽出と、発話内容のテキスト化を行うことができる。
初期設定実行部３３３は、以下の二つの機能がある。一つは、質問者の性別、年齢、居住地等の質問者の客観的情報を取得及び記憶装置３４等に登録する機能である。もう一つは、質問者の発声の音響情報といった質問が発声して入力された場合に初めて取得可能となる質問者の主観的情報を取得及び、記憶装置３４等に登録する機能である。初期設定実行部３３３は、予め、感情が平常な状態の質問者から取得された音声情報から音響情報を抽出し、記憶装置３４等に登録するものとする。
【００２０】
感情が平常な場合の音声情報を取得するためには、例えば、以下のような方法がある。音声取得部３１２が、感情が平常な状態の質問者に予め用意された文章を発声してもらい、その発生された音声情報を取得するという方法である。本実施形態では、例えば、情報端末１０は、表示部１２に、「気分を落ち着けて、以下の文章を発声してください」等のメッセージを表示し、質問者に提示する。情報端末１０は、表示部１２に、そのメッセージと併せて、発声させる文章を表示する。質問者は、表示部１２に表示された文章を発声する。音声取得部３１２は、その音声を取得することになる。
また、音声取得部３１２は、一定期間、感情が平常な状態の質問者に任意の文章や単語を発声してもらい、その発声された任意の文章や単語の音声を取得することとしてもよい。また、音声取得部３１２は、これらの方法以外の方法で、感情が平常な状態の質問者の音声を取得することとしてもよい。また、質問者情報記憶部３３７は、音声取得部３１２により取得された感情が平常な状態の質問者の音声から抽出した音響情報を、質問者の状態推定処理に利用される情報を格納するデータベースに記憶する。以下では、質問者の状態推定処理に利用される情報を格納するデータベースを質問者データベースとする。
【００２１】
客観状態推定部３３４は、質問者の客観的状態を推定する。質問者の客観的状態とは、質問者の意思に関係なく取得できる客観的情報から推定される質問者の状態である。質問者の身体的状態等の質問者の客観的状態は、センサ等で取得される客観的情報から推定可能な状態である。客観的情報とは、例えば、質問者の現在地や現在所持しているデバイスやアタッチメント等の情報のように、質問者の意思とは直接的に関係のない情報のことである。質問者の身体的状態とは、質問者の性別や年齢、身長、何を所持しているか等の質問者の身体や所持している物に関する状態である。また、事前に登録されている質問者の性別や年齢等の質問者の身体的な情報も客観的情報に含まれる。客観状態推定部３３４は、１つの客観的情報に対応する客観的状態を、質問者の客観的状態として推定してもよいし、複数の客観的情報に対応する客観的状態を、質問者の客観的状態として推定してもよい。例えば、客観状態推定部３３４は、センサ２５によりカメラ２０に望遠レンズが接続されていることを示す客観的情報が取得された場合、望遠レンズを所持している状態を、質問者の客観的状態として推定してもよい。
主観状態推定部３３５は、質問者の主観的状態を推定する。質問者の主観的状態とは、例えば、質問者の心理的状態等の質問者の意思により決定される状態である。質問者の心理的状態とは、「焦っている」、「落ち着いている」等の質問者の心理の状態である。質問者の主観的状態は、例えば、質問発話情報の音響情報とセンサ等を介して取得される情報等に基づいて推定可能である。主観状態推定部３３５は、例えば、質問発話情報の発声の速度が、予め定義された平常状態に比べ速い場合は、質問者が焦っている状態であると推定することができる。主観状態推定部３３５は、センサ等から取得される情報のうち、単一の情報に基づいて、質問者の主観的状態を推定してもよいし、複数の情報に基づいて、質問者の主観的状態を推定してもよい。
【００２２】
回答情報記憶部３３６は、質問内容と回答内容と付属情報との組みを回答データという１つの単位とし、複数の回答データを含むデータベース（以下では、回答データベース）の記憶と、更新を行う。回答データベースは、例えば、記憶装置３４等に実装される。回答データは、例えば、質問内容として「運動会での徒競走の写真の撮り方」というテキスト情報、回答内容としてシーンモードやシャッタースピードの設定値の情報を含む。更に、回答データは、例えば、付属情報として、回答に対応する客観的状態や回答に対応する主観的状態、及び、その回答データについての質問者の満足度の情報等を含む。回答データは、例えば、回答に対応する主観的状態として、その回答が過去、使用された際の質問者の主観的状態のうち、最も多かった主観的状態を含むこととしてもよい。回答内容と付属情報とを含む回答データは、回答候補と回答候補に対応する主観的状態と回答候補に対する前記質問者の満足の度合いを示す満足度との対応を示す対応情報の一例である。
本実施形態では、音声取得部３１２により取得された質問発話情報が音声認識部３３２により認識された後、回答決定部３３９が音声認識部３３２による認識結果と回答データベースとに基づいて、適切な回答を抽出する。そして、内容提示部３１３が、抽出された回答を、質問者に提示する。回答の提示後に質問者が行った操作内容は、操作内容取得部３１５によって取得され、その内容に応じて回答情報記憶部３３６が回答データベースを更新する。より具体的には、回答情報記憶部３３６は、回答データベースの項目のうち、その回答が選択された際の質問者の主観的状態の比率や、回答に対する満足度等の項目を更新する。本実施形態では、回答情報記憶部３３６は、回答データベースの更新において以上のような方法を用いているが、この方法に限定するものではない。回答情報記憶部３３６は、例えば、回答を、ウェブ等を介して外部から新たに取得した情報に基づいて、回答データベースを更新することとしてもよい。
【００２３】
質問者情報記憶部３３７は、質問者の質問発話情報に加えて、質問者の客観的状態の推定に利用可能な情報と質問者の主観的状態の推定に利用可能な情報との両方を記憶する質問者データベースの記憶と、更新を行う。
本実施形態では、質問者情報記憶部３３７は、質問者データベースに質問発話情報の発話内容、音響情報、センサ情報等を記憶する。また、質問者情報記憶部３３７は、初期設定実行部３３３により取得された質問者の性別や年齢等の情報や、感情が平常である場合の質問者の音響情報等の情報も、質問者データベースに記憶する。また、質問者情報記憶部３３７は、質問発話情報の発話内容と音響情報、更にセンサ情報取得部３１６とセンサ情報取得部３２３により取得されたセンサ情報の内容で、質問者データベースを更新する。質問者情報記憶部３３７は、質問者データベースに、全てのデータを取得時間と紐づけて一元的に管理可能なように情報を記憶したり、質問者の主観的状態及び客観的状態のデータ等のデータの属性ごとに分類して管理可能なように記憶したりする。質問者データベースの更新方法は、このような方法に限定されるものではない。
感情情報記憶部３３８は、各種音響特徴量と感情を示すラベル（怒り、悲しみ、焦り、平常状態などのテキスト）との組を一つのデータ（以下では、感情データ）とし、複数の感情データを含むデータベース（以下では、感情データベース）の記憶を行う。音響特徴量としては、発話速度や基本周波数、音量、抑揚の大きさ、パワーや発話持続期間、更にはＭＦＣＣやその分散等がある。また、本実施形態では、それぞれの音響特徴量は、ラベルが示す感情の状態における複数の人の発声データから導出された平均的な特徴量である。本実施形態では、回答情報記憶部３３６、質問者情報記憶部３３７、感情情報記憶部３３８は、それぞれ別個の機能構成要素となっているが、これらのうちの幾つかを適宜統合した機能構成要素がサーバー３０に含まれることとしてもよい。
【００２４】
回答決定部３３９は、質問者が所望する回答を提示するために、質問者からの質問に対しての適切な回答の決定を行う。
回答決定部３３９は、例えば、以下の三つの機能を含む。
一つ目は、回答データベースの中から現在受けている質問と同じ質問内容を含む回答データを抽出して、抽出した回答データを回答候補に決定する。そして、現在の質問者の客観的状態と回答候補に対応する客観的状態とを比較して、類似であるか否かを判定する機能である。客観的状態が類似か否かの判定処理は、例えば以下のように行われる。現在所持している三脚やレンズといったカメラ２０の付属品についての情報が客観的情報として利用される場合、回答決定部３３９は、付属品毎に、質問の際の質問者と回答データとにおいて、所持状態が同一か否かを判定する。回答決定部３３９は、半数以上の付属品について所持状態が同一である場合は、客観的状態が類似であると判定する。回答決定部３３９は、客観的状態の類似判定方法として、以上の方法以外の方法を用いてもよい。
二つ目は、客観的状態を比較した上で類似であると判定した回答データの主観的状態と、質問の際の質問者の主観的状態を比較して、同一であるか否かを判定する機能である。即ち、質問の際の質問者の主観的状態が「焦っている」と推定された場合、比較中の回答データに対応する主観的状態が「焦っている」であるか否かを判定する機能である。
三つ目は、客観的状態、及び主観的状態が、回答データに対応する客観的状態、及び主観的状態と類似又は同一であると判断された回答データにおいて、満足度が閾値以上である回答データを質問者の質問に対する回答に決定する機能である。本実施形態では、回答決定部３３９は、最適な回答を提示するために以上のような方法を行うが、他の方法を行ってもよい。
【００２５】
図４は、回答選択処理の一例を示すフローチャートである。
Ｓ４０１において、表示条件設定部３１７は、表示操作部３１４を介して、操作部１１に対する質問者の操作に基づいて、表示部１２への表示処理に関する条件を決定する。
Ｓ４０２において、初期設定実行部３３３は、質問者の音声対話システムの使用履歴に応じて、初期設定を行う。Ｓ４０２の処理の詳細は、図５で後述する。
Ｓ４０３において、音声取得部３１２は、質問者による質問の発声を、マイク１７を介して取得し、取得した音声情報から、質問発話情報を取得する。そして、音声取得部３１２は、取得した質問発話情報を、サーバー３０に送信する。音声取得部３１２による質問発話情報のサーバー３０への送信処理は、音声送信処理の一例である。
Ｓ４０４において、音声認識部３３２は、通信部１３及び通信部３１を介して、Ｓ４０３で音声取得部３１２により取得された質問者の質問発話情報を取得する。音声認識部３３２は、取得した質問発話情報から、音響情報と意味情報とを取得する。
Ｓ４０５において、客観状態推定部３３４は、センサ情報取得部３１６とカメラのセンサ情報取得部３２３を介して、センサ１８、センサ２５により取得された情報を取得する。そして、客観状態推定部３３４は、取得した情報に基づいて、質問者の客観的状態を推定する。
Ｓ４０６において、主観状態推定部３３５は、Ｓ４０４で音声認識部３３２により取得された質問発話情報の音響情報と、センサ情報取得部３１６及びセンサ情報取得部３２３により取得されたセンサ１８、センサ２５からの情報と、に基づいて、次の処理を行う。即ち、主観状態推定部３３５は、質問者の主観的状態を推定する。Ｓ４０６の処理の詳細は、図６で後述する。
【００２６】
Ｓ４０７において、回答決定部３３９は、以下の処理を実行する。
まず、回答決定部３３９は、音声認識部３３２から取得した質問発話情報の意味情報をもとに、回答情報記憶部３３６により記憶された回答データベースの中から、同じ質問内容を含む回答データを抽出して回答候補に決定する。そして、回答決定部３３９は、客観状態推定部３３４により取得された質問の際の質問者の客観的状態が、回答候補に対応する客観的状態と類似するか否かを判定する。
次に、回答決定部３３９は、対応する客観的状態が質問の際の質問者の客観的状態と類似であると判定した回答候補を特定する。そして、回答決定部３３９は、特定した回答候補それぞれについて、対応する主観的状態が、主観状態推定部３３５により取得された質問の際の質問者の主観的状態と同一であるか否かを判定する。
そして、回答決定部３３９は、対応する主観的状態が質問の際の質問者の主観的状態と同一である回答候補について、対応する満足度が設定された閾値以上であるか否かを判定する。そして、回答決定部３３９は、対応する満足度が設定された閾値以上である回答候補を質問者の質問に対する回答として決定する。本実施形態では、回答決定部３３９は、最適な回答を決定するために以上のような方法で回答の決定を行っているが、この方法に限定するものではない。Ｓ４０７の処理の詳細は、図７で後述する。
【００２７】
Ｓ４０８において、回答決定部３３９は、Ｓ４０７で回答として決定した回答データの内容を、内容提示部３１３を介して質問者に提示する。例えば、回答決定部３３９は、Ｓ４０７で回答として決定した回答データの情報を情報端末１０に送信し、内容提示部３１３を介して、情報端末１０に送信した回答データの内容を、表示部１２に表示するよう指示する。回答決定部３３９によるＳ４０７で回答として決定された回答データの内容を情報端末１０に送信処理は、回答送信処理の一例である。そして、内容提示部３１３は、回答データの内容を表示部１２に表示することで、質問者に提示する。また、内容提示部３１３は、表示部１２に、提示した回答データに対する質問者からの応答を受け付ける受付画面を表示する。受付画面は、例えば、提示された回答データに満足したか否かの選択ボタンや、回答データを確認したか否かの選択ボタン、回答データに対応するパラメータをカメラ２０に反映させるか否かの選択ボタン等を含む。
Ｓ４０９において、操作内容取得部３１５は、Ｓ４０８で提示された回答データに対する質問者の応答を、表示操作部３１４を介して取得する。操作内容取得部３１５は、例えば、質問者がＳ４０８で表示された受付画面に対しての入力に応じて、質問者がどの回答に目を通したか否か、回答で提示された操作を実行したか否か、提示した回答に満足したか否か等の情報を取得する。回答情報記憶部３３６は、操作内容取得部３１５により取得されたこれらの情報を用いて、適切なタイミングで、回答データベースを更新する。Ｓ４０９の処理の詳細は、図８で後述する。
【００２８】
図５は、初期設定処理の一例を示すフローチャートである。
Ｓ５０１において、初期設定実行部３３３は、質問者による音声対話システムの利用が初めてか否かを判定する。初期設定実行部３３３は、質問者による音声対話システムの利用が初めてと判定した場合、Ｓ５０２に進み、質問者による音声対話システムの利用が初めてでないと判定した場合、図５の処理を終了する。初期設定実行部３３３は、例えば、表示部１２に利用が初めてか否かを選択するＹＥＳ／ＮＯ形式のボタンを含む選択画面を表示させ、質問者による選択画面を介した操作に基づいて、利用が初めてか否かの情報を取得することとしてもよい。
また、情報端末１０は、質問者のログイン処理等により質問者の情報を取得することとして、初期設定実行部３３３は、情報端末１０から質問者の情報を取得する。そして、初期設定実行部３３３は、取得した質問者について、感情状態が平常な場合の発声の音響情報が質問者データベース内に記憶されているか否かを判定することとしてもよい。その場合、初期設定実行部３３３は、質問者データベース内に記憶されていると判定した場合、その質問者による音声対話システムの利用は初めてではないと判定する。初期設定実行部３３３は、質問者データベース内に記憶されていないと判定した場合、その質問者による音声対話システムの利用は初めてであると判定する。
【００２９】
Ｓ５０２において、初期設定実行部３３３は、質問者の感情状態が平常である場合の音響情報を質問者データベースから取得する。感情状態が平常であるとは、怒りや悲しみ等の感情を感じていない落ち着いた感情状態である。
感情状態が平常である場合の音響情報を取得するには、例えば以下の手順の実行が必要である。まず、内容提示部３１３が、質問者に発話してもらうテキストを表示部１２に表示する。表示されるテキストは少なくとも一つ以上の文を含む。次に、音声認識部３３２は、質問者が発話したテキスト音声を、音声取得部３１２を介して取得し、取得した音声情報を認識し、その音声情報に対応する音響情報を取得する。そして、質問者情報記憶部３３７は、音声認識部３３２により取得された音響情報を、その質問者の感情状態が平常な状態の音響情報として質問者データベースに記憶する。例えば、音響情報は、発話速度や音量、抑揚の大きさ、基本周波数、パワーや発話持続時間、更にはＭＦＣＣやその分散等の音響特徴量である。本実施形態では、質問者の感情状態が平常である場合の音響情報の取得を、音声対話システムを初めて使用する場合にのみ取得されることとする。しかし、例えば、過去に音声対話システムを利用したことのある質問者が改めて音声対話システムを利用し始めた際に、音声対話システムは、質問者の感情状態が平常である場合の音響情報を取得することとしてもよい。
【００３０】
図６は、質問者の主観的状態の推定処理の一例を示すフローチャートである。
Ｓ６０１において、主観状態推定部３３５は、質問者の感情状態を感情データベースに保存されているモデル感情データと比較するために、質問者の感情データとモデル感情データとの関係Ｆを取得する。モデル感情データとは、ラベルが示す感情の状態における複数の人の音声データから導出された平均的な特徴量である。本実施形態では、主観状態推定部３３５は、感情が平常な状態での感情データの特徴量に基づいて、関係Ｆを取得する。また、関係Ｆは、モデル感情データのある特徴量が質問者の感情データの同じ特徴量の何倍に相当するか、で算出される。例えば、感情状態が平常な状態でのモデル感情データの特徴量が（ａ１、ａ２、ａ３、…）であり、感情状態が平常な状態での質問者の感情データの特徴量が（ｂ１、ｂ２、ｂ３、…）であり、関係Ｆが（ｆ１、ｆ２、ｆ３、…）であるとする。その場合、ａ１＝ｆ１×ｂ１、ａ２＝ｆ２×ｂ２、…の関係を満たす。主観状態推定部３３５は、この関係から、関係Ｆを算出する。
Ｓ６０２において、主観状態推定部３３５は、Ｓ６０１で算出した関係Ｆを、ある感情状態の質問者の感情データの特徴量に適用する。即ち、主観状態推定部３３５は、ある感情状態の質問者の感情データの特徴量（Ｂ１、Ｂ２、Ｂ３、…）に対して、関係Ｆを適用する。その結果、適用後の特徴量は（Ｂ'１、Ｂ'２、Ｂ'３、…）（Ｂ'１＝ｆ１×Ｂ１、Ｂ'２＝ｆ２×Ｂ２、…）となる。これにより、ある感情状態の質問者の感情データの特徴量を感情データベースに保存されているモデル感情データと比較できるようになる。即ち、ある感情状態の質問者の感情データの特徴量に関係Ｆを適用した特徴量が、感情データベースに保存されているモデル感情データの特徴量と比較される特徴量となる。
【００３１】
Ｓ６０３において、主観状態推定部３３５は、感情データベースより感情データを１つ選択する。選択された感情データの特徴量を（Ａ１、Ａ２、Ａ３、…）とする。
Ｓ６０４において、主観状態推定部３３５は、Ｓ６０２で算出したある感情状態の質問者の特徴量に関係Ｆを適用した特徴量（Ｂ'１、Ｂ'２、Ｂ'３、…）と、Ｓ６０３で選択した感情データの特徴量（Ａ１、Ａ２、Ａ３、…）について類似度Ｍを算出する。類似度Ｍは、特徴量（Ｂ'１、Ｂ'２、Ｂ'３、…）を要素とするベクトルＢ'と特徴量（Ａ１、Ａ２、Ａ３、…）を要素とするベクトルＡを用いて、ベクトルＢ'とベクトルＡの内積からベクトルＡの絶対値の二乗を引いた値である。即ち、主観状態推定部３３５は、Ｍ＝｜Ｂ'・Ａ−｜Ａ｜2｜の式を用いて、類似度Ｍを算出する。
Ｓ６０５において、主観状態推定部３３５は、感情データベースに含まれる全ての感情データに対して、類似度Ｍを算出したか否かを判定する。主観状態推定部３３５は、全ての感情データに対して類似度Ｍを算出した場合は、特徴量の類似度比較処理を終了し、Ｓ６０７に進む。主観状態推定部３３５は、類似度Ｍを算出していない感情データがある場合は、Ｓ６０６の処理に進む。
Ｓ６０６において、主観状態推定部３３５は、感情データベースから、Ｓ６０３〜Ｓ６０４の処理が行われていない感情データを取得した後、取得した感情データについて、Ｓ６０３〜Ｓ６０４の処理を行う。
Ｓ６０７において、主観状態推定部３３５は、感情データベースに含まれる感情データのうち、Ｓ６０４で算出した類似度Ｍが最小となる感情データに対応する感情を示すラベルを、質問の際の質問者の主観的状態として推定する。
【００３２】
図７は、回答決定処理の一例を示すフローチャートである。
Ｓ７０１において、回答決定部３３９は、回答データベースより、回答データを一つ選択する。
Ｓ７０２において、回答決定部３３９は、客観状態推定部３３４により取得された質問の際の質問者の客観的状態と、Ｓ７０１で選択した回答データに対応する客観的状態とを比較し、客観的状態が類似であるか否かを判定する。回答決定部３３９は、類似であると判定した場合、Ｓ７０３に進み、類似でないと判定した場合、Ｓ７０９に進む。
Ｓ７０２における客観状態推定部３３４により取得された質問の際の質問者の客観的状態と、Ｓ７０１で選択した回答データに対応する客観的状態と、の類似か否かの判定処理について説明する。
例えば、客観的状態として、カメラ２０に接続される付属品（三脚、望遠レンズ等）の情報が利用される場合について説明する。本実施形態では、カメラ２０に接続される付属品は、三脚と望遠レンズとの２つであるとする。客観状態推定部３３４は、カメラ２０からカメラ２０に接続されている付属品の情報を、質問者の客観的情報として取得する。客観状態推定部３３４は、例えば、カメラ２０から客観的情報として、三脚が接続されていることを示す情報を取得する。その場合、客観状態推定部３３４は、三脚が接続されていることを示す客観的情報に基づいて、質問者の客観的状態を、三脚を所持している状態として推定する。
【００３３】
また、客観状態推定部３３４は、例えば、カメラ２０から客観的情報として、三脚が接続されていることを示す情報、及び望遠レンズが接続されていることを示す客観的情報を取得した場合、以下のように推定する。即ち、客観状態推定部３３４は、質問者の客観的状態を、三脚及び望遠レンズを所持している状態として推定する。客観状態推定部３３４は、例えば、カメラ２０から客観的情報として、三脚が接続されていないことを示す情報、及び望遠レンズが接続されていないことを示す情報を取得した場合、質問者の客観的状態を、何も所持していない状態として推定する。
回答決定部３３９は、例えば、客観状態推定部３３４により推定された質問の際の質問者の客観的状態に対応する客観的情報と、Ｓ７０１で取得した回答データに対応する客観的状態に対応する客観的情報と、を比較することで、双方が類似するか否か判定する。回答決定部３３９は、例えば、双方の客観的状態について、客観的状態に対応する客観的情報のうち、半数以上が共通する場合、双方の客観的状態を類似すると決定する。
本実施形態では、回答決定部３３９は、客観状態推定部３３４により推定された客観的状態に対応する客観的情報である付属品の所持状態と、Ｓ７０１で取得した回答データに対応する客観的状態が示す付属品の所持状態と、を比較する。
例えば、客観状態推定部３３４により推定された客観的状態が付属品を所持していない状態である場合、質問の際の質問者の客観的状態に対応する客観的情報は、以下の情報である。即ち、質問の際の質問者の客観的状態に対応する客観的情報は、三脚が接続されていないことを示す情報、及び望遠レンズが接続されていないことを示す情報である。Ｓ７０１で取得された回答データに対応する客観的状態が付属品を所持していない状態である場合は、Ｓ７０１で取得された回答データに対応する客観的状態に対応する客観的情報は、同様に、以下の情報となる。即ち、Ｓ７０１で取得された回答データに対応する客観的状態に対応する客観的情報は、三脚が接続されていないことを示す情報、及び望遠レンズが接続されていないことを示す情報である。その場合、回答決定部３３９は、双方の客観的状態に対応する客観的情報の全てが共通しているので、双方の客観的状態を類似していると判定する。
【００３４】
また、例えば、客観状態推定部３３４により推定された客観的状態が付属品を所持していない状態である場合、質問の際の質問者の客観的状態に対応する客観的情報は、以下の情報である。即ち、質問の際の質問者の客観的状態に対応する客観的情報は、三脚が接続されていないことを示す情報、及び望遠レンズが接続されていないことを示す情報である。Ｓ７０１で取得された回答データに対応する客観的状態が三脚及び望遠レンズを所持している状態である場合、その客観的状態に対応する客観的情報は、三脚が接続されていることを示す情報及び、望遠レンズが接続されていることを示す情報である。その場合、回答決定部３３９は、双方の客観的状態に対応する客観的情報のうち共通しているものがないので、双方の客観的状態を類似でないと判定する。
また、例えば、客観状態推定部３３４により推定された客観的状態が三脚を所持している状態の場合、質問の際の質問者の客観的状態に対応する客観的情報は、三脚が接続されていることを示す情報、及び望遠レンズが接続されていないことを示す情報である。Ｓ７０１で取得された回答データに対応する客観的状態が三脚及び望遠レンズを所持している状態である場合、その客観的状態に対応する客観的情報は、三脚が接続されていることを示す情報及び、望遠レンズが接続されていることを示す情報である。その場合、回答決定部３３９は、三脚が接続されていることを示す情報が共通しており、２つの客観的情報のうち半数以上である１つの客観的情報が共通することになるので、双方の客観的状態を類似であると判定する。
本実施形態では、音声対話システムは、客観的情報として、付属品がカメラ２０に接続されているか否かの情報を利用することとしたが、他の情報を利用してもよい。例えば、音声対話システムは、客観的情報として、カメラ２０の照度センサからのセンサ値が設定された閾値以上であるか否かを示す情報を、質問者の客観的情報として利用してもよい。
【００３５】
Ｓ７０３において、回答決定部３３９は、Ｓ７０１で選択した回答データに対応する主観的状態と、主観状態推定部３３５により推定された質問の際の質問者の主観的状態と、が同一か否かを判定する。例えば、主観状態推定部３３５が質問の際の質問者の主観的状態を、「焦っている」状態と推定した場合、回答決定部３３９は、Ｓ７０１で選択した回答データに対応する主観的状態が「焦っている」状態であるか否かを判定する。回答決定部３３９は、双方の主観的状態を同一と判定した場合、Ｓ７０４に進み、同一でないと判定した場合、Ｓ７０９に進む。
Ｓ７０４において、回答決定部３３９は、Ｓ７０１で選択した回答データに対応する満足度ｐが設定された閾値（以下では、ｐ＿ｂｏｕｎｄ）以上であるか否かを判定する。表示条件設定部３１７は、閾値ｐ＿ｂｏｕｎｄを決定し、決定した閾値ｐ＿ｂｏｕｎｄの情報を、記憶装置３４に記憶するようサーバー３０に指示する。表示条件設定部３１７は、例えば、表示部１２に、閾値ｐ＿ｂｏｕｎｄの値の入力を受け付けるための入力画面を表示する。そして、表示条件設定部３１７は、入力画面への質問者による入力に基づいて、閾値ｐ＿ｂｏｕｎｄの値を決定することができる。
回答決定部３３９は、Ｓ７０１で選択した回答データに対応する満足度ｐが閾値ｐ＿ｂｏｕｎｄ以上であると判定した場合、Ｓ７０５に進み、閾値ｐ＿ｂｏｕｎｄ未満であると判定した場合、Ｓ７０９に進む。
【００３６】
Ｓ７０５において、回答決定部３３９は、Ｓ７０８で質問者からの質問に対する回答として決定された回答データの個数が設定された回答上限数Ｌより少ないか否かを判定する。表示条件設定部３１７は、回答上限数Ｌを決定し、決定した回答上限数Ｌの情報を、記憶装置３４に記憶するようサーバー３０に指示する。表示条件設定部３１７は、例えば、表示部１２に、回答上限数Ｌの入力を受け付けるための入力画面を表示する。そして、表示条件設定部３１７は、入力画面への質問者による入力に基づいて、回答上限数Ｌの値を決定することができる。
回答決定部３３９は、Ｓ７０８で質問者からの質問に対する回答として決定された回答データの個数が設定された回答上限数Ｌより少ないと判定した場合、Ｓ７０８に進む。回答決定部３３９は、Ｓ７０８で質問者からの質問に対する回答として決定された回答データの個数が設定された回答上限数Ｌ以上であると判定した場合、Ｓ７０６に進む。
Ｓ７０６において、回答決定部３３９は、Ｓ７０１で選択した回答データに対応する満足度ｐが、Ｓ７０８で質問に対する回答として決定された回答データに対応する満足度の中の最小値ｐｍｉｎより大きいか否かを判定する。回答決定部３３９は、ｐがｐｍｉｎより大きいと判定した場合、Ｓ７０７に進み、ｐがｐｍｉｎ以下であると判定した場合、Ｓ７０９に進む。
【００３７】
Ｓ７０７において、回答決定部３３９は、Ｓ７０８で質問に対する回答として決定された回答データの中の対応する満足度がｐｍｉｎである回答データを、質問者の質問に対する回答から除外する。回答決定部３３９は、Ｓ７０８で質問に対する回答として決定された回答データの中に、対応する満足度がｐｍｉｎである回答データが複数存在する場合、それら全てを質問者の質問に対する回答から除外する。これにより、回答決定部３３９は、質問に対する回答として、過剰な数の回答を質問者に提示する可能性を低減できる。
Ｓ７０８において、回答決定部３３９は、Ｓ７０１で選択した回答データを、質問者からの質問に対しての回答として決定する。
Ｓ７０９において、回答決定部３３９は、回答データベース内の全ての回答データに対して、Ｓ７０２〜Ｓ７０８の処理を行ったか否かを判定する。回答決定部３３９は、回答データベース内の全ての回答データに対して、Ｓ７０２〜Ｓ７０８の処理を行ったと判定した場合、Ｓ７１１に進む。回答決定部３３９は、回答データベース内にＳ７０２〜Ｓ７０８の処理を行っていない回答データがあると判定した場合、Ｓ７１０で、回答データベースにおける今回の処理で処理した回答データを除いた回答候補を参照し、Ｓ７０１に進む。Ｓ７０１では、回答候補から再び１つの回答データが選択される。
Ｓ７１１において、回答決定部３３９は、Ｓ７０８で質問者からの質問に対しての回答として決定した回答データが存在するか否かを判定する。回答決定部３３９は、Ｓ７０８で質問者からの質問に対しての回答として決定した回答データが存在すると判定した場合、図７の処理を終了する。回答決定部３３９は、Ｓ７０８で質問者からの質問に対しての回答として決定した回答データが存在しないと判定した場合、Ｓ７１２に進む。
【００３８】
Ｓ７１２において、回答決定部３３９は、回答データベースに含まれる回答データの中に、対応する主観的状態が質問の際の質問者の主観的状態と同一なものが存在するか否かを判定する。回答決定部３３９は、回答データベースに含まれる回答データの中に、対応する主観的状態が質問の際の質問者の主観的状態と同一なものが存在すると判定した場合、Ｓ７１３に進む。回答決定部３３９は、回答データベースに含まれる回答データの中に、対応する主観的状態が質問の際の質問者の主観的状態と同一なものが存在しないと判定した場合、Ｓ７１４に進む。
Ｓ７１３において、回答決定部３３９は、回答データベース中の回答データのうち、Ｓ７１２で対応する主観的状態が質問の際の質問者の主観的状態と同一と判定した回答データの中から、質問者の質問に対する回答とする回答データを決定する。回答決定部３３９は、例えば、Ｓ７１２で対応する主観的状態が質問の際の質問者の主観的状態と同一と判定した回答データのうち、対応する満足度がｐ＿ｂｏｕｎｄ以上のものの中から、満足度が大きいものからＬ個を質問者の質問に対する回答に決定する。
【００３９】
Ｓ７１４において、回答決定部３３９は、回答データベース中の回答データのうち、対応する客観的状態が質問の際の質問者の客観的状態と類似するものが存在するか否かを判定する。回答決定部３３９は、回答データベース中の回答データのうち、対応する客観的状態が質問の際の質問者の客観的状態と類似するものが存在すると判定した場合、Ｓ７１５に進む。回答決定部３３９は、回答データベース中の回答データのうち、対応する客観的状態が質問の際の質問者の客観的状態と類似するものが存在しないと判定した場合、Ｓ７１６に進む。
Ｓ７１５において、回答決定部３３９は、回答データベース中の回答データのうち、Ｓ７１４で対応する客観的状態が質問の際の質問者の客観的状態と類似すると判定した回答データの中から、質問者の質問に対する回答とする回答データを決定する。回答決定部３３９は、例えば、Ｓ７１４で対応する客観的状態が質問の際の質問者の客観的状態と類似すると判定した回答データのうち、対応する満足度がｐ＿ｂｏｕｎｄ以上のものの中から、満足度が大きいものからＬ個を質問者の質問に対する回答に決定する。
Ｓ７１６において、回答決定部３３９は、回答データベース中の回答データのうち、対応する満足度がｐ＿ｂｏｕｎｄ以上のものの中から、満足度が大きいものからＬ個を、質問者の質問に対する回答として決定する。
本実施形態では、回答決定部３３９は、図７の処理で回答を決定したが、この方法に限定されるものではない。例えば、回答決定部３３９は、Ｓ７１１で回答として決定されている回答データが存在しないと判定した場合、Ｓ７１２〜Ｓ７１６の処理を行う代わりに、適切な回答がない旨を示す情報を表示部１２に表示するよう情報端末１０に指示することとしてもよい。
【００４０】
図８は、回答データベースの更新処理の一例を示すフローチャートである。
Ｓ８０１において、操作内容取得部３１５は、質問者が提示された質問に対する回答に対して満足したか否かを評価したか否かを判定する。操作内容取得部３１５は、例えば、内容提示部３１３を介して表示部１２に質問に対する回答と併せて、回答について満足か又は不満足かを選択できるボタン等を表示し、質問者に入力を促す。操作内容取得部３１５は、表示部１２に表示したボタン等を介した質問者の操作に基づいて、質問者が質問に対する回答に満足したか否かを示す情報を取得することができる。操作内容取得部３１５は、質問者が提示された質問に対する回答に対して満足したか否かを評価したと判定した場合、Ｓ８０２に進む。操作内容取得部３１５は、質問者が提示された質問に対する回答に対して満足したか否かを評価していないと判定した場合、図８の処理を終了する。
Ｓ８０２において、操作内容取得部３１５は、質問者が提示された回答に対して満足したか否かを判定する。操作内容取得部３１５は、Ｓ８０１で説明した方法で、表示部１２に表示したボタン等を介した質問者の操作に基づいて、回答に満足したか否かを示す情報を取得する。操作内容取得部３１５は、取得した情報が回答に満足したことを示す情報である場合、質問者が回答に満足したと判定し、取得した情報が回答に満足していないことを示す情報である場合、質問者が回答に満足していないと判定する。操作内容取得部３１５は、質問者が提示された回答に対して満足したと判定した場合、Ｓ８０３の処理に進み、質問者が提示された回答に対して満足していないと判定した場合は、図８の処理を終了する。
【００４１】
Ｓ８０３において、回答情報記憶部３３６は、質問者が提示された回答に満足したことを示す情報を用いて、回答データベースを更新する。回答情報記憶部３３６は、例えば、回答データベース中の今回提示された回答データについて対応する満足度を更新する。回答情報記憶部３３６は、例えば、回答データに対する満足度を、提示された回答データにおける満足の有無の評価数全てに対して、満足したと回答した数の比率として算出する。例えば、音声対話システムは、回答を質問者に提示した後、質問者から満足又は不満足であるかを示す情報が入力された場合、入力された情報を、履歴情報として記憶装置３４等に記憶する。回答情報記憶部３３６は、例えば、現在までに、ある回答データが提示されたことのある場合全てについて、質問者から入力された満足又は不満足を示す履歴情報を記憶装置３４等から取得する。そして、回答情報記憶部３３６は、満足、不満足に関わらず回答データに対する評価の総数で、質問者が満足と評価した数を割ったものを、満足度として算出する。そして、回答情報記憶部３３６は、算出した満足度の値で、回答データベース内のその回答データに対応する満足度を更新する。
また、音声対話システムは、質問者により回答が不満足であることを示す情報が入力された場合、他の回答を改めて提示することとしてもよい。
【００４２】
図９は、表示条件の設定と質問発話情報の入力から回答の提示までの処理で利用されるインターフェース画面の一例を示す図である。図９（ａ）は、表示条件等の各種条件の設定に利用されるインターフェース画面の一例を示す図である。また、図９（ｂ）は、質問発話情報の入力に利用されるインターフェース画面の一例を示す図である。また、図９（ｃ）は、質問に対する回答を表示する際に利用されるインターフェース画面の一例を示す図である。
本実施形態では、表示操作部３１４は、Ｓ４０１で、図９（ａ）のインターフェース画面を表示部１２に表示することとするが、図９（ａ）のインターフェース画面と同様の機能を含む他の画面を表示してもよい。
ウィンドウ９０１は、図９（ａ）のインターフェース画面のウィンドウである。本実施形態では、表示条件設定部３１７は、各種条件の設定や質問発話情報の入力、回答結果の表示等を、ウィンドウ９０１を介して行う。
スペース９０２は、表示条件を設定する項目が並ぶスペースである。質問者は、例えば、質問に対する回答を表示する画面において、一度に表示される回答の数をスペース９０２の入力ボックスに入力することができる。本実施形態では、回答数は数字で設定されるため、質問者は、スペース９０２の入力ボックス内に所望の数値を記入して入力する。回答決定部３３９は、例えば、図７の処理において、スペース９０２に入力された値を、回答上限数Ｌの値として用いる。
【００４３】
スペース９０３は、質問に対する回答の決定に利用される決定条件についての項目が並ぶスペースである。例えば、スペース９０３は、回答候補を評価する処理内で使用される満足度の閾値ｐ＿ｂｏｕｎｄの入力に利用されるスライドバー９０４を含む。また、例えば、スペース９０３は、回答候補を評価する処理において主観的状態と客観的状態とのどちらの優先順位を高くするかの決定に利用されるラジオボタン９０５等を含む。回答決定部３３９は、スペース９０３に入力された決定条件の情報に基づいて、質問者からの質問に対する回答を決定することになる。
スライドバー９０４は、満足度の閾値ｐ＿ｂｏｕｎｄを決定する際に利用されるスライドバーである。つまみを左右に移動させることにより閾値を変更することが可能である。表示条件設定部３１７は、スライドバー９０４上でのつまみの位置に応じて、閾値ｐ＿ｂｏｕｎｄの値を決定する。
【００４４】
ラジオボタン９０５は、回答候補を評価する処理において主観的状態と客観的状態のどちらを優先するかの選択に利用されるラジオボタンである。音声対話システムは、例えば、ラジオボタン９０５を介して主観的状態を優先することが選択された場合、以下のようにしてもよい。即ち、音声対話システムは、質問の際の質問者の主観的状態と、回答データベース内の回答データに対応する主観的状態と、が同一であるか否かを比較し、客観的状態については比較しないこととしてもよい。また、音声対話システムは、例えば、ラジオボタン９０５を介して客観的状態を優先することが選択された場合、以下のようにしてもよい。即ち、音声対話システムは、質問の際の質問者の客観的状態と、回答データベース内の回答データに対応する客観的状態と、が類似するか否かを比較し、主観的状態については比較しないこととしてもよい。
また、音声対話システムは、例えば、ラジオボタン９０５の代わりに客観的状態と、主観的状態とに対応するチェックボックスを含むこととしてもよい。そして、音声対話システムは、チェックボックスにチェックが入っている状態について、質問の際の質問者の状態と、回答データに対応する状態とを比較することとしてもよい。
ボタン９０６は、スペース９０２、９０３に入力された条件を反映させるか否かの選択に利用される「ＯＫ」ボタン、「キャンセル」ボタンである。表示条件設定部３１７は、「ＯＫ」ボタンの選択を検知した場合、スペース９０２、９０３に入力された条件の反映を確定する。表示条件設定部３１７は、「キャンセル」ボタンの選択を検知した場合、スペース９０２、９０３に入力された条件の反映を取り消す。
表示操作部３１４は、スペース９０２やスペース９０３に入力された条件の情報を、サーバー３０に送信する。この送信処理は、条件送信処理の一例である。
【００４５】
図９（ｂ）は、質問者による質問発話情報の入力に利用されるインターフェース画面の一例を示す図である。表示操作部３１４は、Ｓ４０３で、表示部１２に図９（ｂ）のインターフェース画面を表示することとするが、図９（ｂ）のインターフェース画面と同様の機能を含む他の画面を表示してもよい。
スペース９０７は、質問文を入力する方法等を案内する情報が表示されるスペースである。質問者は、スペース９０７に表示された文を参考に質問を発声することができる。表示条件設定部３１７は、スペース９０７に表示する文の数や内容を、状況に応じて変更してもよい。
ボタン９０８は、質問者による質問発話情報の入力を開始する際に、選択されるボタンである。質問者は、ボタン９０８を選択後にマイク１７に向かって、質問を発話する。
表示操作部３１４は、質問発話情報を入力可能であることを示すために、ボタン９０８が選択される前と後とでボタン９０８の色を異なる色で表示する等してもよい。更に、音声取得部３１２は、質問者による質問の発話が終了した際には、ボタン９０８の選択を検知することで、質問発話情報の入力が終了したことを検知してもよい。また、音声認識部３３２は、音声区間を検出し、一定期間、質問者から発話が入力されない場合、質問発話情報の入力を終了してもよい。また、表示操作部３１４は、質問発話情報の入力を終了した場合は、ボタン９０８の色を質問発話情報の入力開始前と同じ色に戻してもよい。
本実施形態では、音声取得部３１２は、ボタン９０８により質問発話情報の入力を制御しているが、この方法に限定するものではない。例えば、音声取得部３１２は、質問者からの発話が途切れたタイミングで、質問発話情報の入力を終了することとしてもよい。
【００４６】
図９（ｃ）は、質問者からの質問に対する回答の表示に利用されるインターフェース画面の一例を示す図である。内容提示部３１３は、Ｓ４０８で、表示部１２に図９（ｃ）のインターフェース画面を表示することとするが、図９（ｃ）のインターフェース画面と同様の機能を含む他の画面を表示してもよい。
ボタン９０８は、図９（ｃ）のインターフェース画面にも含まれる。音声取得部３１２は、図９（ｃ）のインターフェース画面が表示されている状態で、ボタン９０８の選択を検知した場合、図９（ｂ）のインターフェース画面が表示されていなくても、質問者からの質問発話情報の入力を受け付けることができる。
スペース９０９は、質問者からの質問の内容が表示されるスペースである。質問者は、スペース９０９の内容を目にすることで、質問者が望む質問が音声対話システムに入力できているか否かを確認できる。
一覧９１０は、質問者に提示される回答の要約の一覧である。本実施形態では、一覧９１０は、表形式であり、カメラ２０の各パラメータをどのような値に設定すればよいかの情報を含む。本実施形態では、一覧９１０には、回答決定部３３９により質問者の質問に対する回答として決定された回答データの要約情報が、上から対応する満足度が高い順に表示されている。なお、一覧９１０は、表形式でなく、他の形式で回答の要約の一覧を含むこととしてもよい。例えば、一覧９１０は、箇条書きの形式の回答の要約の一覧を含むこととしてもよい。
【００４７】
スペース９１１は、１つの回答データの詳細が表示されるスペースである。スペース９１１は、回答データに応じた操作の手順を記述した文章や、操作部１１の写真や図面等を利用したどこをどのように操作すればよいかの説明等を含む。また、スペース９１１は、表示中の回答データに応じた操作を実行することで、どのような写真が撮影できるのかを示すイメージ写真等を含むこととしてもよい。本実施形態では、スペース９１１は、回答の詳細表示に操作手順や撮影可能なイメージ写真等を含むこととしたが、これら以外にも例えば、カメラ２０による撮影についてのアドバイス情報等を含むこととしてもよい。
内容提示部３１３は、例えば、質問者の操作部１１を介したタッチ操作等に基づいて、一覧９１０に表示される回答のうちの何れかの選択を検知する。そして、内容提示部３１３は、選択された回答についての詳細な情報を、回答データベースから取得し、スペース９１１に表示することとしてもよい。
【００４８】
ボタン９１２は、スペース９１１に表示されている回答データに対する質問者の満足不満足を回答できるボタンである。内容提示部３１３は、ボタン９１２を、Ｓ４０８で回答データを質問者に提示する段階で表示してよい。また、内容提示部３１３は、ボタン９１２を、質問者に提示する段階では表示せず、回答データに対応する操作を質問者が実行した後で表示してもよい。例えば、質問者は、スペース９１１に表示されている操作手順に従って、カメラ２０のパラメータを変更したとする。内容提示部３１３は、カメラ２０からパラメータがスペース９１１に表示されている回答に応じて変更されたことを示す情報を取得すると、ボタン９１２を表示することとしてもよい。
また、回答決定部３３９は、質問に対する回答として決定した回答データが示すカメラ２０のパラメータの情報を、カメラ２０に送信し、カメラ２０に対して、送信したパラメータを反映させるように指示することとしてもよい。これにより、質問者が回答で示された操作を行わずとも、カメラ２０は、回答で示されたパラメータを反映できる。
回答情報記憶部３３６は、質問者によるボタン９１２の選択結果に基づいて、回答データベース内の回答データに対応する満足度を更新する。これにより、音声対話システムは、質問者が以降の質問においてより所望の回答を取得できる可能性を高めることができる。
【００４９】
図１０は、種々の条件下における提示される回答等の一例を示す図である。
図１０の例では、回答候補となるデータが５種類あるとする。また、質問者の状態（主観的状態、客観的状態）を回答データに対応する状態（主観的状態、客観的状態）と比較する処理（Ｓ７０２、Ｓ７０４の処理）を行うかどうかに関する４種類の条件（状態推定結果の利用条件［１］〜［４］）があるとする。また、タスクである質問発話情報がタスクＡ〜Ｃの３種類あるとする。５つの回答候補は、図１０（ａ）に示すとおりである。また、３種類のタスク、４種類の条件は、それぞれ以下の通りである。
（３種類のタスク）
タスクＡ：質問発話テキスト＝「運動会での徒競走の写真の撮り方」
客観的状態＝三脚、望遠レンズともに未所持
主観的状態＝焦り
タスクＢ：質問発話テキスト＝「運動会での徒競走の写真の撮り方」
客観的状態＝三脚、望遠レンズともに未所持
主観的状態＝平常心
タスクＣ：質問発話テキスト＝「運動会での徒競走の写真の撮り方」
客観的状態＝三脚、望遠レンズともに所持
主観的状態＝平常心
（４種類の条件）
状態推定結果の利用条件［１］：客観的状態を利用しない、主観的状態を利用しない（Ｓ７０２、Ｓ７０３の判定処理が行われない）
状態推定結果の利用条件［２］：客観的状態を利用する、主観的状態を利用しない（Ｓ７０３の判定処理が行われない）
状態推定結果の利用条件［３］：客観的状態を利用しない、主観的状態を利用する（Ｓ７０２の判定処理が行われない）
状態推定結果の利用条件［４］：客観的状態を利用する、主観的状態を利用する（Ｓ７０２、Ｓ７０４の処理が行われる）
【００５０】
図１０（ａ）は、回答候補の一例を示す図である。図１０（ａ）に表示されている回答候補は、何れもＳ４０７において質問者が所望する可能性の高いと評価された回答データである。各回答データは、大きく分けて２つの情報を含む。１つは、質問に対する回答の情報であり、図１０（ａ）の例では「カメラの設定」であるモード、シャッタースピードの情報である。もう１つは、回答データが質問者の要求に合致するか否かを判定する際に利用される情報であり、図１０（ａ）の例では、客観的状態（三脚所持有無、望遠レンズ所持有無）、主観的状態（焦りや平常等）、その回答に対しての質問者の満足度の情報である。回答データに対応する主観的状態は、これまでその回答データが採用された場合における質問者の主観的状態の中で最も多い状態としてもよい。
図１０（ｂ）は、各タスクに対して、条件毎に最も質問者が所望する回答が選択された結果を示す図である。タスクＡ〜Ｃは、何れも客観的状態、及び主観的状態が異なるので、それに応じて異なる回答が期待される。図１０（ｂ）の表中のアルファベットは、指定した条件においてそのタスクが最適と判断した回答データを示している。
【００５１】
図１０（ｂ）に示される結果を、状態推定結果の利用条件毎に見ていく。
状態推定結果の利用条件［１］においては、全てのタスクで同じ回答（Ｅ）が最適だと判定されている。これは、質問発話情報のテキスト情報のみが利用されており、音響情報から推定される主観的状態やセンサ等の情報から推定される客観的状態が利用されていないためである。この結果は、回答決定部３３９がＳ７０４で回答データに対応する満足度について、閾値判定を行うことで、質問に対する回答を決定する処理の結果である。このように状態推定結果の利用条件［１］では、音声対話システムは、質問者が異なる状態におかれていても毎回同じ回答しか提示することができない。そのため、質問者は、最適な回答を取得することはできない。
状態推定結果の利用条件［２］においては、カメラ付属所持品に応じてタスク毎の回答が変化しているのが分かる（タスクＡ、Ｂは回答Ｄ、タスクＣは回答Ｅ）。この結果は、回答決定部３３９がＳ７０２で客観的状態が類似するか否かの判定と、Ｓ７０４で回答データに対応する満足度について閾値判定と、を行うことで、質問に対する回答を決定する処理の結果である。これにより、所持していないカメラ付属品を用いた操作を行うことを示す回答が提示されることはなくなり、状態推定結果の利用条件［１］下に比べると、音声対話システムは、質問者の置かれている客観的状態に則して回答を提示できる。しかし、音声対話システムは、状態推定結果の利用条件［２］の下では、質問発話情報の音響情報から取得できる主観的状態を利用していない。そのため、音声対話システムは、例えば、質問者が短時間で手早く設定できる回答を所望する場合でも、より設定に時間がかかる操作を示す回答を提示するといった場合がある。
【００５２】
状態推定結果の利用条件［３］において、状態推定結果の利用条件［１］及び［２］では区別ができなかったタスク１と２とについて、音響情報から推定できる質問者の主観的状態に応じて、異なる回答を提示しているのが分かる。これにより、例えば質問者が短時間で手早く設定できる回答を所望する場合に、より設定に時間を必要とする回答が提示されることはなくなる。したがって、音声対話システムは、状態推定結果の利用条件［１］に比べると質問者の置かれている主観的状態に則して回答を提示している。しかし、センサ等の情報から取得できる質問者の客観的状態を使用していないため、例えば質問者が三脚や望遠レンズ等を所持していない場合でも、それらについての操作を示す回答を提示するといった場合がある。
状態推定結果の利用条件［４］において、全てのタスクで回答が異なるのが分かる。これは、音声対話システムが質問者の主観的状態と、カメラ付属品の所持の有無といった質問者の客観的状態の両方を利用しているためである。音声対話システムは、状態推定結果の利用条件［３］下と同様に、タスク１と２に対しても、それぞれ別の回答を提示している。更に、音声対話システムは、状態推定結果の利用条件［２］下と同様に、客観的状態を主観的状態の両方を使用することにより、質問者のカメラ付属品の所持状態に応じた回答を提示することができる。したがって、音声対話システムは、状態推定結果の利用条件［４］下では、質問者の客観的状態及び主観的状態に応じてより適切な回答を提示できる。即ち、本実施形態の音声対話システムは、状態推定結果の利用条件［４］を実現するための技術を提供するものである。
【００５３】
以上、本実施形態では、音声対話システムは、質問者からの質問を音声で受付け、受け付けた質問者の質問発話情報に基づいて、質問を発話した際の質問者の主観的状態を推定する。そして、音声対話システムは、対応する主観的状態が、質問を発話した際の質問者の主観的状態と同一である回答データを、質問者の質問に対する回答として決定する。これにより、音声対話システムは、質問者に対して、質問者の主観的状態に応じて、より適切な回答を決定し、提示することができる。
また、音声対話システムは、対応する主観的状態が、質問の際の質問者の主観的状態と同一であり、対応する客観的状態が、質問の際の質問者の客観的状態と類似する回答データを、質問者の質問に対する回答として決定することもできる。これにより、音声対話システムは、質問者に対して、質問者の主観的状態及び客観的状態に応じて、より適切な回答を決定し、提示することができる。
【００５４】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した音声対話システムの機能構成の一部又は全てをハードウェアとして情報端末１０やサーバー３０に実装してもよい。
【符号の説明】
【００５５】
１０  情報端末
２０  カメラ
３０  サーバー
【図１】
2018013595.tif 000003
【図２】
2018013595.tif 000004
【図３】
2018013595.tif 000005
【図４】
2018013595.tif 000006
【図５】
2018013595.tif 000007
【図６】
2018013595.tif 000008
【図７】
2018013595.tif 000009
【図８】
2018013595.tif 000010
【図９】
2018013595.tif 000011
【図１０】
2018013595.tif 000012