(57)【要約】【課題】人物の感情の変化に対し、感情の変化を招いた要因を考慮した対処を行うことが可能なサービス提供装置、決済情報処理装置、および、サービス提供方法を提供する。【解決手段】サービス提供装置１００は、対象範囲にいる複数の人物を検出する人物検出部１３２と、各々の人物の個人感情を推定する感情推定部１３３と、感情推定部１３３の推定結果に基づいて、対象範囲の全体の感情状態またはいずれか１以上の人物の感情状態の変化の発生要因を推定する要因推定部１３４と、要因推定部１３４が推定した発生要因に対応して、対象範囲にいる１または複数の人物に提供するサービスを決定するサービス決定部１３５と、を備える。【選択図】図２
2020154922.tif 000002
【特許請求の範囲】
【請求項１】
対象範囲にいる複数の人物を検出する人物検出部と、
各々の前記人物の個人感情を推定する感情推定部と、
前記感情推定部の推定結果に基づいて、前記対象範囲の全体の感情状態またはいずれか１以上の前記人物の感情状態の変化の発生要因を推定する要因推定部と、
前記要因推定部が推定した発生要因に対応して、前記対象範囲にいる１または複数の前記人物に提供するサービスを決定するサービス決定部と、を備える
サービス提供装置。
【請求項２】
前記感情推定部は各々の前記人物の個人感情を表す感情推定値を求め、
前記要因推定部は、いずれかの人物の前記感情推定値が第１閾値を超えた場合、前記感情推定値の総和が第１閾値を超えた場合、または、前記感情推定値の総和の変化量が第２閾値を超えた場合に、前記変化の発生要因を推定する
請求項１記載のサービス提供装置。
【請求項３】
前記要因推定部は、前記対象範囲にいる複数の前記人物のうち、前記感情推定値が他の前記人物よりも早く第３閾値を超えた前記人物を、前記変化の発生要因となった要因人物であると推定する
請求項２に記載のサービス提供装置。
【請求項４】
前記要因推定部は、前記感情推定値が最初に前記第３閾値を超えた前記人物を仮の要因人物であると推定し、
検出期間を設定し、
前記検出期間において前記仮の要因人物とは異なる前記人物の前記感情推定値が第４閾値を超えた場合に、前記仮の要因人物を、前記変化の発生要因である前記要因人物として推定する
請求項３に記載のサービス提供装置。
【請求項５】
前記要因推定部は、前記検出期間において前記仮の要因人物の後に、前記仮の要因人物とは異なる前記人物の前記感情推定値が第４閾値を超えない場合に、前記仮の要因人物の感情が抑制状態にあると推定する
請求項４に記載のサービス提供装置。
【請求項６】
前記サービス決定部は、感情が前記抑制状態にあると推定された前記仮の要因人物に対して提供するサービスを決定する
請求項５に記載のサービス提供装置。
【請求項７】
前記対象範囲の環境に関する検出値を取得する環境検出部を備え、
前記要因推定部は、いずれか１以上の前記人物の前記感情推定値の変化と、前記環境検出部により取得した前記検出値の変化とに基づき、前記環境の変化が前記感情推定値の変化の発生要因か否かを推定する
請求項２から請求項６のいずれか１項に記載のサービス提供装置。
【請求項８】
前記対象範囲における複数の前記人物の会話または行動を検出する言動検出部を備え、
前記要因推定部は、いずれか１以上の前記人物の前記感情推定値の変化と、前記言動検出部が検出した会話または行動とに基づき、いずれか１以上の前記人物の会話または行動が前記感情推定値の変化の発生要因か否かを推定する
請求項２から請求項７のいずれか１項に記載のサービス提供装置。
【請求項９】
前記言動検出部は、前記対象範囲における複数の前記人物の会話または行動を検出し、検出した会話または行動を数値化した言動検出値を求める構成であり、
前記感情推定部により推定された前記感情推定値を前記言動検出値に基づき補正する補正部を備え、
前記要因推定部は、前記補正部により補正された前記感情推定値に基づいて前記変化の発生要因を推定する
請求項８に記載のサービス提供装置。
【請求項１０】
前記サービス決定部により決定されたサービスを提供するサービス提供部を備え、
前記サービス提供部は、前記要因推定部によっていずれかの前記人物が前記変化の発生要因である要因人物と推定された場合に、前記要因人物とは異なる前記人物に対し、前記要因人物を通知するサービスを行う
請求項１から請求項９のいずれか１項に記載のサービス提供装置。
【請求項１１】
前記サービス決定部は、前記要因推定部によっていずれかの前記人物が前記変化の発生要因である要因人物と推定された場合に、前記要因人物に対し、前記要因人物の趣味または嗜好に対応するサービスを提供することを決定する
請求項１から請求項１０のいずれか１項に記載のサービス提供装置。
【請求項１２】
前記対象範囲にいる１または複数の前記人物に対して情報を報知する報知部を備え、
前記報知部は、前記要因推定部によっていずれかの前記人物が前記変化の発生要因である要因人物と推定された場合に、前記要因人物とは異なる前記人物に対し、前記要因人物から離れることを促す案内を報知する
請求項１から請求項１１のいずれか１項に記載のサービス提供装置。
【請求項１３】
対象範囲にいる複数の人物の発話音声を取得する音声取得部と、
１または複数の前記人物を撮像した撮像画像を取得する撮像画像取得部と、
前記音声取得部および前記撮像画像取得部により取得した情報を数値化して数値情報を生成する数値化処理部と、
前記数値化処理部により生成された前記数値情報の変化と、前記数値情報の変化の発生要因となる事象に関する事象情報との対応を記憶する事象情報記憶部と、
検知対象期間に前記音声取得部および前記撮像画像取得部により取得された情報に基づく前記数値情報が、検出条件を満たす変化をした場合に、前記変化に対応する前記事象情報を前記事象情報記憶部から取得する事象情報取得部と、
前記事象情報取得部により取得された前記事象情報に基づき、動作を決定する動作決定部と、
前記動作決定部により決定された前記動作を実行する実行部と、を備える
サービス提供装置。
【請求項１４】
サービス提供装置によるサービスの提供または個人感情の推定の対象となる人物を登録した登録部と、
前記サービスの提供に対する前記人物の評価を取得する評価取得部と、
前記評価取得部により取得された評価に基づいて、前記サービスの提供の対価を決定する対価決定部と、を備える
決済情報処理装置。
【請求項１５】
前記対価決定部は、前記評価取得部により取得した評価と、前記サービスの提供に応じて前記人物の個人感情が変化した変化状況とに基づいて、前記サービスの提供の対価を決定する
請求項１４に記載の決済情報処理装置。
【請求項１６】
対象範囲にいる複数の人物を検出し、
各々の前記人物の個人感情を推定し、
前記個人感情の推定結果に基づいて、前記対象範囲の全体の感情状態またはいずれか１以上の前記人物の感情状態の変化の発生要因を推定し、
推定した発生要因に対応して、前記対象範囲にいる１または複数の前記人物に提供するサービスを決定する
サービス提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サービス提供装置、決済情報処理装置、および、サービス提供方法に関する。
【背景技術】
【０００２】
従来、人の感情を推定し、推定した感情に応じてサービスを提供する装置が知られている（例えば、特許文献１参照）。特許文献１に記載された装置は、車内にいる複数人の乗員の個人感情を推定して数値化し、個人感情の値の総和を全体感情の値とする。この装置は、全体感情の値に合わせて、スピーカから音楽を流す等のサービスを提供する。例えば、車内の会話がなく全体感情の値が低い場合に、車内の静かな環境に合った音楽を流す音楽サービスを提供することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−６３４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載の装置は、推定された全体感情の値それ自体に対応してサービスを決定する。
ところで、人物の感情の変化に対処しようとする場合、感情の変化を招いた要因を考慮することが効果的である。しかしながら、そのような対処を行う方法は、従来、提案されていない。
本発明は上記背景に鑑みてなされたものであり、人物の感情の変化に対し、感情の変化を招いた要因を考慮した対処を行うことが可能なサービス提供装置、決済情報処理装置、および、サービス提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するための態様として、対象範囲にいる複数の人物を検出する人物検出部と、各々の前記人物の個人感情を推定する感情推定部と、前記感情推定部の推定結果に基づいて、前記対象範囲の全体の感情状態またはいずれか１以上の前記人物の感情状態の変化の発生要因を推定する要因推定部と、前記要因推定部が推定した発生要因に対応して、前記対象範囲にいる１または複数の前記人物に提供するサービスを決定するサービス決定部と、を備えるサービス提供装置が挙げられる。
【０００６】
上記サービス提供装置において、前記感情推定部は各々の前記人物の個人感情を表す感情推定値を求め、前記要因推定部は、いずれかの人物の前記感情推定値が第１閾値を超えた場合、前記感情推定値の総和が第１閾値を超えた場合、または、前記感情推定値の総和の変化量が第２閾値を超えた場合に、前記変化の発生要因を推定する構成であってもよい。
【０００７】
上記サービス提供装置において、前記要因推定部は、前記対象範囲にいる複数の前記人物のうち、前記感情推定値が他の前記人物よりも早く第３閾値を超えた前記人物を、前記変化の発生要因となった要因人物であると推定する構成であってもよい。
【０００８】
上記サービス提供装置において、前記要因推定部は、前記感情推定値が最初に前記第３閾値を超えた前記人物を仮の要因人物であると推定し、検出期間を設定し、前記検出期間において前記仮の要因人物とは異なる前記人物の前記感情推定値が第４閾値を超えた場合に、前記仮の要因人物を、前記変化の発生要因である前記要因人物として推定する構成であってもよい。
【０００９】
上記サービス提供装置において、前記要因推定部は、前記検出期間において前記仮の要因人物の後に、前記仮の要因人物とは異なる前記人物の前記感情推定値が第４閾値を超えない場合に、前記仮の要因人物の感情が抑制状態にあると推定する構成であってもよい。
【００１０】
上記サービス提供装置において、前記サービス決定部は、感情が前記抑制状態にあると推定された前記仮の要因人物に対して提供するサービスを決定する構成であってもよい。
【００１１】
上記サービス提供装置において、前記対象範囲の環境に関する検出値を取得する環境検出部を備え、前記要因推定部は、いずれか１以上の前記人物の前記感情推定値の変化と、前記環境検出部により取得した前記検出値の変化とに基づき、前記環境の変化が前記感情推定値の変化の発生要因か否かを推定する構成であってもよい。
【００１２】
上記サービス提供装置において、前記対象範囲における複数の前記人物の会話または行動を検出する言動検出部を備え、前記要因推定部は、いずれか１以上の前記人物の前記感情推定値の変化と、前記言動検出部が検出した会話または行動とに基づき、いずれか１以上の前記人物の会話または行動が前記感情推定値の変化の発生要因か否かを推定する構成であってもよい。
【００１３】
上記サービス提供装置において、前記言動検出部は、前記対象範囲における複数の前記人物の会話または行動を検出し、検出した会話または行動を数値化した言動検出値を求める構成であり、前記感情推定部により推定された前記感情推定値を前記言動検出値に基づき補正する補正部を備え、前記要因推定部は、前記補正部により補正された前記感情推定値に基づいて前記変化の発生要因を推定する構成であってもよい。
【００１４】
上記サービス提供装置において、前記サービス決定部により決定されたサービスを提供するサービス提供部を備え、前記サービス提供部は、前記要因推定部によっていずれかの前記人物が前記変化の発生要因である要因人物と推定された場合に、前記要因人物とは異なる前記人物に対し、前記要因人物を通知するサービスを行う構成であってもよい。
【００１５】
上記サービス提供装置において、前記サービス決定部は、前記要因推定部によっていずれかの前記人物が前記変化の発生要因である要因人物と推定された場合に、前記要因人物に対し、前記要因人物の趣味または嗜好に対応するサービスを提供することを決定する構成であってもよい。
【００１６】
上記サービス提供装置において、前記対象範囲にいる１または複数の前記人物に対して情報を報知する報知部を備え、前記報知部は、前記要因推定部によっていずれかの前記人物が前記変化の発生要因である要因人物と推定された場合に、前記要因人物とは異なる前記人物に対し、前記要因人物から離れることを促す案内を報知する構成であってもよい。
【００１７】
上記目的を達成するための別の態様として、対象範囲にいる複数の人物の発話音声を取得する音声取得部と、１または複数の前記人物を撮像した撮像画像を取得する撮像画像取得部と、前記音声取得部および前記撮像画像取得部により取得した情報を数値化して数値情報を生成する数値化処理部と、前記数値化処理部により生成された前記数値情報の変化と、前記数値情報の変化の発生要因となる事象に関する事象情報との対応を記憶する事象情報記憶部と、検知対象期間に前記音声取得部および前記撮像画像取得部により取得された情報に基づく前記数値情報が、検出条件を満たす変化をした場合に、前記変化に対応する前記事象情報を前記事象情報記憶部から取得する事象情報取得部と、前記事象情報取得部により取得された前記事象情報に基づき、動作を決定する動作決定部と、前記動作決定部により決定された前記動作を実行する実行部と、を備えるサービス提供装置が挙げられる。
【００１８】
上記目的を達成するための別の態様として、サービス提供装置によるサービスの提供または個人感情の推定の対象となる人物を登録した登録部と、前記サービスの提供に対する前記人物の評価を取得する評価取得部と、前記評価取得部により取得された評価に基づいて、前記サービスの提供の対価を決定する対価決定部と、を備える決済情報処理装置が挙げられる。
【００１９】
上記決済情報処理装置において、前記対価決定部は、前記評価取得部により取得した評価と、前記サービスの提供に応じて前記人物の個人感情が変化した変化状況とに基づいて、前記サービスの提供の対価を決定する構成であってもよい。
【００２０】
上記サービス提供装置において、対象範囲にいる複数の人物を検出し、各々の前記人物の個人感情を推定し、前記個人感情の前記感情推定部の推定結果に基づいて、前記対象範囲の全体の感情状態またはいずれか１以上の前記人物の感情状態の変化の発生要因を推定し、推定した発生要因に対応して、前記対象範囲にいる１または複数の前記人物に提供するサービスを決定するサービス提供方法。
【発明の効果】
【００２１】
上記サービス提供装置によれば、対象範囲における全体の感情の変化または個人の感情の変化を招いた発生要因に対応して、対象範囲にいる人物にサービスを提供できる。このため、感情を変化させた要因を考慮して、より効果的に、感情の変化に対処できる。例えば、感情の改善や特定の感情状態の緩和を効果的に促すことが期待できる。上記サービス提供方法による場合にも、同様の作用効果を得ることができる。
また、上記決済情報処理装置によれば、対象範囲における全体の感情の変化または個人の感情の変化をもたらした要因に対応してサービスを決定する装置の利用に対し、利用者とサービスの提供者との双方にとって適切な対価を設定できる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態のサービス提供装置の使用状態の例を示す説明図。
【図２】サービス提供装置の機能的構成を示すブロック図。
【図３】サービス提供装置の動作を示すフローチャート。
【図４】サービス提供装置が推定する感情値の例を示す模式図。
【図５】サービス提供装置が推定する感情値の例を示す模式図。
【図６】サービス提供装置の機能的構成を示すブロック図。
【図７】第２実施形態のサービス提供システムの概略構成を示す説明図。
【図８】サービス提供サーバおよび決済情報処理装置の機能的構成を示すブロック図。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施形態について説明する。
［１．第１実施形態の概要］
図１は、本発明のサービス提供装置を適用した第１実施形態のサービス提供装置１００の使用状態の例を示す図である。図２は、サービス提供装置１００の機能的構成を示すブロック図である。
【００２４】
図１には、サービス提供装置１００が使用される環境の例として、複数の人物を収容可能な居室ＲＭを示す。サービス提供装置１００は、居室ＲＭの内部空間を対象範囲Ａとして、対象範囲Ａにいる人物に対して感情推定およびサービスの提供を行う。図１では、居室ＲＭにいる複数の人物を、以下ではユーザＵ１、Ｕ２、Ｕ３とする。
【００２５】
対象範囲Ａは、対象範囲Ａ以外の空間と明確に区切られている必要はなく、例えば、対象範囲Ａは居室ＲＭの全体であってもよいし、一部であってもよい。また、サービス提供装置１００が機能する範囲を対象範囲Ａとして考えることも可能である。例えば、後述するカメラ１１１により撮像可能な範囲を対象範囲Ａとしてもよく、マイク１１２により集音可能な範囲を対象範囲Ａとしてもよく、スピーカ１１３が出力する音声を人物が聴取可能な範囲を対象範囲Ａとしてもよい。
【００２６】
図２に示すように、サービス提供装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１３０、およびメモリ１６０を備え、ＣＰＵ１３０の機能によりサービス提供装置１００の各部を制御する。サービス提供装置１００は、ＣＰＵ１３０の制御に従って動作するカメラ１１１、マイク１１２、スピーカ１１３、モータ１１４、赤外線通信部１１５、および、無線通信部１１６を備える。
【００２７】
カメラ１１１は、対象範囲Ａの少なくとも一部を含む範囲を撮像して、撮像画像データを出力するデジタルカメラである。
マイク１１２は、対象範囲Ａにおける音を集音し、音声データを出力する。
スピーカ１１３は、ＣＰＵ１３０の制御に従って音声を出力する。
モータ１１４は、サービス提供装置１００の本体の下部に設けられた駆動機構を動作させる。サービス提供装置１００の駆動機構は、サービス提供装置１００を居室ＲＭの内外で移動させる機構であり、例えば、複数の車輪と、モータ１１４の動力を車輪に伝達するギヤ等で構成される。モータ１１４は、ＣＰＵ１３０の制御に従って駆動機構を動作させることにより、サービス提供装置１００を移動させる。
【００２８】
赤外線通信部１１５は、赤外線信号を送信または送受信する。赤外線通信部１１５は、例えば、居室ＲＭの空調を行う空調装置２５０に対して赤外線信号を送信することにより、空調装置２５０の運転を制御する。この場合、サービス提供装置１００は、空調装置２５０の運転開始、運転停止、空調の目標温度や風量の設定等を行うことができる。また、サービス提供装置１００は、赤外線通信部１１５が空調装置２５０から赤外線信号を受信することにより、空調装置２５０が検知する居室ＲＭの室温に関する情報を取得してもよい。
【００２９】
また、居室ＲＭには、窓Ｗを開閉する図示しない開閉装置を設けてもよい。この開閉装置は、サービス提供装置１００から赤外線信号を受信することで動作する構成であってもよい。この場合、サービス提供装置１００は、開閉装置に対して赤外線信号を送信して、窓Ｗを開閉させることができる。
【００３０】
無線通信部１１６は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を実行する。例えば、無線通信部１１６は、ユーザＵ１が身体に装着する生体情報検知装置２２０や、ユーザＵ１が所持するユーザ端末装置２３０と通信を実行する。生体情報検知装置２２０は、ユーザＵ１の脈拍、血圧、血中酸素濃度、体温、発汗等の生体情報を検知して、検知結果をサービス提供装置１００に送信するユーザ端末装置２３０は、例えば、パーソナルコンピュータやスマートフォン等であり、音声通話や画面表示の機能を有する。
図１に示す例ではユーザＵ１が生体情報検知装置２２０およびユーザ端末装置２３０を使用しているが、ユーザＵ２、Ｕ３が同様の装置を使用することも勿論可能である。
無線通信部１１６は、モバイル無線通信回線や公衆回線網を介して通信を実行する構成であってもよい。
【００３１】
ＣＰＵ１３０は、制御用プログラム１６１を読み込んで実行することにより、データ取得部１３１、人物検出部１３２、感情推定部１３３、要因推定部１３４、サービス決定部１３５、サービス提供部１３６、環境検出部１３７、言動検出部１３８、補正部１３９、報知部１４０、および、決済情報処理部１５０として機能する。決済情報処理部１５０は、登録部１５１、評価取得部１５２、対価決定部１５３、および決済処理部１５４により構成され、これらの各機能部もＣＰＵ１３０が制御用プログラム１６１を実行することにより実現される。
【００３２】
ＣＰＵ１３０は、マイコン等の他のプロセッサで構成されてもよく、プロセッサとＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等が統合されたデバイスであってもよい。
【００３３】
メモリ１６０は、制御用プログラム１６１のほか、撮像画像データ１６２、音声データ１６３、対象情報１６４、ユーザ情報１６５、感情推定値１６６、全体感情値１６７、言動検出値１６８、および決済情報１７０を記憶する。また、メモリ１６０の記憶領域には、閾値記憶部１６９が設けられる。
【００３４】
データ取得部１３１は、対象範囲Ａにいる人物であるユーザＵ１、Ｕ２、Ｕ３または対象範囲Ａに関するデータを取得する。データ取得部１３１は、カメラ１１１の撮像画像データを取得し、撮像画像データ１６２をメモリ１６０に記憶させる。データ取得部１３１は、マイク１１２が集音した音声データを取得して、音声データ１６３をメモリ１６０に記憶させる。また、データ取得部１３１は、赤外線通信部１１５によって空調装置２５０から居室ＲＭの室温等に関するデータを取得してもよい。また、データ取得部１３１は、生体情報検知装置２２０からユーザＵ１の生体情報を検知した検知結果のデータを取得してもよい。これらのデータもメモリ１６０に記憶される。
【００３５】
人物検出部１３２は、データ取得部１３１により取得されたデータに基づき、対象範囲Ａにいる人物を検出する。例えば、人物検出部１３２は、撮像画像データ１６２から人間の画像を抽出することにより、ユーザＵ１、Ｕ２、Ｕ３を検出する。
人物検出部１３２は、検出した人物の個人識別を行ってもよい。例えば、メモリ１６０が記憶するユーザ情報１６５は、サービス提供装置１００を利用するユーザと、各ユーザを識別するための識別情報等を記憶する。データ取得部１３１は、ユーザ情報１６５を参照して、対象範囲Ａで検出した人物のユーザ識別情報を特定する処理を行ってもよい。
【００３６】
感情推定部１３３は、データ取得部１３１が取得したデータに基づき、ユーザＵ１、Ｕ２、Ｕ３の各々の感情を推定する。ユーザＵ１、Ｕ２、Ｕ３の各々の感情を、個人感情という。感情推定部１３３は、例えばＰｌｕｔｃｈｉｋの感情の和を用いて、ユーザＵ１、Ｕ２、Ｕ３の各々について、感情を８つの基本感情（期待、喜び、受容、不安、驚き、悲しみ、嫌悪、怒り）と、隣り合う２つの感情の組み合わせによる応用感情とに分類する。感情推定部１３３は、感情の輪への当てはめに応じて個人感情を数値化する。
【００３７】
感情推定部１３３は、例えば、撮像画像データ１６２からユーザＵ１の顔の画像を抽出し、口角の形状、眉毛の形状、顔の皺の形状等からユーザＵ１の表情を判定し、判定結果に基づきユーザＵ１の個人感情を推定する。感情推定部１３３は、撮像画像データ１６２に加えて、音声データ１６３に基づきユーザＵ１の個人感情を推定する。例えば、音声データ１６３からユーザＵ１の声のデータを抽出し、ユーザＵ１の発話内容、音声のアクセント、発音、声量等に基づいてユーザＵ１の個人感情を推定する。また、感情推定部１３３は、データ取得部１３１が生体情報検知装置２２０から取得したユーザＵ１の生体情報に基づき、ユーザＵ１の個人感情の推定を行う。感情推定部１３３は、各種のデータに基づき推定したユーザＵ１の個人感情を総合し、総合的な個人感情の推定を行う。
【００３８】
感情推定部１３３は、個人感情を数値化する処理において、例えば、喜びなどの好ましい感情を、正の感情としてプラスの値で表し、悲しみなどの好ましからぬ感情を、負の感情として、負の値で表す。また、感情が強いほど、すなわち感情の輪の内側に寄っているほど、感情を表す値の絶対値を大きくする。
【００３９】
また、例えば、感情推定部１３３は、撮像画像データ１６２や生体情報検知装置２２０の検知結果から、ユーザＵ１に動きがあるか否かを判定し、動いていないときにユーザＵ１が睡眠中であると判定してもよい。この場合、感情推定部１３３は、睡眠中のユーザＵ１の個人感情を、例えば０とする。感情推定部１３３は、ユーザＵ２、Ｕ３に対してもユーザＵ１と同様の処理により、個人感情を推定し、数値化する。感情推定部１３３は、個人感情の数値を、感情推定値１６６としてメモリ１６０に記憶させる。
【００４０】
また、感情推定部１３３は、ユーザＵ１、Ｕ２、Ｕ３の各々の個人感情に基づいて、対象範囲Ａにいる人物全体の感情を推定する。対象範囲Ａにいる人物全体の感情を、全体感情という。全体感情は、ユーザＵ１、Ｕ２、Ｕ３が感じる対象範囲Ａの雰囲気を表す。感情推定部１３３は、例えば、対象範囲Ａにいる人物の感情推定値１６６の総和を、対象範囲Ａの全体感情とする。すなわち、ユーザＵ１の感情推定値１６６と、ユーザＵ２の感情推定値１６６と、ユーザＵ３の感情推定値１６６とを合計した値を、対象範囲Ａの全体感情とする。感情推定部１３３は、対象範囲Ａの全体感情を数値として求め、求めた数値を全体感情値１６７としてメモリ１６０に記憶させる。
【００４１】
感情推定値１６６は、基準値を０として、正の値または負の値で表される。感情推定値１６６が０の場合は、個人感情が平穏な状態や、上記のように該当する人物が眠っている場合に相当する。
【００４２】
要因推定部１３４は、感情推定値１６６、および、全体感情値１６７を監視し、対象範囲Ａにおいて、ユーザＵ１、Ｕ２、Ｕ３のいずれかの感情推定値１６６、または、全体感情値１６７の変化を発生させた発生要因を推定する。
例えば、要因推定部１３４は、ユーザＵ１、Ｕ２、Ｕ３のいずれかの感情推定値１６６が変化した場合、および、全体感情値１６７が変化した場合に、対処が必要な変化であるか否かを判定する。対処が必要な変化である場合には、変化の発生要因を推定する。要因推定部１３４は、対処が必要な変化であるか否かを判定する処理等において、閾値記憶部１６９に記憶された閾値を参照する。閾値記憶部１６９は、予め設定された１または複数の閾値を記憶する。
【００４３】
サービス決定部１３５は、要因推定部１３４が推定した発生要因に対応して、サービス提供装置１００が実行するサービスを決定する。例えば、サービス決定部１３５は、感情推定値１６６および／または全体感情値１６７の変化を緩和するサービスを提供するよう決定する。或いは、サービス決定部１３５は、感情推定値１６６および／または全体感情値１６７を正の方向に変化させて改善するサービスを提供するよう決定する。
【００４４】
サービス提供部１３６は、サービス決定部１３５が決定したサービスを提供する。サービス提供部１３６が提供するサービスの詳細は後述する。
【００４５】
環境検出部１３７は、撮像画像データ１６２および／または音声データ１６３に基づき、対象範囲Ａの環境を検出する。
言動検出部１３８は、撮像画像データ１６２および／または音声データ１６３に基づき、ユーザＵ１、Ｕ２、Ｕ３の各々の言動を検出する。言動検出部１３８は、ユーザＵ１、Ｕ２、Ｕ３の各々について、言動を数値化して言動検出値を生成し、メモリ１６０に言動検出値１６８として記憶させる。
【００４６】
補正部１３９は、感情推定部１３３が推定したユーザＵ１、Ｕ２、Ｕ３の感情推定値１６６を、言動検出値１６８に基づき補正する。
【００４７】
報知部１４０は、ユーザＵ１、Ｕ２、Ｕ３からいずれか１人以上を選択して、情報を報知する。例えば、報知部１４０は、カメラ１１１から指向性の音声を出力することにより、ユーザＵ１、Ｕ２、Ｕ３のうち特定の人物に対してのみ聴取できるように音声を出力して、情報を報知する。また、報知部１４０は、ユーザ端末装置２３０に対する音声通話の発信やテキストメッセージの送信を行うことにより、ユーザＵ１に情報を報知する。ユーザＵ２、Ｕ３がユーザ端末装置２３０を使用する場合には、ユーザＵ２、Ｕ３にも同様の報知を行うことができる。報知部１４０がサービス提供部１３６により制御される場合、報知部１４０による報知は、サービス提供部１３６によるサービスの提供の一種である。
【００４８】
決済情報処理部１５０は、サービス提供装置１００によるサービスの提供に対する対価の決定および決済を実行する。
登録部１５１は、対価の決済を行う対象の人物を登録する。登録部１５１により登録された人物に関する情報は、例えば、ユーザ情報１６５に含まれる。本実施形態では、一例として、ユーザＵ１、Ｕ２，Ｕ３が登録部１５１によって登録されている。
【００４９】
評価取得部１５２は、サービス提供部１３６により提供されたサービスに対する評価を取得する。例えば、評価取得部１５２は、サービス提供部１３６によってサービスが提供された後の感情推定値１６６および全体感情値１６７の変化に基づき、評価を生成する。
【００５０】
また、例えば、評価取得部１５２は、サービス提供部１３６によってサービスが提供された後、または、予め設定された期間毎に、登録部１５１により登録されたユーザＵ１、Ｕ２、Ｕ３による評価を取得する。この場合、評価取得部１５２は、ユーザ端末装置２３０等のサービス提供装置１００以外の装置から送信される評価の情報を取得してもよい。また、評価取得部１５２は、マイク１１２およびスピーカ１１３によりユーザＵ１、Ｕ２，Ｕ３と対話処理を行い、ユーザＵ１、Ｕ２，Ｕ３の発話から評価を取得してもよい。
【００５１】
対価決定部１５３は、サービス提供部１３６によるサービスの提供に対する対価を決定する。対価の態様としては、例えば、（１）定額制、（２）定量制、（３）成功報酬型が挙げられる。決済情報１７０は、サービス提供部１３６が賦課する対価、および、対価の賦課の態様を示す情報を含む。対価決定部１５３は、以下に説明する（１）定額制、（２）定量制、（３）成功報酬型の全てを実行可能であってもよいし、一部のみを実行する構成であってもよい。
【００５２】
（１）定額制とする場合、サービス提供装置１００がサービスを提供することに対して、月単位、年単位、或いはその他の時間単位について定額の対価が設定される。この場合、登録部１５１により登録されたユーザＵ１、Ｕ２、Ｕ３の各々に定額の対価を賦課してもよいし、複数の人物を含む集団毎、サービス提供装置１００が使用される場所毎、或いは、サービス提供装置１００毎に、対価が賦課されてもよい。
【００５３】
（２）定量制とする場合、サービス提供部１３６がサービスを提供する毎に、予め設定された対価が賦課される。この場合、サービス提供部１３６がサービスを提供する前に、登録部１５１により登録されたユーザＵ１、Ｕ２、Ｕ３の全員または一部に対し、サービスの利用の可否を確認してもよい。定量制の対価は、後述する要因人物に対してのみ行われてもよい。
【００５４】
（３）成功報酬型とする場合、対価決定部１５３は、評価取得部１５２が取得した評価に基づき、サービス提供部１３６により提供されたサービスの対価を決定する。対価決定部１５３が決定した対価は、決済情報１７０に含まれる。対価決定部１５３は、対価を決定する毎に、決済情報１７０を更新する。対価決定部１５３が決定した対価が、ユーザＵ１、Ｕ２、Ｕ３の全員、または、後述する要因人物に対して賦課される。
【００５５】
決済処理部１５４は、決済情報１７０に基づいて決済を実行する。例えば、サービス提供装置１００が、登録部１５１により登録されたユーザＵ１、Ｕ２，Ｕ３について、価値を有するポイントを付与する構成が挙げられる。この構成では、ユーザ情報１６５に、ユーザＵ１、Ｕ２，Ｕ３の各々の保有ポイントを示す情報が格納される。この場合、決済処理部１５４は、ユーザＵ１、Ｕ２，Ｕ３が保有するポイントを減算することにより、対価の支払いを受けることができる。
【００５６】
決済処理部１５４は、無線通信部１１６によって、金融機関や決済サービス事業者が運営する決済サーバに接続して、対価の決済処理を行ってもよい。例えば、評価取得部１５２は、決済サーバにより、銀行口座からの引き落とし、クレジットカード決済、電子マネーや仮想通貨による決済等を実行させてもよい。
【００５７】
［２．第１実施形態のサービス提供装置の動作］
図３は、サービス提供装置１００の動作を示すフローチャートである。
データ取得部１３１は、データの取得を開始する（ステップＳ１０１）。この後、予め設定された周期で、撮像画像データ１６２および音声データ１６３がメモリ１６０に記憶される。メモリ１６０には、設定されたデータ容量の範囲内で撮像画像データ１６２および音声データ１６３が蓄積されるので、過去に取得された撮像画像データ１６２および音声データ１６３をＣＰＵ１３０が参照可能である。
【００５８】
人物検出部１３２は、対象範囲Ａの人物を検出し（ステップＳ１０２）、検出した人物を特定する（ステップＳ１０３）。ステップＳ１０３の処理は省略可能である。
【００５９】
感情推定部１３３は、撮像画像データ１６２および音声データ１６３に基づき、個人感情を推定し、感情推定値１６６を算出する（ステップＳ１０４）。ステップＳ１０４では、データ取得部１３１が所定期間に取得したデータを用いて、感情推定値１６６が算出される。続いて、感情推定部１３３は、感情推定値１６６の総和を求めることにより、対象範囲Ａの全体感情を示す全体感情値１６７を算出する（ステップＳ１０５）。
【００６０】
要因推定部１３４は、感情推定値１６６および／または全体感情値１６７において、対処すべき感情変化の判定、およびその発生要因を推定する処理を行う（ステップＳ１０６−Ｓ１１４）。要因推定部１３４は、閾値記憶部１６９に記憶された第１閾値ＴＨ１、第２閾値ＴＨ２、第３閾値ＴＨ３、第４閾値ＴＨ４を参照する。第１閾値ＴＨ１、第３閾値ＴＨ３、第４閾値ＴＨ４は、感情推定値１６６および全体感情値１６７の絶対値と比較される値である。また、第２閾値ＴＨ２は、全体感情値１６７の変化量と比較される閾値である。全体感情値１６７の変化量とは、例えば、設定された期間における値の変化の積分値として説明するが、設定された期間における最大値と最小値の差としてもよい。
【００６１】
発生要因とは、広義には、感情推定値１６６または全体感情値１６７の変化を発生させた要因を指す。狭義には、全体感情値１６７を変化させた要因を指す。例えば、ユーザＵ１、Ｕ２、Ｕ３のいずれかの個人感情の変化が、他の人物の個人感情に影響を与えて、対象範囲Ａの全体感情を変化させた場合、対象範囲Ａの全体感情の変化の要因は、１人の人物である。この場合、発生要因は、変化の要因となった人物であり、インフルエンサーともいうことができる。この人物を要因人物という。
【００６２】
以下の要因推定部１３４の動作の説明では、図４および図５の感情変化の具体例を参照する。
図４および図５は、サービス提供装置１００が推定する感情推定値１６６および全体感情値１６７の例を示す模式図である。
図４（Ａ）、（Ｂ）、（Ｃ）および図５（Ａ）、（Ｂ）は、横軸を時間の経過、縦軸を感情推定値１６６とする図表であり、図４（Ａ）および図５（Ａ）の曲線Ｆ１はユーザＵ１の感情推定値１６６を示す。図４（Ｂ）の曲線Ｆ２はユーザＵ２の感情推定値１６６を示し、図４（Ｃ）の曲線Ｆ３はユーザＵ３の感情推定値１６６を示す。図５（Ｂ）の曲線Ｆ５は、ユーザＵ２の感情推定値１６６に関する別の例を示す。
図４（Ｄ）は、横軸を時間の経過、縦軸を全体感情値１６７とする図表であり、曲線ＦＵは全体感情値１６７を示している。曲線ＦＵは、曲線Ｆ１、Ｆ２、Ｆ３が示す感情推定値１６６の総和である。
図４（Ａ）−（Ｄ）および図５（Ａ）、（Ｂ）では、第１閾値ＴＨ１、第３閾値ＴＨ３、第４閾値ＴＨ４に相当する正の値および負の値を図示する。
【００６３】
図４に例示する感情変化の概要は、次の通りである。
曲線Ｆ１で示すユーザＵ１の感情推定値１６６は、時刻Ｔ１に発生した何らかの要因によって低下し、負の値となっている。ユーザＵ１の感情推定値１６６は、負の値の範囲で激しく変動しており、ユーザＵ１が感情的になっている様子が現れている。
ユーザＵ１の個人感情の変化は、ユーザＵ１と一緒に対象範囲ＡにいるユーザＵ２、Ｕ３にも影響を与える。例えば、ユーザＵ２が、ユーザＵ１の表情等からユーザＵ１の個人感情の変化を察知し、その影響を受けてユーザＵ２の個人感情が変化している。このため、曲線Ｆ２で示すユーザＵ２の感情推定値１６６は、ユーザＵ１の様子を察知した時刻Ｔ２から低下し、負の値になっている。
また、ユーザＵ１とユーザＵ２の個人感情が変化したことにより、全体感情値１６７が変化している。曲線ＦＵで示す全体感情値１６７は、ユーザＵ１およびユーザＵ２の感情推定値１６６の変化に追従して低下し、負の値となっている。
ユーザＵ３は、時刻Ｔ３で対象範囲Ａの全体感情値１６７が低下したことを察知する。このため、ユーザＵ３の感情推定値１６６は負の値まで低下している。
【００６４】
要因推定部１３４は、ステップＳ１０６およびステップＳ１０７で、対処すべき感情変化が発生しているか否かを判定する。判定の基準は、例えば、（１）いずれか１以上の感情推定値１６６の絶対値が第１閾値ＴＨ１を超えること、（２）全体感情値１６７の絶対値が第１閾値ＴＨ１を超えること、（３）全体感情値１６７の変化量が第２閾値ＴＨ２を超えること、である。
【００６５】
詳細には、要因推定部１３４は、まず、感情推定値１６６および全体感情値１６７のいずれかが第１閾値ＴＨ１を超えたか否かを判定する（ステップＳ１０６）。第１閾値ＴＨ１を超えていないと判定した場合（ステップＳ１０６；ＮＯ）、要因推定部１３４は、全体感情値１６７の変化量が第２閾値ＴＨ２を超えたか否かを判定する（ステップＳ１０７）。ステップＳ１０７で、要因推定部１３４は、最新の全体感情値１６７を終点として過去に遡及する検出期間を定め、検出期間内の全体感情値１６７の変化量を第２閾値ＴＨ２と比較する。全体感情値１６７の変化量が第２閾値ＴＨ２を超えていない場合（ステップＳ１０７；ＮＯ）、ＣＰＵ１３０の処理はステップＳ１０４に戻る。
【００６６】
感情推定値１６６および全体感情値１６７のいずれかが第１閾値ＴＨ１を超えた場合（ステップＳ１０６；ＹＥＳ）、および、全体感情値１６７の変化量が第２閾値ＴＨ２を超えた（ステップＳ１０７；ＹＥＳ）、要因推定部１３４はステップＳ１０８に移行する。
【００６７】
ステップＳ１０８で、要因推定部１３４は、対象範囲Ａにいる人物の感情推定値１６６のうち、第３閾値ＴＨ３を最初に超えた感情推定値１６６を特定し、特定した感情推定値１６６に対応する人物を、仮の要因人物とする（ステップＳ１０８）。仮の要因人物は、第１閾値ＴＨ１を超えた感情推定値１６６に対応する人物であってもよいし、他の人物であってもよい。また、第３閾値ＴＨ３は第１閾値ＴＨ１と同一の値、または、第１閾値ＴＨ１より小さい値である。
【００６８】
図４の例では、時刻Ｔ１１において、ユーザＵ１の感情推定値１６６の絶対値が第１閾値ＴＨ１を超えているので、要因推定部１３４はステップＳ１０６で肯定判定する。さらに、時刻Ｔ１２においてユーザＵ１の感情推定値１６６の絶対値が第３閾値ＴＨ３を超えているので、要因推定部１３４は、ステップＳ１０８でユーザＵ１を仮の要因人物とする。仮の要因人物は、要因人物である可能性が高い人物であり、要因人物の候補である。
【００６９】
要因推定部１３４は、第１検出期間ＴＥ１を設定する（ステップＳ１０９）。第１検出期間ＴＥ１の長さは予め設定されている。第１検出期間ＴＥ１の始点は、ステップＳ１０６またはステップＳ１０７で肯定判定された時点であり、図４の例では時刻Ｔ１１である。
【００７０】
要因推定部１３４は、仮の要因人物の感情推定値１６６が、第１検出期間ＴＥ１において負の値であるか否かを判定する（ステップＳ１１０）。仮の要因人物の感情推定値１６６が第１検出期間ＴＥ１で正の値になることがあれば（ステップＳ１１０；ＮＯ）、ＣＰＵ１３０の処理はステップＳ１０４に戻る。
【００７１】
仮の要因人物の感情推定値１６６が第１検出期間ＴＥ１で負の値を維持する場合（ステップＳ１１０；ＹＥＳ）、要因推定部１３４は、第２検出期間ＴＥ２を設定する（ステップＳ１１１）。第２検出期間ＴＥ２の長さは予め設定されており、第１検出期間ＴＥ１と同一であっても異なる長さであってもよい。第２検出期間ＴＥ２は、本発明の検出期間の一例に対応する。第２検出期間の始点は、ステップＳ１０６またはステップＳ１０７で肯定判定された時点であり、図４では時刻Ｔ１１である。
【００７２】
要因推定部１３４は、第２検出期間ＴＥ２において、仮の要因人物を除く人物の感情推定値１６６が第４閾値ＴＨ４を超えるか否かを判定する（ステップＳ１１２）。仮の要因人物以外の人物の感情推定値１６６が第４閾値ＴＨ４を超えない場合（ステップＳ１１２；ＮＯ）、要因推定部１３４は、仮の要因人物が感情を抑制していると判定する（ステップＳ１１３）。すなわち、ユーザＵ１が感情抑制状態にあると判定する。
【００７３】
図５（Ｂ）に示す感情推定値１６６は、第２検出期間ＴＥ２において第４閾値ＴＨ４を超えない状態を維持している。この例は、ユーザＵ１の感情の変化がユーザＵ２に伝搬していないことを示している。つまり、ユーザＵ１は、自身の感情が他の人物に影響しないように、感情表現を抑制している状態にある。この場合、対象範囲ＡはユーザＵ１の感情の変化に影響されていないが、ユーザＵ１の感情の変化の緩和または感情の改善を図ることが望ましい。
【００７４】
一方、仮の要因人物以外の感情推定値１６６が第２検出期間ＴＥ２で第４閾値ＴＨ４を超えた場合（ステップＳ１１２；ＹＥＳ）、要因推定部１３４は、仮の要因人物を、要因人物として決定する（ステップＳ１１４）。図４の例では、時刻Ｔ１３でユーザＵ２の感情推定値１６６の絶対値が第４閾値ＴＨ４を超えているので、ユーザＵ１を要因人物とする。
ユーザＵ１が要因人物となっている場合、ユーザＵ１の感情の変化を緩和し、或いは、ユーザＵ１の感情を改善することにより、対象範囲Ａの全体感情の改善または変化の緩和を実現できる。
【００７５】
ステップＳ１１３で抑制状態が検出された後、および、ステップＳ１１４で要因人物が推定された後、サービス決定部１３５は、サービスを決定する（ステップＳ１１５）。サービス提供部１３６は、サービス決定部１３５により決定されたサービスを実行する（ステップＳ１１６）。
【００７６】
サービス決定部１３５が決定し、サービス提供部１３６が実行するサービスは、例えば、対象範囲Ａの全体に働きかけるサービスや、特定の人物に対して働きかけるサービスである。
【００７７】
対象範囲Ａの全体に働きかけるサービスとしては、対象範囲Ａの場を和ませる動作が挙げられる。具体的には、スピーカ１１３から音楽を流したり、ジョークを発言したりする動作が挙げられる。サービス提供部１３６が臭気を対象範囲Ａに供給する機構を備えている場合、気持ちを和らげるアロマの臭気を対象範囲Ａに排出してもよい。これらの音楽、ジョーク、臭気等は、発生要因の人物の嗜好に適合するものを選択してもよい。ユーザＵ１、Ｕ２、Ｕ３の嗜好に関する情報は、例えば、ユーザ情報１６５に含まれる。
【００７８】
また、要因推定部１３４が、環境検出部１３７により検出した環境や環境の変化が、個人感情の変化の要因となったことを推定可能な場合、サービス提供部１３６により、要因を解消または抑制する動作を行ってもよい。例えば、窓Ｗからの騒音の音量が大きいことが個人感情の変化の要因であると判定した場合、サービス提供部１３６は、窓Ｗの開閉装置に赤外線通信部１１５から信号を送信し、窓Ｗを閉じる制御を行ってもよい。この場合、スピーカ１１３から、窓を閉めることを案内する音声を通知し、音声によって対象範囲Ａの全体感情の改善を図ってもよい。
【００７９】
特定の人物に対して働きかけるサービスとしては、発生要因の人物や感情抑制状態の人物に対し、「お困りですか」と音声を出力する動作が挙げられる。
【００８０】
また、サービス提供部１３６は、スピーカ１１３による音声メッセージの発音とモータ１１４による動作を実行し、要因人物を、出口Ｄから居室ＲＭの外に案内してもよい。例えば、要因人物に対し「外に出ましょうか」との音声メッセージを発音して、サービス提供装置１００が出口Ｄに向かって移動する。これにより、要因人物と他の人物とを物理的に遠ざけることで、要因人物の個人感情および対象範囲Ａの全体感情の沈静化を図ることができる。
【００８１】
また、サービス提供部１３６は、報知部１４０により報知を実行させてもよい。例えば、発生要因の人物以外の人物に対して、発生要因の人物が誰であるかを報知部１４０により報知し、解決を促すメッセージを音声により出力する動作が挙げられる。この場合、発生要因の人物の個人感情が変化した要因を要因推定部１３４が推定可能な場合には、個人感情が変化した要因を合わせて報知してもよい。
【００８２】
サービス決定部１３５は、対象範囲Ａの人物の全員について個人感情を改善し、或いは、個人感情の変化を緩和するサービスを、優先して決定する。このようなサービスの実行が難しい場合や、サービスの効果が薄いと判断した場合は、一部の人物を対象とするサービスを実行するよう決定する。
【００８３】
サービスの提供後、評価取得部１５２がサービスに対する評価を取得し、対価決定部１５３が対価を決定する（ステップＳ１１７）。その後、決済処理部１５４が対価の決済を実行し（ステップＳ１１８）、本処理を終了する。なお、ステップＳ１１７、Ｓ１１８の動作は、サービス提供部１３６がサービスを提供した直後でなくてもよく、上述したように予め設定された期間毎に実行してもよい。
【００８４】
このように、本発明を適用したサービス提供装置１００は、対象範囲Ａにいる複数の人物を検出する人物検出部１３２と、各々の人物の個人感情を推定する感情推定部１３３と、感情推定部１３３の推定結果に基づいて、いずれか１以上の人物の個人感情または対象範囲の全体感情の変化の発生要因を推定する要因推定部１３４と、要因推定部１３４が推定した発生要因に対応して、対象範囲Ａにいる１または複数の人物に提供するサービスを決定するサービス決定部１３５と、を備える。
【００８５】
この構成によれば、対象範囲Ａにおける全体感情の変化または個人感情の変化を招いた発生要因に対応して、対象範囲Ａにいる人物にサービスを提供できる。このため、感情を変化させた要因を考慮して、より効果的に、感情の変化に対処できる。例えば、感情推定値１６６や言動検出値１６８の改善や、特定の感情状態の緩和を効果的に促すことが期待できる。サービス提供装置１００が実行するサービス提供方法による場合にも、同様の作用効果を得ることができる。
【００８６】
また、決済情報処理部１５０は、本発明の決済情報処理装置の一例に対応する。
決済情報処理部１５０は、サービス提供装置１００によるサービスの提供または個人感情の推定の対象となる人物を登録した登録部１５１と、サービスの提供に対してユーザＵ１、Ｕ２、Ｕ３の評価を取得する評価取得部１５２と、評価取得部１５２により取得された評価に基づいて、サービスの提供の対価を決定する対価決定部１５３と、を備える。
この構成により、サービス提供装置１００の利用に対し、利用者であるユーザＵ１、Ｕ２、Ｕ３とサービスの提供者との双方にとって適切な対価を設定できる。
【００８７】
また、対価決定部１５３は、評価取得部１５２により取得した評価と、サービスの提供に応じて人物の個人感情が変化した変化状況とに基づいて、サービスの提供の対価を決定してもよい。例えば、図４の例において、時刻Ｔ１２でサービスが提供された結果、曲線Ｆ１、Ｆ２、Ｆ３、ＦＵはいずれも上昇し、負の値から正の値に変化している。対価決定部１５３は、ユーザＵ１、Ｕ２、Ｕ３の感情推定値１６６および全体感情値１６７に基づき、サービスの効果を判定し、対価を決定してもよい。この場合、ユーザＵ１、Ｕ２、Ｕ３の主観的な評価だけでなく、客観的な効果を反映して、適切にサービスの対価を決定できる。
【００８８】
サービス提供装置１００において、感情推定部１３３は各々の人物の個人感情を表す感情推定値１６６を求め、要因推定部１３４は、いずれかの人物の感情推定値１６６が第１閾値ＴＨ１を超えた場合、感情推定値１６６の総和が第１閾値ＴＨ１を超えた場合、または、感情推定値１６６の総和の変化量が第２閾値ＴＨ２を超えた場合に、変化の発生要因を推定する。この構成によれば、数値化された対象範囲Ａの全体感情およびユーザＵ１、Ｕ２、Ｕ３の個人感情に基づき、感情の変化を適切に検知できる。
【００８９】
要因推定部１３４は、対象範囲Ａにいる複数の人物のうち、感情推定値１６６が他の人物よりも早く第３閾値ＴＨ３を超えた人物を、変化の発生要因となった要因人物であると推定する。この構成によれば、他の人物の個人感情に影響を与えた要因人物を、速やかに推定できる。
【００９０】
要因推定部１３４は、第２検出期間ＴＥ２を設定し、感情推定値１６６が最初に第３閾値ＴＨ３を超えた人物を仮の要因人物であると推定し、第２検出期間ＴＥ２において仮の要因人物とは異なる人物の感情推定値１６６が第４閾値ＴＨ４を超えた場合に、仮の要因人物を、変化の発生要因である要因人物として推定する。
この構成によれば、仮の要因人物を推定してから、仮の要因人物が他の人物の個人感情に影響を与えたか否かを判定することで、正確に、かつ速やかに要因人物を推定できる。
【００９１】
要因推定部１３４は、第２検出期間ＴＥ２において仮の要因人物の後に、仮の要因人物とは異なる人物の感情推定値１６６が第４閾値ＴＨ４を超えない場合に、仮の要因人物の感情が抑制状態にあると推定する。この構成によれば、感情状態が変化していながら感情表現を抑制している人物を推定できる。
【００９２】
サービス決定部１３５は、感情が抑制状態にあると推定された仮の要因人物に対して提供するサービスを決定する。この構成によれば、感情状態が変化していながら感情表現を抑制している人物に対し、サービスを提供することで、感情状態の改善を図ることができる。
【００９３】
サービス提供装置１００は、サービス決定部１３５により決定されたサービスを提供するサービス提供部１３６を備え、サービス提供部１３６は、要因推定部１３４によっていずれかの人物が変化の発生要因である要因人物と推定された場合に、要因人物とは異なる人物に対し、要因人物を通知するサービスを行う。この構成によれば、要因人物の影響で全体感情値１６７が変化したことに気づかない人物に対し、全体感情値１６７の変化の要因を伝えることで、全体感情値１６７および感情推定値１６６の改善を図ることができる。
【００９４】
サービス決定部１３５は、要因推定部１３４によっていずれかの人物が変化の発生要因である要因人物と推定された場合に、要因人物に対し、要因人物の趣味または嗜好に対応するサービスを提供することを決定する。この構成によれば、要因人物の個人感情に効果的に対処することができ、全体感情値１６７および感情推定値１６６を、より効果的に改善できる。
【００９５】
サービス提供装置１００は、対象範囲Ａにいる１または複数の人物に対して情報を報知する報知部１４０を備える。
報知部１４０は、要因推定部１３４によっていずれかの人物が変化の発生要因である要因人物と推定された場合に、要因人物とは異なる人物に対し、要因人物から離れることを促す案内を報知してもよい。例えば、ユーザＵ１が要因人物である場合に、報知部１４０により、ユーザＵ２、Ｕ３に対し、ユーザＵ１から離れることを報知してもよい。この場合、要因人物以外の人物の個人感情の悪化を抑制できる。
【００９６】
サービス提供装置１００は、対象範囲Ａにおける複数の人物の会話または行動を検出する言動検出部１３８を備える。要因推定部１３４は、いずれか１以上の人物の感情推定値１６６の変化と、言動検出部１３８が検出した会話または行動とに基づき、いずれか１以上の人物の会話または行動が感情推定値１６６の変化の発生要因か否かを推定してもよい。
【００９７】
この構成において、言動検出部１３８は、対象範囲Ａにおける複数の人物の会話または行動を検出し、検出した会話または行動を数値化した言動検出値１６８を求める構成であってもよい。サービス提供装置１００は、感情推定部１３３により推定された感情推定値１６６を言動検出値１６８に基づき補正する補正部１３９を備える。要因推定部１３４は、補正部１３９により補正された感情推定値１６６に基づいて変化の発生要因を推定する。
【００９８】
例えば、図３に示した動作において、要因推定部１３４は、ユーザＵ１、Ｕ２、Ｕ３の言動を解析して、感情推定値１６６および全体感情値１６７の判定を行ってもよい。具体的には、ステップＳ１０８で仮の要因人物を推定する処理の前に、言動検出部１３８によりユーザＵ１、Ｕ２、Ｕ３の言動検出値１６８を生成し、補正部１３９によって感情推定値１６６を補正してもよい。言動検出値１６８は、ユーザＵ１、Ｕ２、Ｕ３の言動の大きさを示す指標であり、発言の声の大きさ、発言の長さ、動作の大きさ、動作により発生した音の大きさ等が大きいほど、言動検出値１６８が大きい。言動検出値１６８は、ユーザＵ１、Ｕ２、Ｕ３の各々について算出される。従って、各々のユーザＵ１、Ｕ２、Ｕ３の言動検出値１６８は、ユーザＵ１、Ｕ２、Ｕ３の言動が対象範囲Ａに与えた影響の大きさを示しているといえる。閾値記憶部１６９は、ユーザＵ１、Ｕ２、Ｕ３のいずれかの言動検出値１６８が閾値を超えた場合、言動検出値１６８が閾値を超えた後の感情推定値１６６を補正する。例えば、閾値を超えた言動検出値１６８に対応する人物とは異なる人物について、感情推定値１６６の変化を大きくするよう補正する。
【００９９】
この場合、感情推定部１３３は、補正部１３９により補正された感情推定値１６６に基づき、全体感情値１６７を再度算出する。要因推定部１３４は、補正された感情推定値１６６、および、全体感情値１６７に対して、ステップＳ１０６から処理を再実行する。
この構成によれば、ユーザＵ１、Ｕ２、Ｕ３のいずれかの言動が、他の人物の感情推定値１６６に与えた影響を大きく評価して、発生要因の推定とサービスの決定を行うことができる。
【０１００】
サービス提供装置１００は、対象範囲Ａの環境に関する検出値を取得する環境検出部１３７を備え、要因推定部１３４は、いずれか１以上の人物の感情推定値１６６の変化と、環境検出部１３７により取得した検出値の変化とに基づき、環境の変化が感情推定値１６６の変化の発生要因か否かを推定してもよい。この場合、環境の変化に起因する感情推定値１６６の変化に対応して、感情推定値１６６および全体感情値１６７の改善を図ることができる。
【０１０１】
別の観点から、サービス提供装置１００は、図６に示す構成とすることができる。
図６は、サービス提供装置１００を別の観点から見た場合の機能的構成を示すブロック図である。ＣＰＵ１３０は、音声取得部１９１、撮像画像取得部１９２、数値化処理部１９３、事象情報取得部１９４、動作決定部１９５、および、実行部１９６を備える。また、メモリ１６０は、事象情報記憶部１９７を備える。
【０１０２】
図６のサービス提供装置１００は、対象範囲Ａにいる複数の人物の発話音声を取得する音声取得部１９１と、１または複数の人物を撮像した撮像画像を取得する撮像画像取得部１９２と、音声取得部１９１および撮像画像取得部１９２により取得した情報を数値化して数値情報を生成する数値化処理部１９３と、数値化処理部１９３により生成された数値情報の変化と、数値情報の変化の発生要因となる事象に関する事象情報との対応を記憶する事象情報記憶部１９７と、検知対象期間に音声取得部および撮像画像取得部により取得された情報に基づく数値情報が、検出条件を満たす変化をした場合に、変化に対応する事象情報を事象情報記憶部１９７から取得する事象情報取得部１９４と、事象情報取得部１９４により取得された事象情報に基づき、動作を決定する動作決定部１９５と、動作決定部により決定された動作を実行する実行部１９６と、を備える。
【０１０３】
音声取得部１９１は、マイク１１２が集音した発話音声を取得し、撮像画像取得部１９２はカメラ１１１の撮像画像データを取得する。これらは上述のデータ取得部１３１に相当する。数値化処理部１９３は、データ取得部１３１によって取得された情報を数値化して、感情推定値１６６、および全体感情値１６７等数値情報を生成する。数値化処理部１９３は、感情推定部１３３に相当する。
【０１０４】
事象情報は、感情推定値１６６および／または全体感情値１６７の変化の発生要因を示す。事象情報記憶部１９７は、感情推定値１６６および／または全体感情値１６７の変化の態様と、発生要因とを対応づける情報を記憶し、事象情報取得部１９４は、発生要因を推定する。すなわち、事象情報取得部１９４および事象情報記憶部１９７は、要因推定部１３４の動作を、メモリ１６０に記憶するデータに基づき実行する例に相当する。
動作決定部１９５は、サービス決定部１３５に相当し、実行部１９６はサービス提供部１３６に相当する。これらの動作は上述した通りである。
【０１０５】
また、ＣＰＵ１３０が備える各部の構成は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）で構成してもよい。例えば、人物検出部１３２、感情推定部１３３、要因推定部１３４、サービス決定部１３５、環境検出部１３７、補正部１３９の機能を、サービス提供装置１００に実装されたＡＩによって実行させてもよい。サービス提供装置１００に実装されるＡＩは、学習済みモデルを構成するプログラムおよびデータであってもよい。また、サービス提供装置１００に実装されたＡＩが、サービス提供装置１００の動作に伴って学習を継続する構成であってもよい。
【０１０６】
また、上述したサービス提供装置１００は、単独で各機能を実行する装置に限らない。複数の装置が協働してサービス提供装置１００と同様に機能する例について、第２実施形態として説明する。
【０１０７】
［３．第２実施形態］
図７は、第２実施形態のサービス提供システム１の概略構成を示す説明図であり、対象範囲Ａに設置されるサービス提供装置１００ａの機能的構成を合わせて示す。図８は、サービス提供サーバ３００および決済情報処理装置４００の機能的構成を示すブロック図である。サービス提供システム１は、全体として本発明のサービス提供装置に相当する。
【０１０８】
サービス提供装置１００は、通信装置２００を介して通信ネットワーク５００に接続される。通信ネットワーク５００は、インターネットや公衆回線網により構成される広域ネットワークであってもよいし、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の特定区域のネットワークであってもよい。
【０１０９】
通信ネットワーク５００には、サービス提供サーバ３００および決済情報処理装置４００が接続される。サービス提供システム１を構成するサービス提供装置１００ａ、サービス提供サーバ３００および決済情報処理装置４００は、相互にデータ通信可能に接続ｓあれる。
【０１１０】
サービス提供装置１００ａは、サービス提供装置１００と同様に、対象範囲Ａに対応して居室ＲＭに設置される。サービス提供装置１００ａは、ＣＰＵ１３０と同様のプロセッサとしてＣＰＵ１３０ａを有する。ＣＰＵ１３０ａは、データ取得部１３１、サービス提供部１３６、報知部１４０の機能を有し、さらに、通信制御部１４２を有する。
【０１１１】
また、サービス提供サーバ３００は、ＣＰＵ３１０およびメモリ３３０を備える。ＣＰＵ３１０は、制御用プログラム３３１を実行するコンピュータであり、制御用プログラム３３１の機能により、通信制御部３１１、人物検出部３１２、感情推定部３１３、要因推定部３１４、サービス決定部３１５、環境検出部３１７、言動検出部３１８、および、補正部３１９として動作する。
【０１１２】
通信制御部１４２は、データ取得部１３１と同様に、カメラ１１１、マイク１１２、および赤外線通信部１１５等からデータを取得する。通信制御部１４２は、取得したデータをサービス提供サーバ３００に送信する。
サービス提供サーバ３００の通信制御部３１１は、サービス提供装置１００ａが送信するデータを受信して、撮像画像データ３３２および音声データ３３３を記憶する。
【０１１３】
人物検出部３１２は、図２に示したサービス提供装置１００の人物検出部１３２と同様に機能する。感情推定部３１３は、感情推定部１３３と同様に機能し、要因推定部３１４は、要因推定部１３４と同様に機能する。また、サービス決定部３１５は、サービス決定部１３５と同様に機能する。環境検出部３１７は、環境検出部１３７と同様に機能し、言動検出部３１８は、言動検出部１３８と同様に機能する。また、補正部３１９は、補正部１３９と同様に機能する。
【０１１４】
メモリ３３０が記憶する撮像画像データ３３２、音声データ３３３は、図２に示したサービス提供装置１００の撮像画像データ１６２、音声データ１６３にそれぞれ対応する。対象情報３３４は、対象情報１６４に対応する。ユーザ情報３３５はユーザ情報１６５に対応し、感情推定値３３６は感情推定値１６６に対応し、全体感情値３３７は全体感情値１６７に対応し、言動検出値３３８は言動検出値１６８に対応する。閾値記憶部３３９は閾値記憶部１６９と同様のものである。
【０１１５】
決済情報処理装置４００は、ＣＰＵ４１０、および、メモリ４３０を備える。ＣＰＵ４１０は、制御用プログラム４３１を実行するコンピュータであり、制御用プログラム４３１の機能により、通信制御部４１１、登録部４１２、評価取得部４１３、対価決定部４１４、および、決済処理部４１５として動作する。また、メモリ４３０は決済情報４３２を記憶する。
【０１１６】
登録部４１２は、図２に示したサービス提供装置１００の登録部１５１と同様に機能する。評価取得部４１３は評価取得部１５２と同様に機能するものであり、対価決定部４１４は対価決定部１５３と同様に機能するものであり、決済処理部４１５は決済処理部１５４と同様に機能するものである。決済情報４３２は、サービス提供装置１００が記憶する決済情報１７０に対応する。
【０１１７】
通信制御部３１１は、サービス決定部３１５により決定したサービスに関するデータを、サービス提供装置１００ａに送信する。
通信制御部１４２は、サービス提供サーバ３００から送信されるデータを受信して、サービス提供部１３６により、サービス決定部３１５が決定したサービスを実行させる。また、通信制御部１４２は、サービス提供サーバ３００から受信したデータが、報知部１４０による報知を指示するデータであった場合に、報知部１４０に報知を実行させる。
【０１１８】
通信制御部３１１は、サービス決定部３１５が決定したサービスに関するデータを決済情報処理装置４００に送信する。また、通信制御部１４２は、サービス提供部１３６により実行したサービスの実行状態に関するデータを決済情報処理装置４００に送信する。
【０１１９】
通信制御部４１１は、サービス提供装置１００ａおよびサービス提供サーバ３００から送信されるデータに基づき、評価取得部４１３により評価を取得させ、対価決定部４１４に対価を決定させ、決済処理部４１５による決済を実行させる。
【０１２０】
第２実施形態のサービス提供システム１によれば、サービス提供装置１００と同様に、対象範囲Ａにおける全体感情の変化または個人感情の変化を招いた発生要因に対応して、対象範囲Ａにいる人物にサービスを提供できる。このため、感情を変化させた要因を考慮して、より効果的に、感情の変化に対処できる。例えば、ユーザＵ１、Ｕ２、Ｕ３の個人感情や対象範囲Ａの全体感情の改善、或いは、特定の感情状態の緩和を効果的に促すことが期待できる。サービス提供システム１が実行するサービス提供方法による場合にも、同様の作用効果を得ることができる。
【０１２１】
［４．他の実施形態］
上記実施形態において、要因推定部１３４は、図３のステップＳ１０８−ステップＳ１１４の処理で要因人物を推定できない場合に、ユーザＵ１、Ｕ２、Ｕ３への働きかけを行って要因人物を決定してもよい。例えば、複数の人物の感情推定値１６６が同時に第１閾値ＴＨ１を超えた場合や、同時に第３閾値ＴＨ３を超えた場合が該当する。要因推定部１３４は、ユーザ端末装置２３０への音声通話やテキストメッセージの発信、またはスピーカ１１３による音声の発音等を行う。これらの手法により、要因推定部１３４は、例えば、ユーザＵ１、Ｕ２、Ｕ３に、何かあったのかを問いかけるメッセージを出力し、その応答の様子に関するデータをデータ取得部１３１により取得して解析し、発生要因を推定する。この場合、データ取得部１３１によって、より多くの情報を収集して発生要因を推定できる。
【０１２２】
また、図５に示したように、ユーザＵ１の感情推定値１６６が負の値である間に、ユーザＵ２の感情推定値１６６が正の値を維持する場合、ユーザＵ１が抑制状態にあること、或いは、ユーザＵ１がユーザＵ２、Ｕ３とは無関係な事情により個人感情を変化させていることが考えられる。このような場合も、要因推定部１３４は、ユーザＵ１、Ｕ２、Ｕ３への働きかけを行って、要因人物または発生要因を決定してもよい。
【０１２３】
また、上記実施形態では、感情推定値１６６および全体感情値１６７が負の値となるような変化に対応する処理を説明したが、全体感情値１６７が正の値となるような変化に対応してもよい。例えば、サービス提供部１３６により、対象範囲Ａの全体感情値１６７をより高めるように、音楽を流す、サービス提供装置１００がユーザＵ１、Ｕ２、Ｕ３の会話に加わる等の動作を行ってもよい。
【０１２４】
また、上記実施形態のサービス提供装置１００およびサービス提供サーバ３００は、環境検出部１３７、３１７を備える構成としたが、これらを備えていない構成であってもよい。言動検出部１３８、３１８、および、補正部１３９、３１９についても同様である。
【０１２５】
また、上記実施形態のサービス提供装置１００、１００ａは、報知部１４０を備える構成としたが、報知部１４０を備えていない構成であってもよい。モータ１１４、および赤外線通信部１１５についても同様である。例えば、サービス提供装置１００、１００ａは、対象範囲Ａに固定的に設置される装置であってもよく、いわゆるスマートスピーカであってもよい。
【０１２６】
また、上記実施形態のサービス提供装置１００および決済情報処理装置４００は、評価取得部１５２、４１３を備える構成としたが、これらを備えていない構成であってもよい。
【０１２７】
なお、図２、図６、図７、図８は、本願発明の理解を容易にするために、サービス提供装置１００およびサービス提供システム１の機能構成を、主な処理内容により区分して示した概略図であり、これらの構成を、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、各構成要素の処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
【符号の説明】
【０１２８】
１…サービス提供システム（サービス提供装置）、１００、１００ａ…サービス提供装置、１３０、１３０ａ…ＣＰＵ、１３１…データ取得部、１３２、３１２…人物検出部、１３３、３１３…感情推定部、１３４、３１４…要因推定部、１３５、３１５…サービス決定部、１３６…サービス提供部、１３７、３１７…環境検出部、１３８、３１８…言動検出部、１３９、３１９…補正部、１４０…報知部、１４２、３１１、４１１…通信制御部、１５０…決済情報処理部、１５１、４１２…登録部、１５２、４１３…評価取得部、１５３、４１４…対価決定部、１５４、４１５…決済処理部、１６０…メモリ、１６１…制御用プログラム、１６２、３３２…撮像画像データ、１６３、３３３…音声データ、１６４、３３４…対象情報、１６５、３３５…ユーザ情報、１６６、３３６…感情推定値、１６７、３３７…全体感情値、１６８、３３８…言動検出値、１６９、３３９…閾値記憶部、１７０、４３２…決済情報、１９１…音声取得部、１９２…撮像画像取得部、１９３…数値化処理部、１９４…事象情報取得部、１９５…動作決定部、１９６…実行部、１９７…事象情報記憶部、３００…サービス提供サーバ、３１０…ＣＰＵ、３１１…通信制御部、３３０…メモリ、３３１…制御用プログラム、４００…決済情報処理装置、４１０…ＣＰＵ、４１１…通信制御部、４３０…メモリ、４３１…制御用プログラム、５００…通信ネットワーク、Ａ…対象範囲。
【図１】
2020154922.tif 000003
【図２】
2020154922.tif 000004
【図３】
2020154922.tif 000005
【図４】
2020154922.tif 000006
【図５】
2020154922.tif 000007
【図６】
2020154922.tif 000008
【図７】
2020154922.tif 000009
【図８】
2020154922.tif 000010