(57)【要約】【課題】対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行う。【解決手段】対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、を備える、情報処理装置が提供される。また、対象者に係る音声情報を収集する収集部と、制御信号に基づく情報出力を行う出力部と、を備え、前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、情報処理装置が提供される。【選択図】図１６
2018061346.tif 000002
【特許請求の範囲】
【請求項１】
対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、
前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、
を備える、
情報処理装置。
【請求項２】
前記音声情報から抽出されるノンバーバル表現は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
請求項１に記載の情報処理装置。
【請求項３】
前記推定部は、前記対象者に係る画像情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
請求項１に記載の情報処理装置。
【請求項４】
前記画像情報から抽出されるノンバーバル表現は、前記対象者の表情、視線、まばたき、または心理的動作のうち少なくとも１つを含む、
請求項３に記載の情報処理装置。
【請求項５】
前記対象者は、物理的障壁により出力される情報の制御を行うことができない者を含む、
請求項１に記載の情報処理装置。
【請求項６】
前記対象者は、心理的障壁により出力される情報の制御を行うことができない者を含む、
請求項１に記載の情報処理装置。
【請求項７】
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力制御を行う、
請求項１に記載の情報処理装置。
【請求項８】
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、情報出力を停止させる、
請求項１に記載の情報処理装置。
【請求項９】
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力表現を変更させる、
請求項１に記載の情報処理装置。
【請求項１０】
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力モーダルを変更させる、
請求項１に記載の情報処理装置。
【請求項１１】
前記出力制御部は、第１の推薦情報の出力後に推定された前記対象者の前記快・不快度が閾値を下回ることに基づいて、前記第１の推薦情報とは異なる第２の推薦情報を出力させる、
請求項１に記載の情報処理装置。
【請求項１２】
前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う、
請求項１に記載の情報処理装置。
【請求項１３】
前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度の総和を向上させる出力制御を行う、
請求項１に記載の情報処理装置。
【請求項１４】
前記出力制御部は、学習データに基づいて出力制御を行う、
請求項１に記載の情報処理装置。
【請求項１５】
前記出力制御部は、前記対象者に特有の学習データに基づいて出力制御を行う、
請求項１に記載の情報処理装置。
【請求項１６】
前記出力制御部は、前記対象者が分類されるクラスタに係る学習データに基づいて出力制御を行う、
請求項１に記載の情報処理装置。
【請求項１７】
前記出力制御部は、前記快・不快度に基づく出力制御を行った場合、当該出力制御を行った理由を出力させる、
請求項１に記載の情報処理装置。
【請求項１８】
前記推定部は、前記対象者に係るセンサ情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
請求項１に記載の情報処理装置。
【請求項１９】
対象者に係る音声情報を収集する収集部と、
制御信号に基づく情報出力を行う出力部と、
を備え、
前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、
情報処理装置。
【請求項２０】
前記音声情報は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
請求項１９に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置に関する。
【背景技術】
【０００２】
近年、ユーザの感情を推定するための種々の手法が提案されている。また、上記のような手法には、装置の動作に関連したユーザの感情を推定するものがある。例えば、特許文献１には、複数端末におけるコンテンツ共有において、共有先端末におけるユーザのリアクションを検出し、当該リアクションを共有元端末に表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−６０３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載されるようなコンテンツ共有では、共有先端末でコンテンツを閲覧するユーザは、当該コンテンツの操作権限を与えられていない場合が多い。このため、共有先端末でコンテンツを閲覧するユーザは、コンテンツの再生を停止したい場合や、コンテンツの一部などを再度再生したい場合であっても、当該操作を実現することが困難である。【０００５】
そこで、本開示では、対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行うことが可能な、新規かつ改良された情報処理装置を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、を備える、情報処理装置が提供される。【０００７】
また、本開示によれば、対象者に係る音声情報を収集する収集部と、制御信号に基づく情報出力を行う出力部と、を備え、前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、情報処理装置が提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行うことが可能となる。【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る情報処理システムの構成例と概要を示す図である。
【図２】同実施形態に係る情報処理端末および情報処理サーバの機能ブロック図である。
【図３】同実施形態に係る情報処理端末が収集する情報種別と、推定部が抽出する対象者のノンバーバル表現の一例を示す図である。
【図４】同実施形態に係る出力制御部による情報出力の停止制御について説明するための図である。
【図５】同実施形態に係る出力制御部による出力表現の変更制御について説明するための図である。
【図６】同実施形態に係る出力制御部による出力モーダルの変更制御について説明するための図である。
【図７】同実施形態に係る心理的障壁を伴う対象者について説明するための図である。
【図８】同実施形態に係る出力制御部による推薦情報の制御例を示す図である。
【図９】同実施形態に係る制御理由の出力例を示す図である。
【図１０】同実施形態に係る学習データに基づく出力制御の例を占めす図である。
【図１１】同実施形態に係る心理的障壁を伴う対象者が所持ユーザである場合の出力制御例を示す図である。
【図１２】同実施形態に係る出力制御部が、複数人の対象者がいる場合に、快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う場合の例を示す図である。
【図１３Ａ】同実施形態に係る出力制御部が、複数人の対象者がいる場合に、快・不快度の総和を向上させる出力制御を行う場合の例を示す図である。
【図１３Ｂ】同実施形態に係る出力制御部が、複数人の対象者がいる場合に、快・不快度の総和を向上させる出力制御を行う場合の例を示す図である。
【図１４】同実施形態に係る快・不快度が閾値を上回る場合の出力制御の例を示す図である。
【図１５】同実施形態に係る快・不快度が閾値を上回る場合の出力制御を示す別の例である。
【図１６】同実施形態に係る情報処理サーバの動作を示すフローチャートである。
【図１７】本開示に係るハードウェア構成例である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．実施形態の概要およびシステム構成例
１．２．情報処理端末１０の機能構成例
１．３．情報処理サーバ２０の機能構成例
１．４．快・不快度に基づく出力制御の具体例
１．５．複数人の快・不快度に基づく出力制御
１．６．快・不快度が閾値を上回る場合の出力制御の例
１．７．情報処理サーバ２０の動作
２．ハードウェア構成例
３．まとめ
【００１３】
＜１．実施形態＞
＜＜１．１．実施形態の概要およびシステム構成例＞＞
まず、本開示の一実施形態の概要について説明する。本実施形態に係る情報処理システムは、対象者に係る種々の情報から抽出したノンバーバル表現に基づいて、出力情報に対する当該対象者の快・不快度を推定し、推定結果に基づいて上記の出力情報を制御する機能を有する。例えば、本実施形態に係る情報処理システムは、対象者に係る音声情報、画像情報、センサ情報などから上記の快・不快度を推定し、出力制御を行ってよい。
【００１４】
図１は、本実施形態に係る情報処理システムの構成例と概要を示す図である。図１を参照すると、本実施形態に係る情報処理システムは、情報処理端末１０、および情報処理サーバ２０を備える。また、情報処理端末１０と情報処理サーバ２０とは、互いに情報通信が行えるように、ネットワーク３０を介して接続される。
【００１５】
（情報処理端末１０）
本実施形態に係る情報処理端末１０は、対象者に係る種々の情報を収集する機能を有する。本実施形態に係る情報処理端末１０は、例えば、対象者に係る音声情報、画像情報、センサ情報などを収集してよい。情報処理端末１０が収集する上記の情報は、上述したとおり、ノンバーバル表現の抽出に用いられ得る。また、本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、種々の情報をユーザに提示する機能を有する。本実施形態に係る情報処理端末１０は、例えば、視覚情報や聴覚情報をユーザに提示してよい。
【００１６】
図１には、本実施形態に係る情報処理端末１０が、赤ん坊である対象者Ｔ１またはペットである対象者Ｔ２の音声情報を収集する場合の例が示されている。このように、本実施形態に係る対象者には、動物などが含まれてよい。また、図１には、情報処理端末１０が聴覚情報である出力情報ＳＯ１を出力する場合の例が示されている。図１に示すように、本実施形態に係る情報処理端末１０は、例えば、出力情報ＳＯ１に対する対象者Ｔ１の泣き声、または対象者Ｔ２の鳴き声を収集してもよい。
【００１７】
本実施形態に係る情報処理端末１０は、携帯電話、スマートフォン、タブレット、ウェアラブル装置、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などで有り得る。また、本実施形態に係る情報処理端末１０は、例えば、ディスプレイ装置、プロジェクタ、各種のエージェント装置またはロボットであってもよい。本実施形態に係る情報処理端末１０は、対象者に係るノンバーバル表現の抽出に用いられ得る情報を収集する機能と、視覚情報や聴覚情報を出力する機能とを有する種々の情報処理装置であってよい。
【００１８】
（情報処理サーバ２０）
本実施形態に係る情報処理サーバ２０は、情報処理端末１０が収集した種々の情報から抽出した対象者のノンバーバル表現に基づいて、当該対象者の快・不快度を推定する機能を有する情報処理装置である。図１に示す一例の場合、本実施形態に係る情報処理サーバ２０は、例えば、情報処理端末１０が収集した対象者Ｔ１または対象者Ｔ２の泣き声（あるいは、鳴き声）に基づいて、当該対象者の快・不快度が不快に傾いていることを推定してよい。
【００１９】
また、本実施形態に係る情報処理サーバ２０は、推定した上記の快・不快度に基づいて、情報処理端末１０により出力される出力情報を制御する機能を有する。図１に示す例の場合、本実施形態に係る情報処理サーバ２０は、例えば、対象者Ｔ１または対象者Ｔ２の快・不快度が閾値を下回ること、すなわち、出力情報ＳＯ１に対する対象者Ｔ１または対象者Ｔ２の不快感が推定されたことに基づいて、出力情報ＳＯ１に係る出力制御を行うことができる。例えば、情報処理サーバ２０は、出力情報ＳＯ１の出力を停止させてもよい。本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、対象者が出力に係る操作を行うことが困難な場合であっても、当該対象者の情動に応じた動的な出力制御を行うことが可能となる。
【００２０】
（ネットワーク３０）
ネットワーク３０は、情報処理端末１０と情報処理サーバ２０を接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
【００２１】
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を用いた上記の説明では、情報処理端末１０および情報処理サーバ２０が、それぞれ独立した情報処理装置として実現される場合を例に述べたが、本実施形態に係る情報システムの構成例は、係る例に限定されない。本実施形態に係る情報処理端末１０および情報処理サーバ２０は、単一の情報処理装置として実現されてもよい。
【００２２】
一方、本実施形態に係る情報処理端末１０および情報処理サーバ２０が有する各機能は、３台以上の複数の情報処理装置により実現されてもよい。本実施形態に係るシステム構成例は、扱われる情報量やシステムの仕様、運用条件などに応じて柔軟に変形され得る。
【００２３】
＜＜１．２．情報処理端末１０の機能構成例＞＞
次に、本実施形態に係る情報処理端末１０の機能構成例について説明する。図２は、本実施形態に係る情報処理端末１０および情報処理サーバ２０の機能ブロック図である。図２を参照すると、本実施形態に係る情報処理端末１０は、収集部１１０、出力部１２０、およびサーバ通信部１３０を備える。以下、上記に示す各構成について、当該構成が有する特徴を中心に説明する。
【００２４】
（収集部１１０）
収集部１１０は、対象者に係る種々の情報を収集する機能を有する。上述したとおり、本実施形態が収集する各種の情報は、情報処理サーバ２０による快・不快度の推定に用いられ得る。本実施形態に係る収集部１１０は、例えば、対象者に係る音声情報、画像情報、センサ情報などを収集することができる。
【００２５】
このために、本実施形態に係る収集部１１０は、例えば、マイクロフォン、撮像センサ、赤外線センサ、照度センサ、加速度センサ、ジャイロセンサ、地磁気センサ、時計などを含んで構成され得る。なお、上記に示す各種のセンサは、あくまで一例であり、収集部１１０は、上記に示す以外のセンサを含んで構成されてもよい。本実施形態に係る収集部１１０は、対象者に係るノンバーバル表現の抽出に用いられ得る情報を収集するためのセンサを広く含んで構成され得る。
【００２６】
（出力部１２０）
出力部１２０は、情報処理サーバ２０が生成する制御信号に基づく情報出力を行う機能を有する。ここで、上記の制御信号は、収集部１１０が収集する情報から抽出されるノンバーバル表現により推定される対象者の快・不快度に基づいて生成される。
【００２７】
この際、本実施形態に係る出力部１２０は、上記の制御信号に基づく視覚情報や音声情報を出力することができる。このために、本実施形態に係る出力部１２０は、視覚情報を出力するディスプレイ装置や音声情報を出力するスピーカを含んで構成され得る。ここで、上記のディスプレイ装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置、タッチパネル、プロジェクタなどにより実現され得る。また、本実施形態に係る出力部１２０は、ＴＴＳ（Ｔｅｘｔ  Ｔｏ  Ｓｐｅｅｃｈ）などの音声合成機能を有してよい。
【００２８】
（サーバ通信部１３０）
サーバ通信部１３０は、情報処理サーバ２０との情報通信を行う機能を有する。具体的には、本実施形態に係るサーバ通信部１３０は、収集部１１０が収集した音声情報、画像情報、センサ情報などを情報処理サーバ２０に送信する。また、本実施形態に係るサーバ通信部１３０は、情報処理サーバ２０から、上記の各情報から推定される対象者の快・不快度に基づいて生成された制御信号を受信する。
【００２９】
以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は、係る例に限定されない。本実施形態に係る情報処理端末１０は、例えば、情報処理サーバ２０が有する各種の機能を実現する構成をさらに備えてもよい。情報処理端末１０は、例えば、後述する推定部２１０、出力制御部２２０、学習部２３０、学習ＤＢ２４０のうちの一部またはすべてを備えるように構成されてもよい。また、情報処理端末１０は、例えば、操作者による入力操作を受け付ける入力部などをさらに備えてもよい。本実施形態に係る情報処理端末１０の機能構成は、柔軟に変更され得る。
【００３０】
＜＜１．３．情報処理サーバ２０の機能構成例＞＞
引き続き図２を用いて、本実施形態に係る情報処理サーバ２０の機能構成について説明する。図２を参照すると、本実施形態に係る情報処理サーバ２０は、推定部２１０、出力制御部２２０、学習部２３０、学習ＤＢ２４０、および通信部２５０を備える。以下、上記に示す各構成について、当該構成が有する特徴を中心に説明する。
【００３１】
（推定部２１０）
推定部２１０は、情報処理端末１０が収集した各種の情報に基づいて、対象者の快・不快度を推定する機能を有する。より具体的には、本実施形態に係る推定部２１０は、対象者に係る音声情報、画像情報、センサ情報などから抽出したノンバーバル表現に基づいて、上記の快・不快度を推定してよい。本実施形態に係る推定部２１０が有する上記の機能によれば、対象者による言語的発言に依らずに当該対象者の快・不快度を推定することができ、言語解析を行う場合と比較して処理負担を大幅に軽減することが可能である。なお、以下における説明では、快・不快度が高いほど対象者の情動が快に傾いているとし、快・不快度が低いほど対象者の情動が不快に傾いているとして説明する。
【００３２】
図３は、情報処理端末１０が収集する情報種別と、推定部２１０が抽出する対象者のノンバーバル表現の一例を示す図である。図３に示すように、本実施形態に係る推定部２１０は、情報処理端末１０が収集した音声情報から対象者に係るノンバーバル表現を抽出することができる。この際、推定部２１０により抽出されるノンバーバル表現には、例えば、対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、およびフィラー語などが含まれてよい。本実施形態に係る推定部２１０が有する上記の機能によれば、対象者に係る音声情報から多角的に快・不快度を推定することが可能となる。
【００３３】
本実施形態に係る推定部２１０は、音声情報から抽出した上記のノンバーバル表現が一般に快または不快を示す表現に合致する場合や、対象による定常表現とは異なることなどに基づいて、対象者の快・不快度を推定することができる。推定部２１０は、例えば、対象者の発話速度が定常よりも遅いことに基づいて、対象者の快・不快度が不快に傾いていることを推定してもよい。この際、推定部２１０は、後述する学習ＤＢ２４０に記憶される学習データに基づいて上記の推定を行うことができる。
【００３４】
また、図３に示すように、本実施形態に係る推定部２１０は、情報処理端末１０が収集した画像情報から対象者に係るノンバーバル表現を抽出することができる。この際、推定部２１０により抽出されるノンバーバル表現には、例えば、対象者の表情、視線、まばたき、および心理的動作などが含まれてよい。なお、ここで、上記の心理的動作には、例えば、腕組みや貧乏揺すりなどの四肢の動作、上方を仰ぐ、俯くなどの頭部の動作などが含まれる。また、対象者が動物である場合には、尾やヒゲなどの動作が含まれてもよい。本実施形態に係る推定部２１０が有する上記の機能によれば、音声情報に依らない動作から対象者の快・不快度を推定することが可能となる。
【００３５】
本実施形態に係る推定部２１０は、例えば、画像情報から抽出した上記のノンバーバル表現が一般に快または不快を示す表現に合致する場合や、対象による定常表現とは異なることなどに基づいて、対象者の快・不快度を推定することができる。推定部２１０は、例えば、対象者の表情が泣き顔に合致することに基づいて、対象者の快・不快度が不快に傾いていることを推定してもよい。
【００３６】
また、図３に示すように、本実施形態に係る推定部２１０は、情報処理端末１０が収集したセンサ情報から対象に係るノンバーバル表現を抽出することができる。この際、推定部２１０により抽出されるノンバーバル表現には、例えば、対象者の滞在時間、退避行動、操作行動、および心理的動作などが含まれてよい。本実施形態に係る推定部２１０が有する上記の機能によれば、安価なセンサを用いてより広い観点から対象者の快・不快度を推定することが可能となる。
【００３７】
本実施形態に係る推定部２１０は、例えば、センサ情報から抽出した上記のノンバーバル表現が一般に快または不快を示す表現に合致する場合や、対象者による定常表現と異なることなどに基づいて、対象者の快・不快度を推定することができる。推定部２１０は、例えば、対象者の滞在時間が閾値を超えることに基づいて、対象者の快・不快度が快に傾いていることを推定してもよい。
【００３８】
（出力制御部２２０）
出力制御部２２０は、推定部２１０により推定された快・不快度に基づいて情報処理端末１０に係る出力制御を行う機能を有する。すなわち、本実施形態に係る出力制御部２２０は、上記の快・不快度に基づいて情報処理端末１０を制御するための制御信号を生成する。この際、本実施形態に係る出力制御部２２０は、推定された対象者の快・不快度が閾値を下回ること、すなわち、対象者の情動が不快に傾いていると推定されたことに基づいて、出力制御を行ってもよい。本実施形態に係る出力制御部２２０が有する上記の機能によれば、対象者が出力に係る操作を行うことが困難な場合であっても、当該ユーザの情動に応じた動的な出力制御を行うことが可能となる。
【００３９】
また、本実施形態に係る出力制御部２２０は、学習ＤＢ２４０に記憶される学習データに基づいて出力制御を行ってよい。出力制御部２２０は、例えば、推定された対象者の快・不快度が閾値を下回った場合、学習データに基づいて当該対象者が好むと推定される出力情報を情報処理端末１０に出力させることができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、対象者の快・不快度が向上する可能性を大きく高めることができる。
【００４０】
また、この際、本実施形態に係る出力制御部２２０は、学習ＤＢ２４０に記憶される対象者に特有の学習データに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者から収集された情報に基づいて個人化された学習データを用いて出力制御を行うことができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、対象者の嗜好などに応じた精度の高い出力制御を行うことが可能となる。
【００４１】
一方、本実施形態に係る出力制御部２２０は、対象者が分類されるクラスタに係る学習データに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者の年齢や性別などに基づいてクラスタリングされた学習データを用いて出力制御を行うこともできる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、個人に係る学習データが蓄積していない場合でも、対象者の快・不快度を高める出力制御を行うことが可能となる。
【００４２】
（学習部２３０）
学習部２３０は、情報処理端末１０が収集した各種の情報と推定部２１０により推定された快・不快度とを関連付けて学習する機能を有する。また、学習部２３０は、上記の快・不快度と出力制御部２２０が生成した制御信号とを関連付けて学習する機能を有する。学習部２３０は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）、ニューラルネットワーク、回帰モデルなどの機械学習手法または統計的手法により上記の学習を行うことができる。また、本実施形態に係る学習部２３０は、上記の学習に係るデータを学習ＤＢ２４０に記憶させる機能を有する。
【００４３】
（学習ＤＢ２４０）
学習ＤＢ２４０は、収集された情報と当該情報に基づいて推定された快・不快度とに係る学習データを記憶する機能を有する。また、学習ＤＢ２４０は、上記の快・不快度と当該快・不快度に基づいて生成された制御信号とに係る学習データを記憶する機能を有する。上述したように、上記の学習データは、個人化された学習データであってもよいし、クラスタリングされた学習データであってもよい。
【００４４】
（通信部２５０）
通信部２５０は、情報処理端末１０との情報通信を行う機能を有する。具体的には、本実施形態に係る通信部２５０は、情報処理端末１０から、対象者に係る音声情報、画像情報、センサ情報などを受信する。また、本実施形態に係る通信部２５０は、受信した上記の情報に基づいて生成される制御信号を情報処理端末１０に送信する。
【００４５】
以上、本実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成例は、係る例に限定されない。上述したとおり、本実施形態に係る情報処理サーバ２０が備える構成のすべて、または一部は、情報処理端末１０の機能として実現されてもよい。
【００４６】
また、情報処理サーバ２０が備える構成の一部は、別の装置の機能として実現することもできる。例えば、推定部２１０や、学習部２３０および学習ＤＢ２４０は、情報処理サーバ２０とは異なる別の装置の機能として実現されてもよい。また、本実施形態に係る情報処理サーバ２０は、上記で説明した構成以外をさらに備えてもよい。本実施形態に係る情報処理サーバ２０の機能構成は、柔軟に変更され得る。
【００４７】
＜＜１．４．快・不快度に基づく出力制御の具体例＞＞
次に、本実施形態に係る快・不快度に基づく出力制御について、具体例を挙げて説明する。上述したとおり、本実施形態に係る出力制御部２２０は、推定部２１０が推定した対象者の快・不快度に基づいて、情報処理端末１０に係る出力制御を行うことができる。ここで、本実施形態に係る対象者には、物理的障壁により出力される情報の制御を行うことができない者、および心理的障壁により出力される情報の制御を行うことができない者が含まれる。以下、上記の物理的障壁および心理的障壁を伴う対象者に対する出力制御について詳細に説明する。
【００４８】
（物理的障壁を伴う対象者に対する出力制御例）
まず、本実施形態に係る物理的障壁を伴う対象者に対する出力制御例について説明する。本実施形態に係る物理的障壁を伴う対象者には、例えば、図１に示すような赤ん坊や動物など、物理的に情報処理端末１０を操作することができない者が含まれる。また、物理的障壁を伴う対象者には、操作方法を知らない客人、高齢者、障がい者、外国人なども含まれ得る。
【００４９】
すなわち、本実施形態に係る物理的障壁を伴う対象者は、出力に係る操作を自力で行うことが困難な者であってよい。本実施形態に係る情報処理サーバ２０によれば、上記のような物理的障壁を伴う対象者の情動に応じた柔軟な出力制御を行うことが可能となる。
【００５０】
より具体的には、本実施形態に係る出力制御部２２０は、例えば、対象者の快・不快度が閾値を下回ることに基づいて、情報処理端末１０による情報出力を停止させてもよい。図４は、本実施形態に係る出力制御部２２０による情報出力の停止制御について説明するための図である。図４には、情報処理端末１０が出力するアラーム音である出力情報ＳＯ１と、出力情報ＳＯ１に対して泣き声を上げる赤ん坊、すなわち物理的障壁を伴う対象者Ｔ１とが示されている。
【００５１】
この際、推定部２１０は、対象者Ｔ１の音声情報から泣き声を認識することで対象者Ｔ１の快・不快度が不快に傾いていることを推定してもよいし、画像情報から泣き顔を認識することで上記の推定を行ってもよい。また、本実施形態に係る出力制御部２２０は、推定部２１０が対象者Ｔ１の音声情報や画像情報などから推定した快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力情報ＳＯ１の出力を停止させることができる。
【００５２】
本実施形態に係る出力制御部２２０が有する上記の機能によれば、例えば、図４に示すように、赤ん坊のような物理的障壁を伴う対象者が出力情報を不快に感じている場合に、当該対象者に代わって出力情報を停止させることが可能となる。
【００５３】
また、本実施形態に係る出力制御部２２０は、例えば、対象者の快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力表現を変更させてもよい。図５は、本実施形態に係る出力制御部２２０による出力表現の変更制御について説明するための図である。図５には、情報処理端末１０が出力するアラーム音（図示しない）に対して泣き声を上げる対象者Ｔ１と、出力制御部２２０により変更された出力情報ＳＯ２とが示されている。
【００５４】
このように、本実施形態に係る出力制御部２２０は、例えば、赤ん坊である対象者が不快に感じているアラーム音などの出力表現を、別のアラーム音や音楽などの出力表現に変更させることができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、情報出力を停止せずとも、対象者の快・不快度を改善できる可能性を向上させることが可能となる。
【００５５】
また、この際、本実施形態に係る学習部２３０は、推定部２１０により推定された快・不快度と出力制御部２２０により生成された制御信号とを関連付けて学習してもよい。本実施形態に係る学習部２３０が上記の学習を繰り返し行うことで、対象者が不快に感じる出力情報や、対象者が好む出力情報などを特定し、効率的な出力制御を行うことが可能となる。
【００５６】
また、本実施形態に係る出力制御部２２０は、例えば、対象者の快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力モーダルを変更させてもよい。図６は、本実施形態に係る出力制御部２２０による出力モーダルの変更制御について説明するための図である。図６には、情報処理端末１０が出力するアラーム音（図示しない）に対して泣き声を上げる対象者Ｔ１と、出力制御部２２０により変更された出力情報ＳＯ３とが示されている。
【００５７】
このように、本実施形態に係る出力制御部２２０は、例えば、赤ん坊である対象者が不快に感じている聴覚情報に代えて、情報処理端末１０に視覚情報を出力させてもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者の快・不快度に基づいて、情報処理端末１０の出力モーダルを選択することができる。本実施形態に係る出力制御部２２０が有する上記の機能によれば、情報の精度を欠落させることなく、対象者の快・不快度を改善することが可能である。
【００５８】
以上、本実施形態に係る物理的障壁を伴う対象者に対する出力制御例について説明した。なお、上記の説明では、推定部２１０が、音声情報や画像情報に基づいて、赤ん坊である対象者Ｔ１の快・不快度を推定する場合を例に述べた。一方、上述したとおり、本実施形態に係る物理的障壁を伴う対象者は、係る例に限定されない。また、本実施形態に係る推定部２１０は、センサ情報から対象者の快・不快度を推定することもできる。
【００５９】
例えば、本実施形態に係る情報処理端末１０の操作方法を知らない客人である対象者であってもよい。この場合、本実施形態に係る推定部２１０は、対象者が情報処理端末１０から出力されるアラーム音を止めようとする操作行動、すなわち、停止スイッチを探す行動を情報処理端末１０が収集したセンサ情報から認識し、快・不快度の推定を行うこともできる。
【００６０】
（心理的障壁を伴う対象者に対する出力制御例）
次に、本実施形態に係る心理的障壁を伴う対象者に対する出力制御例について説明する。本実施形態に係る心理的障壁を伴う対象者は、情報処理端末１０の操作方法は理解しているが、出力に係る操作を行うことが心情的に困難な者と定義できる。
【００６１】
図７は、本実施形態に係る心理的障壁を伴う対象者について説明するための図である。図７には、情報処理端末１０が出力する出力情報Ｓ０４と、出力情報Ｓ４に対する対象者Ｔ３およびＴ４の発話ＵＯ１およびＵＯ２が示されている。ここで、出力情報ＳＯ４は、図４に示されるように、レストランなどの推薦情報であってよい。また、対象者Ｔ３は、情報処理端末１０の所持ユーザであってよい。
【００６２】
図７を参照すると、アジアンビストロを推薦する出力情報ＳＯ４に対し、対象者Ｔ３およびＴ４は共に肯定的な発話を行っている。しかし、図７に示すように、対象者Ｔ４は、内心では否定的な意見を抱いている。このように、家人や客人など、対象者Ｔ３とＴ４の関係によっては、心情的に本心を発言できない場合が想定される。すなわち、図４に示す対象者Ｔ４は、心理的障壁を伴う対象者といえる。
【００６３】
このような場合、本実施形態に係る情報処理サーバ２０は、心理的障壁を伴う対象者Ｔ４の快・不快度を推定し、当該快・不快度に基づいて情報処理端末１０の出力制御を行うことができる。より具体的には、本実施形態に係る出力制御部２２０は、第１の推薦情報の出力後に推定された対象者の快・不快度が閾値を下回ることに基づいて、第１の情報とは異なる第２の推薦情報を情報処理端末１０に出力させることができる。
【００６４】
図８は、本実施形態に係る出力制御部２２０による推薦情報の制御例を示す図である。図８には、情報処理端末１０が出力する出力情報ＳＯ５が示されており、ここで、出力情報ＳＯ５は、図７に示した出力情報ＳＯ４とは異なる推薦情報であってよい。すなわち、図８に示す一例では、出力制御部２２０は、図７に示した第１の情報である出力情報ＳＯ４とは異なる第２の推薦情報である出力情報ＳＯ５を、情報処理端末１０に出力させている。
【００６５】
なお、この際、本実施形態に係る推定部２１０は、図７に示した発話Ｕ０２から対象者Ｔ４の快・不快度を推定してよい。推定部２１０は、例えば、発話ＵＯ２に係る音声情報に含まれる発話音量、発話の間、フィラー語などの情報から、対象者Ｔ４の快・不快度が不快に傾いていることを推定することが可能である。
【００６６】
本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、心理的障壁を伴う対象者が推薦情報に対し肯定的な発言を行った場合であっても、当該対象者の内心を推定し異なる推薦情報を出力させることが可能となる。
【００６７】
また、本実施形態に係る出力制御部２２０は、図８に示したような、心理的障壁を伴う対象者に対する出力制御を行った場合、当該出力制御を行った旨を情報処理端末１０の所持ユーザである対象者Ｔ３に対し提示させてもよい。すなわち、本実施形態に係る出力制御部２２０は、快・不快度に基づく出力制御を行った場合、当該出力制御を行った理由を情報処理端末１０に出力させることができる。
【００６８】
図９は、本実施形態に係る制御理由の出力例を示す図である。図９には、対象者Ｔ３と、情報処理端末１０が出力する出力情報ＳＯ６とが示されている。ここで、出力情報ＳＯ６には、図９に示すように、図７に示した出力情報ＳＯ４に対する対象者Ｔ４の不快感が推定された旨を含んでよい。このように、本実施形態に係る出力制御部２２０は、図７および図８に示したような出力制御を行った後、当該出力制御を行った理由を所持ユーザである対象者Ｔ３に対し提示させることができる。
【００６９】
なお、この際、出力制御部２２０は、対象者Ｔ３のみが出力情報ＳＯ６を把握できるように制御を行ってよい。出力制御部２２０は、例えば、対象者Ｔ４の存在が検知されなくなったことに基づいて、出力情報ＳＯ６を音声出力させてもよいし、対象者Ｔ３が所持する別途の端末などに出力情報ＳＯ６を転送させてもよい。
【００７０】
本実施形態に係る出力制御部２２０が有する上記の機能によれば、情報処理端末の所持ユーザは、出力制御が行われた理由を明確に把握することができ、当該理由を情報処理端末１０および情報処理サーバ２０の設定や、今後の人間関係に活用することが可能となる。
【００７１】
また、本実施形態に係る出力制御部２２０は、第２の推薦情報を出力させる際、学習ＤＢ２４０に記憶される学習データに基づいて、出力制御を行ってもよい。図１０は、本実施形態に係る学習データに基づく出力制御の例を示す図である。図１０には、対象者Ｔ３およびＴ４の発話ＵＯ３〜ＵＯ５と、情報処理端末１０による出力情報ＳＯ７とが示されている。
【００７２】
ここで、発話ＵＯ３〜ＵＯ５は、図１０に示すように、対象者Ｔ４の嗜好に関する発話であってよい。本実施形態に係る学習部２３０は、例えば、発話ＵＯ５から、対象者Ｔ４がヨーロッパに関心があることを学習し、学習の結果を学習ＤＢ２４０に記憶させることができる。この際、学習部２３０は、対象者Ｔ４個人に特有の学習を行うこともできるし、対象者Ｔ４に係る学習データが蓄積されていない場合には対象者Ｔ４が属するクラスタに係る学習を行うこともできる。この場合、本実施形態に係る推定部２１０は、例えば、収集された音声情報や画像情報から対象者Ｔ４の性別や年齢などを推定することでクラスタリングを行うことができる。
【００７３】
本実施形態に係る出力制御部２２０は、上記のように学習された学習データに基づいて、出力制御を行ってよい。すなわち、図１０に示す出力情報ＳＯ７は、発話ＵＯ３〜ＵＯ５から学習された学習データに基づいた出力情報であってよい。出力制御部２２０は、学習ＤＢ２４０に記憶される学習データに基づいて、対象者Ｔ４の嗜好に合わせた第２の推薦情報である出力情報ＳＯ７を情報処理端末１０に出力させることができる。
【００７４】
以上、本実施形態に係る心理的障壁を伴う対象者に対する出力制御の例について説明した。なお、上記の説明では、心理的障壁を伴う対象者が情報処理端末１０の所持ユーザに本音を言うことが心情的に困難な客人などである場合を例に述べた。しかし、本実施形態に係る心理的障壁を伴う対象者は、係る例に限定されない。本実施形態に係る心理的障壁を伴う対象者は、情報処理端末１０の所持ユーザでもあり得る。例えば、所持ユーザが物理的に情報処理端末１０の操作を行える状況であっても、当該操作に対する煩わしさのために操作を行うことを躊躇している場合では、当該所持ユーザは心理的障壁を伴う対象者といえる。
【００７５】
図１１は、本実施形態に係る心理的障壁を伴う対象者が所持ユーザである場合の出力制御例を示す図である。図１１には、煩わしさのために情報処理端末１０の操作を躊躇っている対象者Ｔ３と、情報処理端末１０により出力される出力情報ＳＯ２とが示されている。ここで、対象者Ｔ３は、情報処理端末１０の所持ユーザであってよい。また、出力情報ＳＯ２は、出力制御部２２０により動的に変更されたアラーム音などの音声情報であってよい。
【００７６】
このように、本実施形態に係る出力制御部２２０は、所持ユーザである対象者Ｔ３の快・不快度が閾値を下回ることに基づいて、情報処理端末１０に出力させるアラーム音などを変更することができる。なお、この際、本実施形態に係る推定部２１０は、音声情報や画像情報に基づいて対象者Ｔ３の快・不快度を推定することができる。推定部２１０は、例えば、あるアラーム音が出力された際に対象者Ｔ３がため息や舌打ちをしたことから上記の推定を行ってもよい。また、推定部２１０は、例えば、あるアラーム音が出力された際に対象者Ｔ３が眉をひそめたことから上記の推定を行ってもよい。
【００７７】
本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、所持ユーザの操作負担を大幅に低減することが可能となる。なお、図示していないが、上記のような制御を行う場合、本実施形態に係る出力制御部２２０は、アラーム音などを変更するか否かの問い合わせを情報処理端末１０に出力させることもできる。この場合、出力制御部２２０はユーザの回答に基づくより効果的な出力制御を行うことができ、また、学習部２３０の学習効率の向上も期待される。
【００７８】
＜＜１．５．複数人の快・不快度に基づく出力制御＞＞
次に、本実施形態に係る複数人の快・不快度に基づく出力制御について詳細に説明する上記の説明では、推定部２１０が一人の対象者の快・不快度を推定し、出力制御部２２０が当該快・不快度に基づく出力制御を行う場合について述べた。一方、本実施形態に係る推定部２１０は複数人の対象者に係る快・不快度を推定してもよい。この場合、本実施形態に係る出力制御部２２０は、推定された複数人の快・不快度に基づいて出力制御を行うことができる。
【００７９】
例えば、本実施形態に係る出力制御部２２０は、推定部２１０が複数人の対象者の快・不快度を推定した場合、快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、情報処理端末１０による出力を不快に感じている対象者が一人でも存在する場合、当該出力を変更する制御を行うことができる。
【００８０】
図１２は、本実施形態に係る出力制御部２２０が、複数人の対象者がいる場合に、快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う場合の例を示す図である。図１２には、複数人の対象者Ｔ１およびＴ２と、情報処理端末１０により出力される出力情報ＳＯ１とが示されている。ここで、図１２に示すように、対象者Ｔ１は、出力情報ＳＯ１を不快と感じていない対象者であってよい。一方、図１２に示すように、対象者Ｔ２は、出力情報ＳＯ１を不快に感じている対象者である。
【００８１】
この場合、本実施形態に係る出力制御部２２０は、推定された対象者Ｔ２の快・不快度が閾値を下回っていることに基づいて、出力情報ＳＯ１の出力を停止させてよい。本実施形態に係る出力制御部２２０が有する上記の機能によれば、複数人の対象者がいる場合であっても、対象者一人ひとりを配慮した出力制御を行うことが可能となる。
【００８２】
また、例えば、本実施形態に係る出力制御部２２０は、推定部２１０が複数人の対象者の快・不快度を推定した場合、当該快・不快度の総和を向上させる出力制御を行うこともできる。例えば、本実施形態に係る出力制御部２２０は、集団としての快・不快度が最も高まるように出力制御を行ってよい。
【００８３】
図１３Ａおよび図１３Ｂは、本実施形態に係る出力制御部２２０が、複数人の対象者がいる場合に、快・不快度の総和を向上させる出力制御を行う場合の例を示す図である。図１３Ａには、情報処理端末１０による推薦情報である出力情報ＳＯ８と、出力情報ＳＯ８に対する対象者Ｔ３〜Ｔ５の発話ＵＯ６〜ＵＯ８とが示されている。ここで、対象者Ｔ３〜Ｔ５による発話ＵＯ６〜ＵＯ８は、図１３Ａに示すように、出力情報ＳＯ８に対して肯定的な（あるいは、否定的ではない）意見を示す内容であってよい。しかし、対象者Ｔ４およびＴ５は、心理的障壁を伴う対象者であり、内心では出力情報ＳＯ８に対し否定的な感情を有している。
【００８４】
このような場合、本実施形態に係る出力制御部２２０は、対象者Ｔ３〜Ｔ５の快・不快度の総和を向上させるように出力制御を行ってよい。出力制御部２２０は、例えば、学習ＤＢ２４０に記憶される対象者Ｔ３やＴ４に係る学習データ、または対象者Ｔ３やＴ４が属するクラスタに係る学習データに基づいて上記の制御を行うことができる。
【００８５】
図１３Ｂには、出力制御部２２０により変更された変更された出力情報である出力情報ＳＯ９と、出力情報ＳＯ９に対する対象者Ｔ３〜Ｔ５の発話ＵＯ９〜ＵＯ１１とが示されている。ここで、対象者Ｔ３〜Ｔ５による発話ＵＯ９〜ＵＯ１１は、図１３Ｂに示すように、出力情報ＳＯ９に対して肯定的な（あるいは、否定的ではない）意見を示す内容であってよい。ただし、対象者Ｔ４は、内心では出力情報ＳＯ９に対して中立的な感情を有している。
【００８６】
このように、本実施形態に係る出力制御部２２０は、対象者全員の快・不快度を快に傾けることが困難な場合などにおいては、快・不快度の総和の向上を優先させてよい。本実施形態に係る出力制御部２２０が有する上記の機能によれば、多数派の対象者を優先した出力制御を行いながらも、集団としての快・不快度を高く保つことが可能となる。
【００８７】
なお、図１３Ａおよび図１３Ｂを用いた上記の説明では、出力制御部２２０が単一の推薦情報を情報処理端末１０に出力させる場合について述べた。一方、本実施形態に係る出力制御部２２０は、複数の推薦情報を情報処理端末１０に出力させることができる。例えば、本実施形態に係る出力制御部２２０は、第１の推薦情報に対し肯定的な感情を有する対象者のグループと否定的な感情を有する対象者のグループが推定された場合、当該２つのグループに対してそれぞれ別の第２の推薦情報を出力させてよい。
【００８８】
出力制御部２２０が上記の制御を行うことにより、例えば、団体での旅行などにおいて行先に対する意見が分かれた場合であっても、それぞれのグループに属する対象者の快・不快度を向上させる、より効果の高い情報出力を行うことが可能となる。
【００８９】
＜＜１．６．快・不快度が閾値を上回る場合の出力制御の例＞＞
次に、本実施形態に係る快・不快度が閾値を上回る場合の出力制御の例について説明する。上記の説明では、本実施形態に係る出力制御部２２０が、推定された対象者の快・不快度が閾値を下回ることに基づいて出力制御を行う場合について述べた。一方、本実施形態に係る出力制御部２２０は、快・不快度が閾値を上回ることに基づいて出力制御を行ってもよい。すなわち、本実施形態に係る出力制御部２２０は、対象者の快・不快度が快に傾いていると推定されたことに基づいて、情報処理端末１０に係る出力制御を行うことができる。
【００９０】
図１４は、本実施形態に係る快・不快度が閾値を上回る場合の出力制御の例を示す図である。図１４には、動物である対象者Ｔ６およびＴ７と、情報処理端末１０による出力情報ＳＯ１０とが示されている。ここで、対象者Ｔ６およびＴ７はリラックスしている状態であり、対象者Ｔ６およびＴ７の快・不快度は快に傾いている状態であってよい。
【００９１】
この場合、本実施形態に係る出力制御部２２０は、推定部２１０により推定された対象者Ｔ６やＴ７の快・不快度が閾値を上回っていることに基づいて、情報処理端末１０に出力情報ＳＯ１０を出力させることができる。より具体的には、図１４に示される対象者Ｔ６やＴ７は、民家や店舗などに集まってきた野生動物などであってよい。本実施形態に係る出力制御部２２０は、野生動物である対象者Ｔ６やＴ７の快・不快度が閾値を上回ることに基づいて、対象者Ｔ６やＴ７を追い払うための出力情報ＳＯ１０を情報処理端末１０に出力させることができる。この際、出力制御部２２０は、例えば、人間の可聴域よりも高い周波数の不快音を出力させることで、周囲の人間には影響を与えずに野生動物を追い払うこともできる。
【００９２】
本実施形態に係る出力制御部２２０が有する上記の機能によれば、野生動物を追い払う必要がある場合などにのみ高周波音を出力させることができ、情報出力に係る電力消費などを低減することも可能である。
【００９３】
なお、図１４に示す一例の場合、推定部２１０は、例えば、収集されたセンサ情報から対象者Ｔ６やＴ７の快・不快度を推定してもよい。推定部２１０は、例えば、情報処理端末１０が備える赤外線センサなどにより、対象者Ｔ６やＴ７が所定時間以上、領域内に留まっていることが検知されたことに基づいて、対象者Ｔ６やＴ７の快・不快度が快に傾いていることを推定してもよい。
【００９４】
また、図１５は、本実施形態に係る快・不快度が閾値を上回る場合の出力制御を示す別の例である。図１５には、家畜である対象者Ｔ８と、情報処理端末１０による出力情報ＳＯ１１とが示されている。ここで、対象者Ｔ８はリラックスしている状態であり、対象者Ｔ８の快・不快度は快に傾いている状態であってよい。
【００９５】
この場合、本実施形態に係る出力制御部２２０は、推定部２１０により推定された対象者Ｔ８の快・不快度が閾値を上回っていることに基づいて、情報処理端末１０に出力情報ＳＯ１１を出力させることができる。例えば、出力制御部２２０は、家畜である対象者Ｔ８の快・不快度がより高くなるような出力情報ＳＯ１１を情報処理端末１０に出力させてもよい。また、出力制御部２２０は、対象者Ｔ８の快・不快度が閾値を上回る場合に、所定のアラーム音や音楽などを出力させてもよい。この場合、いわゆるパブロフの犬のような条件反射における条件付けを行うことができ、家畜などをより効率的に扱うことが可能となる。
【００９６】
＜＜１．７．情報処理サーバ２０の動作＞＞
次に、本実施形態に係る情報処理サーバ２０の動作について詳細に説明する。図１６は、本実施形態に係る情報処理サーバ２０の動作を示すフローチャートである。なお、以下の説明では、情報処理サーバ２０が対象者の快・不快度が閾値を下回る場合に行う出力制御の例について述べる。
【００９７】
図１６を参照すると、まず、情報処理サーバ２０の通信部２５０は、情報処理端末１０が収集した音声情報、画像情報、センサ情報などを受信する（Ｓ１１０１）。
【００９８】
次に、推定部２１０は、ステップＳ１１０１で受信した各種の情報に基づいて、対象者の快・不快度を推定する（Ｓ１１０２）。この際、推定部２１０は、複数人の快・不快度に係る推定を行ってもよい。また、上述したように、推定部２１０は、学習ＤＢ２４０に記憶される学習データに基づいて、快・不快度の推定を行うこともできる。また、この際、学習部２３０はステップＳ１１０１で取得した各種の情報と、ステップＳ１１０２で推定された快・不快度とを関連付けて学習し、学習データを学習ＤＢ２４０に記憶させてよい。
【００９９】
次に、出力制御部２２０は、ステップＳ１１０２で推定された対象者の快・不快度が閾値を下回るか否かを判定する（Ｓ１１０３）。
【０１００】
ここで、快・不快度が閾値以上である場合（Ｓ１１０３：ＮＯ）、情報処理サーバ２０は、出力制御に係る一連の処理を終了する。
【０１０１】
一方、快・不快度が閾値を下回る場合（Ｓ１１０３：Ｙｅｓ）、出力制御部２２０は、学習ＤＢ２４０から対象者、または対象者が属するクラスタに係る学習データを取得する（Ｓ１１０４）。
【０１０２】
ステップＳ１１０４が完了すると、続いて、出力制御部２２０は、ステップＳ１１０２で推定された対象者の快・不快度と、ステップＳ１１０４で取得された学習データに基づいて、情報処理端末１０を制御するための制御信号を生成する（Ｓ１１０５）。また、この際、学習部２３０は、ステップＳ１１０２で推定された快・不快度と、上記の制御信号とを関連付けて学習し、学習データを学習ＤＢ２４０に記憶させてよい。
【０１０３】
次に、通信部２５０は、ステップＳ１１０５で生成された制御信号を情報処理端末１０に送信し（Ｓ１１０６）に送信し、情報処理サーバ２０は、一連の処理を終了する。
【０１０４】
以上、本実施形態に係る情報処理サーバ２０の動作の流れについて詳細に説明した。なお、上記では、情報処理サーバ２０が対象者の快・不快度が閾値を下回る場合の制御例について説明したが、上述したとおり、本実施系多に係る情報処理サーバ２０は、快・不快度が閾値を上回ることに基づいて出力制御を行うこともできる。この場合、図１６に示すステップＳ１１０３において、出力制御部２２０は、快・不快度が閾値を上回るか否かの判定を行ってよい。
【０１０５】
＜２．ハードウェア構成例＞
次に、本開示に係る情報処理端末１０及び情報処理サーバ２０に共通するハードウェア構成例について説明する。図１７は、本開示に係る情報処理端末１０及び情報処理サーバ２０のハードウェア構成例を示すブロック図である。図１７を参照すると、情報処理端末１０及び情報処理サーバ２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、情報処理端末１０及び情報処理サーバ２０は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１０６】
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１０７】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１０８】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１０９】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０１１０】
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【０１１１】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１１２】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１１３】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１１４】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１１５】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１１６】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１１７】
＜３．まとめ＞
以上説明したように、本開示に係る情報処理サーバ２０は、対象者に係る音声情報、画像情報、センサ情報などからノンバーバル表現を抽出し、当該対象者の快・不快度を推定する機能を有する。また、本開示に係る情報処理サーバ２０は、推定した快・不快度に基づいて、情報処理端末１０に係る出力制御を行うことができる。係る構成によれば、対象者が出力に係る操作を行うことが困難な場合でも、当該ユーザの情動に応じた動的な出力制御を行うことが可能となる。
【０１１８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１９】
例えば、上記実施形態では、快・不快度が一次元情報である場合を例に説明したが、本技術はかかる例に限定されない。例えば、本開示に係る快・不快度は、例えば二次元ベクトルのような指向性を有する二次元情報であってもよい。この場合、推定部２１０は、情報処理サーバ２０は、より高精度な快・不快度を推定することができ、効果の高い出力制御を行うことが可能となる。
【０１２０】
また、本明細書の情報処理サーバ２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理サーバ２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
対象者に係る音声情報から抽出したノンバーバル表現に基づいて前記対象者の快・不快度を推定する推定部と、
前記推定部により推定された前記快・不快度に基づいて出力制御を行う出力制御部と、
を備える、
情報処理装置。
（２）
前記音声情報から抽出されるノンバーバル表現は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
前記（１）に記載の情報処理装置。
（３）
前記推定部は、前記対象者に係る画像情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
前記（１）または（２）に記載の情報処理装置。
（４）
前記画像情報から抽出されるノンバーバル表現は、前記対象者の表情、視線、まばたき、または心理的動作のうち少なくとも１つを含む、
前記（３）に記載の情報処理装置。
（５）
前記対象者は、物理的障壁により出力される情報の制御を行うことができない者を含む、
前記（１）〜（４）のいずれかに記載の情報処理装置。
（６）
前記対象者は、心理的障壁により出力される情報の制御を行うことができない者を含む、
前記（１）〜（５）のいずれかに記載の情報処理装置。
（７）
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力制御を行う、
前記（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、情報出力を停止させる、
前記（１）〜（７）のいずれかに記載の情報処理装置。
（９）
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力表現を変更させる、
前記（１）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記出力制御部は、前記対象者の前記快・不快度が閾値を下回ることに基づいて、出力モーダルを変更させる、
前記（１）〜（９）のいずれかに記載の情報処理装置。
（１１）
前記出力制御部は、第１の推薦情報の出力後に推定された前記対象者の前記快・不快度が閾値を下回ることに基づいて、前記第１の推薦情報とは異なる第２の推薦情報を出力させる、
前記（１）〜（１０）のいずれかに記載の情報処理装置。
（１２）
前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度が閾値を下回る対象者が存在することに基づいて出力制御を行う、
前記（１）〜（１１）のいずれかに記載の情報処理装置。
（１３）
前記出力制御部は、前記推定部が複数人の対象者の前記快・不快度を推定した場合、前記快・不快度の総和を向上させる出力制御を行う、
前記（１）〜（１２）のいずれかに記載の情報処理装置。
（１４）
前記出力制御部は、学習データに基づいて出力制御を行う、
前記（１）〜（１３）のいずれかに記載の情報処理装置。
（１５）
前記出力制御部は、前記対象者に特有の学習データに基づいて出力制御を行う、
前記（１）〜（１４）のいずれかに記載の情報処理装置。
（１６）
前記出力制御部は、前記対象者が分類されるクラスタに係る学習データに基づいて出力制御を行う、
前記（１）〜（１５）のいずれかに記載の情報処理装置。
（１７）
前記出力制御部は、前記快・不快度に基づく出力制御を行った場合、当該出力制御を行った理由を出力させる、
前記（１）〜（１６）のいずれかに記載の情報処理装置。
（１８）
前記推定部は、前記対象者に係るセンサ情報から抽出したノンバーバル表現に基づいて前記対象者の前記快・不快度を推定する、
前記（１）〜（１７）のいずれかに記載の情報処理装置。
（１９）
対象者に係る音声情報を収集する収集部と、
制御信号に基づく情報出力を行う出力部と、
を備え、
前記出力部は、前記音声情報から抽出されるノンバーバル表現により推定される前記対象者の快・不快度に基づいて生成された前記制御信号に基づく情報出力を行う、
情報処理装置。
（２０）
前記音声情報は、前記対象者の発話速度、発話周波数、発話音量、発話の間、発話の明瞭さ、またはフィラー語のうち少なくとも１つを含む、
前記（１９）に記載の情報処理装置。
【符号の説明】
【０１２３】
１０      情報処理端末
１１０    収集部
１２０    出力部
１３０    サーバ通信部
２０      情報処理サーバ
２１０    推定部
２２０    出力制御部
２３０    学習部
２４０    学習ＤＢ
２５０    通信部
３０      ネットワーク
【図１】
2018061346.tif 000003
【図２】
2018061346.tif 000004
【図３】
2018061346.tif 000005
【図４】
2018061346.tif 000006
【図５】
2018061346.tif 000007
【図６】
2018061346.tif 000008
【図７】
2018061346.tif 000009
【図８】
2018061346.tif 000010
【図９】
2018061346.tif 000011
【図１０】
2018061346.tif 000012
【図１１】
2018061346.tif 000013
【図１２】
2018061346.tif 000014
【図１３Ａ】
2018061346.tif 000015
【図１３Ｂ】
2018061346.tif 000016
【図１４】
2018061346.tif 000017
【図１５】
2018061346.tif 000018
【図１６】
2018061346.tif 000019
【図１７】
2018061346.tif 000020
【国際調査報告】
2018061346.tif 000021
2018061346.tif 000022
2018061346.tif 000023
2018061346.tif 000024