(57)【要約】【課題】ユーザのセンシング情報を用いて他ユーザの感情を認識することが可能な情報処理装置、制御方法、およびプログラムを提供する。【解決手段】センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、を備える、情報処理装置。
2016170810.tif 000002
【特許請求の範囲】
【請求項１】
センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、  前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、を備える、情報処理装置。
【請求項２】
前記ユーザに関する情報は、前記ユーザの生体情報である、請求項１に記載の情報処理装置。
【請求項３】
前記生体情報は、心拍センサ値、または発汗センサ値を含み、  前記感情認識部は、前記生体情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、請求項２に記載の情報処理装置。
【請求項４】
前記感情認識部は、前記生体情報から抽出した特徴量に基づいて認識した前記ユーザの感情と一致、類似、または相関する感情を前記他ユーザの感情として認識する、請求項２に記載の情報処理装置。
【請求項５】
前記ユーザに関する情報は、さらに前記ユーザの活動量情報を含む、請求項２に記載の情報処理装置。
【請求項６】
前記活動量情報は、加速度センサ値、角速度センサ値、歩数計値、または地磁気センサ値を含む、請求項５に記載の情報処理装置。
【請求項７】
前記他ユーザに関する情報は、前記他ユーザの表情情報である、請求項２に記載の情報処理装置。
【請求項８】
前記表情情報は、前記他ユーザを撮像した顔画像から抽出された特徴点に基づく口角または眉の位置を含み、  前記感情認識部は、さらに前記表情情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、請求項７に記載の情報処理装置。
【請求項９】
前記他ユーザに関する情報は、収音された前記他ユーザの音声情報、検知された姿勢情報、または赤外線画像から取得された温度情報を含む、請求項７に記載の情報処理装置。
【請求項１０】
前記ユーザに関する情報および前記他ユーザに関する情報は、前記ユーザが所持するセンサ装置から得られる、請求項２に記載の情報処理装置。
【請求項１１】
前記感情認識部は、センシングされた第三者の生体情報を参照して前記他ユーザの感情を認識する、請求項２に記載の情報処理装置。
【請求項１２】
前記情報処理装置は、  前記感情認識部により認識された他ユーザの感情に関する情報を蓄積する記憶部から抽出した他ユーザ感情履歴に基づいて、前記他ユーザの未来の感情を推測する感情推測部をさらに備える、請求項１に記載の情報処理装置。
【請求項１３】
前記通知制御部は、前記他ユーザの感情の推移を時系列で表示するよう制御する、請求項１に記載の情報処理装置。
【請求項１４】
前記通知制御部は、前記感情推測部の推測結果に基づいて、前記他ユーザの感情予報を表示するよう制御する、請求項１２に記載の情報処理装置。
【請求項１５】
前記情報処理装置は、  前記他ユーザの感情に応じて所定の行動をユーザに提案する行動提案部をさらに備える、請求項１に記載の情報処理装置。
【請求項１６】
前記感情推測部は、現在の他ユーザの感情を推測し、  前記通知制御部は、前記推測された他ユーザの感情をリアルタイムでユーザに通知するよう制御する、請求項１２に記載の情報処理装置。
【請求項１７】
前記感情推測部は、前記他ユーザ感情履歴と、前記他ユーザの行為関連情報とに基づいて、前記他ユーザの感情を推測する、請求項１２に記載の情報処理装置。
【請求項１８】
センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識することと、  前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう通知制御部により制御することと、を含む、制御方法。
【請求項１９】
コンピュータを、  センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、  前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、情報処理装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】  近年、人の感情（心理状態）を生体情報に基づいて推定し、推定した生体情報に応じて装置を制御する技術が提案されている。【０００３】  例えば、下記特許文献１では、被写体となる人物の心理状態を反映した撮影パラメータを設定して撮像を行う撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２３９９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  上記特許文献１に記載の技術では、被写体に装着されたセンサ装置により測定した脈拍数、発汗量、呼吸数や、撮影者が所有する撮像装置によって撮像された撮像画像から解析された被写体の眼球運動や瞬き等に基づいて、被写体の心理状態を検出している。【０００６】  しかしながら、このような技術では、撮影を行う際に被写体である他者にセンサ装置の装着を強いるため、ユーザビリティが悪く、実用的ではないという問題があった。【０００７】  そこで、本開示では、ユーザのセンシング情報を用いて他ユーザの感情を認識することが可能な情報処理装置、制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】  本開示によれば、センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、を備える、情報処理装置を提案する。【０００９】  本開示によれば、センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識することと、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう通知制御部により制御することと、を含む、制御方法を提案する。【００１０】  本開示によれば、コンピュータを、センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、として機能させるための、プログラムを提案する。
【発明の効果】
【００１１】  以上説明したように本開示によれば、ユーザのセンシング情報を用いて他ユーザの感情を認識することが可能となる。【００１２】  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態による情報処理システムの概要について説明する図である。
【図２】第１の実施形態による情報処理装置の構成の一例を示すブロック図である。
【図３】感情の２次元円環モデルを示す図である。
【図４】２次元円環モデルにおけるユーザと他者の感情のマッピングが相似することを説明する図である。
【図５】本実施形態による他者感情（快−不快）の推移を表すグラフの一例を示す図である。
【図６】本実施形態による他者感情認識処理を示すフローチャートである。
【図７】本実施形態による他者スケジュール情報と併せたグラフによる他者感情の表示の一例を示す図である。
【図８】本実施形態による機嫌予報形式の他者感情の表示の一例を示す図である。
【図９】本実施形態による機嫌予報形式の他者感情の表示の他の例を示す図である。
【図１０】ＡＲ技術を用いた他者感情の表示通知の一例を示す図である。
【図１１】本実施形態による他者感情の推測結果をスケジュール管理アプリケーションから出力した場合の表示画面例を示す図である。
【図１２Ａ】他者側にも自己測定センサが配置される場合について説明する図である。
【図１２Ｂ】第三者側にも自己測定センサが配置される場合について説明する図である。
【図１３】第２の実施形態による情報処理装置の構成の一例を示すブロック図である。
【図１４】第３の実施形態による情報処理装置の構成の一例を示すブロック図である。
【図１５】第４の実施形態による情報処理装置の構成の一例を示すブロック図である。
【図１６】第４の実施形態による行動提案の一例を示す図である。
【図１７】第５の実施形態による情報処理装置の構成の一例を示すブロック図である。
【図１８】第５の実施形態によるインタスタントメッセージ画面の一例について説明するための図である。
【図１９】本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１４】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】  また、説明は以下の順序で行うものとする。  １．本開示の一実施形態による情報処理システムの概要  ２．各実施形態    ２−１．第１の実施形態      ２−１−１．構成      ２−１−２．動作    ２−２．第２の実施形態    ２−３．第３の実施形態    ２−４．第４の実施形態    ２−５．第５の実施形態  ３．情報処理装置１のハードウェア構成  ４．まとめ
【００１６】  ＜＜１．本開示の一実施形態による情報処理システムの概要＞＞  本開示の一実施形態による情報処理システムは、他者と交流しているユーザからセンシングしたセンサ値に基づいて他者の感情を認識することを可能とする。
【００１７】  従来、他者の感情（心理状態）を認識するためには、他者にセンサ装置を装着したり、他者を撮像した撮像画像を解析したりする必要があった。しかしながら、他者の感情を知るために他者にセンサ装置の装着を強いるのは実用的ではなかった。また、他者が感情を偽るために意図的に顏の表情を変えている場合もあり、正確性に欠けていた。
【００１８】  ここで、他者と交流している際、ユーザの感情は他者の影響を受けていることが想定される。例えば他者と対面して会話を行っている際のユーザの感情と当該他者の感情は相関性が高く、ユーザが喜びを感じている場合は他者も喜びを感じているというように二者の感情が一致する場合が多い。
【００１９】  そこで、本開示による情報処理システムでは、ユーザからセンシングした生体情報等に基づいてユーザの感情を認識し、当該感情と一致、類似、または相関する感情を、ユーザと交流している他者（相手）の感情として認識する。これにより、本システムを用いて交流相手である他者の感情を認識する際には、ユーザが自ら所定のセンサ装置を装着（または所有）すればよく、他者にセンサ装置の装着を強いる必要がないため、実用的であって、利便性が向上する。以下、図１を参照してこのような本開示による情報処理システムの概要について説明する。
【００２０】  図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、ユーザと他者Ｐが対面して会話を行っている際に、ユーザに装着された情報処理装置１は、自己測定センサによりセンシングされたユーザの生体情報等および他者測定センサによりセンシングされた他者Ｐの撮像画像等に基づいて、他者Ｐの感情を認識する。情報処理装置１は、例えば図１に示すような透過式メガネ型端末（スマートアイグラス）により実現され、認識した他者Ｐの感情をレンズ部分に表示したり音声出力したりしてユーザに通知する。これにより、ユーザは、他者Ｐと一緒にいる際に、他者Ｐにセンサ装置の装着を強いることなく、他者Ｐの感情をリアルタイムに知ることができる。
【００２１】  また、他者Ｐの撮像画像を用いて他者Ｐの表情のみに基づいて他者感情を認識すると、上述したように他者が感情を偽るために意図的に顏の表情を変えている場合もあり正確性に欠けるが、本実施形態では他者Ｐの影響を受けているユーザの生体情報等も利用するため、より正確に他者Ｐの感情を認識することができる。
【００２２】  また、自己測定センサおよび他者測定センサの少なくとも一部は、ユーザが装着する情報処理装置１に搭載されていてもよいし、ユーザが装着する他のウェアラブル装置（例えばスマートバンド、スマートウォッチ、首掛け型デバイス等）に搭載されていてもよい。また、自己測定センサおよび他者測定センサの少なくとも一部は、ユーザが所有するモバイル端末（例えば携帯電話端末、スマートフォン、タブレット端末等）に搭載されていてもよい。
【００２３】  以上説明した本開示による情報処理システムについて、以下複数の実施形態を用いて具体的に説明する。
【００２４】  ＜＜２．各実施形態＞＞  ＜２−１．第１の実施形態＞  まず、本開示の第１の実施形態について図２〜図１１を参照して具体的に説明する。
【００２５】  （２−１−１．構成）  図２は、第１の実施形態による情報処理装置１−１の構成の一例を示すブロック図である。図２に示すように、情報処理装置１−１は、自己測定センサ値取得部１０、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、および出力制御部１９を有する。
【００２６】  自己測定センサ値取得部１０は、ユーザに装着または所有された自己測定センサにより検知されたセンサ値を取得する。自己測定センサは、例えば脈波計や心電計などの心拍計、呼吸数計、発汗センサ、心弾動計、体温計、血圧計、血糖計、視線検出装置、または瞳孔計測装置等の生体情報を検知する生体センサにより実現されてもよい。また、自己測定センサは、例えば加速度センサ、角速度センサ、歩数計、または地磁気センサ等の活動量情報を検知する活動量センサにより実現されてもよい。また、これらの組合せとして実現されてもよい。
【００２７】  各種自己測定センサは、ユーザに装着されるウェアラブルデバイス（例えばスマートアイグラスにより実現される情報処理装置１、スマートバンド、スマートウォッチ、または首掛け型デバイス等）に搭載されていてもよいし、ユーザのモバイル端末に搭載されていてもよい。情報処理装置１の外部装置として自己測定センサが存在する場合、自己測定センサ値取得部１０は、無線または有線通信により外部の自己測定センサからセンサ値を受信する。
【００２８】  他者測定センサ値取得部１１は、他者をセンシングする他者測定センサにより検知されたセンサ値を取得する。他者測定センサは、例えばカメラ、マイクロホン、深度計、近接センサ、人感センサ、サーモグラフィ等により実現されてもよいし、これらの組合せとして実現されてもよい。また、他者測定センサは、ユーザに装着されるウェアラブルデバイスに搭載されていてもよいし、ユーザが所有するモバイル端末に搭載されていてもよい。また、他者測定センサは、他者の感情が第三者の感情にも影響するという観点から、一緒に居る第三者をセンシングすることも可能である。
【００２９】  本明細書において、他者とは、本システムによる感情認識の対象者であって、ユーザと会話等により交流している相手（直接対面している相手、または電話等を介して直接対面はしていないが交流している相手）である。また、第三者とは、感情認識の対象者である相手以外の人物であって、ユーザおよび他者と会話等により交流している人物である。
【００３０】  他者感情認識部１２は、自己測定センサ値取得部１０により取得された自己測定センサ値および他者測定センサ値取得部１１により取得された他者測定センサ値に基づいて、他者の感情を認識する。他者測定センサ値取得部１１により取得される他者測定センサ値は、他者に関するセンサ値の他、上述したように他者の感情が第三者の感情にも影響するという観点から、第三者をセンシングしたセンサ値であってもよい。また、人の感情の分類方法は様々提案されており、本実施形態では、例えばラッセル（Russell）による２次元円環モデルによる感情分類方法を用いる。図３は、感情の２次元円環モデルを示す図である。図３に示す２次元円環モデルでは、覚醒度の程度（覚醒−鎮静）と快感情の程度（快−不快）の二次元上の軸に各感情を円環上に配することで感情全体を包括している。なお他の例としては、例えばポール・エクマン（Paul Ekman）により提唱された、驚き、恐怖、怒り、嫌悪、悲しみ、幸福の六感情による分類が挙げられる。
【００３１】  ここで、多くの場合、ユーザは交流している他者（相手）の影響を受け、ユーザの感情と他者の感情は、一致乃至は類似、若しくは相関することが多い。すなわち、一緒に居る二者の感情を２次元円環モデルにマッピングすると、図４に示すように、ユーザと他者の感情のマッピングが相似することが多い。
【００３２】  そこで、本実施形態による他者感情認識部１２は、各センサ値に基づいてユーザの感情を認識し、当該感情と一致乃至は類似、若しくは相関する感情を他者の感情と認識する。なお相関する感情には、ユーザの感情と反する感情も含まれる。
【００３３】  より具体的には、他者感情認識部１２は、自己測定センサ値から抽出した特徴量と、他者センサから抽出した特徴量とに基づいて、SVM（support vector machine）やディープ・ラーニング等の機械学習的手法および統計的手法等を用いて他者感情を認識することが可能である。
【００３４】  自己測定センサ値から抽出される特徴量としては、例えば自己測定センサが脈波計の場合、R-R間隔、インタバルの平均値、二乗平均平方根、LF/HF比（低周波成分LF（Low Frequency）と高周波成分HF（High Frequency）の比）等が特徴量として抽出される。また、自己測定センサが呼吸数測定センサの場合、呼吸数の平均値、二乗平均平方根等が特徴量として抽出されてもよい。また、自己測定センサが発汗センサの場合、皮膚コンダクタンスレベル（SCL）等が特徴量として抽出されても。また、自己測定センサが加速度センサの場合、ピーク値、平均速度等が特徴量として抽出されてもよい。
【００３５】  また、他者測定センサ値から抽出される特徴量としては、例えば他者測定センサがカメラの場合、撮像画像（静止画／動画）から濃淡値、勾配値、４方向面特徴、ＨＯＧ特徴、Haar-like特徴等が特徴量として抽出される。また、撮像画像から顔が検出できた場合、さらに口角、眉、唇、瞼の上がり・下がり具合や、口、目の開閉等の表情に関する情報が特徴量として抽出されてもよい。また、撮像画像から身体が検出できた場合、他者の姿勢や動きに関する情報が特徴量として抽出されてもよい。また、他者測定センサがサーモグラフィの場合、赤外線画像から他者の温度情報が特徴量として抽出されてもよい。また、他者測定センサがマイクロホンの場合、他者の声の基本周波数や音圧、発話速度、第１から第３までのフォルマントおよびその帯域幅等が特徴量として抽出されてもよい。
【００３６】  他者感情認識部１２は、特に自己測定センサ値に関しては脈波計から得られるLF/HF比、発汗センサから得られるSCL、および他者測定センサ値に関してはカメラから得られる口角、眉の上がり・下がり具合等の特徴量を、機械学習的手法に基づく認識アルゴリズムに入力して他者感情を認識することが可能である。
【００３７】  他者感情に用いる認識アルゴリズムは、例えば次に説明する４つのケースが考えられる。まず、ケース１として、ユーザと感情認識の対象者（他者）に依存しない汎用的なもの、つまり個人に特化されていない認識アルゴリズムが想定される。また、ケース２として、ユーザごとに生成されたもの、つまりユーザ個人に特化された認識アルゴリズムが想定される。また、ケース３として、感情認識の対象者（他者）ごとに生成されたもの、つまり他者個人に特化された認識アルゴリズムが想定される。また、ケース４として、ユーザと感情認識の対象者（他者）ごとに生成されたもの、つまりユーザと特定の他者との組み合わせに特化された認識アルゴリズムが想定される。上述したケース１の認識アルゴリズムは例えば予め情報処理装置１−１に格納され、また、上述したケース２〜ケース４の認識アルゴリズムは他者感情認識部１２により生成されてもよい。
【００３８】  感情認識管理部１３は、他者感情認識部１２による認識結果を他者感情情報記憶部１４で管理する機能を有する。具体的には、感情認識管理部１３は、他者感情認識部１２による認識結果を他者感情情報記憶部１４に記憶させる。この際、感情認識管理部１３は、他者感情認識時に他者情報取得部１５により取得した、他者感情と相関の高い他者情報（スケジュール情報、生理現象情報、または収支情報等の行為関連情報）を他者感情に関連付けて記憶させてもよい。
【００３９】  他者感情情報記憶部１４は、他者感情認識部１２による認識結果を記憶するデータベースである。
【００４０】  他者情報取得部１５は、ネットワーク上の所定サーバ等から、他者に関する各種情報を取得する。例えば他者情報取得部１５は、SNS（Social Networking Service）等のサービス、企業や教育機関などにあるデータベースなどから、他者に関する各種情報を取得する。他者に関する各種情報の具体例としては、生理現象関連（月経周期、食事、排泄、躁鬱、薬物の摂取など）、スケジュール関連（友人・知人との交友、会議への出席、納期、出張、出勤・退勤、登校・下校、受験、休暇など）、収支関連（給与・賞与の振込み、購買履歴、銀行口座からの引き出し・預け入れなど）、その他（贔屓のスポーツ・チームの勝敗、株価の変動など）が想定される。なお、取得される他者情報は、ユーザと他者との関係性に応じて制限されてもよい。例えば生理現象関連の他者情報の取得はユーザと他者が家族の場合に限定されてもよい。
【００４１】  他者情報管理部１６は、他者情報取得部１５により取得された他者情報を他者情報記憶部１７で管理する機能を有する。具体的には、他者情報管理部１６は、他者情報取得部１５により取得された他者情報を他者情報記憶部１７に記憶させる。
【００４２】  他者情報記憶部１７は、他者情報取得部１５により取得された他者情報を記憶するデータベースである。
【００４３】  他者感情推測部１８は、他者感情情報記憶部１４に記憶されている過去の他者感情情報（他者感情履歴とも称する）と、他者情報記憶部１７に記憶されている他者情報（具体的には他者の行為関連情報）とに基づいて、他者の未来の感情を推測する。例えば他者感情推測部１８は、統計的手法などでトレンド推測を行い、他者情報で示される状況から他者の未来の感情を推測する。具体的には、他者感情推測部１８は、「会議への出席」「納期」の時期には一般的に機嫌が悪い傾向がある（緊張、憂鬱の感情になる傾向がある）、「給与・賞与の振込み」の時期には一般的に機嫌が良い傾向がある（嬉しい、明るい感情になる傾向がある）といった推測を行って他者の未来の感情を推測することが可能である。また、他者感情情報記憶部１４に他者感情と他者情報が関連付けて蓄積されている場合、他者感情推測部１８は、過去の他者感情履歴を用いて他者固有の感情の傾向を推測し、他者感情を推測することも可能である。
【００４４】  出力制御部１９は、他者感情認識部１２により認識された他者感情をユーザに通知するよう出力装置（不図示）からの出力制御を行う。ユーザへの通知は、表示通知であってもよいし、音声通知であってもよい。また、出力制御部１９は、他者感情認識部１２により認識された他者感情をリアルタイムでユーザに通知するよう制御することで、ユーザと現在一緒にいる他者（相手）の現在の感情をユーザに知らせることができる。また、出力制御部１９は、他者感情推測部１８により推測された未来の他者感情をユーザに通知してもよい。出力装置（不図示）は、情報処理装置１−１がスマートアイグラスにより実現されている場合は装着時にユーザの眼前に位置するレンズ部分に相当する透過型表示装置であってもよいし、装着時にユーザの耳付近に位置するスピーカであってもよい。スピーカは指向性スピーカや骨伝導スピーカで実現することで他者感情をより確実にユーザのみに通知することができる。また、出力制御部１９は、情報処理装置１−１に設けられている表示装置や音声出力装置に限定されず、ユーザが所有するモバイル端末に設けられている表示装置や音声出力装置等、外部装置に通知情報を送信して外部装置から出力させてもよい。
【００４５】  また、出力制御部１９は、他者感情を図表で表して表示通知してもよい。以下、図５に一例を示して説明する。
【００４６】  図５は、本実施形態による他者感情（快−不快）の推移を表すグラフの一例を示す図である。図５では、過去の蓄積された他者感情、現在の認識された他者感情、および未来の推測された他者感情の時系列に応じた推移がグラフで表されている。図５に示すグラフにより、ユーザは他者（相手）の機嫌が徐々に良くなってきていて、この後悪くなることが直感的に把握できる。
【００４７】  以上、本実施形態による情報処理装置１−１の構成について具体的に説明した。なお情報処理装置１−１の構成は図２に示す例に限定されず、例えば少なくとも一部がネットワーク上（所謂クラウド）にあってもよい。
【００４８】  （２−１−２．動作）  続いて、本実施形態による動作処理について図６を参照して説明する。図６は、本実施形態による他者感情認識処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、情報処理装置１−１の自己測定センサ値取得部１０は、自己測定センサからユーザのセンシングデータ（自己測定センサ値とも称す）を取得する。この際、自己測定センサ値取得部１０は、取得したデータに対してノイズ除去やリサンプリングを施し、後段の処理で利用し易いデータに整形する。
【００４９】  次に、ステップＳ１０６において、他者測定センサ値取得部１１は、他者測定センサから他者のセンシングデータ（他者測定センサ値とも称す）を取得する。この際、他者測定センサ値取得部１１は、取得したデータに対してノイズ除去やリサンプリングを施し、後段の処理で利用し易いデータに整形する。また、本実施形態において他者とは、ユーザと交流している相手であって、例えばユーザと対面して会話を行っている人物が想定される。
【００５０】  次いで、ステップＳ１０９において、他者感情認識部１２は、自己測定センサ値および他者測定センサ値から各データの特徴量を抽出する。例えば他者感情認識部１２は、自己測定センサ値に関しては、心拍センサから得られるLF/HF比や発汗センサから得られるSCL、他者測定センサに関しては、カメラから得られる口角、眉等の特徴量を抽出する。
【００５１】  続いて、ステップＳ１１２において、他者感情認識部１２は、感情を認識する対象者（他者）の認識を行う。具体的には、他者感情認識部１２は、他者測定センサから得た他者測定センサ値の特徴量に基づいて、ユーザと対面している他者を認識する。他者の認識は、他者の存在有無（ユーザが誰かと一緒に居るか否か）の判別であってもよいし、他者がユーザの知人であるか否かの判別を行うものであってもよい。他者の存在有無の判別は、例えば会話認識結果に基づき、ユーザと対話しているか否かに応じて行われる。また、図６に示すフローでは他者感情認識の対象者をユーザの知人には限定していないが、他者感情認識をユーザの知人に限定する場合、他者感情認識部１２は、例えば他者の顔認識結果に基づいて、ＳＮＳ上で登録されている友人に該当するか、また、企業や教育機関など同一のコミュニティに所属している人物に該当するか否かに応じて知人か否かの判別を行う。
【００５２】  次に、ステップＳ１１５において、他者感情認識部１２は、現在の他者感情を認識する。具体的には、他者感情認識部１２は、自己測定センサ値の特徴量と他者測定センサ値の特徴量とに基づいて、ニューラルネットワーク等の機械学習的手法を用いて、上記Ｓ１１２で認識した他者の感情を認識する。例えば他者感情認識部１２は、下記式１を用いて、各特徴量を特徴空間（feature space）にマッピングして他者の感情を認識する。下記式１において、特徴量の総数をＮとし、各特徴量をＶ１、Ｖ２…ＶＮと表す。また、各特徴量には所定の重み付けが行われてもよい。
【００５３】
2016170810.tif 000003
【００５４】  次に、ステップＳ１１８において、他者感情推測部１８は、他者感情の履歴および他者情報に基づいて、他者の未来の感情を推測する。例えば他者感情推測部１８は、他者感情の履歴を自己回帰モデルなど統計的モデルに当てはめて、他者の未来の感情を推測する。この際、他者感情推測部１８は、他者情報記憶部１７に記憶されている他者情報から生理周期など感情と相関の強い情報を参照して他者感情の推測精度を高めることが可能である。また、他者感情推測部１８は、他者が好きなスポーツ・チームの勝敗などの情報を刺激として捉えて、他者感情の推測精度を高めることも可能である。
【００５５】  そして、ステップＳ１２１において、出力制御部１９は、認識された他者感情や推測された他者感情を表示してユーザに通知するよう制御する。また、出力制御部１９は、認識された現在の他者感情をリアルタイムでユーザに通知することで、ユーザは現在会話している相手の現在の感情をリアルタイムに知ることができる。
【００５６】  以上、本実施形態による他者感情認識処理について具体的に説明した。なお上述した処理は一例であって、本実施形態はこれに限定されない。例えば、出力制御部１９は、他者感情認識部１２により認識された現在の他者感情と、他者感情推測部１８により推測された未来の他者感情とを比較して、現時点から他者の機嫌が著しく変化することが予想される場合に、機嫌の変化をユーザに通知するようにしてもよい。
【００５７】  また、出力制御部１９は、他者感情履歴に基づく平均的な機嫌と未来の他者感情を比較し、統計的に有意な差が生じる場合、他者の機嫌が改善／悪化すると判断して、機嫌の変化をユーザに通知してもよい。また、出力制御部１９は、統計的手法を用いず、特定の閾値基準に基づいて機嫌の変化を判断してもよい。
【００５８】  （２−１−３．表示例）  続いて、本実施形態の出力制御部１９による他者感情のユーザへの通知表示例について、図７〜図１１を参照して具体的に説明する。
【００５９】  図７は、本実施形態による他者スケジュール情報と併せたグラフによる他者感情の表示の一例を示す図である。図７に示すグラフは、図５に示すグラフと同様に、過去から未来への他者感情の推移を示すものであって、具体的には実線部分が過去、破線部分が未来の他者感情を示す。また、図７に示す例では、グラフと共に、他者情報から感情に強く相関するイベントが抽出され、表示される。これによりユーザは、他者が「ランチ」や「外食」の際は機嫌が良くなり、「上司の前で発表」の際は機嫌が悪くなる（緊張状態や憂鬱状態になる）ことが直感的に把握できる。なお他者のスケジュールをどの程度ユーザに公開するかは、ユーザと他者の関係性に応じて変化してもよい。出力制御部１９は、例えばユーザと他者の新密度が高い（すなわちプライバシーレベルが低い）場合、表示するスケジュールをより細く、また、多く表示する（若しくはプライバシーレベルに応じた公開度を満たすスケジュールを表示する）。
【００６０】  図８は、本実施形態による機嫌予報形式の他者感情の表示の一例を示す図である。図８に示すように、機嫌予報では、他者感情推測部１８により他者情報（スケジュール情報等）と他者感情履歴に基づいて推測された感情が数時間単位で表示されている。これにより、ユーザは、他者の一日の機嫌の推移を把握することができる。
【００６１】  具体的には、機嫌予報では、時間、機嫌（非常に良い−良い−普通−悪い−非常に悪い）、感情（明るい、嬉しい、平常、緊張等）、信頼度、予報に影響を及ぼした要因が、時刻毎に表示される。なお「機嫌」は、他者感情推測部１８により推測された感情に応じて判定されたものである。また、「感情」は、テキストで表示してもよいし、図８に示すように感情を表現する顔画像（例えばアバター、イラスト、実際の他者の顔画像を編集したもの等）で表示してもよい。
【００６２】  また、機嫌予報の表示後、実際に他者の感情が観測できた場合、出力制御部１９は、実際に観測した他者の感情に応じた顔画像を「観測された表情」として表示してもよい。図８に示す例では、０時〜６時において他者感情が「平常」と予報したところ、実際に観測された他者感情も「平常」であったことが顔画像から分かる。また、６時〜１２時において他者感情が「嬉しい」と予報したところ、実際に観測された他者感情は「平常」であったことが顔画像から分かる。また、実際の他者感情が観測できなかった場合や、まだその時間が到達していない場合、「観測された表情」の欄には「未取得」と表示される。
【００６３】  また、図８に示すように、機嫌予報表示では予報の信頼度も表示され得る。予報の信頼度は、例えば他者感情推測部１８が他者感情を推測した際に利用した他者感情履歴の母体数、他者情報に含まれる感情と相関の強いイベント（すなわち要因）の有無や相関の強さ、また、今までの予報的中率等に基づいて算出される。
【００６４】  また、図８に示すように、機嫌予報表示では予報に影響を及ぼした要因も表示され得る。かかる要因は、他者情報から抽出され、他者感情の推測に利用された感情と相関の強いイベントであって、例えば睡眠時間、食事時間、食事内容（好みの料理であるか等）、仕事のスケジュール（内勤、外勤、出張、プレゼンテーション等）、通勤時における電車の混み具合等が想定される。ここでユーザに開示する要因は、ユーザと他者との関係性に応じて表示／非表示が決定されてもよい。
【００６５】  以上、機嫌予報形式の他者感情の表示例について具体的に説明した。なお図８に示す例では一日（数時間単位毎）の機嫌予報表示例を示したが、本実施形態はこれに限定されず、図９に示すように例えば週間（日単位毎）の機嫌予報表示例であってもよい。
【００６６】  図９は、本実施形態による機嫌予報形式の他者感情の表示の他の例を示す図である。図９に示すように、機嫌週間予報では、月曜から日曜の他者（例えばＡさん）の機嫌予報が表示されている。表示されている機嫌、感情、観測された表情、信頼度、および予報に影響を及ぼした要因についての詳細な内容は、図８を参照して説明した機嫌予報の例と同様である。
【００６７】  なお図８、図９に示す例では、実際に観測された他者の感情を示す表情を表示しているが、本実施形態はこれに限定されず、他者本人からのフィードバックを可能としてもよい。例えば実際に観測された表情と、他者の本当の感情が異なる場合も想定されるため、他者本人が自身の感情を本システムにフィードバックすることで、ユーザに本当の他者感情がフィードバックされたり、他者感情推測の精度向上に利用されたりして、本システムの利便性が向上する。
【００６８】  以上説明したグラフや機嫌予報の画像は、ユーザのスマートフォンや携帯電話端末、タブレット端末、ＰＣ（Personal Computer）等の表示部に表示され得る。また、情報処理装置１がスマートアイグラスにより実現されている場合、出力制御部１９は、スマートアイグラスの透過型表示部にＡＲ（Augmented Reality）技術を用いて上記グラフや機嫌予報の画像を表示してもよい。以下、図１０を参照して説明する。
【００６９】  図１０は、ＡＲ技術を用いた他者感情の表示通知の一例を示す図である。図１０に示すように、情報処理装置１がスマートアイグラスにより実現されている際、ユーザ装着時にユーザの眼前に位置するレンズ部分には透過型表示部が設けられている。ここで、ユーザが情報処理装置１を装着した状態で他者と対話している際、情報処理装置１は、ユーザの目の前に居る他者を認識して他者感情を認識・推測し、例えば図１０に示すように、実空間に存在する他者Ｐに対応して他者感情の推移を表すグラフ画像３０を実空間に重畳表示するよう制御する。これによりユーザは、対話している相手の感情を直感的に把握することができる。
【００７０】  なお他者感情の表示を行うタイミングは、情報処理装置１が他者Ｐを認識した時であってもよいし、自己測定センサ値に基づいてユーザが他者Ｐに注目していると判断された時（例えばユーザの視線検出を行ってユーザが他者Ｐを見ていると判断された時等）であってもよい。
【００７１】  また、上述した他者感情推移のグラフや機嫌予報は、音声によりユーザに通知することも可能である。例えば出力制御部１９は、情報処理装置１に設けられているスピーカ（不図示）から、「Ａさんは、週の前半は上機嫌、後半は時々不機嫌でしょう」といった予報アナウンスを流してもよい。
【００７２】  また、本実施形態による出力制御部１９は、認識・推測された他者感情を、他のサービスやシステムと連携してユーザへ通知してもよい。例えば出力制御部１９は、会社のスケジュール管理アプリケーションと連携して会議の出席者の機嫌を一覧表示することが可能である。以下、図１１を参照して具体的に説明する。
【００７３】  図１１は、本実施形態による他者感情の推測結果をスケジュール管理アプリケーションから出力した場合の表示画面例を示す図である。図１１に示すように、スケジュール画面３２は、開催者、件名、場所、開始日時、終了日時、および出席者といったスケジュール情報を含む。これらの情報は、例えば予定生成時にユーザ（ここでは「ＡＡＡさん」）が入力した情報である。
【００７４】  さらに本実施形態では、図１１に示すように、会議に出席する各出席者の感情推測結果が表示される。かかる感情推測結果は、会議日時における各出席者の感情を他者感情推測部１８で推測したものであって、例えば図１１に示すようにキャラクターの表情で表される。これによりユーザは、会議時にＤＤＤ部長とＦＦＦ係長の機嫌が悪そうであることを知ることができる。また、スケジュール画面３２では、各出席者の個々の感情のみではなく、例えば各出席者の感情を表す数値を線形和などの方法で組み合わせて算出した集団としての感情が表示されてもよい。
【００７５】  また、本実施形態では、推測された各出席者の会議時の感情に応じて各出席者の生産性寄与比も算出され、図１１に示すように、各出席者の感情を表すキャラクターに対応付けて表示される。また、本実施形態では、各出席者の推測感情および生産性寄与比に基づいて、集団としての総合生産性の評価も算出され、図１１に示すように「総合生産性評価」として表示される。ユーザは、これら各出席者の推測感情や生産性寄与率、および総合生産性評価を参照して、会議の開催、中止、または時間変更を決定することができる。
【００７６】  ここで、情報処理装置１は、ユーザがスケジュール画面３２に含まれる「時間変更」のボタンを選択した際、他者感情推測部１８の推測結果に基づいて、現在設定されている会議開催日時の前後所定日間のうち、総合生産性評価が高い日時を探してユーザに提案してもよい。
【００７７】  また、本実施形態では、認識・推測された他者感情を他のサービスやシステムと連携して利用する例として、次のような利用形態も考え得る。例えば情報処理装置１が音楽プレイヤの制御が可能である場合に、ユーザと一緒に居る他者が落ち込んでいる時は勇気付ける曲を再生するなど他者の感情を反映した選曲を行ったり、他者がリラックスしている時はイコライザをポップスモードにするなど他者の感情に応じた再生モードの変更を行ったりする。これにより、例えばユーザの部屋に訪れた他者に音楽によるおもてなしを行うことができる。
【００７８】  また、情報処理装置１がカメラの制御が可能である場合に、他者の感情に応じたシャッタ制御（例えば機嫌の良い時にシャッタを切る等）、パラメータ設定、撮影モード切替（例えば機嫌の良い時は、露出オーバにする等）を行ってもよい。
【００７９】  また、情報処理装置１がゲーム装置の制御が可能である場合に、ユーザと一緒にゲームを行っている他者の感情が「退屈」状態である時は、ゲーム内でイベントを起こすなどして他者のゲームに対する集中度を高く維持させる試みを行ってもよい。
【００８０】  また、情報処理装置１が部屋の照明制御が可能である場合に、他者がリラックスしてうっとりしている時は、照明の色温度を温かみのあるものにするなど、他者感情に応じた照明制御を行ってもよい。
【００８１】  このように、本実施形態による情報処理装置１は、他者にセンサ装置等の装着を強いることなく認識/推測した他者の感情に応じて、部屋で流れる音楽や照明の制御を行い、他者をおもてなしすることができる。また、情報処理装置１は、認識/推測した他者の感情に応じて適切なカメラ制御やゲーム制御を行うことができる。
【００８２】  以上説明したように、本実施形態による情報処理システムでは、他者にセンサ装置の装着を強いることなく、ユーザのセンシング情報を用いて他者の感情を認識することができ、実用的なシステムを実現できる。また、本実施形態による情報処理システムでは、リアルタイムで現在の他者の感情を認識して当該他者と交流中のユーザに即時通知する他、他者情報および他者感情履歴に基づいて他者の未来の感情を推測し、予めユーザに通知することも可能である。
【００８３】  なお本実施形態による情報処理システムは、ユーザが主体的に本システムを利用した時だけではなく、継続的に他者の感情の認識・推測を行い、他者の機嫌が有意に改善/悪化しそうな時にユーザに通知してもよい。以上、第１の実施形態による情報処理システムについて説明した。
【００８４】  ＜２−２．第２の実施形態＞  続いて、本開示の第２の実施形態による情報処理システムについて図１２〜図１３を参照して説明する。上述した第１の実施形態では、図１に示すように、自己測定センサがユーザ側にあったが、本開示はこれに限定されず、自己測定センサがユーザ以外の者にあってもよい。例えば感情認識の対象者である他者Ｐが、自己測定センサの装着に同意してくれた場合、図１２Ａに示すように、他者Ｐ側にも自己測定センサが配置され、情報処理装置１は、２種類の自己測定センサから取得した自己測定センサ値と、ユーザ側の他者測定センサから取得した他者測定センサ値とを用いて、他者Ｐの感情認識を行うことができる。この場合、他者感情認識の精度が向上することが期待できる。
【００８５】  また、図１２Ｂのように、ユーザと他者Ｐ１以外の第三者Ｐ２が自己測定センサの装着に同意してくれた場合、第三者Ｐ２側にも自己測定センサが配置され、情報処理装置１は、２種類の自己測定センサから取得した自己測定センサ値と、ユーザ側の他者測定センサから取得した他者測定センサ値とを用いて、他者Ｐの感情認識を行うことができる。他者Ｐ１の感情は第三者Ｐ２の感情にも影響するといった観点から、この場合も他者感情認識の精度が向上することが期待できる。
【００８６】  以上説明したような２種類の自己測定センサを用いる場合の本実施形態による情報処理装置１−２の構成について図１３を参照して説明する。
【００８７】  図１３は、第２の実施形態による情報処理装置１−２の構成の一例を示すブロック図である。図１３に示すように、情報処理装置１−２は、第１の自己測定センサ値取得部１０ａ、第２の自己測定センサ値取得部１０ｂ、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、および出力制御部１９を有する。
【００８８】  情報処理装置１−２の構成は、第１の自己測定センサ値取得部１０ａおよび第２の自己測定センサ値取得部１０ｂを有する点が、図２を参照して説明した情報処理装置１−１の構成と異なる。第１の自己測定センサ値取得部１０ａは、ユーザをセンシングする自己測定センサからのセンサ値を取得し、他者感情認識部１２に出力する。また、第２の自己測定センサ値取得部１０ｂは、他者（相手）または第三者をセンシングする自己測定センサからのセンサ値を取得し、他者感情認識部１２に出力する。他者または第三者をセンシングする自己測定センサは、他者または第三者に装着／所有され、他者または第三者の生体情報や活動量情報をセンシングする。
【００８９】  そして、他者感情認識部１２は、ユーザからセンシングされたセンサ値、他者または第三者からセンシングされたセンサ値、およびユーザに装着／所有された他者測定センサによりセンシングされた他者のセンサ値を用いて、他者感情を認識する。本実施形態では、このように他者または第三者からセンシングされたセンサ値を用いることで、他者感情の認識精度が向上する。
【００９０】  なお情報処理装置１−２の他の構成は、図２を参照して説明した情報処理装置１−１の同名称の構成と同様であるため、ここでの説明を省略する。
【００９１】  以上、自己測定センサが他者や第三者側にも装着／所有された場合における第２の実施形態による情報処理システムについて説明した。
【００９２】  ＜２−３．第３の実施形態＞  次に、本開示の第３の実施形態による情報処理システムについて説明する。上述した第１の実施形態では、自己測定センサによりセンシングされるセンサ値と、他者測定センサによりセンシングされるセンサ値とに基づいて他者感情の認識を行ったが、本開示はこれに限定されない。例えば本開示による情報処理システムでは、他者測定センサによりセンシングされるセンサ値を用いずに他者感情を認識することが可能である。以下、図１４を参照してこのような第３の実施形態による情報処理装置１−３の構成について具体的に説明する。
【００９３】  図１４は、第３の実施形態による情報処理装置１−３の構成の一例を示すブロック図である。図１４に示すように、情報処理装置１−３は、自己測定センサ値取得部１０、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、および出力制御部１９を有する。
【００９４】  情報処理装置１−３は、図２を参照して説明した情報処理装置１−１の構成と比較して、他者測定センサ値取得部１１を有していない点が異なる。情報処理装置１−３の他者感情認識部１２は、自己測定センサ値取得部１０から出力されたセンサ値（すなわち自己測定センサによりユーザからセンシングしたセンサ値）のみに基づいて、他者感情を認識する。
【００９５】  なお情報処理装置１−３の他の構成は、図２を参照して説明した情報処理装置１−１の同名称の構成と同様であるため、ここでの説明を省略する。
【００９６】  このように、第３の実施形態による情報処理装置１−３では、他者測定センサ値を用いずに他者感情を認識するため、他者測定センサの搭載コストや搭載スペースが不要となり、システムのコスト削減や省スペース化に貢献することができる。
【００９７】  ＜２−４．第４の実施形態＞  続いて、本開示の第４の実施形態による情報処理システムについて図１５および図１６を参照して説明する。上述した各実施形態では、認識・推測した他者感情を出力制御部１９によりユーザに通知する旨を説明したが、本開示はこれに限定されず、例えば認識・推測した他者感情に応じた行動をユーザに提案してもよい。このような第４の実施形態による情報処理装置１−４の構成について以下図１５を参照して説明する。
【００９８】  図１５は、第４の実施形態による情報処理装置１−４の構成の一例を示すブロック図である。図１５に示すように、情報処理装置１−４は、自己測定センサ値取得部１０、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、出力制御部１９、および行動提案部２０を有する。
【００９９】  行動提案部２０は、他者感情認識部１２により認識された現在の他者感情、または他者感情推測部１８により推測された他者感情と、他者情報（他者のスケジュール情報、ToDoリスト、位置情報、趣味、嗜好など）に基づいて、ユーザに適切な行動を提案する。行動提案部２０は、提案する行動を示すテキスト情報等を出力制御部１９に送り、出力制御部１９は、他者感情の通知と共に、ユーザに提案する行動を明示する。
【０１００】  ここで、行動提案部２０により提案される行動の一例について図１６を参照して説明する。図１６は、第４の実施形態による行動提案の一例を示す図である。図１６に示すように、例えば他者感情の推移を示すグラフと共に、ユーザに新たな行動が提案されてもよい。より具体的には、図１６に示すように、例えば現時点（つまりランチ時）から午後に行われる「上司の前で発表」というイベントに向けて他者の機嫌が悪くなる（感情：緊張する、憂鬱になる）ことが推測されるため、「『発表頑張れ！』とメールしてみては？」といった相手を元気付ける適切なコミュニケーションが提案される。また、「上司の前で発表」というイベント後、「外食」の時には機嫌が良くなる（感情：楽しくなる、明るくなる）ことが推測されるため、「連絡してみては？」といった相手の様子を伺うための適切なコミュニケーションタイミングが提案される。
【０１０１】  また、行動提案部２０は、上述したような新たな行動の提案に限定されず、例えば認識/推測された他者感情に応じてユーザに既存の予定に対する提案を行ってもよい。具体的には、行動提案部２０は、既存の予定を延期するよう、「本日１０時からの議題Ｑについての相談は、ＥＥＥ係長の機嫌が悪そうなので、ＥＥＥ係長の機嫌が良い１７時に延期しよう」とユーザに提案してもよい。また、行動提案部２０は、既存の予定を中止するよう、「土曜日のＪＪさんとのデートは、ＪＪさんの機嫌が悪そうなので中止しよう」とユーザに提案してもよい。
【０１０２】  また、行動提案部２０は、認識/推測された他者感情に応じてユーザに新たな予定を提案してもよい。例えば行動提案部２０は、ユーザの友人の感情推測結果に基づいて、「今日の授業の後はＫＫさんの機嫌が良さそうなので、遊びに誘ってみては？」といった交友を提案する。また、行動提案部２０は、ＴｏＤｏリストの内容と他者感情の推測結果に基づいて、「明日の午前中はＭＭさんの機嫌が良いので、ＭＭさんと一緒に行うＺ室の掃除業務は、明日の午前中にやってみては？」といったタスクを提案してもよい。
【０１０３】  ＜２−５．第５の実施形態＞  次に、本開示による第５の実施形態による情報処理システムについて説明する。上述した各実施形態では、他者情報と他者感情履歴に基づいて、他者感情推測部１８により未来の他者感情が推測可能である旨を説明したが、本実施形態では、当該他者感情の推測を利用して遠隔地に居る他者の感情をユーザに通知する。すなわち、他者の未来の感情を推測できることから、ユーザが他者と一緒に居ない場合であっても他者の現在の感情を推測してユーザに通知することが可能となる。以下、図１７を参照してこのような第５の実施形態による情報処理装置１−５の構成について具体的に説明する。
【０１０４】  図１７は、第５の実施形態による情報処理装置１−５の構成の一例を示すブロック図である。図１７に示すように、情報処理装置１−５は、自己測定センサ値取得部１０、他者感情認識部１２、感情認識管理部１３、他者感情情報記憶部１４、他者情報取得部１５、他者情報管理部１６、他者情報記憶部１７、他者感情推測部１８、出力制御部１９、および表情変換部２１を有する。
【０１０５】  表情変換部２１は、他者感情推測部１８により推測された他者の現在の感情を表情に変換する。表情への変換は、例えば当該他者に対応する顔画像（例えばアバター、イラスト、実際の他者の顔画像等）における表情を編集することで実現される。
【０１０６】  出力制御部１９は、上記各実施形態と同様に、認識/推測された他者の感情をユーザに通知する。また、本実施形態による出力制御部１９は、他者からのインスタントメッセージを表示するインスタントメッセージ画面において、メッセージ発信元または発信先の他者の感情を、表情変換部２１で変換された表情で明示し、ユーザに通知することも可能である。以下、図１８を参照してこのようなインタスタントメッセージ画面について説明する。
【０１０７】  図１８は、第５の実施形態によるインタスタントメッセージ画面の一例について説明するための図である。図１８に示すインタスタントメッセージ画面３４では、各相手との最終メッセージが列挙されている。これらのうち一の相手がユーザにより選択されると、インタスタントメッセージ画面３４は、選択された相手とのメッセージ履歴画面に遷移する。
【０１０８】  また、インタスタントメッセージ画面３４では、各相手との最終メッセージと共に、各相手の名前、顔画像、最終メッセージ送受信の時刻（すなわち最終会話時間）が表示されている。ここで、インタスタントメッセージ画面３４に表示されている各相手の顔画像３４１〜３４３は、現在の相手の感情に応じた表情にリアルタイムで変換される。現在の相手の感情は、他者感情推測部１８により他者感情履歴および他者情報を用いて推測され得る。すなわち、他者が遠隔地に居てユーザとは会話を行っていない場合、上述したように他者感情の影響を受けるユーザの生体情報等の自己測定センサ値を用いた他者感情認識部１２による他者感情の認識は困難であるが、過去の他者感情履歴に基づいて他者感情推測部１８により推測することは可能である。
【０１０９】  これにより、例えば「ママ」との最終メッセージ「今日は夕飯食べる？」に返信を行う際、現在の「ママ」の感情が顔画像３４１に反映され、ユーザは現在の相手の機嫌を知ることができる。図１８に示す例では、「ママ」の現在の機嫌が悪いこと（感情：悲しい、憂鬱）が推測されるので、ユーザはメッセージの返信タイミングを延期したり、相手の機嫌が悪いことを考慮した返信メッセージ（例えば「遅くなってごめん。夕飯お願いします。」等）を送ったりすることができる。
【０１１０】  このように、本実施形態によれば、ユーザと会話を行っていない遠隔地に居る他者の現在の感情を推測してユーザに通知することができ、ユーザは相手の感情を把握した上で最適なメッセージを送ることができる。
【０１１１】  なお本実施形態では表情変換部２１により他者感情を表情に変換してユーザに通知しているが、本実施形態はこれに限定されず、例えば他者感情をテキストや色に変換してユーザに通知してもよい。例えば、インタスタントメッセージ画面において、相手の名前やプロフィール画像（アイコンや顔画像等）に対応付けて、「機嫌良し」「機嫌悪い」といったテキストや、機嫌の良し悪しを所定の色合いで示す（例えば機嫌が良い時は暖色系、機嫌が悪い時は寒色系で相手の名前や表示領域を表す等）。
【０１１２】    ＜＜３．情報処理装置１のハードウェア構成＞＞  以上、本開示の各実施形態に係る情報処理装置１−１〜１−５について説明した。上述した情報処理装置１−１〜１−５の各機能は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１１３】  図１９は、本開示の一実施形態に係る情報処理装置１のハードウェア構成を示した説明図である。図１９に示したように、情報処理装置１は、ＣＰＵ（Central  Processing  Unit）１０１と、ＲＯＭ（Read  Only  Memory）１０２と、ＲＡＭ（Random  Access  Memory）１０３と、ブリッジ１０４と、入力部１０５と、出力部１０６と、ストレージ部１０７と、ネットワークＩ／Ｆ（interface）１０８と、無線通信Ｉ／Ｆ１０９とを備える。
【０１１４】  ＣＰＵ１０１は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１内の自己測定センサ値取得部１０、他者測定センサ値取得部１１、他者感情認識部１２、感情認識管理部１３、他者情報取得部１５、他者情報管理部１６、他者感情推測部１８、出力制御部１９、行動提案部２０、および表情変換部２１の動作を実現する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１０２およびＲＡＭ１０３により、情報処理装置１内の他者感情情報記憶部１４および他者情報記憶部１７の一部を実現する。ＣＰＵ１０１、ＲＯＭ１０２およびＲＡＭ１０３は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
【０１１５】  入力部１０５は、マウス、キーボード、タッチパネル、ボタン、マイクロホン、カメラ、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１のユーザは、入力部１０５を操作することにより、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１６】  出力部１０６は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic  Light  Emitting  Diode）装置などの表示装置への出力を行う。さらに、出力部１０６は、スピーカやヘッドフォンからの音声出力を行ってもよい。
【０１１７】  ストレージ部１０７は、データ格納用の装置である。ストレージ部１０７は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ部１０７は、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
【０１１８】  ネットワークＩ／Ｆ１０８は、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。また、ネットワークＩ／Ｆ１０８は、無線ＬＡＮ（Local  Area  Network）対応通信装置であってもよいし、ＬＴＥ（Long  Term  Evolution）対応通信装置であってもよい。ネットワークＩ／Ｆ１０８は、他者情報取得部１５の一部を構成し、他者情報取得部１５は、ネットワーク上の所定サーバから他者情報を取得することが可能である。
【０１１９】  無線通信Ｉ／Ｆ１０９は、情報処理装置１の外部の情報処理装置または周辺機器と接続するため通信インターフェースである。なおここでは一例として無線通信Ｉ／Ｆ１０９を有する構成としたが、有線通信によりの外部の情報処理装置または周辺機器と接続する通信インターフェースであってもよい。
【０１２０】    ＜＜４．まとめ＞＞  上述したように、本開示の実施形態による情報処理システムでは、ユーザのセンシング情報を用いて他ユーザ（他者）の感情を認識することが可能となる。これにより、他者の感情を認識する際に他者にセンサ装置の装着を強いることがなく、より実用的なシステムを実現でき、利便性が向上する。
【０１２１】  また、本実施形態による情報処理システムでは、ユーザが他者と会話等を行っている際に、他者の感情をリアルタイムでユーザに通知することで、ユーザは相手の機嫌を考慮した対応を行うことができる。また、本実施形態による情報処理システムでは、未来の他者感情を推測して予めユーザに通知することで、ユーザは相手の機嫌を考慮して予定を変更したり行動を起こしたりすることができる。
【０１２２】  また、本実施形態による情報処理システムでは、現在の他者の感情や未来の他者の感情をユーザに通知すると共に、ユーザに他者感情に応じた適切な行動提案を行うことも可能である。
【０１２３】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２４】  例えば、上述した情報処理装置１に内蔵されるＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１２５】  また、本明細書の情報処理装置１の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。具体的には、図６に示すステップＳ１０３およびステップＳ１０６は逆または同時であってもよいし、ステップＳ１１５およびステップＳ１１８は逆または同時であってもよい。
【０１２６】  また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２７】  なお、本技術は以下のような構成も取ることができる。（１）  センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、  前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、を備える、情報処理装置。（２）  前記ユーザに関する情報は、前記ユーザの生体情報である、前記（１）に記載の情報処理装置。（３）  前記生体情報は、心拍センサ値または発汗センサ値を含み、  前記感情認識部は、前記生体情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、前記（２）に記載の情報処理装置。（４）  前記感情認識部は、前記生体情報から抽出した特徴量に基づいて認識した前記ユーザの感情と一致、類似、または相関する感情を前記他ユーザの感情として認識する、前記（２）または（３）に記載の情報処理装置。（５）  前記ユーザに関する情報は、さらに前記ユーザの活動量情報を含む、前記（２）〜（４）のいずれか１項に記載の情報処理装置。（６）  前記活動量情報は、加速度センサ値、角速度センサ値、歩数計値、または地磁気センサ値を含む、前記（５）に記載の情報処理装置。（７）  前記他ユーザに関する情報は、前記他ユーザの表情情報である、前記（２）〜（６）のいずれか１項に記載の情報処理装置。（８）  前記表情情報は、前記他ユーザを撮像した顔画像から抽出された特徴点に基づく口角または眉の位置を含み、  前記感情認識部は、さらに前記表情情報から抽出した特徴量に基づいて、前記他ユーザの感情を認識する、前記（７）に記載の情報処理装置。（９）  前記他ユーザに関する情報は、収音された前記他ユーザの音声情報、検知された姿勢情報、または赤外線画像から取得された温度情報を含む、前記（７）または（８）に記載の情報処理装置。（１０）  前記ユーザに関する情報および前記他ユーザに関する情報は、前記ユーザが所持するセンサ装置から得られる、前記（２）〜（９）のいずれか１項に記載の情報処理装置。（１１）  前記感情認識部は、センシングされた第三者の生体情報を参照して前記他ユーザの感情を認識する、前記（２）〜（１０）のいずれか１項に記載の情報処理装置。（１２）  前記情報処理装置は、  前記感情認識部により認識された他ユーザの感情に関する情報を蓄積する記憶部から抽出した他ユーザ感情履歴に基づいて、前記他ユーザの未来の感情を推測する感情推測部をさらに備える、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。（１３）  前記通知制御部は、前記他ユーザの感情の推移を時系列で表示するよう制御する、前記（１）〜１２をいずれか１項に記載の情報処理装置。（１４）  前記通知制御部は、前記感情推測部の推測結果に基づいて、前記他ユーザの感情予報を表示するよう制御する、前記（１２）に記載の情報処理装置。（１５）  前記情報処理装置は、  前記他ユーザの感情に応じて所定の行動をユーザに提案する行動提案部をさらに備える、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。（１６）  前記感情推測部は、現在の他ユーザの感情を推測し、  前記通知制御部は、前記推測された他ユーザの感情をリアルタイムでユーザに通知するよう制御す��、前記（１２）に記載の情報処理装置。（１７）  前記感情推測部は、前記他ユーザ感情履歴と、前記他ユーザの行為関連情報とに基づいて、前記他ユーザの感情を推測する、前記（１２）または（１６）に記載の情報処理装置。（１８）  センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識することと、  前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう通知制御部により制御することと、を含む、制御方法。（１９）  コンピュータを、  センシングされたユーザに関する情報および他ユーザに関する情報に基づいて、前記他ユーザの感情を認識する感情認識部と、  前記認識した他ユーザの感情に関する情報を前記ユーザに通知するよう制御する通知制御部と、として機能させるための、プログラム。
【符号の説明】
【０１２８】  １、１−１〜１−５    情報処理装置  １０    自己測定センサ値取得部  １０ａ    第１の自己測定センサ値取得部  １０ｂ    第２の自己測定センサ値取得部  １１    他者測定センサ値取得部  １２    他者感情認識部  １３    感情認識管理部  １４    他者感情情報記憶部  １５    他者情報取得部  １６    他者情報管理部  １７    他者情報記憶部  １８    他者感情推測部  １９    出力制御部  ２０    行動提案部  ２１    表情変換部  Ｐ、Ｐ１    他者  Ｐ２    第三者
【図１】
2016170810.tif 000004
【図２】
2016170810.tif 000005
【図３】
2016170810.tif 000006
【図４】
2016170810.tif 000007
【図５】
2016170810.tif 000008
【図６】
2016170810.tif 000009
【図７】
2016170810.tif 000010
【図８】
2016170810.tif 000011
【図９】
2016170810.tif 000012
【図１０】
2016170810.tif 000013
【図１１】
2016170810.tif 000014
【図１２Ａ】
2016170810.tif 000015
【図１２Ｂ】
2016170810.tif 000016
【図１３】
2016170810.tif 000017
【図１４】
2016170810.tif 000018
【図１５】
2016170810.tif 000019
【図１６】
2016170810.tif 000020
【図１７】
2016170810.tif 000021
【図１８】
2016170810.tif 000022
【図１９】
2016170810.tif 000023
【国際調査報告】
2016170810.tif 000024
2016170810.tif 000025
2016170810.tif 000026
2016170810.tif 000027