(57)【要約】【課題】ユーザと相手の表情が一致しているか否かをトリガとする制御を行うことが可能な情報処理装置、制御方法、およびプログラムを提供する。【解決手段】ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得する情報取得部と、前記情報取得部により取得された前記ユーザの表情情報と、相手ユーザの表情情報とが一致するか否かに応じて、所定の制御を行う制御部と、を備える、情報処理装置。【選択図】図１
2015092646.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得する情報取得部と、
前記情報取得部により取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行う制御部と、
を備える、情報処理装置。
【請求項２】
前記制御部は、前記ユーザの表情情報と、前記相手の表情情報とが一致した場合に、撮像画像、音声データ、場所、または時刻の少なくともいずれかを記録するよう制御する、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記ユーザの頭部に装着された際に前記ユーザの視線方向を撮像する撮像部をさらに備え、
前記制御部は、前記ユーザの表情情報と、前記相手の表情情報とが一致した場合に、前記撮像部による撮像を行うよう制御する、請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記ユーザの表情情報と前記相手の表情情報とが一致した際に撮像した撮像画像に共感のタグ付けを行った上で記録する、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記情報取得部は、前記ユーザの顔面の皮膚の動きを検知したデータに基づいて、前記ユーザの表情情報を取得する、請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記情報取得部は、前記ユーザの頬、目尻の横、および眉間の少なくともいずれかの部位の皮膚の動きを検知したデータに基づいて、前記ユーザの表情情報を取得する、請求項５に記載の情報処理装置。
【請求項７】
前記情報処理装置は、
前記相手の表情情報を、前記相手の頭部に装着される他の情報処理装置から受信する受信部をさらに備える、請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記情報処理装置は、
前記ユーザの頭部に装着された際に前記ユーザの視線方向を撮像する撮像部をさらに備え、
前記相手の表情情報は、前記撮像部により撮像された前記相手の顔画像に基づいて取得される、請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記情報処理装置は、メガネ型のウェアラブルデバイスである、請求項１〜８のいずれか１項に記載の情報処理装置。
【請求項１０】
ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得するステップと、
取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行うステップと、
を含む、制御方法。
【請求項１１】
コンピュータに、
ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得する情報取得部と、
前記情報取得部により取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行う制御部と、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、皮膚伝導率の変化や、心拍数、顔画像の解析により、感情情報を取得する技術が提案されている。取得される感情情報は、例えば「喜び」、「悲しみ」、「嫌悪」、「驚き」等の広範囲にわたるカテゴリに分類される。
【０００３】
このような感情情報を利用した発明として、例えば下記特許文献１が挙げられる。下記特許文献１は、ユーザ（撮影者）の心拍数や皮膚伝導率の変化に基づいて取得される感情情報を用いて、撮影した写真の分類を行う画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７８５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、撮影した写真の分類に用いる感情情報を取得するためだけの専用デバイスを装着する必要があるので、ユーザにとって手間であり、また、利便性が低かった。
【０００６】
また、顔画像の解析により取得される表情情報を撮影のトリガとする技術としては、被写体の笑顔を検知した場合にシャッター動作を行ういわゆるスマイルシャッターが知られている。しかし、スマイルシャッターは被写体の表情のみを考慮しており、撮影者の感情は何ら考慮されていなかった。
【０００７】
そこで、本開示では、ユーザと相手の表情が一致しているか否かをトリガとする制御を行うことが可能な情報処理装置、制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得する情報取得部と、前記情報取得部により取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行う制御部と、を備える、情報処理装置を提案する。
【０００９】
本開示によれば、ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得するステップと、取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行うステップと、を含む、制御方法を提案する。
【００１０】
本開示によれば、コンピュータに、ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得する情報取得部と、前記情報取得部により取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行う制御部と、として機能させるための、プログラムを提案する。
【発明の効果】
【００１１】
以上説明したように本開示によれば、ユーザと相手の表情が一致しているか否かをトリガとする制御を行うことが可能となる。
【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態による情報処理装置の概要について説明するための図である。
【図２】本実施形態による情報処理装置の基本構成を示すブロック図である。
【図３】笑顔の場合に複数のフォトリフレクタから検知されたデータの一例を示す図である。
【図４】被験者Ａが笑顔の場合に複数のフォトリフレクタから検知されたデータの一例を示す図である。
【図５】被験者Ｂが笑顔の場合に複数のフォトリフレクタから検知されたデータの一例を示す図である。
【図６】嫌悪の場合に複数のフォトリフレクタから検知されたデータの一例を示す図である。
【図７】本実施形態の情報処理装置による相手の表情情報取得の第１パターンを説明するための図である。
【図８】本実施形態の情報処理装置による相手の表情情報取得の第２パターンを説明するための図である。
【図９】本実施形態による情報処理装置の基本処理を示すフローチャートである。
【図１０】本実施形態による情報処理装置の具体的な記録制御処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理装置の概要
２．基本構成
３．動作処理
３−１．基本処理
３−２．具体的な記録制御処理
４．まとめ
【００１６】
＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
まず、本開示の一実施形態による情報処理装置１の概要について図１を参照して説明する。図１に示すように、本実施形態による情報処理装置１は、メガネ型のＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）であって、例えば両側頭部にかけて延びる柄が両耳殻にかけられることでユーザに装着される。
【００１７】
また、情報処理装置１（メガネ型ＨＭＤ）は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２ａ、２ｂが配置される構成となっている。以下、表示部２ａ、２ｂを区別する必要がない場合は両者を総称して表示部２と称する。
【００１８】
表示部２には、例えば外側カメラ４ａで撮像された現実空間の撮像画像が表示されたり、現実空間の物体に重畳して見えるよう画像が表示されたりする。また、表示部２は透過型であってもよく、情報処理装置１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザが情報処理装置１を眼鏡のように常時装着しても通常の生活には支障が生じない。
【００１９】
外側カメラ４ａは、図１に示すように、ユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方（外側）に向けて配置されている。
【００２０】
また、情報処理装置１には、装着された状態でユーザの眼およびその周囲を撮像するために内側に向けて配置された内側カメラ４ｂも設けられている。
【００２１】
また、情報処理装置１には、ユーザに装着された状態でユーザの顔の皮膚の動きを検知するセンサが設けられている。当該センサは、例えばフォトリフレクタ（焦電センサ）により実現される。図１に示すように、皮膚の動きを検知するセンサである複数のフォトリフレクタ６ａ〜６ｃは、表示部２ｂの下部、情報処理装置１の柄の内側、表示部２ａと表示部２ｂの間等にそれぞれ設けられている。
【００２２】
また、情報処理装置１には、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ３ａ、３ｂが設けられる。また、右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン５ａ、５ｂが配置される。
【００２３】
なお、図１に示す情報処理装置１の外観は一例であり、情報処理装置１をユーザが装着するための構造は多様に考えられる。情報処理装置１は、一般にメガネ型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくともユーザの頭部の動きを検知できればよい。
【００２４】
また、表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。また、外側カメラ４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。また、内側カメラ４ｂは、図１に示す例では左眼側に前方に向けて配置されているが、右眼側に配置されてもよいし、両側に配置されてもよい。また、イヤホンスピーカ３ａ、３ｂは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。また、マイクロホンも、マイクロホン５ａ、５ｂのうちの一方でもよい。さらに、内側カメラ４ｂ、マイクロホン５ａ、５ｂ、またはイヤホンスピーカ３ａ、３ｂを備えない構成も考えられる。
【００２５】
（背景）
ここで、従来の技術では、被写体の笑顔を検知した場合にシャッター動作を行うことや、撮影時のユーザの感情を皮膚伝導率の変化や心拍数から解析して取得し、そのシーンに対応付けることが行われていたが、両者の表情に基づいた制御に関しては何ら言及されていなかった。
【００２６】
そこで、本実施形態では、表情情報を取得可能な情報処理装置１を装着するユーザと、相手との両者の表情が一致するか否かをトリガとする所定の制御（動作）を行うことで、情報処理装置１の利便性を向上させる。具体的には、例えば本実施形態により提案される情報処理装置１は、互いの表情が一致、すなわち両者が共感した場合に、シャッター動作を行うことで、両者の気持ちが一致した瞬間を記録することができる。
【００２７】
以上、本開示の一実施形態による情報処理装置１の概要について説明した。続いて、本開示による情報処理装置１の基本構成について説明する。
【００２８】
＜＜２．基本構成＞＞
図２は、本実施形態による情報処理装置１の基本構成を示すブロック図である。図２に示すように、情報処理装置１は、主制御部１０、表示部２、音声出力部３、外側カメラ４ａ、内側カメラ４ｂ、音声入力部５、表情情報取得部６、通信部１２、および記憶部１４を有する。
【００２９】
（表情情報取得部）
表情情報取得部６は、情報処理装置１がユーザに装着された状態でユーザの表情情報を取得する機能を有する。具体的には、表情情報取得部６は、例えば顔の皮膚の動きの検知結果に基づいてユーザの表情情報を取得する。顔の皮膚の動きを検知するセンサは、上述したフォトリフレクタ（焦電センサ）６ａ〜６ｃの他、各種近接センサ、距離センサ等により実現される。
【００３０】
本実施形態によるフォトリフレクタ６ａは、図１に示すように、表示部２ｂの下部に設けられ、情報処理装置１がユーザに装着された状態で頬の動きを検知することができる。また、フォトリフレクタ６ｂは、情報処理装置１の柄の内側に設けられ、情報処理装置１がユーザに装着された状態で目尻の横の動きを検知することができる。また、フォトリフレクタ６ｃは、情報処理装置１の表示部２ａと表示部２ｂの間に設けられ、情報処理装置１がユーザに装着された状態で眉間部分の動きを検知することができる。
【００３１】
このように、各フォトリフレクタ６ａ〜６ｃは、日常的に装着可能なメガネ型の頭部ウェラブルデバイスである情報処理装置１をユーザが装着している際に、ユーザの顔の皮膚の動きを検知することができる。そして、表情情報取得部６は、フォトリフレクタ６ａ〜６ｃによる検知結果に基づいて、表情情報を取得する。
【００３２】
ここで、フォトリフレクタ６ａ〜６ｃにより検知されるデータに基づく表情情報の取得について、図３〜図６を参照して具体的に説明する。
【００３３】
図３は、笑顔の場合のフォトリフレクタ６ａ〜６ｃによる検知データを示す図である。図３に示すように、笑顔の場合は頬の動き（フォトリフレクタ６ａ）と、目尻の横の動き（フォトリフレクタ６ｂ）が検知され、眉間の動き（フォトリフレクタ６ｃ）はほぼ検知されない。
【００３４】
したがって、表情情報取得部６は、頬の動きと目尻の横の動きが図３に示すように共に検知された場合、「笑顔」と判断し、「笑顔」の表情情報を取得することができる。なお参考例として、異なる被験者の笑顔時のフォトリフレクタ６ａ、６ｂによる検知データを図４、図５に示す。図４、図５では、笑顔の際に皮膚に動きが生じる部分を検知するフォトリフレクタ６ａ、６ｂのみの検知データが示される。
【００３５】
図４は、被験者Ａが笑顔の場合におけるフォトリフレクタ６ａ、６ｂによる検知データを示す図である。図５は、被験者Ｂが笑顔の場合におけるフォトリフレクタ６ａ、６ｂによる検知データを示す図である。いずれの場合も、頬の動き（フォトリフレクタ６ａ）と目尻の横の動き（フォトリフレクタ６ｂ）が共に検知されている。
【００３６】
したがって、一般的に人は笑顔の際に頬と目尻の横が略同じタイミングで動く傾向があると言えるので、表情情報取得部６は、頬の動きと目尻の横の動きが共に検知された場合に「笑顔」と判断して「笑顔」の表情情報を取得することができる。
【００３７】
続いて、「嫌悪」の表情情報を取得する場合について図６を参照して説明する。図６は、嫌悪の場合のフォトリフレクタ６ａ〜６ｃによる検知データを示す図である。図６に示すように、嫌悪の場合は眉間の動き（フォトリフレクタ６ｃ）が大きく検知され、頬の動き（フォトリフレクタ６ａ）と目尻の横の動き（フォトリフレクタ６ｂ）はほぼ検知されない。したがって、表情情報取得部６は、頬の動きと目尻の横の動きが検知されず、眉間の動きのみが検知された場合、「嫌悪」と判断し、「嫌悪」の表情情報を取得することができる。
【００３８】
以上、表情情報取得部６がフォトリフレクタ６ａ〜６ｃにより検知された皮膚の動きに基づいて表情情報を取得する場合について具体的に説明した。なお表情情報取得部６は、内側カメラ４ｂにより撮像されたユーザの眼の画像に基づいて表情情報を取得することも可能である。具体的には、例えば表情情報取得部６は、ユーザの視線や瞳孔の動き、眼周辺の皮膚の動きの変化等から、表情情報を取得することができる。
【００３９】
（主制御部）
主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、情報処理装置１の各構成を制御する。
【００４０】
また、本実施形態による主制御部１０は、図２に示すように、比較部１１０、および記録制御部１２０として機能する。比較部１１０は、情報処理装置１を装着しているユーザの表情情報と、相手の表情情報とを比較し、一致するか否かを判断する。ユーザの表情情報は、表情情報取得部６から出力される。また、一方、相手の表情情報の取得は、以下の２パターンが想定され得る。
【００４１】
図７は、相手の表情情報取得の第１パターンを説明するための図である。図７に示すように、ユーザ２０Ａのみが情報処理装置１を装着して相手のユーザ２０Ｂと対話している場合、情報処理装置１は、前方（外側）に向けて配置されている外側カメラ４ａによりユーザ２０Ｂを撮像し、撮像画像に基づいて相手（ユーザ２０Ｂ）の表情情報を取得する。
【００４２】
一方、図８は、相手の表情情報取得の第２パターンを説明するための図である。図８に示すように、ユーザ２０Ａとユーザ２０Ｂがそれぞれ情報処理装置１’Ａ、１’Ｂを装着して互いに対話している場合、情報処理装置１’Ａは、情報処理装置１’Ｂから相手（ユーザ２０Ｂ）の表情情報を受信して取得することができる。情報処理装置１’Ｂは、情報処理装置１’Ｂに設けられた表情情報取得部６により、装着者であるユーザ２０Ｂの表情情報を取得することが可能であるためである。
【００４３】
比較部１１０は、両者の表情情報の比較結果を記録制御部１２０に出力する。
【００４４】
記録制御部１２０は、比較部１１０による比較結果に応じて、所定の記録制御を行う。所定の制御とは、例えば、撮像画像、音声データ、場所、または時刻の少なくともいずれかを記録する制御である。より具体的には、例えばユーザと相手の表情が一致した場合、外側カメラ４ａによる撮像を行い（シャッター動作を行い）、撮像画像を記憶部１４に記憶させる。これにより、従来は被写体が笑顔の場合のみにシャッターが自動的に動作していたが、本実施形態では、両者が共感して同じ気持ちになった瞬間にシャッターを動作させることができる。また、記録制御部１２０は、撮像した撮像画像に、「共感」のタグ（または一致した表情情報のタグ）を付加して記憶させてもよい。
【００４５】
また、記録制御部１２０は、外側カメラ４ａまたは音声入力部５により継続的に周囲の景色や音声をライフログとして記録している場合に、比較部１１０によりユーザと相手の表情が一致したと判断された際、対応するライフログに「共感」のタグ（または一致した表情情報のタグ）を付加してもよい。これにより、ライフログ再生時に、共感シーンを抽出して再生することが可能となる。
【００４６】
（通信部）
通信部１２は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。本実施形態による通信部１２は、例えばユーザが所持するスマートフォンやタブレット端末等と接続し、記憶部１４に記憶した共感タグが付加された撮像画像を送信する。
【００４７】
また、通信部１２は、ユーザと対話している相手の頭部に装着された他の情報処理装置と接続し、相手の表情情報を受信することも可能である。
【００４８】
（外側カメラ、内側カメラ）
外側カメラ４ａ、内側カメラ４ｂは、それぞれ撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系と、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等とを有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００４９】
外側カメラ４ａは、情報処理装置１がユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方（外側）に向けて配置されている。これにより、外側カメラ４ａは、ユーザと会話している相手の顔を撮像することが可能である。
【００５０】
また、内側カメラ４ｂは、情報処理装置１がユーザに装着された状態で、内側に向けて配置されている。これにより、内側カメラ４ｂは、ユーザの眼および眼の周辺を撮像することが可能である。
【００５１】
（音声入力部）
音声入力部５は、図１に示したマイクロホン５ａ、５ｂと、そのマイクロホン５ａ、５ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを主制御部１０に出力する。主制御部１０では、音声入力部５で得られた音声データに対して、ノイズ除去、音源分離等の処理を行った上で音声認識を行うことで、ユーザによる音声入力を可能にする。また、主制御部１０では、音声入力部５で得られた音声データに対して、ノイズ除去、音源分離等の処理を行った上で音声データを記憶部１４に記憶させることで、録音を可能にする。
【００５２】
（表示部）
表示部２は、主制御部１０による制御に従って、画像データを表示する。また、表示部２は、上述したように、透過型の表示デバイスであってもよい。
【００５３】
（音声出力部）
音声出力部３は、図１に示した一対のイヤホンスピーカ３ａ、３ｂと、そのイヤホンスピーカ３ａ、３ｂに対するアンプ回路を有する。また、音声出力部３は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部３は、主制御部１０による制御に従って、音声信号データを出力（再生）する。
【００５４】
（記憶部）
記憶部１４は、主制御部１０が各種処理を実行するためのプログラム等を記憶する。また、記憶部１４は、頭部の動きの学習データに基づいて算出された行動特徴量を記憶していてもよい。
【００５５】
以上、本実施形態による情報処理装置１の構成について詳細に説明した。続いて、本実施形態による情報処理装置１の動作処理について図９〜図１０に示すフローチャートを参照して説明する。
【００５６】
＜＜３．動作処理＞＞
＜３−１．基本処理＞
図９は、本実施形態による情報処理装置１の基本処理を示すフローチャートである。図９に示すように、まず、ステップＳ１０３において、比較部１１０は、相手の表情情報を取得する。相手の表情情報は、相手の頭部に装着された他の情報処理装置から通信部１２を介して受信したり、外側カメラ４ａで撮像した相手の顔画像に基づいて取得したりすることが可能である。
【００５７】
次に、ステップＳ１０６において、比較部１１０は、ユーザ（装着者）の表情情報を取得する。ユーザの表情情報は、表情情報取得部６により、例えばユーザの顔の皮膚の動きに基づいて取得され、比較部１１０に出力される。
【００５８】
次いで、ステップＳ１０９において、比較部１１０は、ユーザの表情情報と相手の表情情報とが一致しているか否かを判断する。
【００５９】
そして、表情情報が一致していると判断した場合（Ｓ１０９／Ｙｅｓ）、ステップＳ１１２において、記録制御部１２０は、所定の記録制御を行う。これにより、情報処理装置１は、ユーザと相手の両者が共感している瞬間を記録することができる。また、情報処理装置１は、頭部に装着される汎用なメガネ型ＨＭＤにより実現されるので、本実施形態による共感を検出したことをトリガとする記録制御に限定されず、種々の制御を実行することが可能である。
【００６０】
続いて、本実施形態による情報処理装置１による具体的な記録制御処理について説明する。
【００６１】
＜３−２．具体的な記録制御処理＞
図１０は、本実施形態による情報処理装置１の具体的な記録制御処理を示すフローチャートである。図１０に示すように、まず、ステップＳ１０３、およびステップＳ１０６において、比較部１１０は、図９に示す同ステップと同様に、相手の表情情報およびユーザの表情情報を取得する。
【００６２】
次に、ステップＳ２０９において、比較部１１０は、ユーザの表情情報と相手の表情情報とに基づいて、両者とも笑顔であるか否かを判断する。
【００６３】
次いで、両者とも笑顔であると判断した場合（Ｓ２０９／Ｙｅｓ）、ステップＳ２１２において、記録制御部１２０は、撮像動作または録音動作を行い、取得した撮像画像データ／音声データに「笑顔」のタグ付けを行って記憶部１４に格納する。
【００６４】
続いて、ステップＳ２１４において、記録制御部１２０は、現在時刻および現在位置（場所）のデータも、「笑顔」のタグ付けを行って記憶部１４に格納する。現在位置は、情報処理装置１に設けられる位置測定部（不図示）により測定され得る。位置測定部は、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）、またはＷｉ−Ｆｉ電波を利用して位置測定を行う測定部により実現される。
【００６５】
これにより、情報処理装置１は、ユーザと相手の両者が「笑顔」で共感した瞬間の撮像画像や、音声データ、また、共感した時刻や場所を記録することができる。
【００６６】
＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理装置１は、ユーザと相手の表情情報を取得し、両者の表情が一致するか否かに応じて所定の記録制御を行うことで、情報処理装置１の利便性を向上させる。
【００６７】
具体的には、例えば情報処理装置１は、互いの表情が一致した場合にシャッター動作を行うことで、両者の気持ちが一致して共感した瞬間を撮像することができる。
【００６８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６９】
例えば、上述した情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【００７０】
また、両者が共感していることをトリガとして撮像された撮像画像は、共感のタグが付加されるので、再生時に共感シーンだけを抽出することも可能である。
【００７１】
また、本実施形態による情報処理装置１の表情情報取得部６は、ユーザと相手の表情が一致する場合、さらにユーザと相手の表情情報に基づいて共感度合いを検出してもよい。検出された共感度合いは、共感タグと共に付加情報として撮像画像に対応付けて記憶される。これにより、情報処理装置１は、共感度合いに基づいてユーザに対して「友人レコメンド」を行うことができる。具体的には、情報処理装置１は、共感度合いがより高い相手を「気が合う友達」としてユーザにレコメンドすることができる。
【００７２】
また、情報処理装置１は、共感した回数、例えば相手と一緒に笑った回数をカウントし、健康管理アプリケーションにカウント数を出力してもよい。
【００７３】
また、情報処理装置１は、共感した場所の位置情報を利用して、地図画像上に他者と共感した位置を示す共感マップを作成することもできる。
【００７４】
さらに、本実施形態による情報処理装置１は、笑い声や泣き声等の音声ではなく、顔面の皮膚の動きに基づいて表情情報を取得するので、映画の鑑賞中等、会話ができないシーンであっても、互いに共感しているか否かを判断することができる。
【００７５】
さらに、情報処理装置１は、付加された共感タグに基づいて、写真合成やスタンプ生成等の画像生成を行うことも可能である。
【００７６】
例えば、図８に示すように、ユーザと相手が、それぞれ情報処理装置１’Ａ、１’Ｂを装着していた場合、両者の表情が一致したことをトリガとして、情報処理装置１’Ａはユーザ２０Ｂを被写体として撮像し、情報処理装置１’Ｂはユーザ２０Ａを被写体として撮像する。そして、情報処理装置１’Ａは、情報処理装置１’Ａが撮像した撮像画像と、情報処理装置１’Ｂで撮像された撮像画像とを合成し、共感した際の互いの表情を含む１つの画像を生成することができる。
【００７７】
また、情報処理装置１は、共感をトリガとして撮像された撮像画像にタグ付けされた表情情報を示すスタンプを生成し、当該撮像画像に合成してもよい。例えば、撮像画像に「笑顔」のタグが付加されている場合、情報処理装置１は、「笑顔」を示す画像を撮像画像に重畳した画像を生成する。
【００７８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００７９】
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得する情報取得部と、
前記情報取得部により取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行う制御部と、
を備える、情報処理装置。
（２）
前記制御部は、前記ユーザの表情情報と、前記相手の表情情報とが一致した場合に、撮像画像、音声データ、場所、または時刻の少なくともいずれかを記録するよう制御する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記ユーザの頭部に装着された際に前記ユーザの視線方向を撮像する撮像部をさらに備え、
前記制御部は、前記ユーザの表情情報と、前記相手の表情情報とが一致した場合に、前記撮像部による撮像を行うよう制御する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記ユーザの表情情報と前記相手の表情情報とが一致した際に撮像した撮像画像に共感のタグ付けを行った上で記録する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記情報取得部は、前記ユーザの顔面の皮膚の動きを検知したデータに基づいて、前記ユーザの表情情報を取得する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記情報取得部は、前記ユーザの頬、目尻の横、および眉間の少なくともいずれかの部位の皮膚の動きを検知したデータに基づいて、前記ユーザの表情情報を取得する、前記（５）に記載の情報処理装置。
（７）
前記情報処理装置は、
前記相手の表情情報を、前記相手の頭部に装着される他の情報処理装置から受信する受信部をさらに備える、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記情報処理装置は、
前記ユーザの頭部に装着された際に前記ユーザの視線方向を撮像する撮像部をさらに備え、
前記相手の表情情報は、前記撮像部により撮像された前記相手の顔画像に基づいて取得される、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記情報処理装置は、メガネ型のウェアラブルデバイスである、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得するステップと、
取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行うステップと、
を含む、制御方法。
（１１）
コンピュータに、
ユーザの頭部に装着される情報処理装置に設けられ、ユーザの表情情報を取得する情報取得部と、
前記情報取得部により取得された前記ユーザの表情情報と、相手の表情情報とが一致するか否かに応じて、所定の制御を行う制御部と、
として機能させるための、プログラム。
【符号の説明】
【００８０】
１、１’Ａ、１’Ｂ    情報処理装置
２、２ａ、２ｂ    表示部
３    音声出力部
３ａ、３ｂ    イヤホンスピーカ
４ａ    外側カメラ
４ｂ    内側カメラ
５    音声入力部
５ａ、５ｂ    マイクロホン
６    表情情報取得部
６ａ〜６ｃ    フォトリフレクタ
１０    主制御部
１１０    比較部
１２０    記録制御部
１２    通信部
１４    記憶部
２０Ａ、２０Ｂ    ユーザ
【図１】
2015092646.tif 000003
【図２】
2015092646.tif 000004
【図３】
2015092646.tif 000005
【図４】
2015092646.tif 000006
【図５】
2015092646.tif 000007
【図６】
2015092646.tif 000008
【図７】
2015092646.tif 000009
【図８】
2015092646.tif 000010
【図９】
2015092646.tif 000011
【図１０】
2015092646.tif 000012