(57)【要約】  本技術は、肌の状態の定点観測を容易に行うことができるようにする情報処理装置、情報処理方法、およびプログラムに関する。本技術の一側面の情報処理装置は、肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得し、画像を解析し、特徴点の位置を認識する。また、認識した特徴点の位置を基準として、画像上の所定の位置に測定部分を表す情報を表示させる。本技術は、タブレット端末、スマートフォン、パーソナルコンピュータなどの情報処理装置に適用することができる。
2016076140.tif 000002
【特許請求の範囲】
【請求項１】
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得する取得部と、
前記画像を解析し、前記特徴点の位置を認識する認識部と、
前記認識部により認識された前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる表示制御部と
を備える情報処理装置。
【請求項２】
前記画像を撮影する撮影部をさらに備え、
前記取得部は、前記撮影部により撮影された前記画像を取得する
請求項１に記載の情報処理装置。
【請求項３】
前記画像と前記測定部分を表す情報を表示する表示部をさらに備える
請求項１に記載の情報処理装置。
【請求項４】
前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置を基準として、前記所定の位置に前記測定部分を設定する設定部をさらに備える
請求項１に記載の情報処理装置。
【請求項５】
前記測定部分の設定時に撮影された前記画像上で前記ユーザにより指定された位置に前記測定部分を設定する設定部をさらに備える
請求項１に記載の情報処理装置。
【請求項６】
前記測定部分の設定時の前記情報処理装置の角度を検出する検出部をさらに備える
請求項４に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記情報処理装置の角度を、前記検出部により検出された角度と同じ角度に調整することを案内する情報を表示する
請求項６に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記画像上の、前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置と同じ位置に、前記特徴点を表す情報を表示させる
請求項１に記載の情報処理装置。
【請求項９】
前記表示制御部は、前記特徴点の位置が変化することに応じて、前記測定部分を表す情報の表示位置を変化させる
請求項１に記載の情報処理装置。
【請求項１０】
前記取得部は、前記測定部分の肌を撮影して得られた肌画像を取得し、
前記表示制御部は、前記肌画像と、前記ユーザが写る前記画像とを同時に表示させる
請求項１に記載の情報処理装置。
【請求項１１】
前記肌画像を解析し、前記測定部分の肌の状態を測定する解析部と、
前記解析部による測定の結果を表す情報を記録する記録部と
をさらに備える請求項１０に記載の情報処理装置。
【請求項１２】
前記表示制御部は、前記記録部に記録された複数回の測定の結果を表す情報に基づいて、前記測定部分の肌の状態の変化を表す情報を表示させる
請求項１１に記載の情報処理装置。
【請求項１３】
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得し、
前記画像を解析し、前記特徴点の位置を認識し、
認識した前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる
ステップを含む情報処理方法。
【請求項１４】
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得し、
前記画像を解析し、前記特徴点の位置を認識し、
認識した前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、肌の状態の定点観測を容易に行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
肌を撮影することによって得られた肌画像を解析し、肌の状態を測定する技術がある。測定を行う者は、撮像素子を搭載した測定器を被測定者の顔などに当て、測定部分の撮影を行うことになる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３９７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザが自分の肌を撮影し、１人で肌の状態を測定することができれば便利である。１人で測定することができれば、ユーザは、日々の肌の状態の変化を観測するといったことを気軽に行うことができる。【０００５】
肌の状態の変化を観測するためには同じ部分を繰り返し撮影する必要があるが、その部分を正確に覚えておくことは難しい。【０００６】
本技術はこのような状況に鑑みてなされたものであり、肌の状態の定点観測を容易に行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の情報処理装置は、肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得する取得部と、前記画像を解析し、前記特徴点の位置を認識する認識部と、前記認識部により認識された前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる表示制御部とを備える。【０００８】
前記画像を撮影する撮影部をさらに設けることができる。この場合、前記取得部には、前記撮影部により撮影された前記画像を取得させることができる。【０００９】
前記画像と前記測定部分を表す情報を表示する表示部をさらに設けることができる。【００１０】
前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置を基準として、前記所定の位置に前記測定部分を設定する設定部をさらに設けることができる。【００１１】
前記測定部分の設定時に撮影された前記画像上で前記ユーザにより指定された位置に前記測定部分を設定する設定部をさらに設けることができる。【００１２】
前記測定部分の設定時の前記情報処理装置の角度を検出する検出部をさらに設けることができる。【００１３】
前記表示制御部には、前記情報処理装置の角度を、前記検出部により検出された角度と同じ角度に調整することを案内する情報を表示させることができる。【００１４】
前記表示制御部には、前記画像上の、前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置と同じ位置に、前記特徴点を表す情報を表示させることができる。【００１５】
前記表示制御部には、前記特徴点の位置が変化することに応じて、前記測定部分を表す情報の表示位置を変化させることができる。【００１６】
前記取得部には、前記測定部分の肌を撮影して得られた肌画像を取得させ、前記表示制御部には、前記肌画像と、前記ユーザが写る前記画像とを同時に表示させることができる。【００１７】
前記肌画像を解析し、前記測定部分の肌の状態を測定する解析部と、前記解析部による測定の結果を表す情報を記録する記録部とをさらに設けることができる。【００１８】
前記表示制御部には、前記記録部に記録された複数回の測定の結果を表す情報に基づいて、前記測定部分の肌の状態の変化を表す情報を表示させることができる。【００１９】
本技術の一側面においては、肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像が取得される。また、前記画像が解析され、前記特徴点の位置が認識され、認識された前記特徴点の位置を基準として表される前記画像上の位置に、前記測定部分を表す情報が表示される。
【発明の効果】
【００２０】
本技術によれば、ユーザは、肌の状態の定点観測を容易に行うことができる。【００２１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２２】
【図１】本技術を適用した肌状態測定システムの構成例を示す図である。
【図２】肌測定器の外観を示す図である。
【図３】肌測定器の使用例を示す図である。
【図４】肌測定器の構成例を示すブロック図である。
【図５】情報処理装置のハードウェア構成例を示すブロック図である。
【図６】情報処理装置の機能構成例を示すブロック図である。
【図７】初期設定処理について説明するフローチャートである。
【図８】顔の向きの案内画面の例を示す図である。
【図９】定点観測ポイントの選択画面の例を示す図である。
【図１０】設定情報の例を示す図である。
【図１１】他の初期設定処理について説明するフローチャートである。
【図１２】撮影の案内画面の例を示す図である。
【図１３】特徴点の選択画面の例を示す図である。
【図１４】定点観測ポイントの設定画面の例を示す図である。
【図１５】測定処理について説明するフローチャートである。
【図１６】角度の調整画面の例を示す図である。
【図１７】顔の位置の調整画面の例を示す図である。
【図１８】顔の位置の調整画面の他の例を示す図である。
【図１９】定点観測ポイントの案内画面の例を示す図である。
【図２０】定点観測ポイントの案内画面の他の例を示す図である。
【図２１】表示画面の例を示す図である。
【図２２】表示画面の他の例を示す図である。
【図２３】口元の撮影中の表示画面の例を示す図である。
【図２４】額の撮影中の表示画面の例を示す図である。
【図２５】測定結果の例を示す図である。
【図２６】定点観測結果表示処理について説明するフローチャートである。
【図２７】定点観測結果の表示画面の例を示す図である。
【図２８】比較表示処理について説明するフローチャートである。
【図２９】顔画像の表示画面の例を示す図である。
【図３０】検索処理について説明するフローチャートである。
【図３１】顔画像の表示画面の例を示す図である。
【図３２】改善方法提示処理について説明するフローチャートである。
【図３３】顔画像の例を示す図である。
【図３４】評価結果の表示例を示す図である。
【図３５】評価結果の他の表示例を示す図である。
【図３６】検索処理について説明するフローチャートである。
【図３７】顔画像の表示例を示す図である。
【図３８】人物検索処理について説明するフローチャートである。
【図３９】顔画像の表示画面の例を示す図である。
【図４０】髪型の合成結果の表示例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．肌状態測定システムの構成
２．各機器の構成
３．情報処理装置の動作
４．肌状態情報を用いた分類の例
５．変形例
【００２４】
＜１．肌状態測定システムの構成＞
図１は、本技術を適用した肌状態測定システムの構成例を示す図である。
【００２５】
図１の肌状態測定システムは、情報処理装置１と肌測定器２から構成される。情報処理装置１と肌測定器２は無線LAN(Local Area Network)などの無線通信を介して接続される。情報処理装置１と肌測定器２が、USB(Universal Serial Bus)ケーブルなどを用いた有線の通信を介して接続されるようにしてもよい。
【００２６】
図１の肌状態測定システムは、ユーザが、主に１人で、自分の肌の状態を測定し、測定結果を確認するために用いられる。ユーザは、肌の状態の測定者であり、被測定者でもある。
【００２７】
情報処理装置１は、タブレット型の端末である。情報処理装置１にはLCD(Liquid Crystal Display)などのディスプレイ１１が設けられる。ディスプレイ１１のベゼル部分にはカメラ１２が設けられる。ディスプレイ面と同じ面にカメラが搭載される、スマートフォン、パーソナルコンピュータなどの他の携帯端末が情報処理装置１として用いられるようにしてもよい。
【００２８】
情報処理装置１は、肌測定器２により撮影された肌画像を取得し、取得した肌画像を解析してユーザの肌の状態を測定する。肌画像は、皮膚が拡大して写る画像である。情報処理装置１は、測定した肌の状態に関する情報をディスプレイ１１に表示し、ユーザに提示する。
【００２９】
肌測定器２は、ユーザが片手で持つことができる程度の大きさの電子機器である。肌測定器２には、撮像素子、体温センサなどの各種のセンサが設けられる。
【００３０】
図２は、肌測定器２の外観を示す図である。
【００３１】
図２のＡに示すように、肌測定器２は、側面視において略横長楕円形の筐体を有する。筐体の右端の頂部から若干ずれた位置には平面が形成され、この平面に、図２のＢに示すように略円形の孔部２１が形成される。肌測定器２の筐体の孔部２１の周り以外は、全体的に曲面により構成される。
【００３２】
孔部２１の奥には、孔部２１の外に向けて光を照射する発光部、反射光を受けて撮影を行う撮像素子などが設けられる。ユーザは、自分の肌の状態を測定するとき、孔部２１を測定部分に当てて撮影を行うことになる。
【００３３】
図３は、肌測定器２の使用例を示す図である。
【００３４】
図３に示すように、ユーザは、テーブルなどに置いた情報処理装置１を前にして座り、ディスプレイ１１の表示を見ながら、肌測定器２を自分の顔などに当てて肌の状態の測定を行う。この場合、情報処理装置１は、テーブル上のクレードルなどに設置される。ユーザは、情報処理装置１を一方の手で持ち、肌測定器２を他方の手で持って肌の状態の測定を行うことも可能である。
【００３５】
このような構成を有する肌状態測定システムを用いることによって、ユーザは、肌の状態の定点観測を行うことができる。
【００３６】
情報処理装置１は、ユーザが肌測定器２を使っているとき、同じ部分を撮影できるようにするための案内をディスプレイ１１に表示させる。ある部分にできたシミがどのように変化しているかといったことなどを観測するためには、ユーザは、定点観測ポイントして設定した部分を、肌測定器２を使って定期的に撮影する必要がある。
【００３７】
例えば、情報処理装置１は、ユーザが肌測定器２を使っているとき、カメラ１２によってユーザの顔を撮影し、ユーザの顔の画像に重ねて、あらかじめ設定された定点観測ポイントを表す情報を表示させる。ユーザは、肌測定器２を持った手をディスプレイ１１に表示される案内に従って動かすことによって、定点観測ポイントの撮影を行うことができる。
【００３８】
ここで、定点観測ポイントを表す情報を顔の画像に重ねて表示するためには、情報処理装置１は、ユーザの目、鼻、口などの、特徴点となる構成の位置を特定する必要がある。定点観測ポイントの位置は、顔の特徴点の位置を基準として表される。
【００３９】
また、顔の特徴点の位置を特定して毎回同じ位置に定点観測ポイントを表す情報を表示するためには、顔の位置と情報処理装置１の位置とが、毎回同じ関係になっている必要がある。前回の測定時と今回の測定時とでユーザの顔の向きが異なる場合、情報処理装置１は、基準となる位置を正しく認識することができず、これにより、定点観測ポイントを正しく表示することができない。
【００４０】
情報処理装置１は、定点観測ポイントを表す情報を表示する前、顔の位置と情報処理装置１の位置との関係を調整するための案内を表示する。顔の位置と情報処理装置１の位置との関係を調整させてからユーザの顔を撮影し、特徴点の位置を特定することによって、情報処理装置１は、毎回、ユーザの顔の画像上の同じ位置に定点観測ポイントを表す情報を表示させることが可能になる。
【００４１】
ディスプレイ１１に案内が表示されるため、ユーザは、自分の顔の位置と情報処理装置１の位置との関係が毎回同じ関係になるように容易に調整することができる。情報処理装置１は携帯型の装置であるため、顔の位置と情報処理装置１の位置との関係を固定させることは難しいが、ユーザは、位置の調整を容易に行うことができる。
【００４２】
また、ユーザは、ディスプレイ１１に表示された案内に従って手を動かすことによって、定点観測ポイントとして設定しておいた部分を肌測定器２で正しく撮影することができる。ユーザは、定点観測しようとする部分を覚えておく必要がない。
【００４３】
ユーザに定点観測を行わせるための情報処理装置１の一連の処理についてはフローチャートを参照して後述する。
【００４４】
＜２．各機器の構成＞
・肌測定器の構成
図４は、肌測定器２の構成例を示すブロック図である。
【００４５】
肌測定器２は、発光部３１、撮像素子３２、センサ３３、コントローラ３４、および通信部３５から構成される。
【００４６】
発光部３１は、肌画像の撮影時、肌に向けて可視光を照射する。また、発光部３１は、メラニン量の測定などに用いられる所定の波長の光を照射する。
【００４７】
撮像素子３２は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子である。撮像素子３２は、発光部３１が照射した光の反射光を検出し、光電変換などを行う。撮像素子３２は、光電変換などを行うことによって得られた肌画像のデータをコントローラ３４に出力する。
【００４８】
センサ３３は、肌温度を測定するセンサなどの各種のセンサである。センサ３３は、測定結果を表すセンサデータをコントローラ３４に出力する。
【００４９】
コントローラ３４は、通信部３５を介して情報処理装置１と通信を行い、情報処理装置１による制御に従って肌測定器２の各部を制御する。コントローラ３４は、撮像素子３２から供給された肌画像のデータと、センサ３３から供給されたセンサデータを、通信部３５から情報処理装置１に送信する。
【００５０】
通信部３５は、無線LANなどの所定の規格の通信モジュールである。通信部３５は、情報処理装置１と通信を行う。通信部３５は、情報処理装置１から送信されてきた情報をコントローラ３４に出力し、コントローラ３４から供給された情報を情報処理装置１に送信する。
【００５１】
・情報処理装置の構成
図５は、情報処理装置１のハードウェア構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５２】
CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続される。
【００５３】
バス５４には、さらに、入出力インタフェース５５が接続される。入出力インタフェース５５には、ディスプレイ１１、カメラ１２、タッチパネル５６、メモリ５７、通信部５８、角度センサ５９、およびドライブ６０が接続される。
【００５４】
タッチパネル５６は、ディスプレイ１１に積層して設けられる。タッチパネル５６は、ユーザによる操作を検出し、操作の内容を表す情報をCPU５１に出力する。
【００５５】
メモリ５７は、フラッシュメモリなどより構成される。メモリ５７は、肌の状態の測定が行われる毎に、カメラ１２により撮影された顔画像、肌測定器２により撮影された肌画像、肌の状態の測定結果を表す情報などの各種の情報を記録する。メモリ５７に記録された情報はCPU５１により適宜読み出される。
【００５６】
通信部５８は、無線LANなどの所定の規格の通信モジュールである。通信部５８は、肌測定器２と通信を行う。また、通信部５８は、情報処理装置１の近傍に設置されたアクセスポイントや公衆無線回線に接続し、インターネットを介して接続されるサーバなどの各種の装置との間で通信を行う。
【００５７】
角度センサ５９は、肌の状態の測定時などの所定のタイミングで情報処理装置１の筐体の角度を検出する。
【００５８】
ドライブ６０は、リムーバブルメディア６１に記録されたデータの読み出しと、リムーバブルメディア６１に対するデータの記録を行う。リムーバブルメディア６１は、情報処理装置１に設けられたスロットに装着されたメモリカード、情報処理装置１の端子に装着されたUSBメモリなどの記録媒体である。
【００５９】
図６は、情報処理装置１の機能構成例を示すブロック図である。図６に示す機能部のうちの少なくとも一部は、図５のCPU５１により所定のプログラムが実行されることによって実現される。
【００６０】
図６に示すように、情報処理装置１においては、画像取得部８１、認識部８２、肌状態解析部８３、定点観測ポイント設定部８４、情報管理部８５、測定結果分析部８６、および表示制御部８７が実現される。
【００６１】
画像取得部８１は、カメラ１２を制御して撮影を行う。画像取得部８１は、撮影を行うことによって得られた、情報処理装置１の前にいるユーザの顔が写る動画像または静止画像である顔画像を取得する。また、画像取得部８１は、肌の状態の測定時、肌測定器２により撮影され、通信部５８において受信された肌画像を取得する。
【００６２】
画像取得部８１は、顔画像を認識部８２と表示制御部８７に出力し、肌画像を肌状態解析部８３と表示制御部８７に出力する。肌測定器２から送信されてきたセンサデータも画像取得部８１により取得され、肌状態解析部８３に供給される。
【００６３】
認識部８２は、画像取得部８１から供給された顔画像を解析し、ユーザの顔の特徴点を認識する。特徴点の認識は、例えば、あらかじめ用意された特徴データと、顔画像の各領域から抽出した特徴データとのマッチングによって行われる。認識部８２は、顔画像上の、それぞれの特徴点の位置を特定する。
【００６４】
以下においては、顔画像に写る両目と口の３点を特徴点として処理を行う場合について主に説明するが、鼻、眉毛、耳などの他の構成を特徴点に含めて処理を行うようにしてもよい。特徴点として用いる構成の数、組み合わせも任意である。
【００６５】
また、認識部８２は、情報処理装置１から、それぞれの特徴点までの距離を特定する。認識部８２は、顔画像に写る特徴点までの距離を測定する距離センサとして機能する。
【００６６】
顔画像上の特徴点の位置と、それぞれの特徴点までの距離から、撮影空間（３次元空間）での顔の特徴点の位置を特定することが可能になる。認識部８２は、ユーザの顔の立体的な形状を認識することになる。認識部８２は、特徴点の位置と距離の情報を顔画像とともに出力する。認識部８２から出力された情報は、定点観測ポイント設定部８４、情報管理部８５、および表示制御部８７に供給される。
【００６７】
肌状態解析部８３は、画像取得部８１から供給された肌画像を解析し、肌の状態を測定する。肌の状態の測定には、適宜、肌測定器２により検出されたセンサデータも用いられる。例えば、肌の色、キメ、水分量、油分量、毛穴の状態、メラニン量、血流量、肌温度の各項目が測定される。肌状態解析部８３は、測定した肌の状態を表す情報である肌状態情報を肌画像とともに情報管理部８５に出力する。
【００６８】
定点観測ポイント設定部８４は、初期設定時、定点観測ポイントを設定する。肌の状態の定点観測を行う前、ユーザは、初期設定によって定点観測ポイントの設定を行う必要がある。
【００６９】
例えば、定点観測ポイント設定部８４は、認識部８２により特定された特徴点の位置に基づいて、ユーザの頬、額、口元の位置を特定し、それらの位置を定点観測ポイントとして設定する。また、定点観測ポイント設定部８４は、ユーザにより指定された部分を定点観測ポイントとして設定する。定点観測ポイントの指定は、例えば、ディスプレイ１１に表示された顔画像上の位置を指で直接触れることによって行われる。
【００７０】
後述するように、ユーザは、特徴点の位置を指定した後、定点観測ポイントとして好みの位置を任意に指定することもできる。任意に指定された定点観測ポイントの位置は、ユーザにより指定された特徴点の位置を基準として表される。定点観測ポイント設定部８４は、定点観測ポイントの位置の情報を情報管理部８５に出力する。
【００７１】
情報管理部８５は、認識部８２により認識された特徴点の位置と距離の情報、および顔画像をメモリ５７に記録させる。また、情報管理部８５は、肌状態解析部８３により測定された肌状態情報、および肌画像をメモリ５７に記録させる。これらの情報は、測定日時などの情報と対応付けてメモリ５７に記録される。情報管理部８５は、定点観測ポイント設定部８４により設定された定点観測ポイントの位置の情報をメモリ５７に記録させる。
【００７２】
情報管理部８５は、メモリ５７に記録させた各種の情報を適宜読み出し、測定結果分析部８６と表示制御部８７に出力する。例えば、情報管理部８５は、定点観測の結果を表示するとき、各回の測定によって得られた肌状態情報を測定結果分析部８６に出力する。
【００７３】
測定結果分析部８６は、情報管理部８５から供給された肌状態情報に基づいて、定点観測ポイントの肌の状態の変化を分析する。測定結果分析部８６は、分析結果を表示制御部８７に出力する。
【００７４】
表示制御部８７は、初期設定時の画面、測定結果分析部８６による分析結果などの各種の情報をディスプレイ１１に表示させる。
【００７５】
＜３．情報処理装置の動作＞
ここで、以上のような構成を有する情報処理装置１の処理について説明する。
【００７６】
・初期設定処理１
はじめに、図７のフローチャートを参照して、初期設定処理について説明する。
【００７７】
上述したように、初期設定処理は、定点観測ポイントを設定する処理である。定点観測ポイントの設定には、決められた部分を定点観測ポイントとして設定する処理と、ユーザ自身が顔画像上の任意の部分を指定して選択する処理とがある。
【００７８】
図７の処理は、決められた部分を定点観測ポイントとして設定する前者の処理である。図７の処理は、例えば、メニュー画面から初期設定を行うことが選択されたときに開始される。
【００７９】
ステップＳ１において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。ユーザの顔が写る動画像である顔画像のデータは、認識部８２と表示制御部８７に順次供給される。
【００８０】
ステップＳ２において、表示制御部８７は、顔の向きの案内画面をディスプレイ１１に表示させる。
【００８１】
図８は、顔の向きの案内画面の例を示す図である。
【００８２】
図８の顔画像は、カメラ１２により取り込まれた、初期設定を行っているユーザの顔が写る動画像である。ディスプレイ１１の上方には、顔の正面を情報処理装置１に向けることを案内するメッセージが表示される。図８の案内画面に従って、ユーザは、顔の正面を情報処理装置１に向けることになる。
【００８３】
ステップＳ３において、画像取得部８１は、カメラ１２により撮影された顔画像を構成する所定のフレームを静止画像として取得する。例えば、画像取得部８１は、ユーザが顔の正面を情報処理装置１に向けたときのフレームを静止画像として取得する。
【００８４】
ステップＳ４において、角度センサ５９は、情報処理装置１の角度を検出する。角度センサ５９により検出された角度の情報は情報管理部８５に供給される。
【００８５】
ステップＳ５において、認識部８２は、静止画として取得された顔画像を解析し、両目と口の３点などの、顔の特徴点を認識する。また、認識部８２は、顔画像上のそれぞれの特徴点の位置と、情報処理装置１から、それぞれの特徴点までの距離を特定する。認識部８２により特定された特徴点の位置と距離の情報は、顔画像とともに、定点観測ポイント設定部８４と情報管理部８５に供給される。
【００８６】
ステップＳ６において、情報管理部８５は、情報処理装置１の角度の情報、特徴点の位置と距離の情報、および顔画像をメモリ５７に記録させる。メモリ５７に記録される顔画像は、例えば顔の特徴点の認識に用いられた静止画像である。
【００８７】
ステップＳ７において、定点観測ポイント設定部８４は、ユーザの頬、額、口元を定点観測ポイントとして設定する。それぞれの定点観測ポイントの位置は、特徴点の位置を基準として特定される。この例においては、頬、額、口元のそれぞれを定点観測ポイントとして設定することがあらかじめ決められている。
【００８８】
このように、ユーザは、複数の部分を定点観測ポイントとして自動的に設定させることができる。頬、額、口元、目元などの、あらかじめ決められた位置の中から、定点観測ポイントとする部分をユーザが選択することができるようにしてもよい。
【００８９】
図９は、定点観測ポイントの選択画面の例を示す図である。
【００９０】
図９の選択画面の上方には、定点観測ポイントとする部分を選択することを促すメッセージが表示されている。メッセージの下には、ボタン１０１乃至１０３が表示される。ボタン１０１乃至１０３は、それぞれ、頬、額、口元を定点観測ポイントとして設定するときに選択されるボタンである。
【００９１】
図９の選択画面を用いた定点観測ポイントの設定は、ユーザが、位置の制限なしに、好みの部分を任意に指定して定点観測ポイントを設定する後述する処理とは異なる。
【００９２】
ステップＳ８において、情報管理部８５は、定点観測ポイントの位置を表す情報をメモリ５７に記録させる。以上の処理により、初期設定処理は終了となる。
【００９３】
図１０は、設定情報の例を示す図である。
【００９４】
設定情報は、初期設定処理が行われることによってメモリ５７に記録される情報である。情報処理装置１を複数のユーザが使う場合、メモリ５７には、ユーザ毎の設定情報が記録される。
【００９５】
図１０に示すように、設定情報には、初期設定時の情報処理装置１の角度の情報が含まれる。また、設定情報には、特徴点１乃至３のそれぞれの顔画像上の位置の情報と、情報処理装置１から、特徴点１乃至３のそれぞれまでの距離の情報が含まれる。図１０の例においては、特徴点１乃至３は、それぞれ左目、右目、口である。
【００９６】
設定情報には、定点観測ポイント１乃至３のそれぞれの顔画像上の位置の情報が含まれる。情報処理装置１から定点観測ポイント１乃至３までの距離の情報が記録されるようにしてもよい。上述した例の場合、定点観測ポイント１乃至３は、それぞれ頬、額、口元である。
【００９７】
・初期設定処理２
次に、図１１のフローチャートを参照して、他の初期設定処理について説明する。
【００９８】
図１１の処理は、ユーザ自身が顔画像上の任意の部分を指定して定点観測ポイントを設定する処理である。図１１の処理は、特徴点の指定と、定点観測ポイントとする部分の指定がユーザにより行われる点を除いて、図７を参照して説明した処理と基本的に同様の処理である。
【００９９】
ステップＳ２１において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。ユーザの顔が写る動画像である顔画像のデータは、認識部８２と表示制御部８７に供給される。
【０１００】
ステップＳ２２において、表示制御部８７は、撮影の案内画面をディスプレイ１１に表示させる。
【０１０１】
図１２は、撮影の案内画面の例を示す図である。
【０１０２】
図１２の顔画像は、カメラ１２により取り込まれた、初期設定を行っているユーザの顔が写る動画像である。ディスプレイ１１の上方には、好きな向きで撮影することを案内するメッセージが表示される。図１２の例においては、ユーザの顔は、情報処理装置１（カメラ１２）の方向を向いていない。
【０１０３】
ユーザは、図１２の案内画面に従って、定点観測ポイントにしたい部分が写るように顔の向きを調整する。案内画面の右下には、顔の向きを決定するときに操作されるボタン１０４が表示されている。
【０１０４】
ステップＳ２３において、画像取得部８１は、カメラ１２により撮影された顔画像を構成する、図１２のボタン１０４が操作されたタイミングのフレームを静止画像として取得する。静止画像には、好きな方向を向いているユーザの顔が写ることになる。画像取得部８１は、取得した静止画像を顔画像として認識部８２と表示制御部８７に出力する。
【０１０５】
ステップＳ２４において、角度センサ５９は、情報処理装置１の角度を検出する。角度センサ５９により検出された角度の情報は情報管理部８５に供給される。
【０１０６】
ステップＳ２５において、表示制御部８７は、特徴点の選択画面をディスプレイ１１に表示させる。
【０１０７】
図１３は、特徴点の選択画面の例を示す図である。
【０１０８】
図１３の顔画像は、例えば画像取得部８１により取得された静止画像である。ディスプレイ１１の上方には、特徴点となる、目と口の位置を指定することを案内するメッセージが表示される。
【０１０９】
ユーザは、図１３の選択画面に従って、自分の顔画像上の、両目と口の位置を指で直接触れるなどして指定する。タッチパネル５６は、ユーザにより指定された位置を検出する。ユーザにより指定された位置を表す情報は、特徴点の位置の情報として認識部８２に供給される。
【０１１０】
ステップＳ２６において、認識部８２は、顔画像を解析し、情報処理装置１から特徴点までの距離を特定する。ここでは、ユーザにより指定された位置に写っている対象が特徴点として処理される。特徴点の位置と、認識部８２により特定された特徴点の距離の情報は、顔画像とともに、定点観測ポイント設定部８４と情報管理部８５に供給される。
【０１１１】
ステップＳ２７において、情報管理部８５は、情報処理装置１の角度の情報、特徴点の位置と距離の情報、および顔画像をメモリ５７に記録させる。
【０１１２】
ステップＳ２８において、表示制御部８７は、定点観測ポイントの設定画面をディスプレイ１１に表示させる。
【０１１３】
図１４は、定点観測ポイントの設定画面の例を示す図である。
【０１１４】
図１４の顔画像は、例えば画像取得部８１により取得された静止画像である。ディスプレイ１１の上方には、定点観測ポイントを指定することを案内するメッセージが表示される。設定画面の右下には、定点観測ポイントの設定を終えるときに操作されるボタン１０５が表示されている。
【０１１５】
ユーザは、図１４の画面に従って、自分の顔画像上の任意の位置を指で直接触れるなどして指定する。ユーザは、好みの位置を定点観測ポイントとして指定することができる。ユーザにより指定された位置を表す情報は定点観測ポイント設定部８４により取得される。
【０１１６】
定点観測ポイント設定部８４は、ユーザにより指定された位置を定点観測ポイントとして設定し、定点観測ポイントの位置を表す情報を情報管理部８５に供給する。定点観測ポイントの位置は、ユーザにより指定された特徴点の位置を基準として表される。
【０１１７】
ステップＳ２９において、情報管理部８５は、定点観測ポイントの位置を表す情報をメモリ５７に記録させる。以上の処理により、初期設定処理は終了となる。メモリ５７には、図１０の設定情報が記録される。
【０１１８】
・測定処理
次に、図１５のフローチャートを参照して、測定処理について説明する。
【０１１９】
図１５の処理は、定点観測ポイントの肌の状態を実際に測定する処理である。図１５の処理は、図７または図１１の初期設定処理が行われた後に行われる。
【０１２０】
ステップＳ４１において、角度センサ５９は、情報処理装置１の角度を検出する。角度センサ５９により検出された角度の情報は表示制御部８７に供給される。
【０１２１】
ステップＳ４２において、表示制御部８７は、角度センサ５９により検出された角度が初期設定時の角度と異なる場合、角度の調整画面をディスプレイ１１に表示させる。表示制御部８７は、メモリ５７に記録されている設定情報により表される初期設定時の角度と、角度センサ５９により検出された角度を比較することによって調整画面の表示を制御する。
【０１２２】
図１６は、角度の調整画面の例を示す図である。
【０１２３】
調整画面の上方には、情報処理装置１を現在の状態から傾けることを案内するメッセージが表示されている。このように、調整画面には、情報処理装置１の角度を初期設定時の角度と同じ角度に調整することを促すメッセージが表示される。
【０１２４】
ユーザは、図１６の画面に従って、前方にある情報処理装置１の角度を調整する。これにより、情報処理装置１の角度が、初期設定時の角度と同じ角度になる。
【０１２５】
ステップＳ４３において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。ユーザの顔が写る動画像である顔画像のデータは認識部８２と表示制御部８７に供給される。
【０１２６】
ステップＳ４４において、認識部８２は、顔画像を解析し、顔画像上の特徴点の位置と、情報処理装置１から、それぞれの特徴点までの距離を特定する。特徴点の位置と距離の特定は繰り返し行われる。特徴点の位置と距離の情報は表示制御部８７に供給される。
【０１２７】
ステップＳ４５において、表示制御部８７は、顔の位置の調整画面をディスプレイ１１に表示させる。調整画面の表示は、設定情報に含まれる、初期設定時の特徴点の位置と距離の情報を用いて行われる。
【０１２８】
図１７は、顔の位置の調整画面の例を示す図である。
【０１２９】
図１７の顔画像は、カメラ１２により取り込まれた動画像である。調整画面の上方には、目と口の位置をマーカーに合わせるように、顔の位置を調整することを案内するメッセージが表示される。
【０１３０】
調整画面の略中央には、顔画像に重ねて、縦長楕円形の破線の画像である画像Ｐ１が表示される。画像Ｐ１は、顔を収める範囲の目安になる画像である。
【０１３１】
画像Ｐ１の内側には、顔画像に重ねて、マーカーとなる画像Ｐ１１乃至Ｐ１３が表示される。画像Ｐ１１は、初期設定時に特定された右目の位置に基づいて表示される。画像Ｐ１２は、初期設定時に特定された左目の位置に基づいて表示される。画像Ｐ１３は、初期設定時に特定された口の位置に基づいて表示される。
【０１３２】
ユーザは、図１７の画面に従って、両目と口の３点がそれぞれ画像Ｐ１１乃至Ｐ１３の内側に収まるように顔の向きと距離を調整する。これにより、顔と情報処理装置１の位置の関係が、初期設定時の関係と同じ関係になる。
【０１３３】
図１８は、顔の位置の調整画面の他の例を示す図である。
【０１３４】
図１８の調整画面には、図１７の画像Ｐ１に代えて、画像Ｐ１が囲む範囲以外の範囲をグレーアウトさせる画像である画像Ｐ２が表示されている。中央の顔付近以外がグレーアウトすることにより、ユーザは、顔の位置の調整に集中することができる。
【０１３５】
ステップＳ４６において、表示制御部８７は、定点観測ポイントの案内画面をディスプレイ１１に表示させる。案内画面の表示は、設定情報に含まれる、定点観測ポイントの位置の情報を用いて行われる。
【０１３６】
図１９は、定点観測ポイントの案内画面の例を示す図である。
【０１３７】
図１９の案内画面は、顔画像１１１と吹き出し１１２が並べて配置されることによって構成される。
【０１３８】
顔画像１１１は、カメラ１２により撮影された、ユーザの顔が写る動画像である。顔画像１１１には、定点観測ポイントを表す画像Ｐ２１が重ねて表示されている。
【０１３９】
図１９の例においては、ユーザの右頬近傍に画像Ｐ２１が表示されている。画像Ｐ２１は、赤色、青色などの目立つ色の円形の画像である。画像Ｐ２１は透過性を有しており、画像Ｐ２１の下にユーザの顔の一部が表示される。
【０１４０】
画像Ｐ２１の表示位置は、設定情報に含まれる、定点観測ポイントの位置の情報に基づいて決定される。基準となる特徴点の位置は、撮影中の顔画像を解析することによって認識部８２により特定されている。
【０１４１】
撮影中の顔画像を解析することによって特徴点の位置を特定し、その位置を基準として定点観測ポイントを表示するため、表示制御部８７は、定点観測ポイントを、常に、顔画像上の同じ位置に表示させることが可能になる。
【０１４２】
吹き出し１１２には、右頬に肌測定器を当てている人物の様子を示すイラストが表示される。吹き出し１１２の吹き出し元は、顔画像１１１に表示されている画像Ｐ２１の位置である。吹き出し１１２のイラストは、定点観測ポイントに対応する範囲以外をグレーアウトする形で表示される。
【０１４３】
顔画像１１１と吹き出し１１２の下には、吹き出し１１２に表示されるイラストの人物と同じように肌測定器２を動かすことを案内するメッセージが表示される。
【０１４４】
ユーザは、図１９の画面に従って、例えば右手で持っている肌測定器２を右頬に当てて、定点観測ポイントとして設定しておいた右頬付近の肌の撮影を行う。
【０１４５】
図２０は、定点観測ポイントの案内画面の他の例を示す図である。
【０１４６】
図２０の案内画面の構成は、図１９の構成と同じである。図２０の顔画像１１１には、定点観測ポイント以外の範囲をグレーアウトさせる画像である画像Ｐ２２が重ねて表示される。また、定点観測ポイントで交差する十字の画像である画像Ｐ２３が表示される。吹き出し１１２には、右頬に肌測定器を当てている人物の様子を示すイラストが表示される。
【０１４７】
図１５のステップＳ４７において、表示制御部８７は、定点観測ポイントをユーザの動きに追従して表示させる。ユーザが顔の向きなどを変えた場合、変更後の特徴点の位置が認識部８２により特定される。表示制御部８７は、変更後の特徴点の位置を基準として、定点観測ポイントの位置を決定し、決定した位置に、定点観測ポイントを表す画像Ｐ２１などを表示させる。
【０１４８】
ステップＳ４８において、画像取得部８１は、肌測定器２を制御し、肌画像の撮影を開始させる。肌画像の撮影は繰り返し行われる。肌測定器２により撮影された肌画像は画像取得部８１により取得され、肌状態解析部８３と表示制御部８７に供給される。
【０１４９】
カメラ１２により撮影された顔画像に基づいて肌測定器２の位置を認識することができる場合、ユーザが肌測定器２を定点観測ポイントに当てたときに肌画像の撮影を開始するようにしてもよい。
【０１５０】
ステップＳ４９において、表示制御部８７は、カメラ１２により撮影された顔画像と、肌測定器２により撮影された肌画像をディスプレイ１１に同時に表示させる。
【０１５１】
図２１は、表示画面の例を示す図である。
【０１５２】
図２１の表示画面は、顔画像１２１と肌画像１２２から構成される。肌画像１２２は、顔画像１２１の一部に重ねて配置される。
【０１５３】
顔画像１２１は、カメラ１２により撮影された動画像である。顔画像１２１に重ねて、定点観測ポイントを表す画像Ｐ２１が表示される。肌画像１２２は、肌測定器２により撮影された頬の肌画像である。
【０１５４】
このように、定点観測ポイントが表示された顔画像と並べて肌画像が表示されることにより、ユーザは、肌画像が、どの部分の肌を撮影したものであるのかを直観的に認識することができる。また、ユーザは、各部分のメイクの状態などを細かく確認することができる。
【０１５５】
ユーザの顔が写る動画像と、拡大した肌が写る動画像を表示するのではなく、それぞれの静止画像が同時に表示されるようにしてもよい。
【０１５６】
図２２は、表示画面の他の例を示す図である。
【０１５７】
図２２の表示画面は、顔画像１３１と、吹き出しの形にトリミングされた肌画像Ｐ１３２から構成される。肌画像Ｐ１３２の吹き出し元は、顔画像１３１に重ねて表示された、定点観測ポイントを表す画像Ｐ２１の位置である。
【０１５８】
このような表示によっても、ユーザは、肌画像が、どの部分の肌を撮影したものであるのかを直観的に認識することができる。
【０１５９】
図１５のステップＳ５０において、肌状態解析部８３は、画像取得部８１から供給された肌画像のうちの所定のフレームを解析し、肌の状態を測定する。肌状態解析部８３は、肌の状態を表す肌状態情報を肌画像とともに情報管理部８５に出力する。
【０１６０】
ステップＳ５１において、情報管理部８５は、顔画像、肌画像とともに、肌状態情報をメモリ５７に記録させる。ステップＳ４６乃至Ｓ５１の処理が、それぞれの定点観測ポイントを対象として行われる。メモリ５７に記録される顔画像は、例えば顔の特徴点の認識に用いられた静止画像である。また、メモリ５７に記録される肌画像は、肌の状態の測定に用いられた静止画像である。
【０１６１】
図２３は、定点観測ポイントである口元の撮影中の表示画面の例を示す図である。
【０１６２】
図２３の表示画面は、顔画像１４１と吹き出し１４２が並べて配置されることによって構成される。
【０１６３】
顔画像１４１は、ユーザが定点観測ポイントである口元に肌測定器２を当てている動画像である。顔画像１４１には、定点観測ポイントに対応する範囲以外の範囲をグレーアウトさせる画像Ｐ２２が重ねて表示される。また、顔画像１４１には、中心で交差する破線の十字の画像である画像Ｐ２３が表示される。
【０１６４】
吹き出し１４２には、ユーザが口元に肌測定器２を当てているときに撮影された肌画像が表示される。吹き出し１４２の吹き出し元は、顔画像１４１上の口元の位置である。
【０１６５】
図２４は、定点観測ポイントである額の撮影中の表示画面の例を示す図である。
【０１６６】
図２４の表示画面は、定点観測ポイントが異なる点を除いて、図２３の表示画面と同じである。図２４の顔画像１４１は、ユーザが定点観測ポイントである額に肌測定器２を当てているときに撮影された動画像である。また、吹き出し１４２に表示されている肌画像は、ユーザが額に肌測定器２を当てているときに撮影された画像である。
【０１６７】
このようにして全ての定点観測ポイントの肌の状態の測定が終わったとき、測定処理は終了となる。以上のような測定処理が、１日毎、１週間毎といったように定期的に行われる。
【０１６８】
図２５は、測定結果の例を示す図である。
【０１６９】
メモリ５７には、測定日時と対応付けて、測定時に撮影された顔画像のファイル名、定点観測ポイント毎の肌画像のファイル名、および、定点観測ポイント毎の肌状態情報が記録される。肌状態情報の各項目である肌の色、キメ、水分量、油分量、毛穴の状態、メラニン量、血流量、肌温度は、例えば１０段階の数値で表される。
【０１７０】
左側に示す肌状態情報は、２０１４年１月１日に行われた測定処理によって得られた情報である。また、右側に示す肌状態情報は、２０１４年１月８日に行われた測定処理によって得られた情報である。
【０１７１】
このように定期的に行われた測定処理の結果を分析することにより、情報処理装置１は、定点観測ポイントの肌の状態の変化を特定することが可能になる。
【０１７２】
・定点観測結果表示処理
次に、図２６のフローチャートを参照して、定点観測結果表示処理について説明する。
【０１７３】
図２６の処理は、図１５の測定処理が複数回行われ、肌の状態の複数回分の測定結果がメモリ５７に蓄積された後に行われる。
【０１７４】
ステップＳ６１において、測定結果分析部８６は、比較する測定結果を選択する。比較する測定結果は、例えば、ディスプレイ１１に表示される選択画面を用いてユーザにより選択される。
【０１７５】
例えば、直前の測定時に得られた結果と、その１回前の測定時に得られた結果を比較することが指示された場合、測定結果分析部８６は、情報管理部８５を制御し、それらの測定結果の情報をメモリ５７から読み出して取得する。測定結果の情報には、顔画像のファイル名、定点観測ポイント毎の肌画像のファイル名および肌状態情報が含まれる。
【０１７６】
ステップＳ６２において、測定結果分析部８６は、取得した情報に基づいて、肌の状態の変化を定点観測ポイント毎に分析する。測定結果分析部８６は、分析結果の情報を、定点観測結果として表示制御部８７に出力する。
【０１７７】
ステップＳ６３において、表示制御部８７は、測定結果分析部８６から供給された情報に基づいて、定点観測結果の表示画面をディスプレイ１１に表示させる。
【０１７８】
図２７は、定点観測結果の表示画面の例を示す図である。
【０１７９】
表示画面の上方にはタブ１５１乃至１５６が横に並べて表示される。それぞれのタブには、「サマリー」、「キメ」、「毛穴」、「シミ」、「色み」、「メモ」の文字が表示される。図２７の表示画面は、「毛穴」のタブであるタブ１５３が選択されている状態の画面である。タブ１５１乃至１５６の下の領域１６１の表示が、選択中のタブが変わることによって切り替えられる。
【０１８０】
領域１６１の中央には、人物の顔のイラストＰ５１が表示される。イラストＰ５１上の定点観測ポイントを吹き出し元として、肌画像１７１乃至１７３が表示される。イラストＰ５１に代えて、カメラ１２により撮影された、定点観測結果を見ているユーザの顔画像が表示されるようにしてもよい。この場合、肌画像１７１乃至１７３は、ユーザの顔画像上の定点観測ポイントを吹き出し元にして表示される。
【０１８１】
肌画像１７１は、定点観測ポイントである頬の肌を拡大して示す画像である。例えば、比較する測定結果のうち、新しい方の測定結果の肌画像が表示される。肌画像１７１の左上には、横方向を指す矢印のアイコン１７１Ａが表示されている。アイコン１７１Ａは、頬の肌の毛穴の状態に変化がないことを表す。
【０１８２】
肌画像１７２は、定点観測ポイントである額の肌を拡大して示す画像である。肌画像１７２の左上には、下方向を指す矢印のアイコン１７２Ａが表示されている。アイコン１７２Ａは、額の肌の毛穴の状態が悪くなっていることを表す。
【０１８３】
肌画像１７３は、定点観測ポイントである口元の肌を拡大して示す画像である。肌画像１７３の左上には、下方向を指す矢印のアイコン１７３Ａが表示されている。アイコン１７３Ａは、口元の肌の毛穴の状態が悪くなっていることを表す。
【０１８４】
毛穴の状態の変化は、比較する肌状態情報に含まれる毛穴の量の情報に基づいて判定される。例えば、測定結果分析部８６は、毛穴の量を表す数値を比較し、閾値以上下がっている場合、毛穴の状態が悪くなっていると判定する。また、測定結果分析部８６は、毛穴の量を表す数値が変わらない場合、毛穴の状態に変化がないと判定する。測定結果分析部８６は、毛穴の量を表す数値が閾値以上上がっている場合、毛穴の状態がよくなっていると判定する。
【０１８５】
領域１６１の左側には、「毛穴」の定点観測結果に関するコメントが表示される。メモリ５７には、定点観測結果を表すコメントなどのコンテンツがあらかじめ記録されている。測定結果分析部８６は、あらかじめ記録されているコンテンツの中から、分析結果に応じたコンテンツを選択し、定点観測結果の表示に用いる。
【０１８６】
タブを切り替えることによって各項目に関する状態の変化が確認された後、定点観測結果表示処理は終了となる。
【０１８７】
以上の一連の処理により、ユーザは、定点観測ポイントとして予め設定した部分を、正しく、かつ容易に肌測定器２を使って撮影することができる。また、ユーザは、同じ部分の肌の状態の測定結果を情報処理装置１に蓄積させておくことができる。
【０１８８】
蓄積させておいた測定結果を分析させることにより、ユーザは、肌の状態の定点観測結果を確認することができる。
【０１８９】
＜４．肌状態情報を用いた分類の例＞
定点観測ポイント毎の肌状態情報などを用いることにより、情報処理装置１は、各種の機能を実現することができる。
【０１９０】
・顔画像の比較機能
顔画像の比較機能は、ユーザにより指定された条件に合う肌の状態が測定されたときの顔画像を比較可能な形で表示する機能である。
【０１９１】
図２８のフローチャートを参照して、比較表示処理について説明する。
【０１９２】
ステップＳ１０１において、測定結果分析部８６は、肌状態情報を比較する定点観測ポイントを選択する。測定結果分析部８６は、例えば、選択画面に対するユーザの操作に従って、頬、額、口元、目元などの複数の定点観測ポイントの中から、所定の定点観測ポイントを選択する。選択画面には、ユーザにより設定された定点観測ポイントが表示される。
【０１９３】
ステップＳ１０２において、測定結果分析部８６は、ステップＳ１０１で選択した定点観測ポイントの肌の状態に関する比較条件を選択する。例えば、測定結果分析部８６は、ユーザの操作に従って、定点観測ポイントである目元に関して、肌の色の状態が、最も良い状態と最も悪い状態といったような条件を選択する。
【０１９４】
ステップＳ１０３において、測定結果分析部８６は、情報管理部８５を制御し、比較条件にあう肌の状態が測定されたときの顔画像をメモリ５７から読み出して取得する。測定結果分析部８６は、取得した顔画像を表示制御部８７に出力する。
【０１９５】
ステップＳ１０４において、表示制御部８７は、測定結果分析部８６から供給された顔画像を並べてディスプレイ１１に表示させる。
【０１９６】
図２９は、顔画像の表示画面の例を示す図である。
【０１９７】
図２９の表示画面には、顔画像２０１と顔画像２０２が並べて表示されている。左側の顔画像２０１は、２０１４年１月１日の測定時に撮影された顔画像である。右側の顔画像２０２は、２０１４年１月８日の測定時に撮影された顔画像である。
【０１９８】
例えば、顔画像２０１は、定点観測ポイントである目元の肌の色の状態として、最も良い状態が測定されたときに得られた顔画像である。一方、顔画像２０２は、定点観測ポイントである目元の肌の色の状態として、最も悪い状態が測定されたときに得られた顔画像である。
【０１９９】
このような表示から、ユーザは、目のクマ（肌の色）の状態が最も良かった時の顔画像と最も悪かった時の顔画像とを比較することができる。比較条件は上述したものに限られない。ユーザは、キメの程度などの他の比較条件を選択し、比較条件にあう肌の状態が測定されたときの顔画像を比較することもできる。
【０２００】
顔画像の比較機能を用いることにより、ユーザは、顔の経時変化、表情の変化、化粧の変化、マッサージ等の手入れ前後の肌の変化などを確認することができる。顔の経時変化には、輪郭の変化、たるみの変化、シワの変化、シミの変化（濃淡／大小）が含まれる。表情の変化には、口角の角度の変化、口角の位置の変化、笑い方の変化が含まれる。化粧の変化には、眉の形の変化、チークの塗布位置の変化、アイシャドー、口紅、ファンデーションなどの色みの変化が含まれる。
【０２０１】
・顔画像の検索機能
顔画像の検索機能は、ユーザにより指定された条件に合う肌の状態が測定されたときの顔画像を検索する機能である。
【０２０２】
図３０のフローチャートを参照して、顔画像の検索処理について説明する。
【０２０３】
ステップＳ１１１において、測定結果分析部８６は、定点観測ポイントを選択する。測定結果分析部８６は、例えば、選択画面に対するユーザの操作に従って、複数の定点観測ポイントの中から所定の定点観測ポイントを選択する。
【０２０４】
ステップＳ１１２において、測定結果分析部８６は、ステップＳ１０１で選択した定点観測ポイントの肌の状態に関する検索条件を選択する。例えば、測定結果分析部８６は、ユーザの操作に従って、定点観測ポイントである頬に関して、肌の色がピンク色といったような条件を選択する。メイク後の肌の状態を測定した場合、肌の色として各種の色が測定されることがある。
【０２０５】
ステップＳ１１３において、測定結果分析部８６は、情報管理部８５を制御し、検索条件にあう肌の状態が測定されたときの顔画像をメモリ５７から読み出して取得する。測定結果分析部８６は、取得した顔画像を表示制御部８７に出力する。
【０２０６】
ステップＳ１１４において、表示制御部８７は、測定結果分析部８６から供給された顔画像をディスプレイ１１に表示させる。
【０２０７】
図３１は、顔画像の表示画面の例を示す図である。
【０２０８】
図３１の表示画面には、顔画像２１１が表示されている。顔画像２１１は、２０１４年１月８日の測定時に撮影された顔画像である。
【０２０９】
例えば、顔画像２１１は、定点観測ポイントである頬の肌の色がピンク色として測定されたときの顔画像である。
【０２１０】
このような表示から、ユーザは、頬にピンクのメイクを施していた時の顔画像を確認することができる。検索条件は上述したものに限られない。ユーザは、肌の状態を検索のキーとして、各種の肌の状態の顔画像を確認することができる。
【０２１１】
・改善方法の提示機能
改善方法の提示機能は、肌の状態を改善させるエクササイズのやり方をユーザに提示する機能である。提示したエクササイズをユーザが行っている場合、情報処理装置１は、ユーザが行っているエクササイズが正しいかどうかの評価を行う。
【０２１２】
図３２のフローチャートを参照して、改善方法提示処理について説明する。
【０２１３】
ユーザが行っているエクササイズを評価するためには、情報処理装置１は、ユーザが顔のどの部分をどのように動かしているのかを認識する必要がある。情報処理装置１は、エクササイズを評価する前、肌の状態の測定時と同様に、ユーザの顔と情報処理装置１の関係を初期設定時の関係と同じ関係に調整させる。
【０２１４】
図３２のステップＳ１２１乃至Ｓ１２５の処理は、図１５のステップＳ４１乃至４５の処理と同様の処理である。重複する説明については適宜省略する。
【０２１５】
ステップＳ１２１において、角度センサ５９は、情報処理装置１の角度を検出する。
【０２１６】
ステップＳ１２２において、表示制御部８７は、角度センサ５９により検出された角度が初期設定時の角度と異なる場合、角度の調整画面をディスプレイ１１に表示させる。
【０２１７】
ステップＳ１２３において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。
【０２１８】
ステップＳ１２４において、認識部８２は、顔画像を解析し、顔画像上の特徴点の位置と、それぞれの特徴点までの距離を特定する。特徴点の位置と、それぞれの特徴点までの距離の特定は繰り返し行われる。
【０２１９】
ステップＳ１２５において、表示制御部８７は、顔の位置の調整画面をディスプレイ１１に表示させる。
【０２２０】
ステップＳ１２６において、測定結果分析部８６は、所定の期間内の測定結果に基づいて、肌の状態が悪化している定点観測ポイントを選択する。
【０２２１】
ステップＳ１２７において、表示制御部８７は、悪化している定点観測ポイントの肌の改善方法に関する情報をディスプレイ１１に表示させる。例えば、定点観測ポイントである頬の肌温度が悪化している場合、表示制御部８７は、頬の肌温度を改善させるためのエクササイズのやり方を表示させる。
【０２２２】
メモリ５７には、顔のそれぞれの部分の肌の状態を改善させるためのエクササイズに関する情報が記録されている。表示制御部８７は、肌の状態が悪化している定点観測ポイントと、悪化している項目に応じた情報を選択し、表示させる。ユーザは、ディスプレイ１１に表示された情報を確認し、提示されたエクササイズを行う。エクササイズは、主に、顔を指先でマッサージするものである。
【０２２３】
ステップＳ１２８において、認識部８２は、画像取得部８１から供給された顔画像を解析し、ユーザの指の動きを認識する。ユーザの指の動きは、顔画像上での指先の位置の変化によって認識される。各タイミングにおける指先の位置も、特徴点の位置を基準として表される。認識部８２により認識された指の動きを表す情報は、表示制御部８７に供給される。
【０２２４】
ステップＳ１２９において、表示制御部８７は、認識部８２から供給された情報に基づいてユーザの指の動かし方を特定し、その動かし方が正しいか否かを評価する。エクササイズのやり方が間違っている場合、肌の状態を悪化させることもある。メモリ５７には、例えばエクササイズ毎に、正しい動かし方を表す情報と間違った動かし方を表す情報が記録されている。表示制御部８７は、ユーザが行っているエクササイズの評価をメモリ５７に記録されている情報に基づいて行う。
【０２２５】
ステップＳ１３０において、表示制御部８７は、ユーザの指の動かし方の評価結果をディスプレイ１１に表示させる。
【０２２６】
図３３は、エクササイズ中のユーザの顔画像の例を示す図である。
【０２２７】
図３３の例においては、ユーザは、頬付近を両手の人差し指でマッサージしている。このような指の動かし方が認識され、正しい動かし方であるか否かが評価される。
【０２２８】
図３４は、評価結果の表示例を示す図である。
【０２２９】
指の動かし方が正しいとして評価された場合、図３４に示すように、指の動かし方が正しいことを表す画像Ｐ１０１が顔画像に重ねて表示される。目元に重ねて表示されている画像Ｐ１０２，Ｐ１０３は、ユーザが行っているエクササイズによって例えば肌温度が改善される部分を表す。
【０２３０】
図３５は、評価結果の他の表示例を示す図である。
【０２３１】
指の動かし方が間違っているとして評価された場合、図３５に示すように、指の動かし方が間違っていることを表す画像Ｐ１１１が顔画像に重ねて表示される。頬の目元に近い位置に重ねて表示されている画像Ｐ１１２，Ｐ１１３は、ユーザが行っているエクササイズによって肌温度が下がる部分を表す。
【０２３２】
以上の処理により、ユーザは、肌の状態が悪化している定点観測ポイントのエクササイズを正しいやり方で行うことができる。
【０２３３】
・肌の状態が悪化している部分の検索機能
図３６のフローチャートを参照して、検索処理について説明する。
【０２３４】
図３６のステップＳ１４１乃至Ｓ１４６の処理は、図３２のステップＳ１２１乃至１２６の処理と同様の処理である。重複する説明については適宜省略する。
【０２３５】
ステップＳ１４１において、角度センサ５９は、情報処理装置１の角度を検出する。
【０２３６】
ステップＳ１４２において、表示制御部８７は、角度センサ５９により検出された角度が初期設定時の角度と異なる場合、角度の調整画面をディスプレイ１１に表示させる。
【０２３７】
ステップＳ１４３において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。
【０２３８】
ステップＳ１４４において、認識部８２は、顔画像を解析し、顔画像上の特徴点の位置と、それぞれの特徴点までの距離を特定する。特徴点の位置と、それぞれの特徴点までの距離の特定は繰り返し行われる。
【０２３９】
ステップＳ１４５において、表示制御部８７は、顔の位置の調整画面をディスプレイ１１に表示させる。
【０２４０】
ステップＳ１４６において、測定結果分析部８６は、所定の期間の測定結果に基づいて、肌の状態が悪化している定点観測ポイントを選択する。
【０２４１】
ステップＳ１４７において、表示制御部８７は、肌の状態が悪化している定点観測ポイントを顔画像に重ねて表示させる。
【０２４２】
図３７は、顔画像の表示例を示す図である。
【０２４３】
図３７の顔画像は、カメラ１２により撮影された動画像である。顔画像に重ねて、血流量の減少、肌温度の低下などの、肌の状態が悪化している定点観測ポイントを表す情報が表示される。画像Ｐ１２１乃至Ｐ１２５は、それぞれ、肌の状態が所定の期間内で悪化している定点観測ポイントを表す。画像Ｐ１２１乃至Ｐ１２５は、ユーザの顔の動きに追従して位置を変えて表示される。
【０２４４】
以上の処理により、ユーザは、肌の状態が悪いところをまとめて確認することができる。肌の状態が悪化している定点観測ポイントを検索するのではなく、肌の状態が改善している定点観測ポイントを検索し、ユーザに提示するようにしてもよい。
【０２４５】
・人物の検索機能
人物の検索機能は、ユーザと顔の特徴点の位置が似ている人物を検索する機能である。情報処理装置１が美容室などに置かれている場合、複数のユーザが情報処理装置１を使って肌の状態の定点観測を行うことになる。情報処理装置１には、複数の人物の顔の特徴点の位置の情報を含む設定情報が蓄積される。人物の検索は、情報処理装置１に蓄積されている設定情報を用いて行われる。
【０２４６】
図３８のフローチャートを参照して、人物検索処理について説明する。
【０２４７】
ステップＳ１６１において、表示制御部８７は、メモリ５７に記録されている情報を参照し、情報処理装置１をいま使用しているユーザと顔の特徴点の位置が近似する人物を検索する。
【０２４８】
ステップＳ１６２において、表示制御部８７は、検索により特定した人物の顔画像をメモリ５７から読み出す。
【０２４９】
ステップＳ１６３において、表示制御部８７は、情報処理装置１をいま使用しているユーザの顔画像と、メモリ５７から読み出した顔画像を並べて表示させる。
【０２５０】
図３９は、顔画像の表示画面の例を示す図である。
【０２５１】
図３９の表示画面には、顔画像２２１と顔画像２２２が並べて表示されている。左側の顔画像２２１は、情報処理装置１をいま使用しているユーザの顔画像である。右側の顔画像２２２は、情報処理装置１をいま使用しているユーザと特徴点の位置が近似しているとして検索された人物の顔画像である。
【０２５２】
ユーザは、自分と顔の特徴が似ている人の肌の状態やメイクのやり方などを参考にすることができる。
【０２５３】
・髪型のシミュレーション機能
髪型のシミュレーション機能は、カメラ１２によって撮影した顔画像の髪の部分に、あらかじめ用意された様々な髪型の画像を合成して表示する機能である。
【０２５４】
図４０は、髪型の合成結果の表示例を示す図である。
【０２５５】
図４０の顔画像は、カメラ１２によって撮影された動画像である。例えば、動画像の各フレームに写る髪の位置が、ユーザの顔の特徴点の位置に基づいて特定され、特定された位置に画像Ｐ１３１が合成される。画像Ｐ１３１は、複数用意されているものの中からユーザにより選択された髪型の画像である。ユーザは、画像Ｐ１３１として合成する髪型の画像を切り替えることができる。
【０２５６】
＜５．変形例＞
顔画像を撮影するカメラが情報処理装置１に設けられるものとしたが、情報処理装置１とは別体のカメラにより顔画像が撮影されるようにしてもよい。
【０２５７】
また、各種の情報を表示するディスプレイが情報処理装置１に設けられるものとしたが、情報処理装置１とは別体の表示装置に各種の画面が表示されるようにしてもよい。
【０２５８】
図１の肌測定システムを用いて顔の肌の状態を測定することについて説明したが、肌の状態を測定する部分は、手、腕、足などの、顔以外の部分であってもよい。例えば手の肌の状態の定点観測を行う場合、爪、指先などが特徴点として認識される。
【０２５９】
顔の特徴点の認識、肌状態の解析、定点観測結果の分析を含む一連の処理が、情報処理装置１により行われるものとしたが、それらの処理が、インターネットなどのネットワークに接続されたサーバにより行われるようにしてもよい。
【０２６０】
この場合、情報処理装置１とサーバはネットワークを介して接続される。図６を参照して説明した構成は、サーバにおいて実現される。
【０２６１】
情報処理装置１は、肌の状態の測定時、顔画像と肌画像をサーバに送信する。サーバは、情報処理装置１から送信されてきた顔画像と肌画像を受信して取得する。サーバは、顔画像を解析することによって上述した各種の画面のデータを生成し、情報処理装置１に送信する。情報処理装置１は、サーバから送信されてきたデータに基づいて、各種の画面をディスプレイ１１に表示させる。
【０２６２】
また、サーバは、肌画像を解析して肌の状態を測定し、記録する。サーバは、定点観測の結果が要求された場合、各回の測定結果に基づいて肌の状態の変化を分析し、定点観測の結果を情報処理装置１に送信する。情報処理装置１は、サーバから送信されてきたデータに基づいて、定点観測の結果をディスプレイ１１に表示させる。
【０２６３】
・コンピュータの構成例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２６４】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図５に示されるリムーバブルメディア６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM５２やメモリ５７に、あらかじめインストールしておくことができる。
【０２６５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２６６】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２６７】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２６８】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２７０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７２】
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
【０２７３】
（１）
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得する取得部と、
前記画像を解析し、前記特徴点の位置を認識する認識部と、
前記認識部により認識された前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる表示制御部と
を備える情報処理装置。
【０２７４】
（２）
前記画像を撮影する撮影部をさらに備え、
前記取得部は、前記撮影部により撮影された前記画像を取得する
前記（１）に記載の情報処理装置。
【０２７５】
（３）
前記画像と前記測定部分を表す情報を表示する表示部をさらに備える
前記（１）または（２）に記載の情報処理装置。
【０２７６】
（４）
前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置を基準として、前記所定の位置に前記測定部分を設定する設定部をさらに備える
前記（１）乃至（３）のいずれかに記載の情報処理装置。
【０２７７】
（５）
前記測定部分の設定時に撮影された前記画像上で前記ユーザにより指定された位置に前記測定部分を設定する設定部をさらに備える
前記（１）乃至（３）のいずれかに記載の情報処理装置。
【０２７８】
（６）
前記測定部分の設定時の前記情報処理装置の角度を検出する検出部をさらに備える
前記（４）または（５）に記載の情報処理装置。
【０２７９】
（７）
前記表示制御部は、前記情報処理装置の角度を、前記検出部により検出された角度と同じ角度に調整することを案内する情報を表示する
前記（６）に記載の情報処理装置。
【０２８０】
（８）
前記表示制御部は、前記画像上の、前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置と同じ位置に、前記特徴点を表す情報を表示させる
前記（１）乃至（７）のいずれかに記載の情報処理装置。
【０２８１】
（９）
前記表示制御部は、前記特徴点の位置が変化することに応じて、前記測定部分を表す情報の表示位置を変化させる
前記（１）乃至（８）のいずれかに記載の情報処理装置。
【０２８２】
（１０）
前記取得部は、前記測定部分の肌を撮影して得られた肌画像を取得し、
前記表示制御部は、前記肌画像と、前記ユーザが写る前記画像とを同時に表示させる
前記（１）乃至（９）のいずれかに記載の情報処理装置。
【０２８３】
（１１）
前記肌画像を解析し、前記測定部分の肌の状態を測定する解析部と、
前記解析部による測定の結果を表す情報を記録する記録部と
をさらに備える前記（１０）に記載の情報処理装置。
【０２８４】
（１２）
前記表示制御部は、前記記録部に記録された複数回の測定の結果を表す情報に基づいて、前記測定部分の肌の状態の変化を表す情報を表示させる
前記（１１）に記載の情報処理装置。
【０２８５】
（１３）
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得し、
前記画像を解析し、前記特徴点の位置を認識し、
認識した前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる
ステップを含む情報処理方法。
【０２８６】
（１４）
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得し、
前記画像を解析し、前記特徴点の位置を認識し、
認識した前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２８７】
１  情報処理装置，  ２  肌測定器，  １１  ディスプレイ，  １２  カメラ，  ８１  画像取得部，  ８２  認識部，  ８３  肌状態解析部，  ８４  定点観測ポイント設定部，  ８５  情報管理部，  ８６  測定結果分析部，  ８７  表示制御部
【図１】
2016076140.tif 000003
【図２】
2016076140.tif 000004
【図３】
2016076140.tif 000005
【図４】
2016076140.tif 000006
【図５】
2016076140.tif 000007
【図６】
2016076140.tif 000008
【図７】
2016076140.tif 000009
【図８】
2016076140.tif 000010
【図９】
2016076140.tif 000011
【図１０】
2016076140.tif 000012
【図１１】
2016076140.tif 000013
【図１２】
2016076140.tif 000014
【図１３】
2016076140.tif 000015
【図１４】
2016076140.tif 000016
【図１５】
2016076140.tif 000017
【図１６】
2016076140.tif 000018
【図１７】
2016076140.tif 000019
【図１８】
2016076140.tif 000020
【図１９】
2016076140.tif 000021
【図２０】
2016076140.tif 000022
【図２１】
2016076140.tif 000023
【図２２】
2016076140.tif 000024
【図２３】
2016076140.tif 000025
【図２４】
2016076140.tif 000026
【図２５】
2016076140.tif 000027
【図２６】
2016076140.tif 000028
【図２７】
2016076140.tif 000029
【図２８】
2016076140.tif 000030
【図２９】
2016076140.tif 000031
【図３０】
2016076140.tif 000032
【図３１】
2016076140.tif 000033
【図３２】
2016076140.tif 000034
【図３３】
2016076140.tif 000035
【図３４】
2016076140.tif 000036
【図３５】
2016076140.tif 000037
【図３６】
2016076140.tif 000038
【図３７】
2016076140.tif 000039
【図３８】
2016076140.tif 000040
【図３９】
2016076140.tif 000041
【図４０】
2016076140.tif 000042
【国際調査報告】
2016076140.tif 000043
2016076140.tif 000044
2016076140.tif 000045
2016076140.tif 000046