(57)【要約】  実施形態に係る画像を入力するカメラ１０及びカメラ１０の画像入力側と同一側に表示面を有するディスプレイ１４を有する情報処理装置１０１を制御する制御方法は、カメラ１０から被写体の顔２１の画像を入力し、入力画像を左右反転し、左右反転した画像をディスプレイ１４に表示する情報処理装置１０１のコンピュータ１８Ａに、情報処理装置１０１と被写体の顔２１に含まれる基準部分との間の距離を検出させ、被写体の顔２１の画像を評価するための基準距離と検出された距離との比率に応じた倍率を決定させ、決定された倍率に基づいて、左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、情報処理装置と被写体との間の距離を変更する方向に被写体を誘導するガイド画像３５として、ディスプレイ１４に表示させる。
2015011898.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、
前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、
前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、制御方法。
【請求項２】
前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させる、請求項１に記載の制御方法。
【請求項３】
前記情報処理装置は前記カメラの画像入力側と同一側に光の照射口を有する照明装置を備え、
前記被写体の画像を撮像するときに、前記照明装置を動作させて前記被写体に光を照射させる、請求項２に記載の制御方法。
【請求項４】
前記撮像させた画像は、前記被写体の顔の評価に用いられる画像である、請求項２に記載の制御方法。
【請求項５】
前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される、請求項１から４のいずれかに記載の制御方法。
【請求項６】
前記少なくとも一部の部位に対応した画像は、前記少なくとも一部の部位の輪郭に対応した形状を有する、請求項１から５のいずれかに記載の制御方法。
【請求項７】
前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含む、請求項６に記載の制御方法。
【請求項８】
前記少なくとも一部の部位に対応した画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有する、請求項１から５のいずれかに記載の制御方法。
【請求項９】
前記基準部分は、前記被写体の顔に含まれる複数の部分であり、
前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離である、請求項１から８のいずれかに記載の制御方法。
【請求項１０】
前記複数の部分は、前記被写体の顔の左右からそれぞれ一以上選択されている、請求項９に記載の制御方法。
【請求項１１】
前記複数の部分は、前記被写体の顔の所定の基準点の上下からそれぞれ一以上選択されている、請求項９に記載の制御方法。
【請求項１２】
前記拡大した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置に近づける方向に前記被写体を誘導するガイド画像であり、
前記縮小した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置から遠ざける方向に前記被写体を誘導するガイド画像である、請求項１から１１のいずれかに記載の制御方法。
【請求項１３】
前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像である、請求項１から１２のいずれかに記載の制御方法。
【請求項１４】
前記被写体の顔の画像の評価は、前記被写体の顔の肌分析を含む、請求項１から１３のいずれかに記載の制御方法。
【請求項１５】
前記検出された距離は、前記情報処理装置が有するカメラと前記ユーザの顔における前記基準部分との間の距離である、請求項１から１４のいずれかに記載の制御方法。
【請求項１６】
画像を入力するカメラと、
前記カメラの画像入力側と同一側に表示面を有するディスプレイと、
前記カメラを用いて入力した被写体の顔の画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示するコントローラと、
を具備した情報処理装置であって、
前記コントローラは、
前記情報処理装置と前記被写体の顔の画像に含まれる基準部分との間の距離を検出し、
前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定し、
前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、情報処理装置。
【請求項１７】
画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御するプログラムであって、
前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、
前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、
前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、プログラム。
【請求項１８】
画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
前記情報処理装置と前記被写体の顔との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記顔の画像における基準部分の基準サイズに対応したガイド画像を前記ディスプレイに表示させる、制御方法。
【請求項１９】
画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
前記カメラと前記被写体の顔に含まれる基準部分との間の距離を検出させ、
前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、
前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも小さいと判断した場合は、縮小した顔画像の少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、
前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも大きいと判断した場合は、拡大した顔画像の少なくとも一部に対応したガイド画像を前記ディスプレイに表示させる、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザの顔を撮像可能な情報処理装置およびその制御方法に関する。
【背景技術】
【０００２】
人間の顔の肌をカメラで撮像し、撮像した画像から肌の状態を評価する情報処理装置および情報処理装置の制御方法が検討されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４８５８３７号公報
【特許文献２】特許第５２０６５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記情報処理装置および情報処理装置の制御方法は更なる改善が必要であった。
【課題を解決するための手段】
【０００５】
本開示の一態様に係る制御方法は、画像を入力するカメラ及びカメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、カメラから被写体の顔の画像を入力し、入力画像を左右反転し、左右反転した画像をディスプレイに表示する情報処理装置のコンピュータに、情報処理装置と被写体の顔に含まれる基準部分との間の距離を検出させ、被写体の顔の画像を評価するための基準距離と検出された距離との比率に応じた倍率を決定させ、決定された倍率に基づいて、左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、情報処理装置と被写体との間の距離を変更する方向に被写体を誘導するガイド画像として、ディスプレイに表示させる。
【発明の効果】
【０００６】
上記態様により、更なる改善を実現できた。
【図面の簡単な説明】
【０００７】
【図１】（ａ）は実施形態に係る情報処理装置を示す図であり、（ｂ）は実施形態に係る制御装置の構成を示す図であり、（ｃ）は実施形態に係るクラウドサーバの構成を示す図である。
【図２】（ａ）および（ｂ）は、実施形態に係る情報処理装置の構成要素の配置例を示す図である。
【図３】（ａ）から（ｃ）は、実施形態に係るガイド画像を説明する図である。
【図４】（ａ）から（ｃ）は、実施形態に係るマーカー画像とガイド画像の位置関係を示す図である。
【図５】（ａ）は実施形態に係るガイド画像を示す図であり、（ｂ）は実施形態に係る基本顔ガイド画像を示す図である。
【図６】実施形態に係る処理回路を示す図である。
【図７】実施形態に係る処理回路の動作を示すフローチャートである。
【図８】実施形態に係る情報処理装置とマーカーとの間の距離を計算する方法を説明する図である。
【図９】実施形態に係る情報処理装置を示す図である。
【図１０】実施形態に係る処理回路を示す図である。
【図１１】実施形態に係る処理回路の動作を示すフローチャートである。
【図１２】実施形態に係る基本顔ガイド画像を示す図である。
【図１３】実施形態に係る距離と画像サイズとの関係を示す図である。
【図１４】（ａ）および（ｂ）は、実施形態に係るガイド画像のサイズを計算する方法を説明する図である。
【図１５】（ａ）から（ｅ）は、実施形態に係る誘導画像を生成してユーザを誘導する処理を説明する図である。
【図１６】実施形態に係る処理回路の動作を示すフローチャートである。
【図１７】（ａ）から（ｄ）は、実施形態に係る誘導画像を生成する処理を説明する図である。
【図１８】（ａ）から（ｄ）は、実施形態に係る表示エリアに表示される画像の例を説明する図である。
【図１９】（ａ）および（ｂ）は、実施形態に係る表示エリアに表示される画像の例を説明する図である。
【図２０】（ａ）および（ｂ）は、実施形態に係る表示エリアに表示される画像の例を説明する図である。
【図２１】実施形態に係るサービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
【図２２】実施形態に係るサービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
【図２３】実施形態に係るサービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
【図２４】実施形態に係るサービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
【発明を実施するための形態】
【０００８】
（本発明の基礎となった知見）
人間の顔の肌をカメラで撮像し、得られた肌画像に基づいて肌の状態を評価する装置がある。例えば、特許文献１は、肌表面から離れた場所に設置したカメラで撮像した肌画像に基づいて、肌の状態を評価する皮膚画像処理装置を開示している。特許文献１の皮膚画像処理装置では、カメラと肌表面との間の距離が適切な状態で撮像するために、ユーザの顎を台に乗せ、額を押さえに押し当てて顔を固定する。このユーザの顔を固定した状態で、カメラが顔との距離を一定に保ちながら移動して顔の肌表面を撮像し、得られた肌画像に基づいて、色素沈着、毛穴、しわ等の肌状態の評価を行なっている。
【０００９】
また、肌の状態を評価する技術分野とは異なるが、特許文献２は、車の運転者の表情を認識するために、運転者に対して顔の撮像に適した撮像位置を知らせる撮影補助装置を開示している。
【００１０】
ここで、ユーザの顔を撮像する場合、ユーザの顔とカメラとの間の距離を一定にして撮像することで、肌表面の評価に適した画像が取得できると考えられる。具体的には、この距離が撮像の都度変化しないことにより、同一条件でユーザの顔を撮像することができ、過去と現在の肌状態の比較が容易となる。
【００１１】
しかし、特許文献１の皮膚画像処理装置ではユーザの顎および額を器具で固定して撮像を行なっており、このようにユーザの顎および額を器具で固定する方法では、装置が大がかりになるとともに、自然な状態での撮像ができないという課題がある。また、顎および額を器具で固定することはユーザにとって煩わしいという課題があるとともに、固定器具と接する肌領域の画像を取得することができない。
【００１２】
また、特許文献２の撮影補助装置では、撮像した運転者の顔画像とともに基準点を表示装置に表示し、運転者の顔画像の目や鼻の位置をその基準点の位置に合わせるように誘導して、運転者の顔を撮像に適した位置に移動させている。そのため、ユーザに顔の移動を促すことができるのは、表示画面上における上下左右方向に対してのみであり、ユーザとカメラとを結ぶ軸方向（ユーザの顔の前後方向）における適切な位置（ユーザとカメラとの間の適切な距離）をユーザに認識させたり、ユーザとカメラとを結ぶ軸方向の移動を促したりすることはできない。
【００１３】
そこで、上記課題を解決するために、以下の改善策を検討した。
【００１４】
情報処理装置を制御する制御方法の一態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
【００１５】
上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
【００１６】
これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。
【００１７】
そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。
【００１８】
さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。
【００１９】
また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。
【００２０】
上記態様において、例えば、前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させてもよい。
【００２１】
上記態様では、前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させる。
【００２２】
これにより、前記情報処理装置と被写体であるユーザの顔との間の距離が一定の状態で顔の画像が撮像される。そのため、被写体の画像を撮像するたびに異なる距離で画像が撮像されることを防止でき、同一条件で撮像された画像を得ることができる。
【００２３】
上記態様において、例えば、前記情報処理装置は前記カメラの画像入力側と同一側に光の照射口を有する照明装置を備え、前記被写体の画像を撮像するときに、前記照明装置を動作させて前記被写体に光を照射させるとしてもよい。
【００２４】
上記態様では、前記被写体の画像を撮像するときに、照明装置を動作させて前記被写体に光を照射させる。
【００２５】
これにより、撮像された画像における被写体への光の当たり方が一定となり、前記情報処理装置と被写体であるユーザの顔の基準部分との間の距離が一定となるだけでなく、被写体の顔への光の照射度合いも一定として、同一条件で撮像された画像を取得できる。
【００２６】
上記態様において、例えば、前記撮像させた画像は、前記被写体の顔の評価に用いられる画像であるとしてもよい。
【００２７】
上記態様では、前記撮像させた前記被写体の画像を前記ユーザの顔の評価に用いる。
【００２８】
これにより、前記情報処理装置と被写体であるユーザの顔との間の距離が一定という同一条件のもとで撮像された画像がユーザの顔の評価に用いられる。
【００２９】
そのため、例えば、複数の異なる時刻または日にちに撮像されたユーザの顔の画像を比較する場合に、画像のスケールまたはオーダーなどを一致させる前処理が不要となり、画像の比較が容易となる。
【００３０】
上記態様において、例えば、前記基準距離は、カメラの焦点距離であるとしてもよい。
【００３１】
上記態様では、カメラの焦点距離は固定であり、前記被写体の画像を撮像するときに、カメラの焦点距離に対して最適な距離で撮像することになる。これにより、前記被写体の画像は焦点距離にあった鮮明な画像になり、被写体の顔を解析した際の精度が向上する。
【００３２】
上記態様において、例えば、前記被写体の顔の評価を行う指標ごとに、専門家による官能評価の結果と最も近くなるような距離を経験的に求めておき、前記被写体の顔の評価を行う指標ごとに、評価指標に基づいて決定するとしてもよい。
【００３３】
上記態様では、評価を行う指標ごとに基準距離を変えて撮影する。これにより前記被写体の顔の評価が専門家による官能評価に近くなり、評価制度が向上する。
【００３４】
上記態様において、例えば、前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示されるとしてもよい。
【００３５】
上記態様では、前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される。
【００３６】
これにより、ユーザは前記ディスプレイに表示される自身の顔を確認しながら、前記ガイド画像に従って自身の顔の位置を移動させる。そのため、ユーザが自分で顔の状態を確認しつつ、同一条件で撮像された画像を取得するために前記ガイドに従って前記情報処理装置とユーザの顔との間の距離を一定にできる。
【００３７】
上記態様において、例えば、前記左右反転した顔の画像に含まれる、前記少なくとも一部の部位に対応した画像と同じ部位の画像を、前記情報処理装置と前記被写体との間の現在の距離を提示する基本顔ガイド画像として、前記ディスプレイに表示させるとしてもよい。
【００３８】
上記態様では、前記基本顔ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される。これにより、ユーザは前記ディスプレイに表示される前記基本顔ガイド画像を確認しながら、前記ガイド画像に従って自身の顔の位置を移動させる。そのため、ユーザが前記ガイド画像に従って、どのように顔を移動させれば良いかを視認しやすい。
【００３９】
上記態様において、例えば、前記少なくとも一部の部位に対応した画像は、前記少なくとも一部の部位の輪郭に対応した形状を有するとしてもよい。
【００４０】
上記態様において、例えば、前記基本顔ガイド画像は、前記少なくとも一部の部位の輪郭に対応した形状を有するとしてもよい。
【００４１】
上記態様では、前記少なくとも一部の部位に対応した画像および前記基本顔ガイド画像は、前記少なくとも一部の部位の輪郭に対応した形状を有する。
【００４２】
そのため、ユーザは前記ディスプレイに表示されたガイド画像にユーザ自身の顔の部位の輪郭または基本顔ガイド画像を合わせるように顔の位置を移動させるだけで、前記情報処理装置と被写体であるユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。
【００４３】
上記態様において、例えば、前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含むとしてもよい。
【００４４】
上記態様では、前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含む。
【００４５】
そのため、ユーザは前記ディスプレイに表示されたガイド画像に、ユーザ自身の眼、鼻、口のうちの少なくとも一つの部位を合わせるように顔の位置を移動させるだけで、前記情報処理装置とユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。
【００４６】
上記態様において、例えば、前記少なくとも一部の部位に対応した画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有するとしてもよい。
【００４７】
上記態様において、例えば、前記基本顔ガイド画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有するとしてもよい。
【００４８】
上記態様では、前記少なくとも一部の部位に対応した画像および前記基本顔ガイド画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有する。
【００４９】
そのため、ユーザは前記ディスプレイに表示されたガイド画像にユーザ自身の顔の輪郭、又は眼、鼻、若しくは口の輪郭または基本顔ガイド画像を合わせるように顔の位置を移動させるだけで、前記情報処理装置とユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。
【００５０】
上記態様において、例えば、前記基準部分は、前記被写体の顔に含まれる複数の部分であり、前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離であるとしてもよい。
【００５１】
上記態様では、前記基準部分は、前記被写体の顔に含まれる複数の部分であり、前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離である。
【００５２】
これにより、前記情報処理装置と被写体であるユーザの顔の間の距離を検出するにあたってユーザの顔の凹凸の影響を軽減できる。例えば、鼻の出っ張りまたは眼の窪みなどを基準部分とした場合に、前記情報処理装置から顔の肌の大部分を占める額および頬までの距離とは乖離した値が検出されることを防止できる。
【００５３】
そのため、前記情報処理装置と被写体であるユーザの顔の間の距離を、前記基準距離へ精度よく近づけるガイド画像をディスプレイへ表示可能となり、撮像した画像に基づく肌分析の精度を向上できる。
【００５４】
上記態様において、例えば、前記複数の部分は、前記被写体の顔の左右から同一数選択されているとしてもよい。
【００５５】
上記態様において、例えば、前記複数の部分は、前記被写体の顔の所定の基準点の上下から同一数選択されているとしてもよい。
【００５６】
上記態様において、例えば、前記拡大した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置に近づける方向に前記被写体を誘導するガイド画像であり、前記縮小した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置から遠ざける方向に前記被写体を誘導するガイド画像であるとしてもよい。
【００５７】
上記態様において、例えば、前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像であるとしてもよい。
【００５８】
上記態様では、前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像である。
【００５９】
これにより、ユーザに対して、前記情報処理装置とユーザの顔との間の距離を基準距離に近づけるよう誘導でき、ユーザが誘導に従うことで、前記情報処理装置とユーザの顔との間の距離が一定の状態で撮像された画像を取得できる。
【００６０】
上記態様において、例えば、前記被写体の顔の画像の評価は、前記被写体の顔の肌分析を含むとしてもよい。
【００６１】
上記態様において、例えば、前記検出された距離は、前記情報処理装置が有するカメラと前記ユーザの顔における前記基準部分との間の距離であるとしてもよい。
【００６２】
また、本開示に係る情報処理装置の一態様は、画像を入力するカメラと、前記カメラの画像入力側と同一側に表示面を有するディスプレイと、前記カメラを用いて入力した被写体の顔の画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示するコントローラとを具備した情報処理装置であって、前記コントローラは、前記情報処理装置と前記被写体の顔の画像に含まれる基準部分との間の距離を検出し、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定し、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
【００６３】
上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
【００６４】
これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。
【００６５】
そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。
【００６６】
さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。
【００６７】
また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。
【００６８】
また、本開示に係る情報処理装置を制御するプログラムの一態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御するプログラムであって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
【００６９】
上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
【００７０】
これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。
【００７１】
そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。
【００７２】
さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。
【００７３】
また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。
【００７４】
また、情報処理装置を制御する制御方法の他の態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記顔の画像における基準部分の基準サイズに対応したガイド画像を前記ディスプレイに表示させる。
【００７５】
また、情報処理装置を制御する制御方法の他の態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記カメラと前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも小さいと判断した場合は、縮小した顔画像の少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも大きいと判断した場合は、拡大した顔画像の少なくとも一部に対応したガイド画像を前記ディスプレイに表示させる。
【００７６】
以下、図面を参照しながら、実施形態に係る情報処理装置およびその制御方法を説明する。
【００７７】
図１（ａ）は、実施形態に係る情報処理装置１０１を示す図である。情報処理装置１０１は、カメラ１０と、光源１２と、ディスプレイ１４と、制御装置１８とを備える。図１（ｂ）は、制御装置１８の構成を示す図である。制御装置１８は、マイクロコンピュータ１８Ａと、メモリ１８Ｂと、通信部１８Ｃとを備える。マイクロコンピュータ１８Ａは、以下に説明する動作を含む情報処理装置１０１全体の動作を制御する。また、マイクロコンピュータ１８Ａは、画像処理等の以下に説明する各種処理を実行する。例えば、情報処理装置１０１の各動作を制御するためのコンピュータプログラムがメモリ１８Ｂに記憶されており、マイクロコンピュータ１８Ａは、そのコンピュータプログラムに従って、情報処理装置１０１の各構成要素の動作を制御したり、画像処理等の各種処理を実行したりする。
【００７８】
カメラ１０は、ユーザ２１の顔を撮像し、顔の画像データを取得する。この際、本実施形態では、画像の特徴指標をより正確に算出するために、偏光光を出射する光源１２（照明装置）を用いる。
【００７９】
図２（ａ）および図２（ｂ）は、情報処理装置１０１のカメラ１０、光源１２およびディスプレイ１４の配置を示す正面図および側面図である。本実施形態では、光源１２は、ディスプレイ１４の上に設けられており、光源１２は、第１光源１２Ａおよび第２光源１２Ｂを含む。ディスプレイ１４は、カメラ１０の画像入力側と同一側に表示面を有している。また、光源１２はカメラ１０の画像入力側と同一側に光の出射口を有している。
【００８０】
図２（ｂ）に示すように、情報処理装置１０１を用いて肌の分析を行なう場合、ユーザは、ディスプレイ１４から例えば距離ｘ程度離れた位置に顔２１を保持する。このとき、ユーザの顔２１はカメラ１０から例えば距離ｉ程度離れた位置にある。この状態で適切な大きさおよび解像度で顔全体が撮影可能なように、カメラ１０の光学系が設定されている。ディスプレイ１４の大きさの一例は、幅Ｗが３０ｃｍ程度であり、高さＨは５０ｃｍ程度である。また、距離ｘは、３０ｃｍから７０ｃｍ程度であり、例えば４５ｃｍ程度である。また、距離ｉは、３０ｃｍから７０ｃｍ程度であり、例えば４７ｃｍ程度である。
【００８１】
ディスプレイ１４は、左右反転された顔画像データを表示エリア１６に表示する。また、マイクロコンピュータ１８Ａは、得られた顔画像データに基づいてガイド画像を生成し、ディスプレイ１４はガイド画像を表示する。ガイド画像は、情報処理装置１０１とユーザの顔２１との間の距離を変更する方向にユーザを誘導するガイドの役割を果たす。なお、ディスプレイ１４の表示エリア１６にはタッチパネルなどのユーザーインターフェースが設けられていてもよい。
【００８２】
制御装置１８は、通信部１８Ｃおよび通信ネットワーク１９を介して、肌の分析および評価に関するサービスを提供するサービス提供者のクラウドサーバ１０２と接続されてもよい。この場合、通信部１８Ｃは、撮像された画像、画像の特徴指標、肌の評価値などをクラウドサーバ１０２へ送信する。図１（ａ）では、情報処理装置１０１は１つしか示されていないが、クラウドサーバ１０２は、複数の情報処理装置１０１に接続され得る。
【００８３】
図１（ｃ）は、クラウドサーバ１０２の構成を示す図である。クラウドサーバ１０２は、マイクロコンピュータ１０２Ａと、メモリ１０２Ｂと、通信部１０２Ｃと、データベース１０２Ｄとを備える。クラウドサーバ１０２は、通信部１０２Ｃを介して、撮像された画像、画像の特徴指標、肌の評価値などを複数の情報処理装置１０１から受け取る。クラウドサーバ１０２は、複数の情報処理装置１０１から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部１０２Ｃを介して、それら統計データや相関関係を各情報処理装置１０１に送信する。
【００８４】
次に、情報処理装置１０１とユーザの顔２１との間の距離を変更する方向にユーザを誘導するガイド画像を説明する。図３は、ガイド画像の一例を説明する図である。この例では、サイズが予め分かっているマーカーをユーザの顔の一部に装着し、撮像して得られるマーカー画像３２を用いて、ユーザを誘導する。例えば、ユーザは、マーカーが設けられたカチューシャを額に装着し、このマーカーが顔の基準部分となる。
【００８５】
カメラ１０は、カチューシャを装着したユーザの顔を撮像し、顔画像３１を生成する。図３（ａ）は、ディスプレイ１４の表示エリア１６に表示された顔画像３１を示す。表示エリア１６には、ユーザの顔画像３１の一部としてマーカー画像３２が表示される。マーカーの現物のサイズは予め分かっているため、情報処理装置１０１とユーザの顔２１との間の距離が最適距離にあるときに、表示エリア１６に表示されるマーカーの画像サイズも予め分かっている。そのため、撮像して表示されているマーカーの画像サイズが、最適距離における画像サイズとなるようにユーザを誘導することで、ユーザは最適距離の位置に移動することができる。
【００８６】
図３（ｂ）は、最適距離にあるときのマーカーの画像サイズに対応したガイド画像３３を示す図である。ガイド画像３３のデータは、例えば、メモリ１８Ｂに予め記憶されており、マイクロコンピュータ１８Ａはそのデータを読み取り、撮像した顔画像３１とガイド画像３３とを重畳した画像をディスプレイ１４に表示させる。図３（ｃ）は、撮像した顔画像３１とガイド画像３３とを重畳して生成した誘導用の画像を示す図である。
【００８７】
図４を参照して、ガイド画像３３を用いてユーザを誘導する方法を説明する。図４（ａ）は、情報処理装置１０１とユーザの顔２１との間の距離が最適距離よりも大きいときの、マーカー画像３２とガイド画像３３の関係を示している。図４（ｂ）は、情報処理装置１０１とユーザの顔２１との間の距離が最適距離よりも小さいときの、マーカー画像３２とガイド画像３３の関係を示している。図４（ｃ）は、情報処理装置１０１とユーザの顔２１との間の距離が最適距離であるときの、マーカー画像３２とガイド画像３３の関係を示している。
【００８８】
図４（ａ）に示す状態では、ガイド画像３３よりもマーカー画像３２は小さく表示される。ユーザは、マーカー画像３２が大きくなるように情報処理装置１０１に顔を近づけ、図４（ｃ）のようにマーカー画像３２とガイド画像３３のサイズを一致させることで、最適距離に位置することができる。また、図４（ｂ）に示す状態では、ガイド画像３３よりもマーカー画像３２は大きく表示される。ユーザは、マーカー画像３２が小さくなるように情報処理装置１０１から顔を遠ざけ、図４（ｃ）のようにマーカー画像３２とガイド画像３３のサイズを一致させることで、最適距離に位置することができる。このように、ガイド画像３３を用いて、ユーザを最適距離に誘導することができる。
【００８９】
なお、マーカー画像３２とガイド画像３３のサイズの比を用いて、ユーザの顔の輪郭に対応したガイドを生成してもよい。マーカーの現物のサイズは予め分かっているので、マーカーと一緒に表示されている顔の実際のサイズを推定することができる。そこから、最適距離にあるときの顔の画像サイズを推定することができる。すなわち、マーカー画像３２とガイド画像３３のサイズの比を用いて、顔画像３１を拡大または縮小することで、図５（ａ）に示すような、最適距離にあるときの顔の輪郭に対応したガイド画像３５を生成することができる。ガイド画像３５は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア１６の中央部に表示する。
【００９０】
また、顔画像３１を拡大または縮小せずに、図５（ｂ）に示すような、顔の輪郭に対応した基本顔ガイド画像３６を生成することができる。基本ガイド画像３６は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア１６の中央部に表示する。
【００９１】
図６は、制御装置１８が備える処理回路１８０を示す図である。図７は、処理回路１８０の動作を説明するフローチャートである。処理回路１８０は、顔画像取得部１８１と、顔検出部１８２と、基準特徴検出部１８３と、特徴分析部１８４と、顔ガイド生成部１８５と、誘導画像生成部１８６とを備える。マイクロコンピュータ１８Ａが処理回路１８０を兼ね、処理回路１８０の構成要素の処理をマイクロコンピュータ１８Ａが実行してもよい。
【００９２】
顔画像取得部１８１はカメラ１０が撮像した画像データを取得し（ステップ３０１）、画像データを左右反転させる。顔検出部１８２は画像データ中の顔画像を検出する（ステップ３０２）。顔検出部１８２は、画像データ中の顔画像の大きさに対応した基本顔ガイド画像３６を生成する（ステップ３０３）。
【００９３】
基準特徴検出部１８３は、画像データ中の基準特徴部分を検出する（ステップ３０４）。この例では、基準特徴部分はマーカーである。特徴分析部１８４は、画像データ中のマーカー画像３２のサイズを検出する（ステップ３０５）。特徴分析部１８４は、マーカー画像３２のサイズから、情報処理装置１０１とマーカーとの間の距離を計算してもよい。
【００９４】
顔ガイド生成部１８５は、マーカー画像３２とガイド画像３３のサイズの比を用いて、最適距離にあるときの顔の画像サイズを計算する。そして、最適距離にあるときの顔画像の輪郭に対応したガイド画像３５を生成する（ステップ３０６）。このとき、ステップ３０３で生成した基本顔ガイド画像３６を修正（拡大または縮小）することでガイド画像３５を生成してもよい。
【００９５】
誘導画像生成部１８６は、ガイド画像３５および基本顔ガイド画像３６を顔画像３１に重畳して合成した画像を生成し（ステップ３０７）、ディスプレイ１４は合成画像を、ユーザを誘導する誘導画像として表示する（ステップ３０８）。
【００９６】
誘導画像に従ってユーザが顔の位置および傾きを調整している間、特徴分析部１８４は、画像データ中のマーカー画像３２のサイズを分析する（ステップ３０９）。特徴分析部１８４は、マーカー画像３２のサイズが肌分析に適した距離（基準距離）のときのサイズ（ガイド画像３３のサイズ）と一致するか否か評価する（ステップ３１０）。サイズが一致しない場合は、一致するまで分析を続ける。サイズが一致した場合に、カメラ１０はユーザの顔の画像を撮像する（ステップ３１１）。このように、誘導画像に従ってユーザが顔の位置を調整することにより、肌分析に適した距離で撮像を行うことができる。
【００９７】
なお、ガイド画像３５の生成は撮像の毎に行なう必要は無く、一旦ガイド画像３５を生成した後は、そのガイド画像３５をメモリ１８Ｂに記憶しておいてもよい。次回の使用時は、その記憶したガイド画像３５を読み出して表示することで、ガイド画像３５を生成する処理を省略することができる。
【００９８】
また、ガイド画像３５および基本顔ガイド画像３６として、顔の輪郭に対応したガイド画像および基本顔ガイド画像を例示したが、顔の輪郭以外でもよく、例えば、眼、鼻、口等のうちの少なくとも一つに対応した形状のガイド画像であってもよい。ガイド画像は、例えば、眼、鼻、口の少なくとも一つの部位の周りを囲った形状を有していてもよい。
【００９９】
また、情報処理装置１０１と顔２１との間の距離が最適距離に完全に一致した状態でのみ肌分析用の撮像を行なう必要は無く、肌分析に適した画像が得られる距離範囲であればよく、その範囲内に顔が位置したときに肌分析用の撮像を行なってもよい。
【０１００】
次に、マーカーを用いて距離を計算する方法を説明する。図８は、情報処理装置１０１とマーカーとの間の距離を計算する方法を説明する図である。情報処理装置１０１とマーカーとの間の距離は、例えば、カメラ１０とマーカーとの間の距離を指す。
【０１０１】
被写体の実際の長さをａとし、その実際の長さａの被写体を撮像して得られた画像上の被写体の長さをｓ１とする。また、カメラ１０のレンズ中心から被写体へ伸びる直線で形成される視野角をｄ１とし、カメラ１０と被写体との間の距離をｘとする。
【０１０２】
ここでは、被写体の実際の長さａは、マーカーの上下端（または左右端）の間の実際の長さとする。マーカーの実際の長さａは既知である。また、画像上の被写体の長さｓ１は、マーカーを撮像して得られた画像上のマーカー画像３２の長さとする。視野角ｄ１は、カメラ１０のレンズ中心からマーカーの上下端（または左右端）へ伸びる直線で形成される角度とする。
【０１０３】
マーカーがカメラ１０に近い位置にあるとき（カメラ１０とマーカーとの間の距離が短いとき）、画像上のマーカーの長さｓ１は大きくなり、また、視野角ｄ１も大きくなる。また、マーカーがカメラ１０から遠い位置にあるとき（カメラ１０とマーカーとの間の距離が長いとき）、画像上のマーカーの長さｓ１は小さくなり、また、視野角ｄ１も小さくなる。すなわち、画像上のマーカーの長さｓ１と、視野角ｄ１とは比例関係にある。
【０１０４】
画像上のマーカーの長さｓ１と視野角ｄ１との換算関係は予め取得して記憶しておく。例えば、換算関係を、
ｄ１＝ｃ×ｓ１
と表す。ここでｃは比例定数である。
【０１０５】
カメラ１０とマーカーとの間の距離ｘ、マーカーの実際の長さａ、視野角ｄ１の関係は以下のように表される。
ａ／ｘ＝ｔａｎ ｄ１＝ｔａｎ （ｃ×ｓ１）
【０１０６】
また、図８中の斜辺の長さを距離ｘとしたとき、距離ｘ、長さａ、視野角ｄ１の関係は、
ａ／ｘ＝ｓｉｎ ｄ１＝ｓｉｎ （ｃ×ｓ１）
と表される。
【０１０７】
また、マーカーの大きさが小さいときは、
ｃ×ｓ１＝ｄ１＝ａ／ｘ
ｘ＝ａ／（ｃ×ｓ１）
と表すことができる。
【０１０８】
これらの関係式から、カメラ１０とマーカーとの間の距離ｘを計算することができる。
【０１０９】
このように計算により求めた距離ｘを用いて、最適距離に対応したガイド画像３５を生成することも可能である。距離に基づいてガイド画像３５を生成する処理の詳細は後述する。
【０１１０】
次に、測距装置を備えた情報処理装置を説明する。図９は、測距装置１１を備えた情報処理装置１０１を示す図である。図９に示す情報処理装置１０１は、図１に示す情報処理装置１０１に測距装置１１を追加した構成になっている。測距装置１１は、情報処理装置１０１とユーザの顔２１との間の距離を測定する。
【０１１１】
図１０は、この例における制御装置１８が備える処理回路１８０を示す図である。図１１は、処理回路１８０の動作を説明するフローチャートである。処理回路１８０は、顔画像取得部１８１と、顔検出部１８２と、撮像距離取得部１８７と、距離評価部１８８と、顔ガイド生成部１８５と、誘導画像生成部１８６とを備える。マイクロコンピュータ１８Ａが処理回路１８０を兼ね、処理回路１８０の構成要素の処理をマイクロコンピュータ１８Ａが実行してもよい。
【０１１２】
顔画像取得部１８１はカメラ１０が撮像した画像データを取得し（ステップ４０１）、画像データを左右反転させる。顔検出部１８２は画像データ中の顔画像を検出する（ステップ４０２）。顔検出部１８２は、画像データ中の顔画像の大きさに対応した基本顔ガイド画像３６を生成する（ステップ４０３）。図１２は、基本顔ガイド画像３６を示す図であり、顔画像３１の大きさに対応したガイド画像になっている。
【０１１３】
撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ４０４）。距離評価部１８８は、測定された距離と最適距離との比較を行なう（ステップ４０５）。
【０１１４】
顔ガイド生成部１８５は、測定された距離と最適距離の比を用いて、最適距離にあるときの顔の画像サイズを計算する。そして、最適距離にあるときの顔画像の輪郭に対応したガイド画像３５を生成する（ステップ４０６）。このとき、ステップ４０３で生成した基本顔ガイド画像３６を修正（拡大または縮小）することでガイド画像３５を生成してもよい。
【０１１５】
ここで、図１３、図１４（ａ）および（ｂ）を参照して、ガイド画像のサイズを計算する方法を説明する。
【０１１６】
最適距離に対応したガイドのサイズは、概ねカメラ１０と顔２１との間の距離に反比例する。被写体の実際の長さをａとし、その実際の長さａの被写体を撮像して得られた画像上の被写体の長さをｓ１およびｓ２とする。また、カメラのレンズ中心から被写体へ伸びる直線で形成される視野角をｄ１およびｄ２とし、カメラ１０と被写体との間の距離をｘおよびｙとする。
【０１１７】
ここでは、被写体の実際の長さａは、ユーザの頭部の任意の部位同士の間の長さであり、例えば、ユーザの頭頂部から顎の下端までの長さとする。なお、ユーザの頭頂部から顎の下端までの長さは一例であり、これ以外にも、被写体の長さａとしては、額から顎までの長さ、左右の眼の間の長さ、眼から口までの長さ等、任意の部位同士の間の長さを採用することができる。
【０１１８】
また、画像上の被写体の長さｓ１およびｓ２は、採用した部位同士間の画像上の長さである。視野角ｄ１およびｄ２は、カメラのレンズ中心から採用した部位へ伸びる直線で形成される角度である。距離ｘおよびｙは、カメラと採用した部位との間の距離である。ここで、距離ｘをカメラと採用した部位との間の現在の距離とし、距離ｙは肌分析に適した顔画像を得るのに最適な距離とする。
【０１１９】
カメラ１０と採用した部位との間の現在の距離ｘ、長さａ、視野角ｄ１の関係は、
ｄ１＝ｓｉｎ-1（ａ／ｘ）
または、
ｄ１＝ｔａｎ-1（ａ／ｘ）
と、表される。
【０１２０】
カメラ１０と採用した部位との間の最適距離ｙ、長さａ、視野角ｄ２の関係は、
ｄ２＝ｓｉｎ-1（ａ／ｙ）
または、
ｄ２＝ｔａｎ-1（ａ／ｙ）
と、表される。
【０１２１】
また、
ｄ１＝ａ／ｘ
ｄ２＝ａ／ｙ
と表すこともできる。
【０１２２】
画像上の被写体の長さと視野角とは比例関係にあるので、
ｓ２／ｓ１＝ｄ２／ｄ１＝ｘ／ｙ
ｓ２＝（ｘ／ｙ）×ｓ１
と表すことができる。
【０１２３】
長さｓ１を長さｓ２に変換して得られる顔画像のサイズが、最適距離ｙにおいて得られる顔画像のサイズに対応している。この長さｓ１を長さｓ２に変換して得られる顔画像からガイド画像３５を生成することで、ユーザを最適距離ｙに誘導することができる。
【０１２４】
例えば、ユーザの顔がカメラに近すぎる場合には、縮小した顔画像からガイド画像３５を生成して、顔をカメラから遠ざける方向にユーザを誘導する。また、ユーザの顔がカメラから離れすぎている場合には、拡大した顔画像からガイド画像３５を生成して、顔をカメラに近づける方向にユーザを誘導する。
【０１２５】
誘導画像生成部１８６は、ガイド画像３５を顔画像３１に重畳して合成した画像を生成する（ステップ４０７）。
【０１２６】
図１５は、誘導画像の生成処理を示す図である。図１５（ａ）は顔画像３１を示し、図１５（ｂ）は基本顔ガイド画像３６を示し、図１５（ｃ）はガイド画像３５を示している。図１５（ｄ）に示すように、誘導画像生成部１８６は、顔画像３１にガイド画像３５を重畳して合成画像を生成する。ディスプレイ１４は合成画像を、ユーザを誘導する誘導画像として表示する（ステップ４０８）。ガイド画像３５は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア１６の中央部に表示する。誘導画像に従ってユーザが顔の位置を移動させることにより、図１５（ｅ）に示すように、顔画像３１とガイド画像３５とが一致し、最適距離で撮像を行うことができる。
【０１２７】
誘導画像に従ってユーザが顔の位置および傾きを調整している間、撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ４０９）。距離評価部１８８は、測定された距離が肌分析に適した距離（基準距離）と一致するか否か評価する（ステップ４１０）。距離が一致しない場合は、一致するまで距離データを取得し続ける。距離が一致した場合に、カメラ１０はユーザの顔の画像を撮像する（ステップ４１１）。このように、誘導画像に従ってユーザが顔の位置を調整することにより、肌分析に適した距離で撮像を行うことができる。
【０１２８】
なお、情報処理装置１０１と顔２１との間の距離が最適距離ｙに完全に一致した状態でのみ肌分析用の撮像を行なう必要は無く、肌分析に適した画像が得られる距離範囲であればよく、その範囲内に顔が位置したときに肌分析用の撮像を行なってもよい。
【０１２９】
また、ガイド画像３５の生成は撮像の毎に行なう必要は無く、一旦ガイド画像３５を生成した後は、そのガイド画像３５をメモリ１８Ｂに記憶しておいてもよい。次回の使用時は、その記憶したガイド画像３５を読み出して表示することで、ガイド画像３５を生成する処理を省略することができる。
【０１３０】
次に、図１６および図１７を参照して、顔の部位毎に距離を測定してガイド画像を生成する処理を説明する。
【０１３１】
図１６は、この例における処理回路１８０（図１０）の動作を説明するフローチャートである。図１７は、誘導画像の生成処理を示す図である。図１７（ａ）は顔画像３１を示しており、この例では前かがみの顔の画像になっている。図１７（ｂ）は前かがみの顔の画像から得た基本顔部位ガイド画像３６を示している。図１７（ｃ）は、最適距離における真正面の顔画像に対応したガイド画像３５ａを示している。図１７（ｄ）は、顔画像３１にガイド画像３５ａを重畳した合成画像を示している。顔が正面を向いている方が、上下左右のバランスが取れ、肌分析の精度を向上させることができるため、この例のガイドは、斜め方向を向いている顔が正面を向くように誘導する。この例では、ユーザの顔の基準部分としてユーザの顔の複数の部分を採用する。この複数の部分は、ユーザの顔の左右からそれぞれ一以上選択されてもよい。さらに、ユーザの顔の左右から同一数選択されてもよい。また、この複数の部分は、例えばユーザの鼻を基準とした顔の上下からそれぞれ一以上選択されてもよい。さらに、ユーザの鼻突を基準とした顔の上下から同一数選択されてもよい。なお、顔の上下は鼻根または人中などを基準としていてもよく、鼻突に限らない。
【０１３２】
顔画像取得部１８１はカメラ１０が撮像した画像データを取得し（ステップ５０１）、画像データを左右反転させる。顔検出部１８２は画像データ中の顔画像を検出する（ステップ５０２）。顔検出部１８２は、画像データ中の顔のそれぞれの部位の画像の大きさに対応した基本顔部位ガイド画像３６を生成する（ステップ５０３）。図１７（ｂ）は基本顔部位ガイド画像３６を示している。
【０１３３】
測距装置１１は、情報処理装置１０１から顔のそれぞれの部位の距離を測定する。撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ５０４）。距離評価部１８８は、測定された距離と最適距離との比較を行なう（ステップ５０５）。また、顔のそれぞれの部位の距離データを分析したり、部位間の距離を分析したりして、顔の傾きの度合いを推定する。
【０１３４】
顔ガイド生成部１８５は、顔のそれぞれの部位毎に、最適距離にあるときのサイズを計算する。顔が傾いている場合には、傾きの度合いを用いて、顔が傾いていないとき（真正面を向いているとき）の顔画像を推定して、サイズと位置を計算する。そして、図１７（ｃ）に示すように、最適距離において顔が真正面を向いているときの画像に対応したガイド画像３５ａを生成する（ステップ５０６）。このとき、ステップ５０３で生成した基本顔部位ガイド画像３６を修正（移動、拡大、縮小等）することでガイド画像３５ａを生成してもよい。また、この処理を、対象の全ての部位について行なう（ステップ５０７）。
【０１３５】
対象の全ての部位に対応したガイド画像の生成が完了すると、図１７（ｄ）に示すように、誘導画像生成部１８６は、ガイド画像３５ａを顔画像３１に重畳して合成した画像を生成し（ステップ５０８）、ディスプレイ１４は合成画像を、ユーザを誘導する誘導画像として表示する（ステップ５０９）。
【０１３６】
誘導画像に従ってユーザが顔の位置および傾きを調整している間、撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ５１０）。距離評価部１８８は、測定された距離が肌分析に適した距離（基準距離）と一致するか否か評価する（ステップ５１１）。距離が一致しない場合は、一致するまで距離データを取得し続ける。距離が一致した場合に、カメラ１０はユーザの顔の画像を撮像する（ステップ５１２）。このように、誘導画像に従ってユーザが顔の位置および傾きを調整することにより、肌分析に適した距離で撮像を行うことができる。
【０１３７】
なお、例えば、情報処理装置１０１から顔の左側にある基準部分の距離と、情報処理装置１０１から顔の右側にある基準部分の距離とを比較して所定距離以上の差があった場合に、ユーザの顔が正面を向いておらず斜め右または斜め左を向いていると判断し、ユーザに対して顔の向きの修正を促すメッセージ等をディスプレイ１４に表示しても良い。すなわち、情報処理装置１０１から顔の左側にある基準部分の距離が、情報処理装置１０１から顔の右側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め右方向を向いていると判断し、ユーザに対して顔の向きを左方向へ修正するよう促すメッセージをディスプレイ１４に表示する。これとは反対に、情報処理装置１０１から顔の右側にある基準部分の距離が、情報処理装置１０１から顔の左側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め左方向を向いていると判断し、ユーザに対して顔の向きを右方向へ修正するよう促すメッセージをディスプレイ１４に表示する。
【０１３８】
また、例えば、情報処理装置１０１から顔の上側にある基準部分の距離と、情報処理装置１０１から顔の下側にある基準部分の距離とを比較して所定距離以上の差があった場合に、ユーザの顔が正面を向いておらず斜め上方向または斜め下方向を向いていると判断し、ユーザに対して顔の向きの修正を促すメッセージ等をディスプレイ１４に表示しても良い。すなわち、情報処理装置１０１から顔の上側にある基準部分の距離が、情報処理装置１０１から顔の下側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め下方向を向いていると判断し、ユーザに対して顔の向きを上向きに修正するよう促すメッセージをディスプレイ１４に表示する。これとは反対に、情報処理装置１０１から顔の下側にある基準部分の距離が、情報処理装置１０１から顔の上側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め上方向を向いていると判断し、ユーザに対して顔の向きを下向きに修正するよう促すメッセージをディスプレイ１４に表示する。
【０１３９】
また、基準部分としてユーザの顔２１に含まれる複数の部分を採用した場合は、情報処理装置１０１とユーザの顔２１との間の距離を、情報処理装置１０１とユーザの顔２１に含まれる複数の基準部分それぞれとの間の距離の平均値としてもよい。これにより、情報処理装置１０１と被写体であるユーザの顔２１の間の距離を検出するにあたって、ユーザの顔２１の凹凸の影響を軽減することができる。例えば、鼻の出っ張りまたは眼の窪みなどを基準部分とした場合に、情報処理装置１０１から顔２１の肌の大部分を占める額および頬までの距離とは乖離した値が検出されることを防止できる。そのため、情報処理装置１０１と被写体であるユーザの顔２１の間の距離を、基準距離へ精度よく近づけるガイド画像をディスプレイ１４に表示可能となり、撮像した画像に基づく肌分析の精度を向上させることができる。
【０１４０】
次に、図１８から図２０を参照して、表示エリア１６に表示される画像の例を説明する。
【０１４１】
図１８（ａ）は、表示エリア１６に表示される撮像前の初期画面の一例を示している。表示エリア１６は、面積が大きいメイン画面７０と、面積が小さいサブ画面７２とを含む。初期画面では、メイン画面７０に撮像した画像がリアルタイムで表示され、デジタルミラーとして機能している。サブ画面７２には、例えば、時計や天気予報などの情報が表示されてもよい。
【０１４２】
図１８（ｂ）は、撮像開始直前の画面を示している。メイン画面７０には、例えばユーザの顔の位置を誘導するためのガイド画像３５が表示されている。また、撮像のタイミングを示すマークや数字７４が示されていてもよい。
【０１４３】
また、例えば、サブ画面７２の右側７２Ｒには撮像された顔の画像がリアルタイムで表示され、左側７２Ｌにカレンダーが表示されてもよい。カレンダーでは、例えば過去に情報処理装置１０１を用いて撮像を行った日の位置にマークなどが示されていてもよい。図１８（ｂ）に示す表示のあと、上述したように肌分析用の撮像が行われ、肌分析が行なわれる。
【０１４４】
図１８（ｃ）および図１８（ｄ）は、肌分析終了後にディスプレイ１４に表示される画面の一例を示している。メイン画面７０には、カメラ１０によって撮像される画像がリアルタイムで表示されている。サブ画面の右側７２Ｒには算出された特徴指標が、例えばレーダーチャート８２で示される。図では測定した肌領域全体の平均特徴指標が表示されている。また、左側７２Ｌには測定時に撮像された顔の画像が示される。サブ画面７２の上部８０には、顔の位置を指定するメニューが表示され、左側部７８には表示する内容や機能を切り替えるメニューが表示される。ユーザは、例えば、サブ画面７２の上部８０および左側部７８に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりすることができる。
【０１４５】
図１８（ｄ）は、ユーザが指定した場所および指定した特徴指標がサブ画面７２の右側７２Ｒに表示されている例である。撮像された画像の一部がユーザの指定された位置で拡大されて表示されている。また、シミおよびシワの部分が、例えば赤い領域で示される。
【０１４６】
図１９および図２０は、ディスプレイ１４のサブ画面７２に表示される情報の例を示している。例えば、図１９（ａ）に示すように、サブ画面にカレンダーを表示してもよい。カレンダーには過去に測定をおこなった情報が示されており、例えばユーザがサブ画面の該当する情報に触れると過去の測定結果をメイン画面７０に表示させることができる。図１９（ｂ）に示すように、この場合、さらにサブ画面７２に、特徴指標のレーダーチャートを表示してもよい。また、図２０（ａ）に示すように、肌分析の結果に基づく、肌の手入れ等の美容に関するアドバイス８６を表示してもよい。また、図２０（ｂ）に示すように肌状態を改善するための化粧品や美容機器の情報８８を表示してもよい。
【０１４７】
なお、上記態様において説明された技術は、例えば、クラウドサービスにおいて実現されてもよい。例えば、撮像して取得した顔画像の分析および評価をクラウドサーバ上で行ってもよい。例えば、撮像して取得した顔画像の分析および評価は、以下のサービスの類型１から４のいずれの形態において行われてもよい。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
【０１４８】
（サービスの類型１：自社データセンタ型クラウドサービス）
図２１は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ１２０がグループ１００から情報を取得し、ユーザに対してサービスを提供する。グループ１００は、例えば上述した情報処理装置１０１を所有する家庭であり、サービスプロバイダ１２０は、情報処理装置１０１が撮像して得た顔画像データを取得する。サービスプロバイダ１２０は、複数のグループ１００から顔画像データを取得してもよい。本類型では、サービスプロバイダ１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ１２０が、ビッグデータを管理するクラウドサーバ２０３を保有している。したがって、データセンタ運営会社は存在しない。
【０１４９】
本類型では、サービスプロバイダ１２０は、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、オペレーティングシステム（ＯＳ）２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
【０１５０】
（サービスの類型２：ＩａａＳ利用型クラウドサービス）
図２２は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
【０１５１】
本類型では、データセンタ運営会社１１０が、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、ＯＳ２０２及びアプリケーション２０１を管理する。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
【０１５２】
（サービスの類型３：ＰａａＳ利用型クラウドサービス）
図２３は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
【０１５３】
本類型では、データセンタ運営会社１１０は、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、アプリケーション２０１を管理する。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びサービスプロバイダ１２０が管理するアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
【０１５４】
（サービスの類型４：ＳａａＳ利用型クラウドサービス）
図２４は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
【０１５５】
本類型では、データセンタ運営会社１１０は、アプリケーション２０１を管理し、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、取得した顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
【０１５６】
以上、いずれのクラウドサービスの類型においても、サービスプロバイダ１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
【産業上の利用可能性】
【０１５７】
本開示の技術は、情報処理装置の分野において特に有用である。
【符号の説明】
【０１５８】
１０  カメラ
１１  測距装置
１２  光源
１４  ディスプレイ
１６  表示エリア
１８  制御装置
３１  顔画像
３２  マーカー画像
３３、３５  ガイド画像
３６  基本顔ガイド画像
１０１  情報処理装置
１０２  クラウドサーバ
【図１】
2015011898.tif 000003
【図２】
2015011898.tif 000004
【図３】
2015011898.tif 000005
【図４】
2015011898.tif 000006
【図５】
2015011898.tif 000007
【図６】
2015011898.tif 000008
【図７】
2015011898.tif 000009
【図８】
2015011898.tif 000010
【図９】
2015011898.tif 000011
【図１０】
2015011898.tif 000012
【図１１】
2015011898.tif 000013
【図１２】
2015011898.tif 000014
【図１３】
2015011898.tif 000015
【図１４】
2015011898.tif 000016
【図１５】
2015011898.tif 000017
【図１６】
2015011898.tif 000018
【図１７】
2015011898.tif 000019
【図１８】
2015011898.tif 000020
【図１９】
2015011898.tif 000021
【図２０】
2015011898.tif 000022
【図２１】
2015011898.tif 000023
【図２２】
2015011898.tif 000024
【図２３】
2015011898.tif 000025
【図２４】
2015011898.tif 000026
【国際調査報告】
2015011898.tif 000027
2015011898.tif 000028