(57)【要約】  本技術は、肌の状態の１つの項目に関する複数種類の解析結果を、直観的に、かつ容易に確認することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。本技術の一側面の情報処理装置は、同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得する取得部と、複数種類の解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる提示部とを備える。本技術は、肌画像を撮影する肌測定器とともに用いられる携帯端末に適用することができる。
2016121518.tif 000002
【特許請求の範囲】
【請求項１】
同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得する取得部と、
複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる提示部と
を備える情報処理装置。
【請求項２】
前記提示部は、前記可視化情報を、前記解析結果を得るために用いられた前記肌の画像上に表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記提示部は、肌の位置が選択されることに応じて、選択された位置の前記肌の画像を解析することによって得られた複数種類の前記解析結果を表す前記可視化情報を表示させる
請求項１に記載の情報処理装置。
【請求項４】
前記提示部は、複数種類の前記可視化情報を表示する複数の前記画像を同時に表示させる
請求項１に記載の情報処理装置。
【請求項５】
前記提示部は、肌の状態に関する複数の項目のうちの１つの項目の選択中に、選択中の項目と対応付けられた複数種類の前記解析結果を表す前記可視化情報を表示させる
請求項１に記載の情報処理装置。
【請求項６】
前記提示部は、毛穴の項目が選択された場合、毛穴の開きの前記解析結果を表す前記可視化情報と、毛穴の黒ずみの前記解析結果を表す前記可視化情報を表示させる
請求項５に記載の情報処理装置。
【請求項７】
前記提示部は、シミの項目が選択された場合、種類の異なるシミの前記解析結果を表す前記可視化情報をそれぞれ表示させる
請求項５に記載の情報処理装置。
【請求項８】
前記肌の画像に基づいて肌の状態を解析する解析部をさらに備える
請求項１に記載の情報処理装置。
【請求項９】
前記解析部は、前記肌の画像上の各位置における肌の所定の成分の量を算出し、前記所定の成分の量に基づいて、前記所定の成分の量が局所的に多い位置を特定し、特定した位置を含む領域における前記所定の成分の量を表す情報を前記解析結果として出力する
請求項８に記載の情報処理装置。
【請求項１０】
同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得し、
複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる
ステップを含む情報処理方法。
【請求項１１】
同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得し、
複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、肌の状態の１つの項目に関する複数種類の解析結果を、直観的に、かつ容易に確認することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
肌を撮影することによって得られた肌画像の画像処理を行い、肌の状態を解析する技術がある。肌の状態の測定を行う者は、撮像素子を搭載した測定器を被測定者の顔などに当て、測定部分の撮影を行うことになる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３９７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
肌の状態として、肌のキメの状態、毛穴の状態、シミの状態、色みの状態などの各項目に関する状態が肌画像に基づいて解析される。測定を行う者、または被測定者は、確認したい項目を選択し、選択した項目に関する解析結果を確認することができる。【０００５】
例えば、毛穴の状態が毛穴の開きの状態と毛穴の黒ずみの状態によって表されるといったように、通常、１つの項目の解析結果は複数の情報によって表される。【０００６】
仮に、それぞれの解析結果の情報を表すUI(User Interface)画像が個別に表示されるとした場合、それぞれの解析結果の関係性などを確認することが難しい。【０００７】
本技術はこのような状況に鑑みてなされたものであり、肌の状態の１つの項目に関する複数種類の解析結果を、直観的に、かつ容易に確認することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得する取得部と、複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる提示部とを備える。【０００９】
前記提示部には、前記可視化情報を、前記解析結果を得るために用いられた前記肌の画像上に表示させることができる。【００１０】
前記提示部には、肌の位置が選択されることに応じて、選択された位置の前記肌の画像を解析することによって得られた複数種類の前記解析結果を表す前記可視化情報を表示させることができる。【００１１】
前記提示部には、複数種類の前記可視化情報を表示する複数の前記画像を同時に表示させることができる。【００１２】
前記提示部には、肌の状態に関する複数の項目のうちの１つの項目の選択中に、選択中の項目と対応付けられた複数種類の前記解析結果を表す前記可視化情報を表示させることができる。【００１３】
前記提示部には、毛穴の項目が選択された場合、毛穴の開きの前記解析結果を表す前記可視化情報と、毛穴の黒ずみの前記解析結果を表す前記可視化情報を表示させることができる。【００１４】
前記提示部には、シミの項目が選択された場合、種類の異なるシミの前記解析結果を表す前記可視化情報をそれぞれ表示させることができる。【００１５】
前記肌の画像に基づいて肌の状態を解析する解析部をさらに設けることができる。【００１６】
前記解析部には、前記肌の画像上の各位置における肌の所定の成分の量を算出し、前記所定の成分の量に基づいて、前記所定の成分の量が局所的に多い位置を特定し、特定した位置を含む領域における前記所定の成分の量を表す情報を前記解析結果として出力することを行わせることができる。【００１７】
本技術の一側面においては、同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報が取得され、複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報が、同じ画像上に同時に表示される。
【発明の効果】
【００１８】
本技術によれば、肌の状態の１つの項目に関する複数種類の解析結果を、直観的に、かつ容易に確認することができる。【００１９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術を適用した肌解析システムの構成例を示す図である。
【図２】肌測定器の外観を示す図である。
【図３】肌測定器の内部の構成例を示す断面図である。
【図４】照明部の構成例を示す図である。
【図５】測定結果表示画面の例を示す図である。
【図６】解析結果表示画像を拡大して示す図である。
【図７】図６の解析結果表示画像を構成する情報を示す図である。
【図８】毛穴の開きの度合いの表現例を示す図である。
【図９】毛穴の黒ずみの度合いの表現例を示す図である。
【図１０】測定結果表示画面の他の例を示す図である。
【図１１】解析結果表示画像を拡大して示す図である。
【図１２】図１１の解析結果表示画像を構成する情報を示す図である。
【図１３】解析結果表示画像の例を示す図である。
【図１４】測定結果表示画面の例を示す図である。
【図１５】肌測定器の構成例を示すブロック図である。
【図１６】情報処理端末のハードウェア構成例を示すブロック図である。
【図１７】情報処理端末の機能構成例を示すブロック図である。
【図１８】解析サーバのハードウェア構成例を示すブロック図である。
【図１９】解析サーバの機能構成例を示すブロック図である。
【図２０】シミ解析部の構成例を示すブロック図である。
【図２１】図２０のメラニンシミ解析部の構成例を示すブロック図である。
【図２２】メラニンの吸光特性を示す図である。
【図２３】正規化関数の例を示す図である。
【図２４】他の正規化関数の例を示す図である。
【図２５】図２０の赤みシミ解析部の構成例を示すブロック図である。
【図２６】ヘモグロビンの吸光特性を示す図である。
【図２７】正規化関数の例を示す図である。
【図２８】他の正規化関数の例を示す図である。
【図２９】毛穴解析部の構成例を示すブロック図である。
【図３０】図２９の特徴部分解析部の構成例を示すブロック図である。
【図３１】情報処理端末の肌画像送信処理について説明するフローチャートである。
【図３２】解析サーバの肌状態解析処理について説明するフローチャートである。
【図３３】図３２のステップＳ１２において行われるシミ解析処理について説明するフローチャートである。
【図３４】図３２のステップＳ１３において行われる毛穴解析処理について説明するフローチャートである。
【図３５】図３４のステップＳ３４において行われる特徴部分抽出処理について説明するフローチャートである。
【図３６】情報処理端末の解析結果表示処理について説明するフローチャートである。
【図３７】肌解析システムの他の構成例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
・第１の実施の形態（肌の状態の解析をサーバが行う例）
１．肌解析システムの構成
２．測定結果表示画面の第１の例
３．測定結果表示画面の第２の例
４．測定結果表示画面の第３の例
５．各機器の構成
６．各機器の動作
・第２の実施の形態（肌の状態の解析を情報処理端末が行う例）
・変形例
【００２２】
＜＜第１の実施の形態＞＞
＜１．肌解析システムの構成＞
図１は、本技術を適用した肌解析システムの構成例を示す図である。
【００２３】
図１の肌解析システムは、情報処理端末１、肌測定器２、および解析サーバ３から構成される。情報処理端末１と解析サーバ３は、インターネットなどのネットワーク４を介して接続される。情報処理端末１は、Wi-Fi（登録商標）ルータなどの中継装置４Ａを介してネットワーク４に接続される。
【００２４】
情報処理端末１と肌測定器２は無線LAN(Local Area Network)などの無線通信を介して接続される。情報処理端末１と肌測定器２が、USB(Universal Serial Bus)ケーブルなどを用いた有線の通信を介して接続されるようにしてもよい。また、肌測定器２がネットワーク４に直接接続され、肌測定器２と解析サーバ３との間で通信を行うことができるようにしてもよい。
【００２５】
図１の肌解析システムは、ユーザが、主に１人で、自分の肌の状態を測定し、測定結果を確認するために用いられる。ユーザは、肌の状態の測定者であり、被測定者でもある。肌の状態の測定は、美容部員などの第三者を介して行われることもある。
【００２６】
情報処理端末１は、タブレット型の端末である。情報処理端末１の筐体にはLCD(Liquid Crystal Display)などのディスプレイが設けられる。ディスプレイにはタッチパネルが設けられる。ユーザは、ディスプレイに表示されたボタンなどを指で直接触れて操作することができる。パーソナルコンピュータ、スマートフォン、携帯電話機、PDA(Personal Digital Assistants)、HMD(Head Mounted Display)などの他の携帯端末が情報処理端末１として用いられるようにしてもよい。
【００２７】
情報処理端末１は、肌測定器２により撮影された肌画像を取得する。肌画像は、ユーザの顔などの所定の位置の皮膚が拡大して写る画像である。額、頬、口元などの測定ポイントの肌画像が情報処理端末１により取得される。
【００２８】
額、頬、口元などの狭い範囲ではなく、顔全体を測定ポイントとすることも可能である。この場合、顔全体を撮影可能なカメラにより撮影された、ユーザの顔全体が写る画像が肌画像として情報処理端末１により取得される。
【００２９】
肌測定器２は、ユーザが片手で持つことができる程度の大きさの電子機器である。肌測定器２には、撮像素子、体温センサなどの各種のセンサが設けられる。ここで、肌測定器２の構成について簡単に説明する。
【００３０】
図２は、肌測定器２の外観を示す図である。
【００３１】
図２のＡに示すように、肌測定器２は、側面視において略横長楕円形の筐体を有する。筐体の右端の頂部から若干ずれた位置には平面が形成され、この平面に、図２のＢに示すように略円形の孔部２１が形成される。肌測定器２の筐体の孔部２１の周り以外は、全体的に曲面により構成される。
【００３２】
孔部２１の奥には、孔部２１の外に向けて光を照射する照明部、反射光を受けて撮影を行う撮像素子などが設けられる。ユーザは、自分の肌の状態を測定するとき、孔部２１を測定部分に当てて撮影を行うことになる。
【００３３】
図３は、肌測定器２の内部の構成例を示す断面図である。
【００３４】
肌測定器２は、照明部３１、筒部３２、レンズ３３、および撮像素子３４を有する。レンズ３３と撮像素子３４は筐体の内部に設けられる。照明部３１は、筒部３２の内部に設けられる。
【００３５】
照明部３１から照射された光は肌表面Ｆａに到達する。また、肌表面Ｆａによって反射された光は、レンズ３３を通過して撮像素子３４に到達する。このとき、筒部３２が肌表面Ｆａに密着されていれば、照明部３１から照射された光が肌測定器２の外側に漏れてしまうことを防ぐことが可能になる。また、肌測定器２の内側に入り込んでくる光が撮像素子３４に到達してしまうことを防ぐことが可能になる。
【００３６】
図４は、照明部３１の構成例を示す図である。
【００３７】
照明部３１は、複数の光源であるLED(Light Emitting Diode)1〜LEDNがリング状に配置されることによって構成される。光源の種類はLEDに限定されるものではない。各LEDに偏光フィルタなどを適宜設けることにより、波長を変えるなどの異なる撮影条件での撮影が可能になる。
【００３８】
図１の情報処理端末１は、このような構成を有する肌測定器２から取得した肌画像を解析サーバ３に送信し、肌状態の解析を行わせる。解析サーバ３に対しては、異なる撮影条件で撮影された複数の肌画像が送信される。
【００３９】
解析サーバ３は、情報処理端末１から送信されてきた肌画像に基づいて、ユーザの肌の状態を解析する。解析サーバ３は、肌の状態の解析結果を表す情報を情報処理端末１に送信する。例えば、キメ、毛穴、シミ、色みなどの、肌の状態に関する複数の項目の解析が行われる。解析サーバ３は、肌画像の画像処理を行い、肌の状態を解析する情報処理装置として機能する。
【００４０】
情報処理端末１は、解析サーバ３から送信されてきた情報を受信し、測定結果表示画面をディスプレイに表示する。測定結果表示画面は、肌の状態の解析結果を表示する画面である。後述するように、肌の状態の解析を情報処理端末１自身が行い、測定結果表示画面を表示するようにしてもよい。
【００４１】
＜２．測定結果表示画面の第１の例＞
図５は、測定結果表示画面の例を示す図である。測定結果表示画面を構成する要素のレイアウトは適宜変更可能である。
【００４２】
図５の測定結果表示画面は、情報処理端末１のディスプレイ５１に表示される画面である。測定結果表示画面の左方には、肌の状態に関する各項目のタブであるタブ６１が表示される。タブ６１は、「総合判定」、「キメ」、「毛穴」、「シミ」、「色み」、「メモ」の各文字が付されたタブから構成される。なお、タブ６１などを囲む破線は説明の便宜上付してあるものであり、実際に表示されるものではない。
【００４３】
図５の例においては、「毛穴」の項目のタブが選択されている。図５の測定結果表示画面は、「毛穴」の項目に関する解析結果を表示する画面である。
【００４４】
測定結果表示画面の中央左寄りの位置には、正面を向いている人物の顔のイラスト６２が表示される。イラスト６２上の額の位置にはアイコン６２Ａが表示され、頬の位置にはアイコン６２Ｂが表示される。また、口元の位置にはアイコン６２Ｃが表示される。アイコン６２Ａ乃至６２Ｃには、各位置の毛穴の状態を表すスコアが表示される。
【００４５】
図５の例においては、アイコン６２Ａが選択され、アイコン６２Ｂ，６２Ｃとは異なる色で表示されている。図５の測定結果表示画面には、額の肌画像に基づいて取得された、額の毛穴の状態の解析結果が表示される。
【００４６】
肌画像の撮影時、ディスプレイ５１には、例えば額、頬、口元の順に肌画像の撮影を行うことを案内する画面が表示される。その画面に従って撮影が行われることにより、情報処理端末１と解析サーバ３は、どの肌画像がどの位置の肌を撮影して得られた画像であるのかを特定することが可能になる。
【００４７】
イラスト６２の上方には、毛穴の状態に関する総合評価を表すスコア６３が表示される。スコア６３は、スコアを表すインジケータと数字により構成される。インジケータを表示せずに、スコアを表す数字だけが表示されるようにしてもよい。
【００４８】
イラスト６２の右方には解析結果表示画像６４が表示される。解析結果表示画像６４は、額の毛穴の解析結果を表す複数種類の情報を同時に表示する画像である。毛穴の状態を表す複数種類の解析結果が１枚の画像によって表されることになる。後に詳述するように、解析結果表示画像６４は、毛穴の開きの解析結果と毛穴の黒ずみの解析結果を表す。
【００４９】
なお、解析結果を表す複数種類の情報を同時に表示するのではなく、所望の種類の情報のみを解析結果表示画像６４に表示させるようにすることも可能である。例えば、解析結果を表示するか否かの選択に用いられるチェックボタンが解析結果の種類毎に用意され、解析結果表示画像６４の下に表示される。ユーザは、チェックボタンを操作することで、解析結果表示画像６４に表示させる解析結果の種類を切り替えることができる。
【００５０】
解析結果表示画像６４の上方にはコメント６５が表示される。コメント６５は、額の毛穴の状態とケアの方法などに関するテキスト情報である。
【００５１】
ユーザは、アイコン６２Ａ乃至６２Ｃを操作することにより、解析結果の表示を切り替えることができる。「毛穴」の項目が選択されている図５の状態においてアイコン６２Ｂが操作された場合、解析結果表示画像６４として、頬の毛穴の開きの解析結果と黒ずみの解析結果を表す画像が表示される。また、アイコン６２Ｃが操作された場合、解析結果表示画像６４として、口元の毛穴の開きの解析結果と黒ずみの解析結果を表す画像が表示される。解析結果表示画像６４の表示が切り替わることに応じて、コメント６５の内容も切り替わる。
【００５２】
解析結果表示画像６４の下には戻るボタン６６と進むボタン６７が表示される。戻るボタン６６は１つ前の項目に戻るときに操作されるボタンである。進むボタン６７は次の項目に進むときに操作されるボタンである。
【００５３】
ここで、解析結果表示画像６４について、図６と図７を参照して説明する。
【００５４】
図６は、解析結果表示画像６４を拡大して示す図である。図７は、図６の解析結果表示画像６４を構成する情報を分けて示す図である。
【００５５】
図７のＡの画像８１は肌画像である。図５に示すように毛穴の状態を表示する位置として額が選択されている場合、画像８１は額の肌画像となる。
【００５６】
図７のＢの画像８２は、毛穴の開きの解析結果を可視化して表す可視化情報としての画像である。図７のＢに示すように、毛穴は中抜きの円形の画像によって表される。また、毛穴の開きの度合いは中抜きの円形の大きさによって表される。
【００５７】
図８は、毛穴の開きの度合いの表現例を示す図である。
【００５８】
図８に示すように、毛穴の開きの度合いは例えば６段階で表される。開きの度合いが高いほど、画像８２として大きな円形の画像が割り当てられる。画像８２の色は１色であってもよいし、開きの段階に応じて異なる色であってもよい。毛穴の開きの度合いを表す画像の形状も円形に限らず、四角形、三角形などの他の形状であってもよい。
【００５９】
肌画像を解析することにより、毛穴の位置と開きの度合いが特定され、例えば閾値となる度合い以上開いている毛穴に関して、特定された毛穴の位置に、特定された開きの度合いに応じた大きさの画像８２が表示される。
【００６０】
図７のＣの画像８３は、毛穴の黒ずみの解析結果を可視化して表す可視化情報としての画像である。図７のＣに示すように、毛穴は所定の色で塗りつぶした円形の画像によって表される。また、毛穴の黒ずみの度合いは色を変えることによって表される。黒ずみの度合いは、例えば所定の一色の濃度を変えることによって、または、透過度を変えることによって表される。濃度と透過度の両方を変えることによって黒ずみの度合いが表されるようにしてもよい。
【００６１】
図９は、毛穴の黒ずみの度合いの表現例を示す図である。
【００６２】
図９に示すように、毛穴の黒ずみの度合いは例えば６段階で表される。黒ずみの度合いが高いほど、画像８３として、濃い色の画像、あるいは透過度の低い画像が割り当てられる。なお、図７のＣおよび図９において円の大きさは毛穴の大きさを表す。
【００６３】
肌画像を解析することにより、毛穴の位置、大きさ、および黒ずみの度合いが特定され、閾値となる度合い以上黒ずんでいる毛穴に関して、特定された毛穴の位置に、特定された黒ずみの度合いに応じた色の画像８３が、特定された大きさで表示される。
【００６４】
解析結果表示画像６４は、肌画像である図７のＡの画像８１の上に、毛穴の開きの解析結果を可視化して表す図７のＢの画像８２と、毛穴の黒ずみの解析結果を可視化して表す図７のＣの画像８３を表示させることによって構成される。
【００６５】
このように、毛穴の解析結果として、毛穴の開きの状態と黒ずみの状態がそれぞれ解析され、同じ画像上に同時に表示される。
【００６６】
情報処理端末１は、毛穴の状態として、大きく開いており、かつ黒ずんでいる状態、大きく開いているが黒ずんでいない状態、開いていないが黒ずんでいる状態、および、開いておらず、かつ黒ずんでいない状態の４種類の状態を表現することができる。ユーザは、毛穴の開きの状態と黒ずみの状態をそれぞれ直感的に確認することができる。
【００６７】
また、毛穴に関する複数種類の解析結果を表す情報が１つの画像上に同時に表示されるため、ユーザは、それぞれの情報が別々に表示される場合に較べて、直感的に、かつ容易に毛穴の状態を確認することができる。また、ユーザは、それぞれの情報を比べることによって、毛穴の開きと黒ずみの関係を確認することができる。
【００６８】
表示させる解析結果の種類をチェックボタンを操作することによって切り替えることができることから、ユーザは、前後比較等の際に、比較したい項目だけを選ぶことも可能となる。
【００６９】
＜３．測定結果表示画面の第２の例＞
図１０は、測定結果表示画面の他の例を示す図である。
【００７０】
図１０の測定結果表示画面は、「シミ」の項目に関する解析結果を表示する画面である。図１０の例においては、タブ６１のうち、「シミ」の項目のタブが選択されている。スコア６３には、シミに関する総合評価が表示されている。
【００７１】
イラスト６２上に表示されるアイコン６２Ａ乃至６２Ｃは、それぞれ、額、頬、口元の各位置におけるシミの状態のスコアを表す。図１０の例においては、アイコン６２Ｃが選択され、アイコン６２Ａ，６２Ｂとは異なる色で表示されている。図１０の測定結果表示画面には、口元の肌画像に基づいて取得された、口元のシミの状態の解析結果が表示される。アイコンの選択／非選択が、色ではなく、質感の違い、枠の太さの違いなどの他の表現によって表されるようにしてもよい。
【００７２】
イラスト６２の右方には解析結果表示画像１０１が表示される。解析結果表示画像１０１は、口元のシミの解析結果を表す複数種類の情報を同時に表示する画像である。シミの状態を表す複数種類の解析結果が１枚の画像によって表されることになる。解析結果表示画像１０１は、赤みシミの解析結果とメラニンシミの解析結果を表す。シミの種類には、例えば赤みシミとメラニンシミがある。
【００７３】
赤みシミは部分的に赤っぽくなっているシミである。ニキビなどの炎症が原因となって生じることがある。赤みシミの部分は、血液中のヘモグロビン量が多い部分として特定される。
【００７４】
一方、メラニンシミは部分的に茶色っぽくなっているシミである。紫外線などを浴びたことによってメラニンが過剰に生成されたことによって生じることがある。メラニンシミの部分は、メラニン量が多い部分として特定される。
【００７５】
「シミ」の項目が選択されている図１０の状態においてアイコン６２Ａが操作された場合、解析結果表示画像１０１として、額の赤みシミの解析結果とメラニンシミの解析結果を表す画像が表示される。また、アイコン６２Ｂが操作された場合、解析結果表示画像１０１として、頬の赤みシミの解析結果とメラニンシミの解析結果を表す画像が表示される。解析結果表示画像１０１の表示が切り替わることに応じて、「シミ」の状態とケアの方法などに関するコメント６５の内容も切り替わる。
【００７６】
ここで、解析結果表示画像１０１について、図１１と図１２を参照して説明する。
【００７７】
図１１は、解析結果表示画像１０１を拡大して示す図である。図１２は、図１１の解析結果表示画像１０１を構成する情報を分けて示す図である。
【００７８】
図１２のＡの画像１１１は肌画像である。図１０に示すようにシミの状態を表示する位置として口元が選択されている場合、画像１１１は口元の肌画像となる。
【００７９】
図１２のＢの画像は、赤みシミの解析結果を可視化して示す可視化情報としての画像である。図１２のＢに示すように、赤みシミの原因となるヘモグロビンの分布が、赤色などの所定の色のドットの分布によって表される。ドットの分布ではなく、領域に色を付けることによってヘモグロビンの分布を表すことも可能である。
【００８０】
肌画像の撮影時に照射する光の強度や波長を変えることによって深度毎のヘモグロビンの分布を測定することができる場合、各深度におけるヘモグロビンの分布がドットのコントラストを変えて表されるようにしてもよい。図１２のＢの画像において、赤色のドットのコントラストの違い（濃淡の違い）は、ヘモグロビンが存在する深度の違いを表す。ドットのコントラストの高い部分は、多くのヘモグロビンが表皮から浅い位置に存在する部分であり、コントラストの低い部分は、多くのヘモグロビンが表皮から深い位置に存在する部分である。
【００８１】
図１２のＣの画像は、メラニンシミの解析結果を可視化して示す可視化情報としての画像である。図１２のＣに示すように、メラニンシミの原因となるメラニンの分布が、青色などの、赤みシミの分布を表す色とは異なる色のドットの分布によって表される。ドットの分布ではなく、領域に色を付けることによってメラニンの分布を表すことも可能である。
【００８２】
深度毎のメラニンの分布を測定することができる場合、各深度におけるメラニンの分布がドットのコントラストを変えて表されるようにしてもよい。図１２のＣの画像において、青色のドットのコントラストの違いは、メラニンが存在する深度の違いを表す。
【００８３】
解析結果表示画像１０１は、肌画像である図１２のＡの画像１１１の上に、赤みシミの解析結果を可視化して表す図１２のＢの画像と、メラニンシミの解析結果を可視化して表す図１２のＣの画像を表示させることによって構成される。
【００８４】
このように、シミの解析結果として、赤みシミの状態とメラニンンシミの状態がそれぞれ解析され、同じ画像上に同時に表示される。
【００８５】
赤みシミの状態とメラニンシミの状態といった、シミの状態を表す複数種類の情報が１つの画像上に同時に表示されるため、ユーザは、それぞれの情報が別々に表示される場合に較べて、直感的に、かつ容易にシミの状態を確認することができる。また、ユーザは、それぞれの情報を比べることによって、赤みシミとメラニンシミの関係を確認することができる。
【００８６】
表示させる解析結果の種類をチェックボタンを操作することによって切り替えることができることから、ユーザは、前後比較等の際に、比較したい項目だけを選ぶことも可能となる。
【００８７】
＜４．測定結果表示画面の第３の例＞
「毛穴」または「シミ」といった１つの項目に対応付けられた複数種類の解析結果を１つの画像上に表示する場合について説明したが、複数の項目に対応付けられた解析結果を１つの画像上にまとめて表示することも可能である。
【００８８】
図１３は、解析結果表示画像の例を示す図である。
【００８９】
解析結果表示画像１２１は、「毛穴」の解析結果を表す解析結果表示画像６４、「シミ」の解析結果を表す解析結果表示画像１０１、および画像１２２を合成した画像である。解析結果表示画像６４、解析結果表示画像１０１、および画像１２２は、全て、同じ位置の肌画像の解析結果を表す画像である。
【００９０】
画像１２２は、内部シミの解析結果を表す画像である。所定の色の線で囲んで示す範囲が、将来、シミが現れると予測される範囲となる。内部シミの範囲は、肌画像を解析し、例えば、メラニンシミなどの浅いところにあるシミの範囲と深いところにあるシミの範囲との差分をとり、深いところだけにあるシミの範囲を内部シミの範囲とするようにして特定される。
【００９１】
このように、複数の項目に対応付けられた解析結果を１つの画像上にまとめて表示することにより、ユーザは、複数の項目の解析結果をまとめて確認することができる。また、ユーザは、毛穴の状態とシミの状態の関係などの、項目間の因果関係を確認することが可能になる。
【００９２】
図１４は、複数の項目の解析結果をまとめて表示する解析結果表示画像を用いた測定結果表示画面の例を示す図である。
【００９３】
図１４の測定結果表示画面は、例えば「総合判定」のタブが選択されたときに表示される。
【００９４】
測定結果表示画面の略中央には、正面を向いている人物の顔のイラスト１３１が表示される。イラスト１３１には、人物の額、頬、口元のそれぞれの位置を吹き出し元として、解析結果表示画像１４１乃至１４３が重ねて表示される。
【００９５】
解析結果表示画像１４１は、額の肌画像を解析して得られた、「毛穴」の解析結果、「シミ」の解析結果、および内部シミの範囲の解析結果を表す画像である。
【００９６】
同様に、解析結果表示画像１４２は、頬の肌画像を解析して得られた、「毛穴」の解析結果、「シミ」の解析結果、および内部シミの範囲の解析結果を表す画像である。
【００９７】
解析結果表示画像１４３は、口元の肌画像を解析して得られた、「毛穴」の解析結果、「シミ」の解析結果、および内部シミの範囲の解析結果を表す。
【００９８】
このように、複数か所の、複数の項目の解析結果を表す画像を同じ画面に表示させることにより、ユーザは、顔の各位置の肌の状態を総合的に確認することができる。
【００９９】
なお、図５の測定結果表示画面において「キメ」の項目が選択された場合、例えば、皮溝の幅の解析結果を可視化して表す情報、皮丘の幅の解析結果を可視化して表す情報、皮丘の面積の解析結果を可視化して表す情報、および皮丘の形状の解析結果を可視化して表す情報が１つの画像上に表示される。「キメ」の項目には、皮溝の幅の解析結果、皮丘の幅の解析結果、皮丘の面積の解析結果、および皮丘の形状の解析結果が対応付けられている。
【０１００】
以上のような表示を実現する情報処理端末１と解析サーバ３の処理についてはフローチャートを参照して後述する。
【０１０１】
＜５．各機器の構成＞
５−１．肌測定器２の構成
図１５は、肌測定器２の構成例を示すブロック図である。図３に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０２】
肌測定器２は、照明部３１、撮像素子３４、コントローラ２０１、および通信部２０２から構成される。
【０１０３】
照明部３１は、肌画像の撮影時、肌に向けて可視光を照射する。また、照明部３１は、メラニンの測定などに用いられる所定の波長の光を照射する。
【０１０４】
撮像素子３４は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子である。撮像素子３４は、照明部３１が照射した光の反射光を検出し、光電変換などを行う。撮像素子３４は、光電変換などを行うことによって得られた肌画像のデータをコントローラ２０１に出力する。
【０１０５】
コントローラ２０１は、通信部２０２を介して情報処理端末１と通信を行い、例えば情報処理端末１による制御に従って肌測定器２の各部を制御する。コントローラ２０１は、撮像素子３４から供給された肌画像のデータを、通信部２０２から情報処理端末１に送信する。
【０１０６】
通信部２０２は、無線LANなどの所定の規格の通信モジュールである。通信部２０２は、情報処理端末１と通信を行う。通信部２０２は、情報処理端末１から送信されてきた情報をコントローラ２０１に出力し、コントローラ２０１から供給された情報を情報処理端末１に送信する。
【０１０７】
５−２．情報処理装置の構成
図１６は、情報処理端末１のハードウェア構成例を示すブロック図である。
【０１０８】
CPU(Central Processing Unit)２１１、ROM(Read Only Memory)２１２、RAM(Random Access Memory)２１３は、バス２１４により相互に接続される。
【０１０９】
バス２１４には、さらに、入出力インタフェース２１５が接続される。入出力インタフェース２１５には、ディスプレイ５１、カメラ２１６、タッチパネル２１７、メモリ２１８、通信部２１９、およびドライブ２２０が接続される。
【０１１０】
タッチパネル２１７は、ディスプレイ５１に積層して設けられる。タッチパネル２１７は、ユーザによる操作を検出し、操作の内容を表す情報をCPU２１１に出力する。
【０１１１】
メモリ２１８は、フラッシュメモリなどより構成される。メモリ２１８は、解析サーバ３から送信されてきた、肌の状態の解析結果を表す情報などの各種の情報を記録する。メモリ２１８に記録された情報はCPU２１１により適宜読み出される。
【０１１２】
通信部２１９は、無線LANなどの所定の規格の通信モジュールである。通信部２１９は、肌測定器２と通信を行う。また、通信部２１９は、中継装置４Ａに接続し、ネットワーク４を介して接続される解析サーバ３などとの間で通信を行う。
【０１１３】
ドライブ２２０は、リムーバブルメディア２２１に記録されたデータの読み出しと、リムーバブルメディア２２１に対するデータの記録を行う。リムーバブルメディア２２１は、情報処理端末１に設けられたスロットに装着されたメモリカード、情報処理端末１の端子に装着されたUSBメモリなどの記録媒体である。
【０１１４】
図１７は、情報処理端末１の機能構成例を示すブロック図である。
【０１１５】
図１７に示す機能部のうちの少なくとも一部は、図１６のCPU２１１により所定のプログラムが実行されることによって実現される。
【０１１６】
図１７に示すように、情報処理端末１においては、肌画像取得部２３１、通信制御部２３２、および表示制御部２３３が実現される。
【０１１７】
肌画像取得部２３１は、肌の状態の測定時、肌測定器２により撮影され、通信部２１９において受信された肌画像を取得する。例えば１カ所の測定箇所毎に、波長を変えて撮影された複数の肌画像が取得される。肌画像取得部２３１は、取得した肌画像を通信制御部２３２に出力する。
【０１１８】
通信制御部２３２は、通信部２１９を制御し、肌画像取得部２３１から供給された肌画像を解析サーバ３に送信する。また、通信制御部２３２は、解析サーバ３から送信されてきた解析結果を表す情報を受信する。解析結果を表す情報には、「総合判定」、「キメ」、「毛穴」、「シミ」、「色み」、「メモ」の項目毎に、総合のスコア、測定箇所毎のスコア、コメントの情報、および解析結果表示画像が含まれる。通信制御部２３２は、受信した解析結果を表す情報を表示制御部２３３に出力する。
【０１１９】
表示制御部２３３は、通信制御部２３２から供給された情報に基づいて測定結果表示画面をディスプレイ５１に表示させ、肌の状態の解析結果をユーザに提示する。また、表示制御部２３３は、測定結果表示画面の表示をユーザの操作に応じて切り替える。
【０１２０】
５−３．解析サーバ３の構成
図１８は、解析サーバ３のハードウェア構成例を示すブロック図である。
【０１２１】
CPU２５１、ROM２５２、RAM２５３は、バス２５４により相互に接続される。バス２５４には、さらに、入出力インタフェース２５５が接続される。
【０１２２】
入出力インタフェース２５５には、キーボードやマウスなどの入力部２５６、ディスプレイなどの出力部２５７が接続される。また、入出力インタフェース２５５には、ハードディスクなどの記憶部２５８、情報処理端末１などの各種の機器との間でネットワーク４を介して通信を行う通信部２５９が接続される。
【０１２３】
入出力インタフェース２５５にはドライブ２６０も接続される。ドライブ２６０は、リムーバブルメディア２６１に記録されたデータの読み出しと、リムーバブルメディア２６１に対するデータの記録を行う。
【０１２４】
図１９は、解析サーバ３の機能構成例を示すブロック図である。
【０１２５】
図１９に示す機能部のうちの少なくとも一部は、図１８のCPU２５１により所定のプログラムが実行されることによって実現される。
【０１２６】
図１９に示すように、解析サーバ３においては、肌画像取得部２７１、肌解析部２７２、解析結果取得部２７３、および提示部２７４が実現される。肌解析部２７２には、毛穴解析部２８１とシミ解析部２８２が含まれる。
【０１２７】
肌画像取得部２７１は、通信部２５９を制御し、情報処理端末１から送信されてきた肌画像を取得する。肌画像取得部２７１は、取得した肌画像を肌解析部２７２の各部に出力する。
【０１２８】
肌解析部２７２の毛穴解析部２８１は、肌画像取得部２７１から供給された肌画像の画像処理を行い、毛穴の状態を解析する。毛穴解析部２８１は、毛穴の解析結果を表す情報として、例えば毛穴の開きの状態を表す情報と毛穴の黒ずみの状態を表す情報を出力する。
【０１２９】
シミ解析部２８２は、肌画像取得部２７１から供給された肌画像の画像処理を行い、シミの状態を解析する。シミ解析部２８２は、シミの解析結果を表す情報として、例えば赤みシミの状態を表す情報とメラニンシミの状態を表す情報を出力する。
【０１３０】
肌解析部２７２には、肌のキメの解析を行う解析部、色みの解析を行う解析部などの各種の解析部がさらに設けられる。
【０１３１】
解析結果取得部２７３は、肌解析部２７２の各部から出力された解析結果を表す情報を取得する。解析結果取得部２７３は、取得した情報を所定のタイミングで提示部２７４に出力する。
【０１３２】
提示部２７４は、解析結果取得部２７３から供給された情報に基づいて、肌の状態の解析結果を表す情報を生成する。提示部２７４は、生成した情報を通信部２５９を制御して情報処理端末１に送信し、肌の状態の解析結果をユーザに提示する。
【０１３３】
・シミ解析部２８２について
図２０は、シミ解析部２８２の構成例を示すブロック図である。
【０１３４】
シミ解析部２８２は、メラニンシミ解析部２９１と赤みシミ解析部２９２から構成される。肌画像取得部２７１から出力された肌画像はメラニンシミ解析部２９１と赤みシミ解析部２９２にそれぞれ入力される。
【０１３５】
メラニンシミ解析部２９１は、肌画像の画像処理を行い、メラニンシミの状態を解析する。メラニンシミ解析部２９１は、解析結果を表す情報を出力する。
【０１３６】
赤みシミ解析部２９２は、肌画像の画像処理を行い、赤みシミの状態を解析する。赤みシミ解析部２９２は、解析結果を表す情報を出力する。
【０１３７】
図２１は、図２０のメラニンシミ解析部２９１の構成例を示すブロック図である。
【０１３８】
メラニンシミ解析部２９１は、メラニン度算出部３０１、メラニンエッジ度算出部３０２、および局所メラニン度算出部３０３から構成される。メラニンシミ解析部２９１は、肌のメラニン成分を検出する機能を有する。
【０１３９】
メラニン度算出部３０１は、肌画像を解析し、各位置のメラニン量（メラニン成分の分布）を求める。図２２に示すように、メラニンは、位置Ｐ１で示す赤の波長域から位置Ｐ２で示す近赤外の波長域の間では右肩下がりの吸光特性を示す。
【０１４０】
メラニン度算出部３０１は、メラニンの吸光特性を利用して、赤色光源下で撮影した肌画像と近赤外光源下で撮影した肌画像に基づいてメラニン量MX(x,y)を求める。メラニン量MX(x,y)は下式（１）により表される。
【数１】
2016121518.tif 000003
【０１４１】
式（１）において、ＩIR(x,y)は、近赤外光源下で撮影した肌画像の位置(x,y)における明るさ（例えばＲ画素値）を表す。ＩR(x,y)は、赤色光源下で撮影した肌画像の位置(x,y)における明るさ（例えばＲ画素値）を表す。
【０１４２】
また、AMX、BMXはメラニン量を算出するためのパラメータである。メラニン度算出部３０１は、図２３に示す正規化関数に従って、各位置のメラニン量MX(x,y)を[0,1]の範囲の値に正規化することによってメラニン分布のコントラストを調整する。メラニン度算出部３０１は、メラニン量MX(x,y)を表す情報をメラニンエッジ度算出部３０２に出力し、正規化後の各位置のメラニン量を表す値をメラニン度αMX(x,y)として局所メラニン度算出部３０３に出力する。
【０１４３】
メラニンエッジ度算出部３０２は、メラニン度算出部３０１により求められた各位置のメラニン量MX(x,y)に基づいてメラニンエッジ度を算出する。メラニンエッジ度は、メラニンの局所性を表す値である。
【０１４４】
メラニンエッジ度算出部３０２は、各位置のメラニン量とその周辺のメラニン量との差分を表す画像であるエッジ画像を作成する。エッジ画像を作成する方法としては、例えばソーベルフィルタを用いる方法がある。ソーベルフィルタは、輪郭の検出に用いられるフィルタである。エッジ画像の各位置における値をmx_edge(x,y)とする。
【０１４５】
mx_edge(x,y)は、メラニン量が周辺よりも局所的に高い部分、または局所的に低い部分での値が高くなる。メラニンエッジ度算出部３０２は、図２４に示す正規化関数に従って、mx_edge(x,y)を[0.1]の範囲の値に正規化し、正規化後の値をメラニンエッジ度βMX(x,y)として局所メラニン度算出部３０３に出力する。
【０１４６】
局所メラニン度算出部３０３は、メラニン度算出部３０１により求められたメラニン度αMX(x,y)とメラニンエッジ度算出部３０２により求められたメラニンエッジ度βMX(x,y)を掛け合わせることによって、局所メラニン度γMX(x,y)を算出する。局所メラニン度γMX(x,y)は、メラニン度が周辺よりも高い位置における値が高い値となる。局所メラニン度算出部３０３は、局所メラニン度γMX(x,y)を表す情報をメラニンシミの解析結果として出力する。
【０１４７】
なお、メラニン度が高い領域が比較的広い場合、その領域の周辺の局所メラニン度のみが高い値となり、中心部の局所メラニン度は低い値になってしまう。局所メラニン度算出部３０３は、これを防ぐために、例えば２値化処理を行い、検出した閉領域を周辺部の値で埋めるような処理を行う。
【０１４８】
図２５は、図２０の赤みシミ解析部２９２の構成例を示すブロック図である。
【０１４９】
赤みシミ解析部２９２は、赤み度算出部３１１、赤みエッジ度算出部３１２、および局所赤み度算出部３１３から構成される。赤みシミ解析部２９２は、肌のヘモグロビン成分（赤み成分）を検出する機能を有する。
【０１５０】
赤み度算出部３１１は、肌画像を解析し、各位置のヘモグロビン量（ヘモグロビン成分の分布）を求める。図２６に示すように、ヘモグロビンは、位置Ｐ１１で示す緑の波長域から位置Ｐ１２で示す赤の波長域の間では右肩下がりの吸光特性を示す。
【０１５１】
赤み度算出部３１１は、ヘモグロビンの吸光特性を利用して、緑色光源下で撮影した肌画像と赤色光源下で撮影した肌画像に基づいて、赤み量EX(x,y)を求める。赤み量EX(x,y)は下式（２）により表される。
【数２】
2016121518.tif 000004
【０１５２】
式（２）において、ＩR(x,y)は、赤色光源下で撮影した肌画像の位置(x,y)における明るさ（例えばＲ画素値）を表す。ＩG(x,y)は、緑色光源下で撮影した肌画像の位置(x,y)における明るさ（例えばＧ画素値）を表す。
【０１５３】
また、AEX、BEXは赤み量を算出するためのパラメータである。赤み度算出部３１１は、図２７に示す正規化関数に従って、各位置の赤み量EX(x,y)を[0,1]の範囲の値に正規化することによって赤み量のコントラストを調整する。赤み度算出部３１１は、赤み量EX(x,y)を表す情報を赤みエッジ度算出部３１２に出力し、正規化後の各位置の赤み量を表す値を赤み度αEX(x,y)として局所赤み度算出部３１３に出力する。
【０１５４】
赤みエッジ度算出部３１２は、赤み度算出部３１１により求められた各位置の赤み量EX(x,y)に基づいて赤みエッジ度を算出する。赤みエッジ度は、赤み量の局所性を表す値である。
【０１５５】
赤みエッジ度算出部３１２は、各位置の赤み量とその周辺の赤み量との差分を表す画像であるエッジ画像を作成する。エッジ画像を作成する方法としては、例えばソーベルフィルタを用いる方法がある。エッジ画像の各位置における値をex_edge(x,y)とする。
【０１５６】
ex_edge(x,y)は、赤み量が周辺よりも局所的に高い部分、または局所的に低い部分での値が高くなる。赤みエッジ度算出部３１２は、図２８に示す正規化関数に従って、ex_edge(x,y)を[0.1]の範囲の値に正規化し、正規化後の値を赤みエッジ度βEX(x,y)として局所赤み度算出部３１３に出力する。
【０１５７】
局所赤み度算出部３１３は、赤み度算出部３１１により求められた赤み度αEX(x,y)と赤みエッジ度算出部３１２により求められた赤みエッジ度βEX(x,y)を掛け合わせることによって、局所赤み度γEX(x,y)を算出する。局所赤み度γEX(x,y)は、赤み度が周辺よりも高い位置における値が高い値となる。局所赤み度算出部３１３は、局所赤み度γEX(x,y)を表す情報を赤みシミの解析結果として出力する。
【０１５８】
なお、赤み度の高い領域が比較的広い場合、その領域の周辺の局所赤み度のみが高い値となり、中心部の局所赤み度は低い値になってしまう。局所赤み度算出部３１３は、これを防ぐために、例えば２値化処理を行い、検出した閉領域を周辺部の値で埋めるような処理を行う。
【０１５９】
このように、シミ解析部２８２は、メラニン成分とヘモグロビン成分のそれぞれについて、各成分の分布を算出する。また、シミ解析部２８２は、各成分の量が局所的に高い位置を特定し、特定した位置を含む領域における各成分の量を表す情報をシミの解析結果として生成することになる。
【０１６０】
赤みシミとメラニンシミの状態の解析方法は以上の方法に限られるものではない。例えば、単に、可視光を照射して撮影した肌画像の各領域の色を検出し、赤色に近い色の領域を赤みシミの領域として特定し、茶色に近い色の領域をメラニンシミの領域として特定することも可能である。
【０１６１】
・毛穴解析部２８１について
図２９は、図１９の毛穴解析部２８１の構成例を示すブロック図である。
【０１６２】
毛穴解析部２８１は、前処理部３２１、輝度情報分離部３２２、および特徴部分解析部３２３から構成される。肌画像取得部２７１から出力された肌画像は前処理部３２１に入力される。
【０１６３】
前処理部３２１は、ノイズ除去、シェーディング補正、コントラスト強調などの処理を前処理として肌画像に施す。前処理部３２１は、前処理を施した肌画像のデータを輝度情報分離部３２２に出力する。
【０１６４】
輝度情報分離部３２２は、前処理後の肌画像の輝度情報をグローバル輝度情報とローカル輝度情報に分離する。グローバル輝度情報は、画像に含まれる照明成分や、肌の構造成分を示す情報である。また、ローカル輝度情報は、キメなどの肌の細かな模様を示す情報である。輝度情報の分離は、例えば低域通過フィルタを用いて行われる。輝度情報分離部３２２は、グローバル輝度情報を肌画像とともに特徴部分解析部３２３に出力する。
【０１６５】
特徴部分解析部３２３は、肌画像から特徴量を算出し、算出した特徴量に基づいて肌の特徴部分の解析を行う。
【０１６６】
図３０は、特徴部分解析部３２３の構成例を示すブロック図である。
【０１６７】
特徴部分解析部３２３は、特徴量算出部３４１と特徴部分抽出部３４２から構成される。
【０１６８】
特徴量算出部３４１は、輝度情報分離部３２２により分離されたグローバル輝度情報に基づいて特徴量を算出する。特徴量算出部３４１は、例えば、肌画像の階調に関する極性、周辺と異なる類似した画素値をもつ画素領域を表すスケール、および、類似した画素値の画像領域と周辺との信号差を示す強度を特徴量として算出する。
【０１６９】
特徴量の算出には、SURF(Speeded Up Robust Feature)やSIFT(Scale Invariant Feature Transform)等の手法が用いられる。例えばSURFを用いる場合、特徴量算出部３４１は、画像中の特徴点となるHessian行列の行列値が極大となる点を、ガウス関数の標準偏差σを変えて探索する。
【０１７０】
特徴部分抽出部３４２は、特徴量算出部３４１で求めた特徴量に基づいて、特徴部分としての毛穴の部分を抽出する。例えば、特徴部分抽出部３４２は、肌画像の階調に関する極性を示すラプラシアンが「１」となる特徴点の部分を抽出する。ラプラシアンが「１」であることは、黒画素が白画素に囲まれているといった特徴を示す。
【０１７１】
また、特徴部分抽出部３４２は、極性に基づいて抽出した特徴点の部分のうち、０．１ｍｍから０．３ｍｍ程度のスケールが算出された部分を毛穴の部分として抽出する。一般的に、毛穴の大きさは０．１ｍｍから０．３ｍｍ程度の大きさである。
【０１７２】
特徴部分抽出部３４２は、毛穴の部分として抽出した特徴点の中心位置の情報を、毛穴の位置の情報として出力する。また、特徴部分抽出部３４２は、毛穴の部分として抽出した特徴点のスケールの情報を、毛穴の開きの度合いを表す情報として出力する。さらに、特徴部分抽出部３４２は、毛穴の部分として抽出した特徴点の強度の情報を、毛穴の黒ずみの度合いを表す情報として出力する。
【０１７３】
特徴部分抽出部３４２から出力された、毛穴の位置、開きの度合い、黒ずみの度合いを表す情報は、毛穴の状態の解析結果を表す情報として解析結果取得部２７３に供給される。
【０１７４】
なお、以上のような毛穴の状態の解析については、本出願人による特願２０１２―１８０８６１号に開示されている。毛穴の状態の解析方法も以上の方法に限られるものではない。
【０１７５】
＜６．各機器の動作＞
次に、以上のような構成を有する情報処理端末１と解析サーバ３の処理について説明する。
【０１７６】
はじめに、図３１のフローチャートを参照して、情報処理端末１の肌画像送信処理について説明する。
【０１７７】
図３１の処理は、ユーザが肌測定器２を用いて自身の肌の撮影を行い、撮影によって得られた肌画像が肌測定器２から送信されてきたときに開始される。
【０１７８】
ステップＳ１において、情報処理端末１の肌画像取得部２３１は、通信部２１９を制御し、肌測定器２から送信されてきた肌画像を取得する。
【０１７９】
ステップＳ２において、通信制御部２３２は、通信部２１９を制御し、肌画像取得部２３１により取得された肌画像を解析サーバ３に送信する。その後、肌の状態の解析結果のフィードバックがあるまで、情報処理端末１は待機する。
【０１８０】
次に、図３２のフローチャートを参照して、解析サーバ３の肌状態解析処理について説明する。
【０１８１】
図３２の処理は、肌測定器２を用いて撮影された肌画像が情報処理端末１から送信されてきたときに開始される。
【０１８２】
ステップＳ１１において、肌画像取得部２７１は、通信部２５９を制御し、情報処理端末１から送信されてきた肌画像を取得する。
【０１８３】
ステップＳ１２において、肌解析部２７２のシミ解析部２８２はシミ解析処理を行う。シミ解析処理により、肌画像に基づいてシミの状態の解析が行われる。シミ解析処理については、図３３のフローチャートを参照して後述する。
【０１８４】
ステップＳ１３において、毛穴解析部２８１は毛穴解析処理を行う。毛穴解析処理により、肌画像に基づいて毛穴の状態の解析が行われる。毛穴解析処理については、図３４のフローチャートを参照して後述する。
【０１８５】
ステップＳ１４において、解析結果取得部２７３は、シミの状態の解析結果としてシミ解析処理によって得られた、赤みシミの状態を表す情報とメラニンシミの状態を表す情報を取得する。また、解析結果取得部２７３は、毛穴の状態の解析結果として毛穴解析処理によって得られた、毛穴の開きの状態を表す情報と毛穴の黒ずみの状態を表す情報を取得する。
【０１８６】
肌解析部２７２は、キメの状態の解析、色みの状態の解析なども行う。解析結果取得部２７３は、キメの状態の解析結果、色みの状態の解析結果を表す情報をも取得する。
【０１８７】
ステップＳ１５において、提示部２７４は、解析結果取得部２７３により取得された情報に基づいて、肌の状態の解析結果を表す情報を生成し、情報処理端末１に送信する。その後、解析サーバ３の処理は終了となる。
【０１８８】
次に、図３３のフローチャートを参照して、図３２のステップＳ１２において行われるシミ解析処理について説明する。
【０１８９】
ステップＳ２１において、メラニンシミ解析部２９１のメラニン度算出部３０１は、赤色光源下で撮影した肌画像と近赤外光源下で撮影した肌画像に基づいてメラニン量を算出し、正規化することによって、メラニン度を算出する。
【０１９０】
ステップＳ２２において、メラニンエッジ度算出部３０２は、メラニン度算出部３０１により求められた各位置のメラニン量をソーベルフィルタに適用するなどして、メラニン量の局所性を表す値を算出する。また、メラニンエッジ度算出部３０２は、算出した値を正規化することによって、メラニンエッジ度を算出する。
【０１９１】
ステップＳ２３において、局所メラニン度算出部３０３は、メラニン度算出部３０１により求められたメラニン度とメラニンエッジ度算出部３０２により求められたメラニンエッジ度を掛け合わせることによって、局所メラニン度を算出する。局所メラニン度算出部３０３は、局所メラニン度を表す情報をメラニンシミの解析結果として出力する。
【０１９２】
ステップＳ２４において、赤みシミ解析部２９２の赤み度算出部３１１は、緑色光源下で撮影した肌画像と赤色光源下で撮影した肌画像に基づいて赤み量を算出し、正規化することによって、赤み度を算出する。
【０１９３】
ステップＳ２５において、赤みエッジ度算出部３１２は、赤み度算出部３１１により求められた各位置の赤み量をソーベルフィルタに適用するなどして、赤み量の局所性を表す値を算出する。また、赤みエッジ度算出部３１２は、算出した値を正規化することによって、赤みエッジ度を算出する。
【０１９４】
ステップＳ２６において、局所赤み度算出部３１３は、赤み度算出部３１１により求められた赤み度と赤みエッジ度算出部３１２により求められた赤みエッジ度を掛け合わせることによって、局所赤み度を算出する。局所赤み度算出部３１３は、局所赤み度を表す情報を赤みシミの解析結果として出力する。
【０１９５】
その後、図３２のステップＳ１２に戻り、それ以降の処理が行われる。
【０１９６】
次に、図３４のフローチャートを参照して、図３２のステップＳ１３において行われる毛穴解析処理について説明する。
【０１９７】
ステップＳ３１において、毛穴解析部２８１の前処理部３２１は、ノイズ除去、シェーディング補正、コントラスト強調などの処理を前処理として肌画像に施す。
【０１９８】
ステップＳ３２において、輝度情報分離部３２２は、前処理後の肌画像の輝度情報をグローバル輝度情報とローカル輝度情報に分離する。輝度情報分離部３２２は、グローバル輝度情報を肌画像とともに特徴部分解析部３２３に出力する。
【０１９９】
ステップＳ３３において、特徴部分解析部３２３の特徴量算出部３４１は、輝度情報分離部３２２により分離されたグローバル輝度情報に基づいて、特徴点となる各位置の特徴量を算出する。
【０２００】
ステップＳ３４において、特徴部分抽出部３４２は特徴部分抽出処理を行う。特徴部分抽出処理により、特徴部分としての毛穴の部分が抽出される。その後、図３２のステップＳ１３に戻り、それ以降の処理が行われる。
【０２０１】
次に、図３５のフローチャートを参照して、図３４のステップＳ３４において行われる特徴部分抽出処理について説明する。
【０２０２】
ステップＳ４１において、特徴部分抽出部３４２は、所定の特徴点を選択し、選択した特徴点の特徴量を、特徴量算出部３４１により算出された特徴量の中から取得する。例えば、肌画像の階調に関する極性、周辺と異なる類似した画素値をもつ画素領域を表すスケール、および、類似した画素値の画像領域と周辺との信号差を示す強度が取得される。
【０２０３】
ステップＳ４２において、特徴部分抽出部３４２は、選択中の特徴点の極性が所定の極性であるか否かを判定する。ここでは、選択中の特徴点の極性を示すラプラシアンが「１」であるか否かが判定される。上述したように、ラプラシアンが「１」であることは、選択中の特徴点の画素が黒画素であり、その黒画素が白画素に囲まれていることを示す。
【０２０４】
選択中の特徴点の極性が所定の極性ではない、すなわち、ラプラシアンが「１」ではないとステップＳ４２において判定された場合、処理はステップＳ４３に進む。
【０２０５】
ステップＳ４３において、特徴部分抽出部３４２は、新たな特徴点を選択し、選択した特徴点の特徴量を取得する。その後、ステップＳ４２に戻り、同様の処理が繰り返される。
【０２０６】
一方、ラプラシアンが「１」であることから、選択中の特徴点の極性が所定の極性であるとステップＳ４２において判定された場合、処理はステップＳ４４に進む。
【０２０７】
ステップＳ４４において、特徴部分抽出部３４２は、選択中の特徴点のスケールが所定のスケールであるか否かを判定する。ここでは、選択中の特徴点のスケールが、例えば０．１ｍｍから０．３ｍｍの範囲にあるか否かが判定される。
【０２０８】
なお、選択中の特徴点の極性が所定の極性であるとステップＳ４２において判定された場合、ステップＳ４４の処理とともにステップＳ４７の処理も行われる。後述するように、ステップＳ４７の処理は、選択中の特徴点の強度が所定の強度であるか否かを判定する処理である。
【０２０９】
すなわち、毛穴の部分の特徴点であると判定された特徴点については、そのスケールの判定と強度の判定の両方の判定が行われることになる。これにより、大きく開いており、かつ黒ずんでいる毛穴部分、大きく開いているが黒ずんでいない毛穴部分、開いていないが黒ずんでいる毛穴部分、および、開いておらず、かつ黒ずんでいない毛穴部分の４種類の毛穴の部分を特定することが可能になる。
【０２１０】
選択中の特徴点のスケールが所定のスケールであるとステップＳ４４において判定した場合、ステップＳ４５において、特徴部分抽出部３４２は、選択中の特徴点の部分を、開き毛穴に相当する特徴部分として特定する。開き毛穴は、例えば、図８を参照して説明した６段階の度合いのうちの、最小の度合い以上開いている毛穴である。
【０２１１】
ステップＳ４６において、特徴部分抽出部３４２は、開き毛穴に相当する特徴部分の抽出が完了したか否かを判定する。ここでは、全ての特徴点について、開き毛穴に相当する特徴部分であるか否かの判定を行ったか否かが判定される。
【０２１２】
開き毛穴に相当する特徴部分の抽出が完了していないとステップＳ４６において判定した場合、また、選択中の特徴点のスケールが所定のスケールではないとステップＳ４４において判定した場合、特徴部分抽出部３４２は、ステップＳ４３以降の処理を行う。
【０２１３】
ステップＳ４７において、特徴部分抽出部３４２は、選択中の特徴点の強度が、所定の強度以上であるか否かを判定する。ステップＳ４７の処理は、選択中の特徴点のスケールが所定のスケールであると判定された場合に行われる。
【０２１４】
選択中の特徴点の強度が所定の強度以上であるとステップＳ４７において判定した場合、ステップＳ４８において、特徴部分抽出部３４２は、選択中の特徴点の部分を、黒ずみ毛穴に相当する特徴部分として特定する。黒ずみ毛穴は、例えば、図９を参照して説明した６段階の度合いのうちの、最小の度合い以上黒ずんでいる毛穴である。
【０２１５】
ステップＳ４９において、特徴部分抽出部３４２は、黒ずみ毛穴に相当する特徴部分の抽出が完了したか否かを判定する。ここでは、全ての特徴点について、黒ずみ毛穴に相当する特徴部分であるか否かの判定を行ったか否かが判定される。
【０２１６】
黒ずみ毛穴に相当する特徴部分の抽出が完了していないとステップＳ４９において判定した場合、また、選択中の特徴点の強度が所定の強度以上ではないとステップＳ４７において判定した場合、特徴部分抽出部３４２は、ステップＳ４３以降の処理を行う。
【０２１７】
ステップＳ４６において開き毛穴に相当する特徴部分の抽出が完了したと判定された場合、または、ステップＳ４９において黒ずみ毛穴に相当する特徴部分の抽出が完了したと判定された場合、処理はステップＳ５０に進む。
【０２１８】
ステップＳ５０において、特徴部分抽出部３４２は、開き毛穴に相当する特徴部分の抽出と黒ずみ毛穴に相当する特徴部分の抽出が完了したか否かを判定し、完了していないと判定した場合、ステップＳ４３以降の処理を行う。
【０２１９】
開き毛穴に相当する特徴部分の抽出と黒ずみ毛穴に相当する特徴部分の抽出が完了したとステップＳ５０において判定された場合、図３４のステップＳ３４に戻り、それ以降の処理が行われる。
【０２２０】
次に、図３６のフローチャートを参照して、情報処理端末１の解析結果表示処理について説明する。
【０２２１】
ステップＳ６１において、情報処理端末１の通信制御部２３２は、解析サーバ３から送信されてきた解析結果を表す情報を受信し、取得する。
【０２２２】
ステップＳ６２において、表示制御部２３３は、通信制御部２３２により取得された情報に基づいて、図５を参照して説明したような測定結果表示画面をディスプレイ５１に表示させる。表示制御部２３３は、ユーザの操作に応じて測定結果表示画面の表示を切り替える。測定結果表示画面を閉じることが指示された場合、処理は終了となる。
【０２２３】
以上の一連の処理により、ユーザは、肌の状態に関する複数種類の解析結果を、直観的に、かつ容易に確認することができる。
【０２２４】
＜＜第２の実施の形態＞＞
図３７は、肌解析システムの他の構成例を示す図である。
【０２２５】
図３７の肌解析システムは、情報処理端末１と肌測定器２から構成される。
【０２２６】
情報処理端末１は、肌測定器２により撮影された肌画像を取得し、取得した肌画像に基づいて、ユーザの肌の状態を解析する。情報処理端末１は、肌の状態の解析結果に基づいて、測定結果表示画面をディスプレイ５１に表示する。
【０２２７】
すなわち、図３７の肌解析システムは、肌の状態の解析を情報処理端末１自身が行い、測定結果表示画面を表示するものである。情報処理端末１が、肌画像の画像処理を行い、肌の状態を解析する情報処理装置として機能することになる。情報処理端末１は、図１９に示す構成と同じ構成を有する。
【０２２８】
＜＜変形例＞＞
図１９に示す構成と同じ構成が肌測定器２に設けられるようにすることも可能である。この場合、肌測定器２は、撮影を行うことによって肌画像を取得し、取得した肌画像の画像処理を行うことによって肌の状態の解析を行う。肌測定器２は、解析結果表示画面を例えば情報処理端末１のディスプレイ５１に表示させ、肌の状態の解析結果をユーザに提示する。
【０２２９】
以上においては、肌画像を撮影するための機器として肌測定器２が用いられる場合について説明したが、情報処理端末１に搭載されたカメラ２１６によって肌画像を撮影することができるようにしてもよい。
【０２３０】
以上においては、顔の肌の状態を解析する場合について説明したが、解析の対象となる肌の部分は、手、腕、足などの、顔以外の部分であってもよい。
【０２３１】
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０２３２】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１６に示されるリムーバブルメディア２２１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２１２やメモリ２１８に、あらかじめインストールしておくことができる。
【０２３３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３４】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２３５】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２３６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２３８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２３９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
【０２４０】
（１）
同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得する取得部と、
複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる提示部と
を備える情報処理装置。
【０２４１】
（２）
前記提示部は、前記可視化情報を、前記解析結果を得るために用いられた前記肌の画像上に表示させる
前記（１）に記載の情報処理装置。
【０２４２】
（３）
前記提示部は、肌の位置が選択されることに応じて、選択された位置の前記肌の画像を解析することによって得られた複数種類の前記解析結果を表す前記可視化情報を表示させる
前記（１）または（２）に記載の情報処理装置。
【０２４３】
（４）
前記提示部は、複数種類の前記可視化情報を表示する複数の前記画像を同時に表示させる
前記（１）乃至（３）のいずれかに記載の情報処理装置。
【０２４４】
（５）
前記提示部は、肌の状態に関する複数の項目のうちの１つの項目の選択中に、選択中の項目と対応付けられた複数種類の前記解析結果を表す前記可視化情報を表示させる
前記（１）乃至（４）のいずれかに記載の情報処理装置。
【０２４５】
（６）
前記提示部は、毛穴の項目が選択された場合、毛穴の開きの前記解析結果を表す前記可視化情報と、毛穴の黒ずみの前記解析結果を表す前記可視化情報を表示させる
前記（５）に記載の情報処理装置。
【０２４６】
（７）
前記提示部は、シミの項目が選択された場合、種類の異なるシミの前記解析結果を表す前記可視化情報をそれぞれ表示させる
前記（５）に記載の情報処理装置。
【０２４７】
（８）
前記肌の画像に基づいて肌の状態を解析する解析部をさらに備える
前記（１）乃至（７）のいずれかに記載の情報処理装置。
【０２４８】
（９）
前記解析部は、前記肌の画像上の各位置における肌の所定の成分の量を算出し、前記所定の成分の量に基づいて、前記所定の成分の量が局所的に多い位置を特定し、特定した位置を含む領域における前記所定の成分の量を表す情報を前記解析結果として出力する
前記（８）に記載の情報処理装置。
【０２４９】
（１０）
同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得し、
複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる
ステップを含む情報処理方法。
【０２５０】
（１１）
同じ位置の肌の画像を解析することによって得られた、肌の状態の複数種類の解析結果を表す情報を取得し、
複数種類の前記解析結果をそれぞれ可視化した複数種類の可視化情報を、同じ画像上に同時に表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２５１】
１  情報処理端末，  ２  肌測定器，  ３  解析サーバ，  ５１  ディスプレイ，  ２３１  肌画像取得部，  ２３２  通信制御部，  ２３３  表示制御部，  ２７１  肌画像取得部，  ２７２  肌解析部，  ２７３  解析結果取得部，  ２７４  提示部，  ２８１  毛穴解析部，  ２８２  シミ解析部
【図１】
2016121518.tif 000005
【図２】
2016121518.tif 000006
【図３】
2016121518.tif 000007
【図４】
2016121518.tif 000008
【図５】
2016121518.tif 000009
【図６】
2016121518.tif 000010
【図７】
2016121518.tif 000011
【図８】
2016121518.tif 000012
【図９】
2016121518.tif 000013
【図１０】
2016121518.tif 000014
【図１１】
2016121518.tif 000015
【図１２】
2016121518.tif 000016
【図１３】
2016121518.tif 000017
【図１４】
2016121518.tif 000018
【図１５】
2016121518.tif 000019
【図１６】
2016121518.tif 000020
【図１７】
2016121518.tif 000021
【図１８】
2016121518.tif 000022
【図１９】
2016121518.tif 000023
【図２０】
2016121518.tif 000024
【図２１】
2016121518.tif 000025
【図２２】
2016121518.tif 000026
【図２３】
2016121518.tif 000027
【図２４】
2016121518.tif 000028
【図２５】
2016121518.tif 000029
【図２６】
2016121518.tif 000030
【図２７】
2016121518.tif 000031
【図２８】
2016121518.tif 000032
【図２９】
2016121518.tif 000033
【図３０】
2016121518.tif 000034
【図３１】
2016121518.tif 000035
【図３２】
2016121518.tif 000036
【図３３】
2016121518.tif 000037
【図３４】
2016121518.tif 000038
【図３５】
2016121518.tif 000039
【図３６】
2016121518.tif 000040
【図３７】
2016121518.tif 000041
【国際調査報告】
2016121518.tif 000042
2016121518.tif 000043
2016121518.tif 000044
2016121518.tif 000045