(57)【特許請求の範囲】
【請求項１】
人の見掛け肌年齢を判定するためのシステムであって、上部に格納された論理を有する非一過性コンピュータ可読格納媒体を備え、前記論理が、前記システムに、
ａ）人間の顔を含むデジタル画像を受信することと、
ｂ）解析のために前記デジタル画像を処理することであって、前記処理することは、前記デジタル画像内で前記人間の顔の位置を特定することと、前記顔に存在する少なくとも１つの巨視的特徴をマスキングすることと、を含む処理をすることと、
ｃ）畳み込みニューラルネットワーク（ＣＮＮ）を使用して前記処理された画像を解析することであって、前記解析は、前記人の肌年齢を示す顔の微視的特徴に配置された少なくとも１つの画素を識別することを含む解析をすることと、
ｄ）前記ＣＮＮによる前記解析に基づいて、前記人の見掛け肌年齢を判定することと、
ｅ）ユーザに視認可能な表示デバイス上に前記見掛け肌年齢を表示することと、を行わせる、システム。
【請求項２】
画像捕捉デバイスが、コンピュータに結合され、前記デジタル画像が、前記画像捕捉デバイスにより捕捉され、前記コンピュータにより受信される、請求項１に記載のシステム。
【請求項３】
前記巨視的特徴をマスキングすることが、前記顔の巨視的特徴内の画素を、関心領域内に配置された肌のＲＧＢ中央値を有する画素と置き換えることを含む、請求項１又は請求項２に記載のシステム。
【請求項４】
解析のために前記画像を処理することが、前記画像を２つ以上の画像セグメントにセグメント化することを更に含む、請求項１乃至３のいずれか一項に記載のシステム。
【請求項５】
前記ＣＮＮが、各画像セグメントに対するディープニューラルネットワークを含む、請求項４に記載のシステム。
【請求項６】
各ディープニューラルネットワークが、異なる画像セグメントから関心領域を解析し、各解析の結果が、前記関心領域の見掛け肌年齢を判定するために使用される、請求項５に記載のシステム。
【請求項７】
全ての前記ディープニューラルネットワークの解析から得られた結果が、全体的な見掛け肌年齢を提供するために連結されている、請求項６に記載のシステム。
【請求項８】
前記画像を処理することが、２つ以上の入力変化量を前記ＣＮＮに提供することを含む、請求項１乃至７のいずれか一項に記載のシステム。
【請求項９】
第１の入力変化量が、前記画像をセグメント化し、次いで前記巨視的特徴をマスキングすることによって提供され、第２の入力変化量が、前記巨視的特徴をマスキングし、次いで前記画像をセグメント化することによって提供される、請求項８に記載のシステム。
【請求項１０】
請求項１乃至９のいずれか一項に記載のシステムを使用することを含む、人の見掛け肌年齢を判定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、概して、人の肌の見掛け年齢を判定するためのシステム及び方法に関する。より具体的には、本出願は、消費者の肌の年齢をより正確に判定するための画像処理技術、及び１つ以上の畳み込みニューラルネットワークの使用に関する。
【背景技術】
【０００２】
皮膚は、本来なら敏感な基礎組織及び器官に損傷を与えるであろう環境傷害に対する最初の一連の防御である。更に、肌は、人の身体的外観において重要な役割を果たす。一般に、ほとんどの人々は、より若く、健康そうな肌を望む。そして、多少とも、菲薄肌、しわ、及びしみなどの、肌の老化がはっきりわかる兆候があると、若さの消失という望ましくないものを思い出す。その結果、肌の老化の兆候を治療することは、若さを気にする社会において急成長ビジネスとなっている。治療は、美容クリーム及び保湿剤から多様な美容外科形態に至るまでの範囲に及ぶ。
【０００３】
肌状態を治療するために多種多様な化粧用スキンケア製品が市販されているが、消費者がどのスキンケア製品を使用すべきかを判定するのが困難であることは、珍しいことではない。例えば、実年齢よりも老化しているように見える肌を有する人は、より若そうに見える肌を有する人と比較して、異なる製品又はレジメンを必要とする場合がある。このため、人の肌の見掛け年齢を正確に判定することが望まれ得る。
【０００４】
コンピュータモデル／アルゴリズムを使用して人の画像（例えば、「自撮り」）を解析することによって、人の見掛け肌年齢を判定するための数多くの試行が行われてきた。そのとき、コンピュータモデルにより提供された結果を使用して、消費者に肌プロファイル（例えば、肌年齢、水分レベル、又は油性）、及び／又は製品推奨を提供することができる。肌年齢をモデル化する過去の試行は、コンピュータモデル／予測を推進する主要因として顔の巨視的特徴（目、耳、鼻、口等）に依拠していた。しかしながら、巨視的特徴ベースシステムは、消費者に年齢知覚を引き起こす他の肌の見掛け手がかり（例えば、小じわ、しわ、及び色素沈着状態などの微視的特徴）を適格に利用することができず、このことが、見掛け肌年齢について不十分な予測をもたらす可能性がある。
【０００５】
肌年齢及び／又は肌状態をモデル化しようとする過去の他の試行は、煩雑な機器又は技術（例えば、固定カメラ、顕微鏡、交差偏光、正反射率、及び／又は空間周波数解析）を利用した。このため、消費者が製品及び／又はスキンケアレジメンの推奨を受け取ることができるように、肌を解析する便利な使用方法及び／又はモバイルシステムを消費者に提供することが望ましいであろう。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、人の肌の見掛け年齢を簡便に判定する改善された方法が、依然として必要であり、それから、この方法を使用して、カスタマイズされたスキンケア製品又はレジメン推奨を提供するのに役立ち得る。
【課題を解決するための手段】
【０００７】
本明細書では、人の見掛け肌年齢を判定し、カスタマイズされたスキンケア製品推奨をユーザに提供するためのシステム及び方法が、開示されている。これらのシステム及び方法は、人の画像を処理するためのコンピューティングデバイスを利用し、そのコンピューティングデバイスは、人の顔を描写し、次いで、処理された画像を解析する。処理中、人の顔は、画像内で識別され、そして顔の巨視的特徴が、マスキングされる。処理された画像は、解析される。見掛け肌年齢を判定することは、肌年齢を示す少なくとも１つの画素を識別することと、少なくとも１つの画素を利用して見掛け肌年齢を提供することとを含み得る。ＣＮＮによる解析、及び任意選択的にユーザにより提供された他のデータに基づいて、このシステムは、人の見掛け肌年齢を判定し、かつ／又は人のスキンケア製品若しくはスキンケアレジメンを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本システムの一例を示す。
【図２】人の画像内で識別された巨視的特徴を示す。
【図３Ａ】セグメント化された画像を示す。
【図３Ｂ】範囲制限された画像を示す。
【図４Ａ】マスキングされた巨視的特徴を示す。
【図４Ｂ】マスキングされた巨視的特徴を示す。
【図４Ｃ】マスキングされた巨視的特徴を示す。
【図４Ｄ】マスキングされた巨視的特徴を示す。
【図４Ｅ】マスキングされた巨視的特徴を示す。
【図４Ｆ】マスキングされた巨視的特徴を示す。
【図４Ｇ】マスキングされた巨視的特徴を示す。
【図５Ａ】マスキングされた巨視的特徴を示す。
【図５Ｂ】マスキングされた巨視的特徴を示す。
【図５Ｃ】マスキングされた巨視的特徴を示す。
【図５Ｄ】マスキングされた巨視的特徴を示す。
【図５Ｅ】マスキングされた巨視的特徴を示す。
【図５Ｆ】マスキングされた巨視的特徴を示す。
【図５Ｇ】マスキングされた巨視的特徴を示す。
【図６Ａ】関心領域を示す。
【図６Ｂ】関心領域を示す。
【図６Ｃ】関心領域を示す。
【図６Ｄ】関心領域を示す。
【図６Ｅ】関心領域を示す。
【図６Ｆ】関心領域を示す。
【図６Ｇ】関心領域を示す。
【図７】画像を処理する方法のフロー図である。
【図８】見掛け肌年齢を判定するための畳み込みニューラルネットワークを示す。
【図９】見掛け肌年齢を判定するための畳み込みニューラルネットワークを示す。
【図１０】典型的なユーザインターフェースを示す。
【図１１】典型的なユーザインターフェースを示す。
【図１２】典型的なユーザインターフェースを示す。
【図１３】典型的なユーザインターフェースを示す。
【図１４】典型的なユーザインターフェースを示す。
【図１５】典型的なユーザインターフェースを示す。
【図１６】典型的なユーザインターフェースを示す。
【図１７】典型的なユーザインターフェースを示す。
【図１８】典型的なユーザインターフェースを示す。
【図１９】典型的なユーザインターフェースを示す。
【図２０】典型的なユーザインターフェースを示す。
【図２１】典型的なユーザインターフェースを示す。
【図２２】スキンケア製品、及び／又はレジメン推奨を提供するためのリモートコンピューティングデバイスを例示する。
【図２３】製品推奨をユーザに提供する方法のフロー図である。
【発明を実施するための形態】
【０００９】
消費者にカスタマイズされた製品の推奨を提供するために、化粧品産業において、様々なシステム及び方法が使用されている。例えば、いくつかの既知のシステムは、巨視的特徴ベース解析を使用し、この解析の中で、人の顔の写真内で通常視認可能である１つ以上の巨視的特徴（例えば、目、耳、鼻、口、及び／又は毛髪）が、デジタル写真又は「自撮り」などの捕捉された画像内で検出され、既定の定義と比較される。しかしながら、巨視的特徴ベース解析システムは、見掛け肌年齢について適切に正確な指標を提供しない場合がある。従来の微視的特徴ベースシステムは、煩雑な機器又は技術を使用し得、それらは、平均的な消費者が使用するには適切でない場合がある。
【００１０】
顔の巨視的特徴をマスキングし、かつ畳み込みニューラルネットワーク（「ＣＮＮ」）を使用して顔の微視的特徴を解析することは、人の見掛け肌年齢の適切に正確な判定を提供することができることが、現在発見されている。ＣＮＮベース画像解析システムは、比較的小さい画像前処理を使用するように構成され得、これにより、従来の知識、及び所定の定義に対するシステムの依存性を低減し、画像を解析するのに必要となるコンピュータメモリ及び／又は処理電力を低減する。その結果、本システムは、従来の巨視的特徴ベース画像解析システムと比較して改善された普遍性を実証し、本システムを使用する消費者に対して、より良好なスキンケア製品又はレジメン推奨をもたらし得る。
【００１１】
定義
本明細書で使用するところの「約」とは、特定の値プラスマイナス２０パーセント（＋／−２０％）又はそれよりも低い値（例えば、１５％、１０％未満、若しくは更には５％未満）に等しい範囲を指すことで、特定の値を修飾する。
【００１２】
「見掛け肌年齢」とは、捕捉された画像に基づいて、本明細書のシステムにより計算された人の肌の年齢を意味する。
【００１３】
「畳み込みニューラルネットワーク」とは、フィードフォワード人工ニューラルネットワークの一種であり、個々のニューロンが視野の重複領域に応答するようにタイル状になっている。
【００１４】
本明細書内のシステムの様々な構成要素に言及するときに、「結合された」とは、それらの構成要素が、互いに電気的、電子的、及び／又は機械的に通信していることを意味する。
【００１５】
「配置される」とは、要素が別の要素に対して特定の場所に位置付けされることを意味する。
【００１６】
「画像捕捉デバイス」とは、人の画像を捕捉することができるデジタルカメラなどのデバイスを意味する。
【００１７】
「接合された」とは、要素を他の要素に直接固着することにより、要素を別の要素に直接固定する構成、及び要素を中間部材（複数可）に固着し、これが次に他の要素に固着されることにより、要素が別の要素に間接的に固定される構成を意味する。
【００１８】
「巨視的特徴」とは、ヒトの顔上又は近くに見出される比較的大きい身体的特徴である。巨視的特徴には、以下に限定されないが、顔形状、耳、目、口、鼻、毛髪、及びまゆ毛が挙げられる。
【００１９】
「マスキング」とは、画像内の巨視的特徴の中、及び／又は付近に配置された少なくともいくつかの画素を、関心領域内に配置された画素により近い、又はそれと同じＲＧＢ値を有する画素にデジタル処理して置き換えるプロセスを指す。
【００２０】
「微視的特徴」とは、通常老化肌と関連付けられる比較的小さい特徴、及び／又は人の顔上に見出される肌疾患である。微視的特徴には、以下に限定されないが、小じわ、しわ、乾燥肌特徴（例えば、肌フレーク）、及び色素異常症（例えば、色素沈着過剰状態）が挙げられる。微視的特徴は、巨視的特徴を含まない。
【００２１】
「人」は、人間を指す。
【００２２】
「関心領域」又は「ＲｏＩ」とは、画像又は画像セグメント内の、特に肌の範囲制限された部分を意味し、ここでは、ＣＮＮによる解析は、見掛け肌年齢を提供することが望まれている。いくつかの非限定的な関心領域としては、巨視的特徴がマスキングされてきた額、頬、ほうれい線、目の下、又は顎を示す画像の一部が挙げられる。
【００２３】
「セグメント化」とは、解析のために画像を２つ以上の別個のゾーンに分割することを指す。
【００２４】
「目標肌年齢」とは、見掛け肌年齢と所定の年数だけ異なる肌年齢を意味する。
【００２５】
本明細書における「ユーザ」とは、例えば、デバイスユーザ、製品ユーザ、システムユーザ等を含む、少なくとも本明細書に提供された特徴を使用する人を指す。
【００２６】
本明細書のシステム及び方法は、マルチステップ式（例えば、２、３、４、又は５以上のステップ）アプローチを利用してその人の画像から人の見掛け肌年齢を判定する。ＣＮＮが処理して画像を解析するか、又は顔の全体画像を解析する単一ステップ式プロセスではない、マルチステップ式プロセスを使用することによって、ＣＮＮは、年齢知覚を引き起こす重要な特徴（例えば、微視的特徴）に集中し、画像を解析するのに必要な計算パワーを低減し、巨視的特徴によりシステムに持ち込まれ得る偏りを低減することができる。
【００２７】
第１のステップにおいて、システムのメモリ構成要素に格納された論理を処理することにより、システムに、以下、すなわち、解析のために画像内の顔を識別すること、その画像を正規化すること、１つ以上（例えば、全て）の顔の巨視的特徴をマスキングすること、及び解析のために画像をセグメント化することのうちの１つ以上を実行させる。これらの処理ステップは、所望に応じて、任意の順番で実行され得る。処理された画像は、解析のための１つ以上の入力バリアントとして、畳み込みニューラルネットワークに提供される。ＣＮＮ解析の結果を使用して、各セグメントの見掛け肌年齢、及び／又は顔全体の全体的な肌年齢を提供する。
【００２８】
図１は、人の画像を捕捉し、その画像を解析し、人の肌年齢を判定し、並びに任意選択的に、カスタマイズされたスキンケアレジメン及び／又は製品推奨をユーザに提供するための典型的なシステム１０を示す。このシステム１０は、ネットワーク１００（例えば、携帯電話ネットワーク、公衆交換電話ネットワーク、衛星ネットワーク、及び／若しくはインターネットなどのワイドエリアネットワーク、ワイヤレスフィディリティ、Ｗｉ−Ｍａｘ、ＺｉｇＢｅｅ（商標）、及び／若しくはＢｌｕｅｔｏｏｔｈ（商標）などのローカルエリアネットワーク、並びに／又は他の好適な形態のネットワーク能力）を含み得る。ネットワーク１００には、モバイルコンピューティングデバイス１０２、リモートコンピューティングデバイス１０４、及び／又は訓練コンピューティングデバイス１０８が結合されている。
【００２９】
モバイルコンピューティングデバイス１０２は、携帯電話、タブレット、ラップトップ、携帯情報端末、並びに／又はデジタル写真のような画像を捕捉、格納、及び／若しくは転送するように構成された他のコンピューティングデバイスであってもよい。したがって、モバイルコンピューティングデバイス１０２は、デジタルカメラのような画像捕捉デバイス１０３を含んでもよく、かつ／又は他のデバイスから画像を受信するように構成されてもよい。モバイルコンピューティングデバイス１０２は、画像捕捉論理１４４ａ及びインターフェース論理１４４ｂを格納するメモリ構成要素１４０ａを含んでもよい。メモリ構成要素１４０ａは、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ等）、読み出し専用メモリ（read only memory、ＲＯＭ）、レジスタ、及び／又は他の形態のコンピューティング格納ハードウェアを含んでもよい。画像捕捉論理１４４ａ及びインターフェース論理１４４ｂは、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。画像捕捉論理１４４ａは、デジタル画像上での捕捉、格納、処理、解析、転送、及び／又はユーザの他の機能の実行を容易にすることができる。インターフェース論理１４４ｂは、質問、オプション等を含み得る、１つ以上のユーザインターフェースをユーザに提供するために構成されてもよい。モバイルコンピューティングデバイス１０２はまた、ネットワーク１００を介して他のコンピューティングデバイスと通信するために構成されてもよい。
【００３０】
リモートコンピューティングデバイス１０４はまた、ネットワーク１００にも結合されてもよく、サーバ（若しくは複数のサーバ）、パーソナルコンピュータ、モバイルコンピュータ、並びに／又はユーザの顔の捕捉された画像内の肌年齢に起因する肌特徴を配置及び解析することによって、ユーザの肌年齢を判定することができる畳み込みニューラルネットワークを創出、格納、及び／若しくは訓練するために構成された他のコンピューティングデバイスとして構成されてもよい。例えば、ＣＮＮは、リモートコンピューティングデバイス１０４のメモリ構成要素１４０ｂ内に論理１４４ｃ及び１４４ｄとして格納されてもよい。小じわ、しわ、黒い（加齢による）斑点、不均一な肌の色合い、しみ、毛穴の広がり、赤味、黄色味、これらの組み合わせ等の、一般に知覚される肌の欠陥は全て、訓練されたＣＮＮによって、ユーザの肌年齢に寄与するものとして識別され得る。
【００３１】
リモートコンピューティングデバイス１０４は、訓練論理１４４ｃ、解析論理１４４ｄ、及び／又は処理論理１４４ｅを格納するメモリ構成要素１４０ｂを含み得る。メモリ構成要素１４０ｂは、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ等）、読み出し専用メモリ（ＲＯＭ）、レジスタ、及び／又は他の形態のコンピューティング格納デバイスハードウェアを含んでもよい。訓練論理１４４ｃ、解析論理１４４ｄ、及び／又は処理論理１４４ｅは、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。訓練論理１４４ｃは、ＣＮＮの創出及び／又は訓練を容易にし、このため、ＣＮＮの創出及び／又は動作を容易し得る。処理論理１４４ｅは、モバイルコンピューティングデバイス１０２（又は他のコンピューティングデバイス）から受信した画像を、解析論理１４４ｄによる解析のために処理させる。画像処理は、巨視的特徴識別、マスキング、セグメント化、及び／又は他の画像改変プロセスを含み得、それらのプロセスは、以下に、より詳細に説明される。解析論理１４４ｄは、処理された画像をリモートコンピューティングデバイス１０４に解析させて見掛け肌年齢、製品推奨等を提供する。
【００３２】
いくつかの例では、訓練コンピューティングデバイス１０８は、ネットワーク１００に結合され得、ＣＮＮの訓練を容易にする。例えば、トレーナは、訓練コンピューティングデバイス１０８を介して、顔又は肌の１つ以上のデジタル画像をＣＮＮに提供してもよい。トレーナはまた、情報及び他の命令（例えば、実際の年齢）を提供し得、どの評価が正しく、どの評価が正しくないのかをＣＮＮに通知する。トレーナからの入力に基づいて、ＣＮＮは、以下でより詳細に説明するように、自動的に適応してもよい。
【００３３】
システム１０はまた、キオスク型コンピューティングデバイス１０６を含み得、このコンピューティングデバイスは、モバイルコンピューティングデバイス１０２と同様に動作し得るが、１つ以上の製品を販売し、かつ／又は現金若しくは電子商取引の形態で支払を受領することも可能にし得る。当然のことながら、支払及び／又は製品販売も提供するモバイルコンピューティングデバイス１０２が、本明細書で企図されることを理解されたい。いくつかの例では、キオスク型コンピューティングデバイス１０６及び／又はモバイルコンピューティングデバイス１０２もまた、ＣＮＮの訓練を容易にするように構成されてもよい。このため、モバイルコンピューティングデバイス１０２及びリモートコンピューティングデバイス１０４について描写及び説明されたハードウェア及びソフトウェアは、キオスク型コンピューティングデバイス１０６、訓練コンピューティングデバイス１０８、及び／又は他のデバイス内に含まれてもよい。同様に、図２１のリモートコンピューティングデバイス２１０４について描写及び説明されたハードウェア及びソフトウェアは、モバイルコンピューティングデバイス１０２、リモートコンピューティングデバイス１０４、キオスク型コンピューティングデバイス１０６、及び訓練コンピューティングデバイス１０８のうちの１つ以上に含まれてもよい。
【００３４】
また、リモートコンピューティングデバイス１０４は、図１に、画像処理及び画像解析を実行するものとして示されているが、これは、単なる例にすぎないことも理解されたい。画像処理及び／又は画像解析は、所望に応じて、任意の好適なコンピューティングデバイスにより実行されてもよい。
【００３５】
画像処理
本明細書の画像解析プロセスの第１のステップにおいて、本システムは、少なくとも１つの人の顔を含む画像を受信し、ＣＮＮによる解析のために画像を準備する。この画像は、例えば、デジタルカメラを備えるスマートフォンなどの任意の好適なソースから受信されてもよい。少なくとも百万画素の画像を生成し、好適な画像処理論理及び／又は画像解析論理にアクセスすることができるコンピューティングデバイス（複数可）にその画像を電子的に転送することが可能なカメラを使用することが望ましい場合がある。
【００３６】
一旦、画像が受信されると、処理論理は、人間の顔を包含する画像の一部（複数可）を識別する。この処理論理は、例えば、色及び／又は色コントラスト技術、モノクロ背景特徴の除去、幾何学的モデル若しくはハウスドルフ距離を使用するエッジベース技術、弱カスケード技術、又はこれらの組み合わせなどの当技術分野で任意の既知の技術を使用して、画像内に存在する人間の顔（複数可）を検出するように構成され得る。いくつかの例では、Ｖｉｏｌａ−Ｊｏｎｅｓ型の弱カスケード技術を使用することが、特に望ましい場合があり、この技術は、Ｐａｕｌ  Ｖｉｏｌａ及びＭｉｃｈａｅｌ  Ｊｏｎｅｓにより、「Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」５７（２），１３７−１５４，２００４の中で記述されたものである。
【００３７】
いくつかの例では、本システムにより受信された画像は、２つ以上の顔を含み得るが、ユーザは、その画像内の全ての顔を解析することを望まない場合がある。例えば、ユーザは、単に、スキンケア治療及び／又は製品に関する助言を求める人の顔を解析することのみを望んでいる場合がある。このため、本システムは、解析のために所望の画像（複数可）のみを選択するように構成され得る。例えば、処理論理は、画像内の顔の相対的な位置（例えば、中央）、顔の相対的なサイズ（例えば、最大の「四角形」）、又はこれらの組み合わせに基づいて、解析用に最も主要な顔を選択することができる。別の方法として又は追加的に、本システムは、処理論理が選択した顔が正しいことを確認するようにユーザに促し、かつ／又は解析のために１つ以上の顔を選択するように尋ねることができる。当技術分野で既知の任意の好適なユーザインターフェース技術を使用して、ユーザに問い合わせ得、画像内に存在する１つ以上の顔をユーザに選択させることができる。
【００３８】
適切な顔（複数可）が、更なる処理のために選択されると、処理論理は、１つ以上の顔のランドマーク（例えば、目、鼻、口、又はそれらの一部）を検出し、それらのランドマークは、アンカー特徴（すなわち、処理論理が、その画像を正規化及び／又はセグメント化するために使用することができる基準点）として使用され得る。いくつかの例では、処理論理は、顔を画像の残りから分離する境界ボックスを作り出し得る。このようにして、背景対象物、望ましくない巨視的特徴、及び／又は画像内で視覚可能な他の身体部分が、除去され得る。顔の関心ランドマークは、既知のランドマーク検出技術（例えば、Ｖｉｏｌａ−Ｊｏｎｅｓ、又は顔の形状／サイズ認識アルゴリズム）を使用して検出され得る。
【００３９】
図２は、ランドマーク検出技術の一例を示し、そこでは、目２０２、鼻２０４、及び口２０６の隅が、アンカー特徴として使用するための処理論理により識別される。この例では、画像を正規化することは、画像を回転させること、及び／又は画像のサイズを変倍することを含み、各画像間のばらつきを低減することができる。
【００４０】
図３Ａは、次の処理及び／又は解析のために、画像３００を別個のゾーンにセグメント化する例を示す。いくつかの例では、図３Ａに示すように、セグメント化された画像３００は、モバイルコンピューティングデバイスを介してユーザに提示され得る。しかしながら、いくつかの例では、セグメント化された画像は、正に画像処理の一部であってもよく、ユーザに表示されなくてもよい。図３Ａに示すように、画像は、６つのセグメントに分離され、それらのセグメントは、額セグメント３０１、左目及び右目セグメント３０２及び３０３、左及び右頬／ほうれい線セグメント３０４及び３０５、並びに顎セグメント３０６を含む。いくつかの例では、画像は、セグメント化され、かつ／又はゾーンを反映するように組み合わされた２つ以上のセグメントであり得、それらのゾーンは、通常、例えば、いわゆるＴゾーン又はＵゾーンなどの化粧品業界において肌を解析するために使用されている。Ｔゾーンは、化粧品業界では、おおむね顔の一部として認識されており、この顔の一部は、額を横切って横方向に、かつ額の中央辺りから鼻の端部又は顎の底部まで長手方向に延在する。Ｔゾーンは、大文字のＴに似ているため、そのように命名されている。Ｕゾーンは、おおむね顔の一部として認識されており、この顔の一部は、一方の頬の長手方向の下方に延在し、顎を横切って横方向に、その後、他方の頬の上方に（長手方向に）戻る。Ｕゾーンは、文字Ｕに似ているため、そのように命名されている。
【００４１】
顔のセグメント化は、例えば、当業者には既知であるように、タスク制約型ディープ畳み込みネットワーク（tasks constrained deep convolutional network、ＴＣＤＣＮ）又は他の好適な技術によって実行され得る。顔の画像をセグメント化することにより、解析論理が各セグメントの見掛け年齢を提供することを可能にしており、そのことは、いくつかのセグメントが他のセグメントよりも全体的な肌年齢の知覚に影響を与えることが知られているため、重要であり得る。このため、各セグメントは、セグメントが肌年齢の知覚に及ぼす影響を反映するように重み付けされ得る。いくつかの例では、処理論理は、システムに、セグメント化された画像を変倍させることができ、その結果、顔画像の全高（すなわち、顎の底部から額の頂部までの距離）は、特定の値（例えば、７００〜８００画素、７００〜７５０画素、又は約７１６画素すら）を超えない。
【００４２】
図３Ｂは、境界ボックス３２０内に画像３１０を範囲制限した例を示す。境界ボックス３２０は、顎の底部から額の頂部まで長手方向に、かつ一方のこめかみから他方のこめかみまで横方向に延在し得る。境界ボックス３２０は、背景対象物、巨視的特徴、若しくはそれらの一部（例えば、毛髪、耳）、及び／又は画像内に存在し得る他の身体的対象物（例えば、首、胸、肩、腕、又は額）の全て若しくはその一部を除去するようにサイズ設定され得る。当然のことながら、全てのサイズの境界ボックスが、本明細書において考察されている。範囲制限は、画像セグメント化の前、後、又はそれと同時に行われ得る。いくつかの例では、図３Ｂに示すように、境界ボックス３２０及び／又は範囲制限された画像３１０は、モバイルコンピューティングデバイスを介してユーザに提示され得るが、必ずしもそうである必要はない。
【００４３】
顔の巨視的特徴をＣＮＮによる肌年齢解析の品質低下から防止することは、重要である。顔の巨視的特徴がマスキングされていない場合、ＣＮＮは、小じわ及びしわなどの微視的特徴の手がかりではなく、巨視的特徴の手がかりから人の肌年齢を予測することを学習し得、このことは、人々が肌年齢をどのように知覚するかについて非常に影響力を持つこととして知られている。これは、画像をデジタル処理で改変して、小じわ、しわ、及び色素異常症などの顔の微視的特徴を除去すること、並びにシステムにより提供された見掛け年齢が変化しないことを観測することによって、実証され得る。マスキングは、画像がセグメント化され、かつ／又は範囲制限される前及び／又は後に行われ得る。本システムでは、マスキングは、顔の巨視的特徴内の画素を、一定の非ゼロ（すなわち、黒）、非２５５（すなわち、白）ＲＧＢ値を有する画素に置き換えることによって達成され得る。例えば、巨視的特徴内の画素を、関心領域内の肌の中央ＲＧＢ値を有する画素に置き換えることが望ましい場合がある。理論によって制限されることなく、均一に色付けされた画素、又は別様に特徴のない画素で顔の巨視的特徴をマスキングすることによって、ＣＮＮは、巨視的特徴以外の特徴（例えば、小じわ及びしわなどの顔の微視的特徴）を使用して年齢を予測することを学習するだろうと考えられる。本明細書におけるマスキングは、例えば、Ｍａｔｌａｂ（登録商標）ブランドのコンピュータソフトウェアなどの、当技術分野で既知の任意の好適なマスキング手段を使用して達成され得る。
【００４４】
上述のように、顔の巨視的特徴をマスキングする場合であっても、先進的な畳み込みニューラルネットワークは、「仮想の」巨視的特徴に基づいて、肌年齢を予測することを依然として学習し得る。言い替えると、ニューラルネットワークは、依然として、中央値のＲＧＢ画素のパターン内の差異を認識することを学習し得、その理由は、そのパターンが、マスキングされた顔の巨視的特徴のサイズ及び／又は位置におおむね対応しているからである。次いで、ＣＮＮは、そのパターンの差異をその年齢予測解析に適応させることができる。この問題を回避するため、ＣＮＮに対して処理される画像のうちの２つ以上の入力バリアント（例えば、２、３、４、５、又は６以上）を使用することが重要である。マスキングされた巨視的特徴がどのようにＣＮＮに提示されるかを変化させることによって、理論によって制限されることなく、ＣＮＮは、中央値のＲＧＢ画素パターン内の差異を使用することを学習して肌年齢を予測する可能性は低いと考えられる。
【００４５】
図４Ａ〜図４Ｇは、第１の入力バリアントの例を示し、そこでは、所望の関心領域を提供するために、顔の画像が６つの別個のゾーンにセグメント化され、次いで各セグメント内の巨視的特徴がマスキングされている。この例では、処理論理は、画像セグメント内の巨視的特徴（例えば、目、鼻、口、耳、まゆ毛、毛髪）と関連付けられた全ての画素を、適切な関心領域に配置された全ての画素の中央ＲＧＢ色空間値（例えば、巨視的特徴を含まない画像の一部）で充填する。図４Ｂは、額のＲｏＩを提供するために、額のセグメント内で目及び／又はまゆ毛がどのようにマスキングされるかを示す。図４Ｃ及び図４Ｄは、目の下のＲｏＩを提供するために、目の下のセグメント内で目、まゆ毛、鼻、頬、及び毛髪がどのようにマスキングされるかを示す。図４Ｅ及び図４Ｆは、頬／ほうれい線のＲｏＩを提供するために、頬／ほうれい線のセグメント内で鼻、口、及び毛髪がどのようにマスキングされるかを示す。図４Ｇは、顎のＲｏＩを提供するために、顎のセグメント内で口がどのようにマスキングされるかを示す。図４Ａは、個々にマスキングされたセグメントが組み合わされ、背景特徴が境界ボックスによって除去された場合、マスキングされた特徴が、顔全体の画像上でどのように現れるかを示す。
【００４６】
図５Ａ〜図５Ｇは、第２の入力バリアントの例を示す。この例では、処理論理は、顔（「顔全体」）のセグメント化されていない画像内の巨視的特徴と関連付けられた全ての画素を、関心領域内に配置された全ての画素の中央値ＲＧＢ値で充填する。次いで、例えば上述のように、処理論理は、マスキングされた全顔画像をセグメント化し得る。図５Ａは、全顔画像を示し、そこでは、特定の巨視的特徴が、マスキングされ、背景特徴が、境界ボックスにより除去されている。図５Ｂ〜図５Ｇは、図５Ａのマスキングされた全顔画像がセグメント化された場合に、各関心領域がどのように現れるかを示す。図４Ａ〜図４Ｇが、図５Ａ〜図５Ｇのそれらの対応物と比較すると、全顔画像及び個別の関心領域の両方は、互いに多少異なる。
【００４７】
図６Ａ〜図６Ｇは、第３の入力バリアントの例を示す。この例では、処理論理は、システムに、全顔画像内の関心領域を識別させ、次いで画像を関心領域を構成する６つの別個のゾーンにセグメント化させる。図６Ａは、全顔画像を示し、そこでは、鼻がアンカー特徴として使用され、６つの画像セグメントが識別されている。図６Ｂ〜図６Ｇは、各画像セグメントから抽出された関心領域を示す。図６Ｂは、額のＲｏＩを示し、図６Ｃ及び図６Ｄは、それぞれ目の下のＲｏＩを示し、図６Ｅ及び図６Ｆは、それぞれ頬／ほうれい線のＲｏＩを示し、図６Ｇは、顎のＲｏＩを示す。
【００４８】
いくつかの例では、ＣＮＮによる解析のために、特定の関心領域の一部のみを選択することが望ましい場合がある。例えば、関心領域の中心及び／又は周りに配置された肌のパッチを選択し、そして選択された肌のパッチを均一なサイズに変倍することが望ましい場合がある。この例と共に続けると、肌のみのエリアの最大矩形は、各関心領域の中心から抽出され、２５６画素×２５６画素の肌パッチに再変倍され得る。
【００４９】
図７は、本明細書の方法及びシステムのための画像処理フロー経路７００を示す。ブロック７０２では、画像が、システムによって受信される。ブロック７０４では、処理論理は、受信した画像内の１つ以上の顔が、更なる処理のために検出又は選択されることを可能にする。ブロック７０６では、処理論理は、ランドマーク特徴が、検出又は選択された顔内で検出されることを可能にする。ブロック７０８では、処理論理は、画像が正規化されることを可能にする。ブロック７１０Ａ及び７１０Ｂでは、処理論理は、画像がセグメント化され、そして各セグメント内の巨視的特徴が第１の入力バリアント７１０の一部としてマスキングされることを可能にする。ブロック７１１Ａ及び７１１Ｂでは、処理論理は、正規化された画像内の巨視的特徴がマスキングされ、次いで第２の入力バリアント７１１の一部としてセグメント化されることを可能にする。ブロック７１２Ａ及び７１２Ｂでは、処理論理は、システムが、ＣＮＮによる解析のために関心領域を識別し、次いで第３の入力バリアント７１２の一部として画像をセグメント化することを可能にする。ブロック７１４では、処理論理は、それぞれの関心領域の一部が抽出され、そして好適なサイズに変倍されることを可能にする。
【００５０】
畳み込みニューラルネットワーク
本明細書のシステム及び方法は、訓練された畳み込みニューラルネットワークを使用し、このニューラルネットワークは、シリコ肌モデル内のそれとして機能し、人の肌（例えば、顔の肌）の画像を解析することによって、ユーザに見掛け肌年齢を提供する。ＣＮＮは、層内の各画素に同じフィルタを使用するニューロン集合の複数の層を含む。部分的かつ完全に接続された層の様々な組み合わせにおける各画素に対して同じフィルタを使用することにより、システムのメモリ及び処理要件が低減される。いくつかの例では、ＣＮＮは、複数のディープネットワークを含み、このネットワークは、訓練され、特定の画像セグメント及び／又は関心領域のための別個の畳み込みニューラルネットワークとして機能する。
【００５１】
図８は、本明細書で使用するためのＣＮＮ８００構成の例を示す。図８に示すように、ＣＮＮ８００は、個別の関心領域、又はその一部を解析するための４つの個別のディープネットワークを含み、この例における領域は、額、目の下のエリア、頬／ほうれい線、及び顎の関心領域の一部である。当然のことながら、ＣＮＮは、所望に応じて、より少ないディープネットワーク、又はより多いディープネットワークを含むことができることを理解されたい。各ディープネットワークからの画像解析結果を使用して、そのそれぞれの関心領域の見掛け肌年齢を提供し得、かつ／又は全体的な見掛け肌年齢を提供するように連結され得る。
【００５２】
本明細書のＣＮＮは、ディープラーニング技術を使用して訓練され得、このディープラーニング技術は、ＣＮＮに、哺乳動物の視覚野が画像内の重要な特徴を認識することを学習するのと同じ方法で、画像のどの部分が肌年齢に寄与しているか、多くのことを学習させることができる。例えば、ＣＮＮは、人の肌年齢に寄与する画素の場所、色、及び／又は色合い（例えば、明るさ又は暗さ）を判定するように訓練され得る。いくつかの実例では、ＣＮＮ訓練は、ネステロフ運動量（及び／又は他のアルゴリズム）を伴うミニバッチ確率的勾配降下（stochastic gradient descent、ＳＧＤ）を使用することを含んでもよい。確率的勾配降下を利用する例は、米国特許第８，５８２，８０７号に開示されている。
【００５３】
いくつかの実例では、ＣＮＮは、訓練されていないＣＮＮに、学習するための多数の捕捉された画像を提供することによって訓練されてもよい。いくつかの実例では、ＣＮＮは、教師あり学習と呼ばれる処理を通じて、肌年齢に寄与する画像内の肌の部分を識別するように学習することができる。「教師あり学習」とは、一般に、ＣＮＮが、画像内の人の年齢が所定の画像を解析することによって訓練されることを意味する。所望の精度に応じて、訓練画像の数は、少数の画像から多数の画像（例えば、数百又は数千）から画像の連続した入力まで（すなわち、連続した訓練を提供するために）変化し得る。
【００５４】
本明細書におけるシステム及び方法は、広範囲の肌の種類についてユーザの見掛け年齢を正確に予測することができる訓練されたＣＮＮを利用する。見掛け年齢を生成するために、関心領域の画像（例えば、人の顔の画像から取得された）、又はそれらの一部は、訓練されたＣＮＮを介して順方向に伝播する。ＣＮＮは、画像又は画像の一部を解析し、ユーザの予測年齢に寄与する画像内の肌の微視的特徴（「問題の箇所」）を識別する。次いで、ＣＮＮは、問題の箇所を使用して関心領域の見掛け肌年齢、及び／又は全体的な見掛け肌年齢を提供する。
【００５５】
いくつかの例では、ＣＮＮに入力された画像は、例えば、オクル−ジョン（例えば、画像の一部を覆う毛髪、関心領域の影付け）によって解析に適さない場合がある。これらの例では、ＣＮＮ又は他の論理は、ＣＮＮによる解析の前に破棄するか、又は見掛け年齢の生成の前にＣＮＮ解析の結果を破棄することができる。
【００５６】
図９は、本システムで使用するための畳み込みニューラルネットワーク９００の例を示す。ＣＮＮ９００は、入力された画像９０５（例えば、関心領域又はそれらの一部）、１つ以上の畳み込み層Ｃ１、Ｃ２、１つ以上のサブサンプリング層Ｓ１及びＳ２、１つ以上の部分接続された層、１つ以上の完全接続された層、及び出力を含み得る。解析を開始するか、又はＣＮＮを訓練するために、画像９０５（例えば、ユーザの画像）が、ＣＮＮ９００に入力される。ＣＮＮは、画像の１つ以上の部分をサンプリングして、第１の畳み込み層Ｃ１に１つ以上の特徴マップを作成してもよい。例えば、図９に示すように、ＣＮＮは、画像９０５のうちの６つの部分をサンプリングして、第１の畳み込み層Ｃ１に６つの特徴マップを作り出すことができる。次に、ＣＮＮは、第１の畳み込み層Ｃ１内の特徴マップの１つ以上の部分をサブサンプリングして、第１のサブサンプリング層Ｓ１を作成してもよい。いくつかの実例では、特徴マップのサブサンプリングされた部分は、特徴マップのエリアの半分であってもよい。例えば、特徴マップが画像９０５から２９×２９画素のサンプルエリアを構成する場合、サブサンプリングされたエリアは、１４×１４画素であってもよい。ＣＮＮ９００は、１つ以上の追加レベルのサンプリング及びサブサンプリングを実行して第２の畳み込み層Ｃ２及び第２のサブサンプリング層Ｓ２を提供することができる。ＣＮＮ９００は、所望に応じて、任意の数の畳み込み層及びサブサンプリング層を含んでもよいことを理解されたい。最終的なサブサンプリング層（例えば、図９の層Ｓ２）が完了すると、ＣＮＮ９００は、完全に接続された層Ｆ１を生成し、そこには、あらゆるニューロンが、あらゆる他のニューロンと接続されている。ＣＮＮは、完全に接続された層Ｆ１から、予測される年齢又はヒートマップのような出力を生成することができる。
【００５７】
いくつかの例では、本システムは、目標肌年齢（例えば、人の見掛け年齢から所定の年数（例えば、１０、９、８、７、６、５、４、３、２、又は１年）を差し引いた年齢）、又は人の実際の年齢を判定することができる。システムは、目標年齢を勾配として原画像に伝播させて戻すことができる。次いで、勾配の複数のチャネルの絶対値が、少なくとも１つの画素について合計され、視覚化の目的で０〜１の範囲で変倍されてもよい。変倍された画素の値は、ユーザの肌年齢の判定に最も寄与する（かつ最も寄与しない）画素を表し得る。各変倍値（又は値の範囲）には、仮想マスクを生成して画素のスケーリングされた値を図で表すことができるように、カラー又はシェードが割り当てられてもよい。いくつかの例では、ユーザにより提供された習慣及び実践入力と任意選択的に併せてＣＮＮ解析を使用して、スキンケア製品及び／又はレジメン推奨を提供することに役立てることができる。
【００５８】
図１０は、ユーザの画像を捕捉し、かつカスタマイズされた製品推奨を提供するための典型的なユーザインターフェース１０３０を示す。図に示すように、モバイルコンピューティングデバイス１００２は、ユーザの画像を捕捉するためのアプリケーションを提供することができる。したがって、図１０は、画像を捕捉し、かつカスタマイズされた製品推奨を提供するプロセスを開始するためのモバイルコンピューティングデバイス１００２上の初期ページを示す。また、ユーザインターフェース１０３０は、このプロセスを開始するための開始オプション１０３２も含む。
【００５９】
図１１は、本システムのユーザに対して見掛け肌年齢及び／又はカスタマイズされた製品推奨を提供するために解析された画像を示す典型的なユーザインターフェース１１３０を示す。図１０の開始オプション１０３２に応答して、ユーザインターフェース１１３０が提供され得る。図に示すように、画像捕捉デバイス１０３は、ユーザの画像を捕捉するために利用され得る。いくつかの実施形態では、ユーザは以前に捕捉された画像を利用してもよい。それにもかかわらず、画像を捕捉すると、その画像は、ユーザインターフェース１１３０内に提供され得る。ユーザが画像を利用することを所望しない場合、ユーザは画像を再撮影してもよい。ユーザが、その画像を承認する場合、ユーザは、次のオプション１１３２を選択して画像の解析、及び次のユーザインターフェースへの移行を開始することができる。
【００６０】
図１２は、ユーザにアンケートを提供して製品推奨をカスタマイズするのに役立つ典型的なユーザインターフェース１２３０を示す。図に示すように、ユーザインターフェース１２３０は、製品の好み、現行のレジメン等を含む、ユーザに関する追加の詳細を判定するための１つ以上の質問を提供することができる。例として、それらの質問は、ユーザが日焼け止め剤と一緒に保湿剤を利用しているかどうかを含み得る。１つ以上の予め定義された回答１２３２は、ユーザが選択するように提供され得る。
【００６１】
図１３は、アンケートのための追加のプロンプトを提供するための典型的なユーザインターフェース１３３０を示す。図１２のユーザインターフェース１２３０から要求されたデータを入力することに応答して、ユーザインターフェース１３３０が提供され得る。図に示すように、ユーザインターフェース１３３０は、ユーザが選択する予め定義された３つの回答１３３２と一緒に別の質問（ユーザが、よい香りのするスキンケア製品を好むかどうか等）を提供する。また、サブミットオプション１３３４は、選択された回答（複数可）をサブミットするためにも提供され得る。図１３及び図１４は、２つの質問を提供しているが、特定の実施形態に応じて、任意の数の質問がユーザに提供され得ることを理解されたい。それらの質問及び質問数は、ユーザの実際の年齢に依存し得、その年齢は、本明細書の上記に例示されたステップのうちの１つ以上で入力されたものによって、ユーザの肌年齢、及び／又は他の要因に依存し得る。
【００６２】
図１４は、捕捉された画像に基づいて、ユーザの肌年齢を提供するための典型的なユーザインターフェース１４３０を示す。図１３及び図１４のアンケートの完了に応答して、ユーザインターフェース１４３０が提供され得る。図に示すように、ユーザインターフェース１４３０は、ユーザの肌年齢、及び関心領域（複数可）のうちのどの領域（複数可）が、ＣＮＮにより提供された見掛け肌年齢に寄与しているかを指示するための少なくとも１つの識別子１４３２を有する捕捉された画像を提供することができる。いくつかの例では、システムはまた、関心領域のリスト１４３４も提供し得、このリストは、ＣＮＮにより提供された見掛け肌年齢に寄与する。また、説明１４３６、並びにカスタマイズされた製品推奨を閲覧するための製品推奨オプション１４３８も提供され得る。
【００６３】
図１５は、画像解析の結果を表示するための別の典型的なユーザインターフェース１５３０を示す。ユーザインターフェース１５３０は、結果領域１５３２を含み得、この領域は、解析が成功したかどうか、又は処理中に遭遇した問題があった（例えば、画像品質が悪かった）かどうかを表示する。ユーザインターフェース１５３０は、製品推奨オプション（図示せず）を含むことができる。追加的に又は別の方法として、結果領域１５３２は、ユーザに全体的な見掛け肌年齢、及び／又はそれぞれの関心領域の見掛け肌年齢を表示することができる。ユーザインターフェース１５３０は、年齢入力オプション１５３６をユーザに提示することができる。追加の予測オプション１５３８もまた、提供され得る。
【００６４】
図１６は、製品推奨を提供するための典型的なユーザインターフェース１６３０を示す。ユーザによる製品推奨オプションの選択に応答して、ユーザインターフェース１６３０が提供され得る。図に示すように、ユーザインターフェース１６３０は、ユーザの年齢、ユーザの見掛け肌年齢に寄与する関心領域、及び／又は目標年齢（例えば、見掛け肌年齢、及び／又は実際のユーザの年齢から所定の年数を差し引いた年齢）に基づいて判定された１つ以上の推奨製品を提供することができる。具体的には、少なくとも１つの製品は、ユーザの見掛け肌年齢に最も多く寄与する関心領域に配置された肌に適用可能であるものとして判定され得る。例として、クリーム、保湿剤、ローション、日焼け止め、クレンジング剤等が推奨されてもよい。また、推奨のレジメンを提供するためのレジメンオプション１６３２も、提供される。また、購入オプション１６３４も提供され得る。
【００６５】
図１７は、製品推奨の詳細を提供するための典型的なユーザインターフェース１７３０を示す。図１６からのレジメンオプション１６３２の選択に応答して、ユーザインターフェース１７３０が提供され得る。図に示すように、ユーザインターフェース１７３０は、ユーザの美容法における推奨製品を使用するための製品オプション１７３２及びスケジュールオプション１７３４を提供することができる。美容法の第１のステージに関係する追加の情報が、領域１７３６に提供され得る。同様に、レジメンの第２及び／又は次のステージに関係するデータが、領域１７３８に提供され得る。
【００６６】
図１８は、推奨された美容法を提供する典型的なユーザインターフェース１８３０を示す。図１７からのスケジュールオプション１７３４の選択に応答して、ユーザインターフェース１８３０が提供され得る。ユーザインターフェース１８３０は、推奨製品のリスト、並びにレジメンのための日程の詳細を含むスケジュールを提供することができる。具体的には、ユーザインターフェース１８３０は、製品が提供され得る日の時間を提供することができる。詳細オプション１８３４は、製品に関する追加の詳細、及びレジメンをユーザに提供することができる。
【００６７】
図１９は、美容法、及びそこで使用された製品に関連付けられた追加の詳細を提供するための典型的なユーザインターフェース１９３０を示す。ユーザインターフェース１９３０は、図１８からの詳細オプション１８３４の選択に応答して、提供され得る。図に示すように、ユーザインターフェース１９３０は、製品、塗布のヒント等に関する詳細を提供することができる。いくつかの例では、「科学的根拠」オプション１９３２、１９３６、及び「デモ方法」オプション１９３４、１９３８が、提供され得る。科学的根拠オプション１９３２、１９３６の選択に応答して、推奨製品に関する詳細、及び塗布レジメンが、提供され得る。デモ方法オプション１９３４、１９３８の選択に応答して、音響及び／又はビデオが、その製品を塗布するための秘訣についてユーザに教示するために提供され得る。同様に、レジメンの後続の部分（図１９に示したステップ２など）もまた、科学的根拠オプション１９３２、１９３６、及びデモ方法オプション１９３４、１９３８を含むこともできる。
【００６８】
図２０は、判定されたレジメンに関する推奨を提供するための典型的なユーザインターフェース２０３０を示す。購入オプション１６３４（図１６）の選択に応答して、ユーザインターフェース２０３０が提供され得る。図に示すように、ユーザインターフェース２０３０は、１つ以上の推奨製品を購入するための購入オプション２０３２、２０３４、２０３６を含む。また、ユーザインターフェース２０３０は、カートに追加するオプション２０３８、及び買い物を続けるオプション２０４０も提供することができる。
【００６９】
図２１は、製品推奨をユーザタイムラインに提供するための典型的なユーザインターフェース２１３０を示す。図に示すように、ユーザインターフェース２１３０は、１つ以上の推奨製品がユーザのタイムラインに追加されたという通知を提供することができる。製品を購入すると（例えば、図１９からのユーザインターフェース１９３０を介して）、購入された製品は、ユーザのために推奨されたレジメンに追加され得る。したがって、通知は、受領オプション２１３２、及びタイムライン閲覧オプション２１３４を含むことができる。
【００７０】
図２２は、本明細書に記載される実施形態による、カスタマイズされたスキンケア製品及び／又はレジメン推奨を提供するためのリモートコンピューティングデバイス２２０４の構成要素を示す。リモートコンピューティングデバイス２２０４は、プロセッサ２２３０、入力／出力ハードウェア２２３２、ネットワークインターフェースハードウェア２２３４、データ格納デバイス構成要素２２３６（これは、画像データ２２３８ａ、製品データ２２３８ｂ、及び／又は他のデータを格納する）、及びメモリ構成要素２２４０ｂを含む。メモリ構成要素２２４０ｂは、揮発性及び／又は不揮発性メモリ等として構成され得、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ、及び／又は他の種類のＲＡＭを含む）、フラッシュメモリ、セキュアデジタル（secure digital、ＳＤ）メモリ、レジスタ、コンパクトディスク（compact disc、ＣＤ）、デジタル多用途ディスク（digital versatile disc、ＤＶＤ）、及び／又は他の種類の非一過性コンピュータ可読媒体を含み得る。特定の実施形態に応じて、これらの非一過性コンピュータ可読媒体は、リモートコンピューティングデバイス２２０４内部に、及び／又はリモートコンピューティングデバイス２２０４の外部に存在し得る。
【００７１】
メモリ構成要素２２４０ｂは、動作論理２２４２、処理論理２２４４ｂ、訓練論理２２４４ｃ、及び解析論理２２４４ｄを格納することができる。訓練論理２２４４ｃ、処理論理２２４４ｂ、及び解析論理２２４４ｄは、それぞれ、異なる複数の論理断片を含み得、それらの各々は、一例として、コンピュータプログラム、ファームウェア、及び／又はハードウェアとして具現化され得る。ローカル通信インターフェース２２４６もまた、図２２に含まれ、バス又は他の通信インターフェースとして実装され、リモートコンピューティングデバイス２２０４の構成要素間の通信を促進することができる。
【００７２】
プロセッサ２２３０は、命令（データ格納デバイス構成要素２２３６及び／又はメモリ構成要素２２４０ｂ等からの）を受信及び実行するために動作可能な任意の処理構成要素を含むことができる。上述のように、入力／出力ハードウェア２２３２は、図２２の構成要素を含み、かつ／又はそれらとインターフェース接続するように構成され得る。
【００７３】
ネットワークインターフェースハードウェア２２３４は、アンテナ、モデム、ＬＡＮポート、ワイヤレスフィディリティ（wireless fidelity、Ｗｉ−Ｆｉ）カード、ＷｉＭａｘカード、Ｂｌｕｅｔｏｏｔｈ（商標）モジュール、モバイル通信ハードウェア、並びに／又は他のネットワーク及び／若しくはデバイスと通信するための他のハードウェアを含む、任意の有線又は無線ネットワーキングハードウェアを含んでもよく、かつ／又はこれらと通信するように構成されてもよい。この接続から、図１に示したような、リモートコンピューティングデバイス２２０４と他のコンピューティングデバイスとの間の通信が容易にされ得る。
【００７４】
オペレーティングシステム論理２２４２は、リモートコンピューティングデバイス２２０４の構成要素を管理するためのオペレーティングシステム及び／又は他のソフトウェアを含んでもよい。上述のように、訓練論理２２４４ｃは、メモリ構成要素２２４０ｂ内に存在し得、プロセッサ２２３０に畳み込みニューラルネットワークを訓練させるように構成され得る。処理論理２２４４ｂもまた、メモリ構成要素２２４４ｂ内に存在し得、解析論理２２４４ｄによる解析前に画像を処理するように構成され得る。同様に、解析論理２２４４ｄは、肌年齢予測のための画像を解析するのに利用され得る。
【００７５】
図２２の構成要素は、リモートコンピューティングデバイス２２０４内部に存在するものとして例示されているが、これは、単なる一例にすぎないことを理解されたい。いくつかの実施形態では、１つ以上の構成要素は、リモートコンピューティングデバイス２２０４の外部に存在し得、かつ／又はリモートコンピューティングデバイス２２０４は、モバイルデバイスとして構成されてもよい。リモートコンピューティングデバイス２２０４は、単一デバイスとして例示されているが、これは、単なる一例にすぎないこともまた理解されたい。いくつかの実施形態では、訓練論理２２４４ｃ、処理論理２２４４ｂ、及び／又は解析論理２２４４ｄは、異なるコンピューティングデバイス上に存在してもよい。例として、本明細書に記載される機能及び／又は構成要素のうちの１つ以上は、リモートコンピューティングデバイス１０４に通信可能に結合され得る、モバイルコンピューティングデバイス１０２及び／又は他のデバイスによって提供されてもよい。これらのコンピューティングデバイスはまた、本明細書に記載される機能を実行するためのハードウェア及び／又はソフトウェアを含んでもよい。
【００７６】
更に、リモートコンピューティングデバイス２２０４は、別個の論理的な構成要素として、訓練論理２２４４ｃ、処理論理２２４４ｂ、及び解析論理２２４４ｄと共に示されているが、これもまた、一例にすぎない。いくつかの実施形態では、単一の論理断片は、リモートコンピューティングデバイス２２０４に上記の機能性を提供させることができる。
【００７７】
図２３は、カスタマイズされた製品推奨を提供するための流れ図を示す。ブロック２３５０では、ユーザの画像が捕捉される。ブロック２３５２では、その捕捉された画像は、解析のために処理される。ブロック２３５４では、質問が、ユーザに提供される。ブロック２３５６では、質問に対する回答が、ユーザから受信される。ブロック２３５８では、画像は、ＣＮＮによって解析される。ブロック２３６０では、見掛け肌年齢が、ユーザに提供される。ブロック２３６１では、任意選択の肌プロファイルが生成され得る。任意選択の肌プロファイルは、例えば、１つ以上の関心領域の年齢、肌状態、又は特定の関心領域が全体的な肌年齢について有する影響を含んでもよい。ブロック２３６２では、カスタマイズされた製品推奨が、ユーザに提供される。
【００７８】
いくつかの実例では、本明細書に記載される画像及び他のデータのうちの少なくともいくつかは、後で使用されるために履歴データとして格納されてもよい。例として、ユーザの改善状況の追跡は、この履歴データに基づいて判定されてもよい。また、他の解析も、所望に応じて、この履歴データに基づいて実行されてもよい。
【００７９】
本明細書にて開示された寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「４０ｍｍ」と開示された寸法は、「約４０ｍｍ」を意味するものとする。
【００８０】
相互参照される又は関連する全ての特許又は特許出願、及び本願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本願に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、参照によりその全容が本明細書に援用される。いかなる文献の引用も、本明細書中で開示又は特許請求される任意の発明に対する先行技術であるとはみなされず、あるいはそれを単独で又は他の任意の参考文献（単数又は複数）と組み合わせたときに、そのような発明全てを教示、示唆又は開示するとはみなされない。更に、本文書における用語の任意の意味又は定義が、参照することによって組み込まれた文書内の同じ用語の意味又は定義と矛盾する場合、本文書におけるその用語に与えられた意味又は定義が適用されるものとする。
【００８１】
本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく他の様々な変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内に含まれるそのような全ての変更及び修正は、添付の特許請求の範囲にて網羅することを意図したものである。
【図１】
0006849825.tif 000002
【図２】
0006849825.tif 000003
【図３Ａ】
0006849825.tif 000004
【図３Ｂ】
0006849825.tif 000005
【図４Ａ】
0006849825.tif 000006
【図４Ｂ】
0006849825.tif 000007
【図４Ｃ】
0006849825.tif 000008
【図４Ｄ】
0006849825.tif 000009
【図４Ｅ】
0006849825.tif 000010
【図４Ｆ】
0006849825.tif 000011
【図４Ｇ】
0006849825.tif 000012
【図５Ａ】
0006849825.tif 000013
【図５Ｂ】
0006849825.tif 000014
【図５Ｃ】
0006849825.tif 000015
【図５Ｄ】
0006849825.tif 000016
【図５Ｅ】
0006849825.tif 000017
【図５Ｆ】
0006849825.tif 000018
【図５Ｇ】
0006849825.tif 000019
【図６Ａ】
0006849825.tif 000020
【図６Ｂ】
0006849825.tif 000021
【図６Ｃ】
0006849825.tif 000022
【図６Ｄ】
0006849825.tif 000023
【図６Ｅ】
0006849825.tif 000024
【図６Ｆ】
0006849825.tif 000025
【図６Ｇ】
0006849825.tif 000026
【図７】
0006849825.tif 000027
【図８】
0006849825.tif 000028
【図９】
0006849825.tif 000029
【図１０】
0006849825.tif 000030
【図１１】
0006849825.tif 000031
【図１２】
0006849825.tif 000032
【図１３】
0006849825.tif 000033
【図１４】
0006849825.tif 000034
【図１５】
0006849825.tif 000035
【図１６】
0006849825.tif 000036
【図１７】
0006849825.tif 000037
【図１８】
0006849825.tif 000038
【図１９】
0006849825.tif 000039
【図２０】
0006849825.tif 000040
【図２１】
0006849825.tif 000041
【図２２】
0006849825.tif 000042
【図２３】
0006849825.tif 000043