(57)【要約】  毛髪分析システム、並びに（ａ）画像捕捉ユニットにおいてユーザの画像を捕捉し、画像を画像捕捉ユニットから毛髪分析ユニットに送信するステップと、（ｂ）ディープニューラルネットワークを使用することによって画像捕捉ユニットからの画像に基づいて、毛髪分析ユニットにおいてユーザの毛髪状態を分析し、分析結果を表示ユニットに提供するステップと、（ｃ）表示ユニットにおいて分析結果をユーザに表示するステップと、を含む方法が開示される。分析結果は、分析された毛髪状態、並びに／又は該分析された毛髪状態に基づく頭皮評価、将来の毛髪状態予測、毛髪製品提案、毛髪製品の使用法提案、及び／若しくはヘアスタイル提案であり得る。本発明は、改善された感度を有するシステム及び方法を提供する。
2021523454.tif 000002
【特許請求の範囲】
【請求項１】
毛髪分析システムであって、
（ａ）ユーザの画像を捕捉し、前記画像を毛髪分析ユニットに送信する画像捕捉ユニットと、
（ｂ）ディープニューラルネットワークを使用することによって前記画像に基づいて前記ユーザの毛髪状態を分析し、分析結果を表示ユニットに提供する毛髪分析ユニットであって、前記分析結果が、
前記分析された毛髪状態、
前記分析された毛髪状態に基づく頭皮評価、
前記分析された毛髪状態に基づく将来の毛髪状態予測、
前記分析された毛髪状態に基づく毛髪製品の提案、
前記分析された毛髪状態に基づく毛髪製品の使用法提案、及び
前記分析された毛髪状態に基づくヘアスタイル提案、のうちの少なくとも１つである、毛髪分析ユニットと、
（ｃ）前記分析結果を前記ユーザに表示する表示ユニットと、を備える、毛髪分析システム。
【請求項２】
前記システムが、前記ユーザインターフェースにおいて前記ユーザに質問を提供し、前記ユーザから回答を受信し、前記分析ユニットに前記回答を送信するＱ＆Ａユーザインターフェースユニットを更に備える、請求項１に記載のシステム。
【請求項３】
前記回答が、前記分析結果を提供するために利用される、請求項２に記載のシステム。
【請求項４】
前記ディープニューラルネットワークが、畳み込みニューラルネットワークである、請求項１に記載のシステム。
【請求項５】
前記ディープニューラルネットワークが、ディープカプセルネットワークである、請求項１に記載のシステム。
【請求項６】
前記毛髪製品提案及び／又は毛髪製品の使用法提案を示す前記ディスプレイは、前記ユーザが前記製品を購入するためのオプションも示す、請求項１〜５のいずれか一項に記載のシステム。
【請求項７】
分析される前記毛髪状態が、縮れ、ボリューム、清潔感又は清潔さ、水分、カール性、長さ、扱いやすさ、損傷、光沢、毛髪年齢、及び毛髪の健康のうちの少なくとも１つであり、好ましくは、縮れ、ボリューム、清潔感又は清潔さ、水分、カール性、長さ、扱いやすさ、損傷、毛髪年齢、及び毛髪の健康のうちの少なくとも１つであり、より好ましくは、縮れ、ボリューム、清潔感又は清潔さ、水分、扱いやすさ、損傷、毛髪年齢、及び毛髪の健康のうちの少なくとも１つである、請求項１〜６のいずれか一項に記載のシステム。
【請求項８】
毛髪分析方法であって、
（ａ）画像捕捉ユニットにおいてユーザの画像を捕捉し、前記画像を前記画像捕捉ユニットから毛髪分析ユニットに送信するステップと、
（ｂ）ディープニューラルネットワークを使用することによって前記画像捕捉ユニットからの前記画像に基づいて、毛髪分析ユニットにおいて前記ユーザの毛髪状態を分析し、分析結果を表示ユニットに提供するステップであって、前記分析結果が、
前記分析された毛髪状態、
前記分析された毛髪状態に基づく頭皮評価、
前記分析された毛髪状態に基づく将来の毛髪状態予測、
前記分析された毛髪状態に基づく毛髪製品提案、
前記分析された毛髪状態に基づく毛髪製品の使用法提案、及び
前記分析された毛髪状態に基づくヘアスタイル提案、のうちの少なくとも１つである、提供するステップと、
（ｃ）表示ユニットにおいて前記分析結果を前記ユーザに表示するステップと、を含む、毛髪分析方法。
【請求項９】
前記方法が、Ｑ＆Ａユーザインターフェースユニットにおいて、前記ユーザに質問を提供し、前記ユーザから回答を受信し、前記分析ユニットに前記回答を送信するステップを更に含む、請求項８に記載の方法。
【請求項１０】
前記回答が、前記分析結果を提供するために利用される、請求項９に記載の方法。
【請求項１１】
前記ディープニューラルネットワークが、畳み込みニューラルネットワークである、請求項８に記載の方法。
【請求項１２】
前記ディープニューラルネットワークが、ディープカプセルネットワークである、請求項８に記載の方法。
【請求項１３】
前記毛髪製品提案及び／又は毛髪製品の使用法提案を示す前記表示ユニットは、前記ユーザが前記製品を購入するためのオプションも示す、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
分析される前記毛髪状態が、縮れ、ボリューム、清潔感又は清潔さ、水分、カール性、長さ、扱いやすさ、損傷、光沢、毛髪年齢、及び毛髪の健康のうちの少なくとも１つであり、好ましくは、縮れ、ボリューム、清潔感又は清潔さ、水分、カール性、長さ、扱いやすさ、損傷、毛髪年齢、及び毛髪の健康のうちの少なくとも１つであり、より好ましくは、縮れ、ボリューム、清潔感又は清潔さ、水分、扱いやすさ、損傷、毛髪年齢、及び毛髪の健康のうちの少なくとも１つである、請求項１〜１３のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、概して、毛髪分析システム、並びに（ａ）画像捕捉ユニットにおいてユーザの画像を捕捉し、画像を画像捕捉ユニットから毛髪分析ユニットに送信するステップと、（ｂ）ディープニューラルネットワークを使用することによって画像捕捉ユニットからの画像に基づいて、毛髪分析ユニットにおいてユーザの毛髪状態を分析し、分析結果を表示ユニットに提供するステップと、（ｃ）表示ユニットにおいて分析結果をユーザに表示するステップと、を含む方法に関する。本発明は、改善された感度を有するシステム及び方法を提供する。
【背景技術】
【０００２】
例えば、ケラチン繊維に生じる損傷の程度を理解するために、毛髪状態を評価することに、関心が集まっている。そのような評価はまた、ケラチン繊維の損傷の予防及び／又は修復に使用される処置の有効性を立証する目的においても、関心が集まっている。異なる方法及び／又はセンサを使用して、ケラチン繊維の損傷を評価するためのいくつかの試みが既に報告されている。
【０００３】
例えば、ＵＮＩＬＥＶＥＲの国際公開第２０１７／３２６３７号は、複数の製品から消費者に１つ以上の製品を提案するための方法及びシステムを開示しており、当該システムは、ユーザインターフェースと、プロセッサであって、ユーザインターフェースにおいて消費者に質問のリストを提供することであって、各質問が定義された回答のセットを有することと、ユーザインターフェースにおいて消費者によって選択された回答を使用して、各質問について消費者スコアを計算することと、消費者スコアを使用して、各質問に対する提案スコアを計算することと、提案スコアに基づいて消費者に提案するための１つ以上の製品を選択することと、を行うように構成されたプロセッサと、を含む。
【０００４】
別の例としては、ＵＮＩＬＥＶＥＲの日本特許第３１６３３０９（Ｕ）号が挙げられ、当該特許は、個人の皮膚又は毛髪を評価し、次いで評価に基づいて適切なパーソナルケア製品を提案するデバイスを開示している。当該デバイスは、ケーシングと、カメラと、少なくとも２つの発光ダイオードと、アクチュエータと、情報記憶ユニットと、送信ユニットと、を備え、ケーシングには、複数の穴が設けられており、カメラは、ケーシング内に含まれ、穴のうちの第１の穴を通過する光を受光するように誘導されるレンズが設けられており、各発光ダイオードは、レンズの側面上に位置付けられ、アクチュエータは、発光ダイオードを手動で切り替えるために使用され、穴の第２の穴を通ってケーシングから外に延在し、ケーシング内に位置付けられた送信ユニットは、カメラによって取得された画像情報を無線で送信するために使用される。
【０００５】
また、ヘアスタイルを評価することが関心対象となっており、いくつかの試みが既に報告されている。例えば、ＫＡＯの国際公開第２００８／９９９３８号は、毛髪画像表示方法及び表示デバイスを開示しており、当該方法は、毛髪画像から毛髪エリアを選択するステップと、毛髪エリアに対してエッジ検出を実行して、エッジ画像を計算するステップと、エッジ画像上で表現処理を実行して、表現値画像を計算するステップと、エッジ画像と表現値画像との間の方向差を計算するステップと、カラー若しくはグレースケールでそれぞれの画素の方向差をレンダリングして、方向差画像を表示するか、又は、エッジ方向画像のそれぞれの画素の相関長をカラー若しくはグレースケールでレンダリングして、束幅画像を表示するか、あるいはエッジ方向画像の各画素の曲率を決定して、曲率画像を形成するステップと、を含む。これにより、ヘアスタイリングにおける流れからそれた方向、同じ流れの毛髪束、及びカールの状態を明確に表示し、ヘアスタイリングの評価を容易にすることが可能になる。
【０００６】
しかしながら、これらの方法、システム、及び評価は、毛髪の物理的特性及び外観に関する所定の情報に依存しているため、実際の毛髪状態を一般化することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、実際の毛髪状態を評価するための改善された感度で消費者の毛髪状態を評価し、そのような評価結果、評価結果に基づくカスタマイズされた製品提案、及び評価結果に基づくカスタマイズされたヘアスタイル提案を提供するためのシステム及び方法が必要とされている。
【課題を解決するための手段】
【０００８】
本発明は、毛髪分析システムであって、
（ａ）ユーザの画像を捕捉し、画像を毛髪分析ユニットに送信する画像捕捉ユニットと、
（ｂ）ディープニューラルネットワークを使用することによって画像に基づいてユーザの毛髪状態を分析し、分析結果を表示ユニットに提供する毛髪分析ユニットであって、分析結果が、
分析された毛髪状態、
分析された毛髪状態に基づく頭皮評価、
分析された毛髪状態に基づく将来の毛髪状態予測、
分析された毛髪状態に基づく毛髪製品提案、
分析された毛髪状態に基づく毛髪製品の使用法提案、及び
分析された毛髪状態に基づくヘアスタイル提案、のうちの少なくとも１つである、毛髪分析ユニットと、
（ｃ）分析結果をユーザに表示する表示ユニットと、を備えるシステムを対象とする。
【０００９】
本発明はまた、毛髪分析方法であって、
（ａ）画像捕捉ユニットにおいてユーザの画像を捕捉し、画像を画像捕捉ユニットから毛髪分析ユニットに送信するステップと、
（ｂ）ディープニューラルネットワークを使用することによって画像捕捉ユニットからの画像に基づいて、毛髪分析ユニットにおいてユーザの毛髪状態を分析し、分析結果を表示ユニットに提供するステップであって、分析結果が、
分析された毛髪状態、
分析された毛髪状態に基づく頭皮評価、
分析された毛髪状態に基づく将来の毛髪状態予測、
分析された毛髪状態に基づく毛髪製品提案、
分析された毛髪状態に基づく毛髪製品の使用法提案、及び
分析された毛髪状態に基づくヘアスタイル提案、のうちの少なくとも１つである、毛髪分析ユニットと、
（ｃ）表示ユニットにおいて分析結果をユーザに表示するステップと、を含む方法を対象とする。
【００１０】
システム及び方法は、実際の毛髪状態を評価するための改善された感度でユーザの毛髪状態を分析し、そのような分析結果を提供する。方法及びシステムにおけるディープニューラルネットワーク（deep neural network、ＤＮＮ）を使用することにより、ユーザの毛髪及び顔の両方が示されている画像から、ユーザがどのように見えるかの毛髪分析をユーザに提供する。このＤＮＮベースのシステムは、画像前処理をほとんど使用せず、これにより画像に関する所定の情報への依存が低減される。また、当該ＤＮＮベースのシステムは、実際の毛髪状態を評価するための改善された感度で、消費者の毛髪状態を一般化、したがって評価するのに役立つ。
【図面の簡単な説明】
【００１１】
前述の一般的な説明及び以下の詳細な説明は両方とも、様々な実施形態を説明し、特許請求される発明の主題の本質及び特徴を理解するための概観又は骨組みを提供することが意図されることを理解されたい。添付の図面は、様々な実施形態の更なる理解を提供するために含められたものであり、本明細書の一部に組み込まれると共に本明細書の一部をなすものである。図面は、本明細書に記述される様々な実施形態を例示し、説明と共に、特許請求される発明の主題の原理及び動作を説明する役割を果たす。
【図１】本明細書に記載される実施形態による、カスタマイズされた製品提案を提供するためのリモートコンピューティング環境を描写する。
【図２】本明細書に記載される実施形態による、カスタマイズされた製品提案を提供するためのフロー図を描写する。
【発明を実施するための形態】
【００１２】
「ディープニューラルネットワーク」は、ニューロン又はユニットの多層を備えたフィードフォワード型の人工ニューラルネットワークの一種であり、学習された特徴又は入力の概念の階層を構築する。これらのＤＮＮの例は、畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）又はディープカプセルネットワーク（Deep Capsule Network、ＤＣＮ）であってもよい。
【００１３】
本明細書内のシステムの様々な構成要素に言及するときに、「結合された」とは、それらの構成要素が、互いに電気的、電子的、及び／又は機械的に通信していることを意味する。
【００１４】
「データ拡張」は、画像のための追加のサンプルを作成するために、訓練画像又は他の画像と関連付けられたデータを変更することを意味する。
【００１５】
「特徴ベクトル」とは、デジタル画像内の物体の１つ以上の特性を記述する情報を含む一連の特徴を意味する。特徴ベクトル内の各特徴は、通常、１つ以上の数で表されるが、所望に応じて任意の好適なインジケータ（文字、記号、色等）が使用されてもよい。
【００１６】
「画像捕捉デバイス」とは、ユーザの画像を捕捉することができるデジタルカメラなどのデバイスを意味する。
【００１７】
「巨視的特徴」とは、ヒトの顔上又は近くに見出される比較的大きい身体的特徴である。巨視的特徴には、以下に限定されないが、顔形状、耳、目、口、鼻、毛髪、及びまゆ毛が挙げられる。
【００１８】
「微視的特徴」は、毛髪状態を評価するための縮れ、光沢、ボリューム、及び視覚的手掛かりなどの、比較的小さい毛髪提示特徴である。微視的特徴は、巨視的特徴を含まない。
【００１９】
本明細書における「モデル」とは、一組の状況、システム、又は自然発生現象を予測、説明、又は模倣するために使用される数学的方程式、アルゴリズム、又はコンピュータソフトウェアを指す。
【００２０】
「セルフィ」とは、当人、別の人物、又は自動画像捕捉システム（例えば、写真ブース又はセキュリティカメラ）によって撮影された人物のデジタル写真を指す。
【００２１】
「毛髪年齢」とは、捕捉された画像に基づいて、本明細書のシステムにより計算されたユーザの毛髪の年齢を意味する。
【００２２】
「目標毛髪年齢」とは、毛髪年齢より所定の年数だけ短い毛髪年齢を意味する。
【００２３】
本明細書における「ユーザ」とは、例えば、デバイスユーザ、製品ユーザ、システムユーザ等を含む、少なくとも本明細書に提供された特徴を使用する人物を指す。
【００２４】
画像捕捉ユニット
画像捕捉ユニットは、ユーザの画像を捕捉し、画像を毛髪分析ユニットに送信するために使用される。
【００２５】
本明細書におけるユーザの画像は、ユーザの毛髪及び顔を示す画像である。画像では、画像が毛髪の輪郭の７０％超、好ましくは、毛髪の輪郭の８０％、より好ましくは９０％、更により好ましくは９５％を示すように、顔のサイズと画像サイズの比率が約２０％〜７０％であることが好ましい。本明細書の画像は、セルフィ及びビデオなどの任意のものであり得る。
【００２６】
画像捕捉ユニットは、有線接続又は無線接続によって毛髪分析ユニットに接続することができる。
【００２７】
Ｑ＆Ａユーザインターフェースユニット
本発明のシステム及び／又は方法に任意選択的に含まれるこのユニットは、ユーザインターフェースにおいてユーザに質問を提供し、ユーザから回答を受信し、毛髪分析ユニットに回答を送信することができる。
【００２８】
いくつかの実施形態では、このユニットは、ユーザインターフェースにおいて消費者に関する質問のリストを提供することができ、各質問が定義された回答のセットを有し、ユーザインターフェースにおいて消費者によって選択された回答を毛髪分析ユニットに送信する。
【００２９】
本明細書の質問は、例えば、使用の毛髪状態に関連するもの、毛髪に関連するユーザの習慣に関連するもの、ユーザの製品の好みに関連するもの、ユーザのヘアスタイルの好みに関連するもの、ユーザの地理的情報に関連するもの、ユーザの性別に関するもの、ユーザの年齢に関連するもの、ユーザの生活スタイルに関するものである。
【００３０】
回答は、毛髪分析ユニットにおいて毛髪分析結果を提供するために利用することができる。回答は、任意の形態で毛髪分析ユニットに送信することができ、例えば、そのまま送信することも、回答から計算されたスコアとして送信することもできる。
【００３１】
Ｑ＆Ａインターフェースユニットは、有線接続又は無線接続によって毛髪分析ユニットと接続することができる。Ｑ＆Ａインターフェースユニットは、有線接続若しくは無線接続によって画像捕捉ユニットと接続されてもよく、又は画像捕捉ユニットから独立していてもよく、あるいは画像捕捉ユニットと物理的に、例えば、同じモバイルコンピューティングデバイス内に物理的に配置されてもよい。
【００３２】
毛髪分析ユニット
毛髪分析ユニットは、ディープニューラルネットワークを使用することによって画像に基づいてユーザの毛髪状態を分析し、分析結果を表示ユニットに提供するものであり、分析結果は、分析された毛髪状態、分析された毛髪状態に基づく頭皮評価、分析された毛髪状態に基づく将来の毛髪状態予測、分析された毛髪状態に基づく毛髪製品提案、分析された毛髪状態に基づく毛髪製品の使用法提案、及び分析された毛髪状態に基づくヘアスタイル提案のうちの少なくとも１つである。
【００３３】
好ましくは、毛髪分析ユニットは、画像を前処理することを更に含み、前処理は、画像上のアンカー特徴を判定することと、画像を変更してアンカー特徴を所定の位置に配置することとを含む。
【００３４】
好ましくは、毛髪状態分析は、
前処理するステップと、
顔及び毛髪の特徴の両方を含む巨視的特徴及び微視的特徴を抽出するために、ディープニューラルネットワーク（ＤＮＮ）を適用するステップと、
任意選択的に、特徴を標準評価データと比較するステップと、
分析された毛髪状態を提供するステップと、によって毛髪分析ユニット内で行うことができる。
【００３５】
本明細書で分析される毛髪状態は、縮れ、ボリューム、特に根元におけるボリュームリフト、清潔感又は清潔さ、水分、カール性、長さ、扱いやすさ、損傷、光沢、毛髪年齢、及び毛髪の健康のうちの少なくとも１つであり、好ましくは、縮れ、ボリューム、特に毛根におけるボリュームリフト、清潔感又は清潔さ、水分、カール性、長さ、扱いやすさ、損傷、毛髪年齢、及び毛髪の健康のうちの少なくとも１つであり、より好ましくは、縮れ、ボリューム、特に毛根におけるボリュームリフト、清潔感又は清潔さ、水分、扱いやすさ、損傷、毛髪年齢、及び毛髪の健康のうちの少なくとも１つである。
【００３６】
これらの毛髪状態の分析のために、本発明は、画像内の毛髪特徴のみに基づく分析と比較して、顔の特徴を組み込むことによって改善された感度を提供することができる。
【００３７】
将来の毛髪状態予測、毛髪製品提案、毛髪製品の使用法提案、ヘアスタイル提案、及び頭皮評価は全て、そのような分析された毛髪状態に基づく。
【００３８】
毛髪分析ユニットは、有線接続又は無線接続によって表示ユニットと接続することができる。
【００３９】
表示ユニット
表示ユニットは、分析結果をユーザに表示するものであり、分析結果は、分析された毛髪状態、分析された毛髪状態に基づく頭皮評価、分析された毛髪状態に基づく将来の毛髪状態予測、分析された毛髪状態に基づく毛髪製品提案、分析された毛髪状態に基づく毛髪製品の使用法提案、及び分析された毛髪状態に基づくヘアスタイル提案のうちの少なくとも１つである。
【００４０】
好ましくは、毛髪製品提案及び／又は毛髪製品の使用法提案を示すディスプレイはまた、ユーザが製品を購入するためのオプションを示す。
【００４１】
ヘアスタイル提案を示すディスプレイはまた、ユーザが提案されるヘアスタイルを仮想現実、複合現実、又は拡張現実によって仮想的に試すためのオプションを示すことができる。
【００４２】
分析結果は、例えば、絶対値、相対値、指標、及び／又は表示の有無にかかわらず色などの数値データによって示すことができる。代替的に又は同時に、分析された毛髪状態は、例えば、漫画によって、かつ／又は画像上の表示及び／若しくはハイライトによって、改善のためのエリアを示すことができる。
【００４３】
表示ユニットは、画像捕捉ユニット及び／又はＱ＆Ａユーザインターフェースユニットと共に、例えば、同じモバイルコンピューティングデバイス内に物理的に配置されてもよい。あるいは、表示ユニットは、それらのうちのいずれかとは別個に配置されてもよい。
【実施例】
【００４４】
本明細書のシステム及び方法は、捕捉されたユーザの画像を分析することによってユーザの毛髪状態を分析するために、ＣＮＮ又はＤＣＮなどの訓練されたディープニューラルネットワークを使用することが好ましい。ＣＮＮは、層内の各画素に同じフィルタを使用するニューロン集合の多層を含む。部分的かつ完全に接続された層の様々な組み合わせにおける各画素に対して同じフィルタを使用することにより、システムのメモリ及び処理要件が低減される。
【００４５】
いくつかの実例では、システムは、ＣＮＮ又はＤＣＮの訓練及び画像分析のための段階に続く前処理段階を含んでもよい。前処理中、受信した画像内の眼、額、頬、鼻、眼の下の領域、眼の外側の領域、鼻唇の折り目、唇、毛髪の色、毛髪の種類（例えば、カール、ストレート、又はウェーブ）、毛髪の長さ、年代、照明環境、後ろに落ちる髪又は前にある髪、顔のポーズ、及びこれらの特徴に隣接する画像の部分（「アンカー特徴」）などの、大部分のユーザに共通の１つ以上の顔及び毛髪の特徴を検出することができる。システムは、既知のエッジ検出技術、形状検出技術などを使用して、アンカー特徴を検出することができる。アンカー特徴の位置に基づいて、画像をスケーリングし、回転させて、画像を実質的に水平にし、アンカー特徴が、最終画像内の所定の位置に配置されてもよい。このようにして、訓練画像を一貫して整合させることができ、これにより、より一貫した訓練及び分析を提供することができる。次いで、画像は、更なる処理のための入力として所定の画素のエリアに切り取られてもよい。
【００４６】
前処理にはまた、画像正規化が含まれ得る。例えば、グローバルコントラスト正規化を利用して、訓練画像（及び／又はユーザの画像）を標準化し、実際のセルフィ捕捉条件によって導入され得る変動に対処することができる。
【００４７】
いくつかの実例では、入力画像から追加のサンプルを作成するために、データ拡張を実行することができる。追加のサンプルを使用してＣＮＮ又はＤＣＮを訓練し、入力画像の変動を許容させる。これは、モデルの精度の向上を支援する。換言すれば、ＣＮＮ又はＤＣＮは、例えば、写真を撮影する方法、写真が撮影される条件、及び写真を撮るために使用されるハードウェアの違いにもかかわらず、好適な分析に必要となる重要な特徴の情報及び関係を抽出することができる。データ拡張によって生成される追加のサンプルはまた、ＣＮＮ又はＤＣＮを、１つの特定の特徴ではなく、毛髪状態分析のための様々な特徴に依存するように学習することができ、ＣＮＮ又はＤＣＮの過剰訓練を防止することができる。データ拡張のいくつかの非限定的な例としては、画像をランダムに拡大若しくは縮小すること、画像を時計回り若しくは反時計回り方向にランダムに回転させること、画像をランダムにトリミングすること、及び／又は画像の彩度及び／若しくは露光をランダムに変更することが挙げられる。いくつかの実例では、画像データは、入力画像をランダムな垂直方向のドロップアウトに適用することによって拡張され得、ランダムな画素列が画像から除去される。
【００４８】
本明細書におけるＣＮＮ又はＤＣＮは、哺乳類の視覚野が画像の重要な特徴を認識することを学習するのと同様に、ＣＮＮ又はＤＣＮに画像のどの部分が肌、顔の特徴、毛髪の特徴などに寄与するかを学習させる、深層学習技術を使用して訓練されてもよい。いくつかの実例では、ＣＮＮ訓練は、ネステロフ運動量（及び／又は他のアルゴリズム）を伴うミニバッチ確率的勾配降下（stochastic gradient descent、ＳＧＤ）を使用することを含んでもよい。確率的勾配降下を利用する例は、米国特許第８，５８２，８０７号に開示されている。
【００４９】
ＤＣＮは、多くのカプセルから構成される。カプセルは、画像の所与の領域内の特定の物体（例えば、矩形）を検出することを学習する小群のニューロンであり、その長さは、物体が存在すると推定される確率を表し、その向き（例えば、８次元空間内）は、物体のポーズパラメータ（例えば、正確な位置、回転など）を符号化するベクトル（例えば、８次元ベクトル）を出力する。通常のニューラルネットワークと同様に、ＤＣＮは多層で編成される。最低層内のカプセルは、主要カプセルと呼ばれ、それらの各々は、入力として画像の小領域（受容場と呼ばれる）を受け取り、特定のパターン、例えば矩形の存在及びポーズを検出しようとする。ルーティングカプセルと呼ばれる上位層内のカプセルは、ボートなどのより大きなかつより複雑な物体を検出する。主要カプセル層は、少数の通常の畳み込み層を使用して実装することができる。例えば、スケーラを含む２５６の６×６特徴マップを出力する２つの畳み込み層を使用することができる。これらの特徴マップを再形成して、８次元ベクトルを含む３２の６×６マップを得ることができる。最後に、これらのベクトルが０〜１の長さを有することを確実にするために（確率を表すために）、スクアッシング機能を適用してもよい。
【００５０】
次の層内のカプセルはまた、ルーティングバイアグリーメント（routing by agreement）と呼ばれるアルゴリズムを使用して、物体及びそれらのポーズを検出しようとする場合もある。ルーティングバイアグリーメントアルゴリズムは、アグリーメントの検出及びルーティング更新（これは、ただ１回ではなく、かつ訓練時のみではなく、各予測に対して生じ得る）の数回の繰り返しを含んでもよい。
【００５１】
いくつかの実例では、ＤＮＮは、訓練されていないＤＮＮに、学習するための多数の捕捉された画像を提供することによって訓練されてもよい。いくつかの実例では、ＤＮＮは、教師あり学習と呼ばれるプロセスを通じて、特定の毛髪状態に寄与する画像の部分を識別するように学習することができる。「教師あり学習」とは、一般に、ＤＮＮが、画像内の人の毛髪の属性が所定の画像を分析することによって訓練されることを意味する。所望の精度に応じて、訓練画像の数は、少数の画像から多数の画像（例えば、数百又は数千）から画像の連続した入力まで（すなわち、連続した訓練を提供するために）変化し得る。
【００５２】
本明細書におけるシステム及び方法は、広範囲の毛髪の種類及びスタイルについてユーザの毛髪状態を正確に分析することができる訓練されたＤＮＮを利用する。分析された毛髪状態を提供するために、ユーザの画像は、訓練されたＤＮＮを通じて転送される。ＤＮＮは画像を分析し、毛髪状態に寄与する画像の部分を識別する。次いで、ＤＮＮは、識別された部分を使用してユーザの毛髪状態を分析する。
【００５３】
いくつかの実例では、ＤＮＮ分析、分析された毛髪状態及び／又は目標の状態は、ユーザによって提供される習慣及び実践の入力と任意に組み合わせて、頭皮評価、将来の毛髪状態予測、毛髪ケア製品提案、毛髪製品の使用法提案、及び／又はヘアスタイル提案の提供を支援するために使用され得る。
【００５４】
図１は、ユーザの画像を捕捉し、画像を分析し、カスタマイズされた製品提案を提供するためのシステム１０を描写する。システム１０は、ワイドエリアネットワーク（携帯電話網、公衆交換電話網、衛星ネットワーク、インターネット等）、ローカルエリアネットワーク（ワイヤレスフィディリティ、Ｗｉ−Ｍａｘ、ＺｉｇＢｅｅ（商標）、Ｂｌｕｅｔｏｏｔｈ（商標）等）、及び／又は他の形態のネットワーク機能として具体化され得るネットワーク１００を含んでもよい。ネットワーク１００には、モバイルコンピューティングデバイス１０２、リモートコンピューティングデバイス１０４、キオスク型コンピューティングデバイス１０６及び訓練コンピューティングデバイス１０８が結合されている。
【００５５】
モバイルコンピューティングデバイス１０２は、携帯電話、タブレット、ラップトップ、携帯情報端末、並びに／又はデジタル写真のような画像を捕捉、格納、及び／若しくは転送するように構成された他のコンピューティングデバイスであってもよい。したがって、モバイルコンピューティングデバイス１０２は、デジタルカメラのような画像捕捉デバイス１０３を含んでもよく、かつ／又は他のデバイスから画像を受信するように構成されてもよい。モバイルコンピューティングデバイス１０２は、画像捕捉論理１４４ａ及びインターフェース論理１４４ｂを格納するメモリ構成要素１４０ａを含んでもよい。メモリ構成要素１４０ａは、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ等）、読み出し専用メモリ（read only memory、ＲＯＭ）、レジスタ、及び／又は他の形態のコンピューティング格納ハードウェアを含んでもよい。本明細書に記載されるように、画像捕捉論理１４４ａ及びインターフェース論理１４４ｂは、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。以下でより詳細に説明するように、画像捕捉論理１４４ａは、デジタル画像上での捕捉、格納、処理、分析、転送、及び／又はユーザの他の機能の実行を容易にすることができる。インターフェース論理１４４ｂは、質問、オプション等を含み得る、１つ以上のユーザインターフェースをユーザに提供するために構成されてもよい。モバイルコンピューティングデバイス１０２はまた、ネットワーク１００を介して他のコンピューティングデバイスと通信するために構成されてもよい。
【００５６】
リモートコンピューティングデバイス１０４はまた、ネットワーク１００に結合されてもよく、特定の毛髪状態に寄与する捕捉された画像の部分を識別することによって、ユーザの毛髪状態を分析することができる畳み込みニューラルネットワークを作成及び訓練するために構成されたサーバ（若しくは複数のサーバ）、パーソナルコンピュータ、モバイルコンピュータ、及び／又は他のコンピューティングデバイスとして構成されてもよい。リモートコンピューティングデバイス１０４は、訓練論理１４４ｃ及び分析論理１４４ｄを格納するメモリ構成要素１４０ｂを含み得る。訓練論理１４４ｃは、ＤＮＮの創出及び／又は訓練を容易にし得、このため、ＤＮＮの創出及び／又は動作を容易し得る。例えば、ＤＮＮは、リモートコンピューティングデバイス１０４のメモリ構成要素１４０ｂ内に論理１４４ｃ、１４４ｄとして格納されてもよい。分析論理１４４ｄは、リモートコンピューティングデバイス１０４に、モバイルコンピューティングデバイス１０２（又は他のコンピューティングデバイス）からデータを受信し、分析された毛髪状態、製品提案、ヘアスタイル提案などを提供するために、受信したデータを処理することができる。
【００５７】
システム１０はまた、図１に示すようなキオスク型コンピューティングデバイス１０６を含んでもよい。キオスク型コンピューティングデバイス１０６は、モバイルコンピューティングデバイス１０２と同様に動作し得るが、１つ以上の製品を販売し、かつ／又は現金若しくは電子商取引の形態で支払を受領することも可能にし得る。いくつかの実例では、キオスク型コンピューティングデバイス１０６はまた、訓練コンピューティングデバイス１０８に関して以下により詳細に説明するように、ＤＮＮの訓練を容易にするように構成されてもよい。
【００５８】
訓練コンピューティングデバイス１０８は、ネットワーク１００に結合され得、ＤＮＮの訓練を容易にする。例えば、トレーナは、訓練コンピューティングデバイス１０８を介して、顔又は肌又は毛髪のうちの１つ以上のデジタル画像をＤＮＮに提供してもよい。トレーナはまた、ＤＮＮに、どの評価が正しいか及びどの評価が正しくないかを知らせる情報、並びにその他の指示を提供してもよい。トレーナからの入力に基づいて、ＤＮＮは、以下でより詳細に説明するように、自動的に適応してもよい。
【００５９】
キオスク型コンピューティングデバイス１０６は、自動販売機型のデバイスとして描写されているが、これはあくまで一例に過ぎない点を理解されたい。いくつかの実施形態は、決済及び／又は製品分配も提供するモバイルデバイスを利用することができる。同様に、キオスク型コンピューティングデバイス１０６、モバイルコンピューティングデバイス１０２及び／又は訓練コンピューティングデバイス１０８は、ＤＮＮを訓練するために利用されてもよい。このため、モバイルコンピューティングデバイス１０２及びリモートコンピューティングデバイス１０４について描写されたハードウェア及びソフトウェアは、キオスク型コンピューティングデバイス１０６、訓練コンピューティングデバイス１０８、及び／又は他のデバイス内に含まれてもよい。同様に、ハードウェア及びソフトウェアは、モバイルコンピューティングデバイス１０２、リモートコンピューティングデバイス１０４、キオスク型コンピューティングデバイス１０６、及び訓練コンピューティングデバイス１０８のうちの１つ以上に含まれてもよい。
【００６０】
また、リモートコンピューティングデバイス１０４は、図１に、ディープニューラルネットワーク処理を実行するものとして示されているが、これは、単なる例に過ぎないことも理解されたい。ディープニューラルネットワーク処理は、所望に応じて、任意の好適なコンピューティングデバイスにより実行されてもよい。
【００６１】
図１８は、本明細書に記載される実施形態による、カスタマイズされた製品提案を提供するためのフロー図を描写している。ブロック１８５０では、ユーザの画像を捕捉することができる。ブロック１８５２では、負荷に電力を提供することができる。ブロック１８５４では、質問に対する回答をユーザから受信することができる。ブロック１８５６では、分析された毛髪状態をユーザに提供することができる。ブロック１８５８では、カスタマイズされたヘアスタイル提案をユーザに提供することができる。ブロック１８６０では、カスタマイズされた製品提案をユーザに提供することができる。
【００６２】
本明細書にて開示された寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「４０ｍｍ」と開示された寸法は、「約４０ｍｍ」を意味することが意図される。
【００６３】
相互参照される又は関連するいかなる特許又は特許出願、及び本願が優先権又はその利益を主張するいかなる特許出願又は特許を含む、本願に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、参照によりその全体が本明細書に組み込まれる。いかなる文献の引用も、本明細書中で開示又は特許請求される任意の発明に対する先行技術であるとは見なされず、あるいはそれを単独で又は他の任意の参考文献（単数又は複数）と組み合わせたときに、そのような発明全てを教示、示唆又は開示するとは見なされない。更に、本文書における用語のいかなる意味又は定義が、参照することによって組み込まれた文書内の同じ用語の意味又は定義と矛盾する場合、本文書におけるその用語に与えられた意味又は定義が適用されるものとする。
【００６４】
本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく他の様々な変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内にあるそのような全ての変更及び修正を添付の特許請求の範囲に網羅することが、意図されている。
【図１】
2021523454.tif 000003
【図２】
2021523454.tif 000004
【国際調査報告】
2021523454.tif 000005
2021523454.tif 000006
2021523454.tif 000007