(57)【要約】本発明は、毛髪を色付けする装置及び方法に関する。本発明方法は、ユーザーが目標画像を使用する毛染めシミュレーションを生成するのに使用することができ、この方法は、以下のステップ、すなわち、画像モジュールが処理すべき目標画像からデータを得るステップと、インタフェースモジュールがユーザーインタフェースを生成して、少なくとも１つの毛染めゾーン識別ポイントの選択を受取ることができるようにするステップと、選択データを受取った後、前記インタフェースモジュールがデータを毛髪マスクセグメント化モジュールに送るステップと、及び毛髪マスクセグメント化モジュールがユーザーの頭皮に対応するゾーンを抽出するステップと、を有する。【選択図】図１
2015511339.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの目標画像に基づく毛染めシミュレーションを生成できる毛髪色付け方法であって、
・画像モジュールが処理すべき目標画像からデータを受取るステップと、
・インタフェースモジュールが少なくとも１つの色付けゾーン識別ポイントの選択を受取ることができるようにするユーザーインタフェースを生成するステップと、
・選択データを受取った後、前記インタフェースモジュールが受け取ったデータを毛髪テンプレートセグメント化モジュールに送るステップと、
・前記毛髪テンプレートセグメント化モジュールがユーザーの頭髪に対応するゾーンを抽出するステップと
を有する、毛髪色付け方法。
【請求項２】
請求項１記載の毛髪色付け方法において、インタフェースモジュールは、ユーザー向けに色付け選択肢を提供し、また色付けの選択を受取る、毛髪色付け方法。
【請求項３】
請求項２記載の毛髪色付け方法において、テンプレート生成モジュールが目標画像に適用するテンプレートを生成し、また色付けした画像を表示する、毛髪色付け方法。
【請求項４】
請求項１〜３のうちいずれか一項記載の方法を実施する毛髪色付け装置であって、
・処理すべき目標画像に関するデータを受取ることができる画像モジュールと、
・少なくとも１つの色付けゾーン識別ポイントの選択を受取ることができるようにするユーザーインタフェースを生成できるインタフェースモジュールと、
・ユーザーの頭髪に対応するゾーンを抽出できる毛髪テンプレートセグメント化モジュールと
を備える、毛髪色付け装置。
【請求項５】
請求項４記載の毛髪色付け装置において、さらに、目標画像に適用するテンプレートを生成し、また色付けした画像を表示することができるテンプレート生成モジュールを備える、毛髪色付け装置。
【請求項６】
請求項４又は５記載の毛髪色付け装置において、インタフェースモジュールは、ユーザー向けに色付け選択肢を提供し、また色付けの選択を受取るよう構成する、毛髪色付け装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチスクリーンを有する又はタッチスクリーンに接続したデジタル媒体をユーザーが使用して得られる毛髪テンプレートの構成に関する情報を用いてほぼリアルタイムで目標人物の毛髪テンプレートの抽出及び仮想色付け（カラーリング）をする方法に関する。
【背景技術】
【０００２】
現在のところユーザーがメイクアップをシミュレートしたり、又は顔のデジタル写真並びに色を選択及び適用するツールを用いてメイクアップを仮想的にテストしたりできる幾つかのタイプのデジタル技術が知られている。ユーザーが利用できる多くの解決策があるものの、現実的な結果が得られる解決策は極めて少ない。提案された解決策の不完全さには多くの理由がある。メイクアップすべき顔の幾つかのゾーンを正確に検出することの困難さが、しばしば幾つかの問題点の根源となっている。
【０００３】
毛髪色付け（毛染め）シミュレーションを考慮することも意図する用途に関しては、染めるべき目標ゾーンの境界を区切る困難性に加えて、他の困難性が正確で信頼性高くまたリアルに毛染めをシミュレートするのを特に難しくする。したがって、多数の毛髪によって生ずる極めて小さいゾーンにおける、極めて強い色グラデーション、ハイライト部分によって生ずる問題、及び１本の毛髪が異なる色の特徴を有することがよくあるという事実が、まさにこのようなシミュレーションを行う上で克服すべき問題となっている。
【０００４】
デジタル写真に対して仮想毛染めを行う幾つかの手法がある。それら手法は、４つのグループに分けることができる。
【０００５】
第１グループは、目標人物の顔を自動的に検出する（検出アルゴリズムには何らの情報又は限界も加わらない）、又は半自動的に検出する（若干の顔要素の位置を有するテンプレートを使用して、デジタル写真における目標人物の顔の位置を限定する。）ことに基づく。目的は、また異なる特徴ポイント及び顔の輪郭により顔をモデル化または検出することである。この情報が決定されると即座に、仮想ウィッグを目標人物の頭部に「被せる」。この方法は、予め定義した頭髪ヘッドのみ所定位置に配置できるだけであり、目標人物の仮想毛染めを可能にするものではない。
【０００６】
第２グループは、図３に示すように予め定義した又はユーザーが定義した毛髪テンプレートを使用することに基づく。この毛髪テンプレートは、直線で互いに結ばれる幾つかのポイントにより規定／輪郭付けする。この毛髪テンプレートを予め定義する場合、ユーザーはカーソルを使用して毛髪テンプレートを規定するポイントを動かし、この汎用テンプレートを対象人物の頭髪ヘッドに適合させねばならない。第２のケースでは、ユーザーはカーソルを使用して、人物の毛髪テンプレートを規定するすべてのポイントを手作業で定義しなければならない。毛髪テンプレートが、目標人物の毛髪テンプレートにうまく適合したら即座に、これら異なるポイントにより定義されたゾーンに色付けをする。この方法は、ユーザーが毛髪テンプレートを完全に又は部分的に定義しなければならないので、ユーザーに対する要求が多い。さらに、この定義は、色付けが目標人物のすべての毛髪にのみ位置され、背景又は顔の部分にはかからないよう、できるだけ正確にしなければならない。
【０００７】
第３グループは毛髪セグメント化手法に基づく。既存の方法では、目的は、毛髪テンプレートを半自動的に抽出することである。しかし、現在のところ、ユーザーは幾つかの強制的作業を行わなければならない。先ず、ユーザーの上半身の写真を、好ましくは一様な背景の中心となるよう写真を撮影しなければならない。第２に、マウスを用いて矩形を配置し、この矩形内部にユーザーの顔が位置するようにする（図４参照）。第３に、再びマウスで、かつ何らのユーザーフレンドリーなインタフェースなしに、ユーザーは、画像上の毛髪部及び背景にポイントを配置しなければならない。この方法は半自動ではあるが、ユーザーは幾つかの作業を行わなければならず、そうしないと色付けをするときの結果がお粗末になるので、依然としてユーザーにとって極めて要求が多いものである。
【０００８】
最後のタイプの手法は、タッチスクリーン技術に基づく。デジタル写真を撮り、保存した後、ユーザーは、指及びタッチスクリーンを使用して毛髪が位置するゾーンに「色付け」しなければならない。この解決策は、毛髪テンプレートの自動又は半自動検出を行わないため、最小主義的である。毛染めは、ユーザーの指が触知インタフェースを通過することによって規定されるゾーンにのみ施される。この解決策は、したがって２つの大きな欠点がある。すなわち、ユーザーは頭髪ヘッド全体を手作業で色付けしなければならず、また色を人工知能もなしに色付け部分に均一に施さなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
既存の解決策はいずれも、上述した簡単、迅速、高信頼性及び効率的に行う技術的困難性すべてを考慮することができない。したがって、これら多くの問題点に対する有効な解決策を見出す大きな必要性がある。
【課題を解決するための手段】
【００１０】
上述の段落に記載した手法の欠点を回避することを目的として、本発明は、以下のステップを提供する。すなわち、
・毛髪を色付けする必要ゾーンを選択するインタフェースをユーザーが利用できるようにするステップを提供し、このステップ中、図５に示すようにユーザーは、インタフェースと、毛髪ゾーンを選択するようユーザーが自由に使える位置に配置した選択ツールとを使用する。選択の幾つかのモードを状況に応じて提供することができる。図示の実施例において、ユーザーは、毛髪ゾーンにおける少なくとも１つのラインをトレースすることによって、複数のポイントを選択する。この変更例は、幾つかのポイントを考慮に入れることができるため、特に有利である。多くの毛髪ヘッドにおいて、色は１つのポイントから他のポイントにわたり気付けるほど変化するので、この手法は、考慮すべき一連の色データ全体を指示することができる。簡素化した変更例において、ユーザーは、色付けすべきゾーンにおける少なくとも１つのポイントを選択する。さらに或る変更例において、本発明方法は、ユーザーが、対象者の背景における毛髪ヘッドを包囲するゾーンを指示できるインタフェースを利用可能にする。
【００１１】
・この方法は、第１に予め得られる情報に基づいて、第２にユーザーによって提供される情報に基づいて、毛髪テンプレートをセグメント化することができる。したがって、この方法は、ユーザーが選択したポイント及び／又はゾーンに対応する色付けデータを受取るステップを設ける。この追加情報により、毛髪テンプレートをセグメント化するアルゴリズムを最適に初期化することができる。
【００１２】
有利には、画像における目標人物の顔を見ることができるステップを設ける。目標人物の顔を見つけ出すこのデータを使用して、画像を再フレーム割り付けし、顔が中心にくるようサイズを再調整する。この方法は、したがって、写真撮影中に顔の位置限定が少なくなる。
【００１３】
自動方法によって、もはや、毛髪テンプレートを手動で定義したり、又はユーザーに対して画像における顔位置に関する厳しい制限がある写真を撮影したりする必要はなくなる。ユーザーがとるべき唯一の行為は、「ユーザーフレンドリー」のインタフェースを使用して目標人物の頭髪アレンジメントを描出するポイントを定義することである。
【図面の簡単な説明】
【００１４】
【図１】毛髪テンプレート及び背景の定義を示す。
【図２ａ】毛髪色付け方法のフローチャートを示す。
【図２ｂ】毛髪色付け方法のフローチャートを示す。
【図３】制御ポイントを使用して定義した毛髪テンプレート（従来技術）を示す。
【図４】目標人物の顔が位置する領域の定義（従来技術）を示す。
【図５】触知インタフェースを使用して目標人物の頭髪アレンジメントを描出する１つ以上のマーカーポイントの決定を示す。
【図６ａ】毛髪色付け方法及び種々のモジュールの内訳を示す。
【図６ｂ】毛髪色付け方法及び種々のモジュールの内訳を示す。
【図７】毛髪テンプレートを色付けするのに使用する色パッチの実施例
【図８】目標人物画像上に色付けした毛髪テンプレートを有するオーバーレイを重ね合わせる状況を示す。
【００１５】
図示の実施形態において、触知インタフェースに基づく自動毛髪色付け（毛染め）方法を図６に示す。それは、目標人物の顔を見出し、また毛髪テンプレートをセグメント化及び色付けするのに必要な計算を行うサーバーに関連する触知インタフェース（モニタ、携帯電話又はタブレット型コンピュータ）を使用することに基づく。２つの実体（エンティティ）間の通信は、既知の手段、例えばＷｉＦｉ若しくはＷｉＭａｘプロトコル、又はタッチスクリーンがＰＣ若しくはサーバーに使用されているケーブル、又はデータ交換ができる任意な他の手段に基づく。
【００１６】
本発明による方法を説明するため、本発明方法は、図２に示す異なるステップに分けられる。これらステップは、これらステップを実行するに必要なモジュールにつき説明する。
【００１７】
ａ）ステップ０：目標人物の画像を取得する
方法の上流工程で、目標人物の頭部の写真を２つの異なる手法で撮影することができる。ユーザーは、遠隔デジタルカメラ、又は例えばタブレットコンピュータ（タッチスクリーン及び直感的ユーザーインタフェースを有するキーボードレス携帯コンピュータ、例えば「ｉＰａｄ（登録商標）」の品名で市販されている製品）又はスマートフォン（例えば、「ｉＰｈｏｎｅ」）のいずれかのような触知媒体に組込んだカメラ、又はスマートフォン（例えば、「ｉＰｈｏｎｅ」）を使用する。予め存在している画像を使用することもできる。
【００１８】
タブレット又はスマートフォンの使用に基づく写真の場合、ユーザーは写真撮影モジュールを使用することができる。これにより、ユーザーは、最適な写真を撮影できるインタフェースとして使用されるスクリーン上の目標（円形又はハッチング付き領域）によって導かれ、用途の適正機能及びユーザー視点から見て簡素化された使用法を確実にする。
【００１９】
ｂ）ステップ１：質問票（随意的）
触知媒体によって生ずる対話的グラフィックインタフェースによれば、ユーザーに対してユーザーの髪質、及び施したい色についての質問を問うことができる。
【００２０】
ステップ５中、この情報は毛髪に施したい色を決定することを可能にし、この色はユーザーの希望に最も近いものに対応する。このステップによれば、毛髪色付け（毛染め）をカスタマイズすることができ、ユーザーの期待により容易に答えることができるようになる。
【００２１】
ｃ）ステップ２：頭髪ヘッドの手動選択
このステップは、本発明のユーザーによる頭髪アレンジメントを決定するのに対応する。好適には、触知インタフェースを使用することに基づく。図５に示すように、ユーザは、指を目標人物の毛髪に通過させ、図１における前景として描出したゾーンである頭髪アレンジメントを描出するポイントのうち１つから複数個にかけて選択する。この作業は同一のやり方で繰返し、図１に示す背景を構成するゾーンのアレンジメントを描出することができる。作業が完了した後、認証により、情報（目標人物のマーカーポイント及び画像）を、ステップ３〜５を実行するサーバーに送信することができる。
【００２２】
基本的にこのステップは３つのモジュールに基づく（図６参照）
・  ユーザーの指が触知媒体上を通過することによって描出されるポイントを受信しかつ記録することができるマーカーポイント選択モジュール。
・ユーザーが決定したポイントをタッチスクリーン上にリアルタイムで目標人物画像上に重ね合わせて表示するディスプレイ結果モジュール。
・ポイントが選択されかつ認証された後、画像及びマーカーポイントをサーバーに送信することができる送信データモジュール。
【００２３】
ｄ）ステップ３：顔検出及び画像サイズ変更
このステップは、例えば、記述子としてハールウェーブレットを有する「Adaboost」学習メソッドに基づくような画像処理アルゴリズムを使用して、画像内の顔をサーチすることに対応する。このアルゴリズムは、ピクセルのサムネイルを探すために画像全体にわたり実行され、ウェーブレットによって記述され、学習で得られる及び先験的に得られる情報に一致する。比較が肯定的であれば、目標人物の顔を画像内に直ちに配置する。
【００２４】
この検出に基づいて方法は２つの作業を行う。それは、背景に属すると識別される、検出された顔に属するポイントを自動的に選択する。また、それは目標人物の顔に対して画像の寸法再調整及び中心再調整を行う。
【００２５】
この一連の行為セットは顔検出モジュールによって行うのが有利である（図６参照）。
【００２６】
この方法論を使用する目的は、写真を撮影するとき画像中心に対する目標人物の顔位置に制約を課すのを回避することにある。
【００２７】
ｅ）ステップ４：毛髪テンプレートのセグメント化
毛髪テンプレートのこの自動セグメント化は、「GrabCut」として知られる画像処理アルゴリズムによって行うのが有利である。このアルゴリズムは、画像全体にわたり実行し、背景又は入力として提供される毛髪テンプレートに関連するピクセルと同一明度のピクセルを探し出す。この目的は、画像の全てのピクセルを、背景として、または毛髪テンプレートとしてのいずれかに分類することである。次に、アルゴリズムは、得られたピクセルの２つのクラス間の境界を最適化することを、入力として与えられる厳しい制限に基づきながら見つけ出す。換言すれば、アルゴリズムは、入力として供給される極めて厳しい情報を使用して、２つのゾーン間の最良の折合いを見つけ出す。
【００２８】
したがって、ユーザーが位置決めしたマーカーポイントによって描出される頭髪アレンジメント（図１における毛髪テンプレート）及びステップ４中に検出されたポイントで得られる顔スキンアレンジメント（図１における背景部分）は、アルゴリズム（毛髪テンプレートセグメント化モジュール）に対する入力として使用される。この初期化は適正（厳しい制限）であるため、アルゴリズムは目標人物画像におけるこのアレンジメントに合致する部分をより迅速かつより正確に検出する。
【００２９】
最後に、背景ゾーンに関する測色データを受信することにより、測色データが同一である、又はそのゾーンに対して受信したデータとほとんど同一であるポイントを、色付けすべきゾーンから排除することができる。次に、顔ゾーンに関する測色データを受信することにより、測色データが同一である、又はそのゾーンに対して受信したデータとほとんど同一であるポイントを、色付けすべきゾーンから排除することができる。このモジュールを終了する際、本発明のユーザーが識別したアレンジメントを有する毛髪テンプレートに対応するゾーンが得られる。
【００３０】
ｆ）ステップ５：色選択
このステップは２つの個別部分に分ける。第１に、毛髪テンプレート内に含まれる毛髪の色を決定する。この値及びステップ１中で得られたあらゆる情報により、本発明方法は、現在の毛髪テンプレート及びユーザーの期待双方に対応する可能な複数の毛染め色を自動的に決定する（図６に示す色選択モジュール）。
【００３１】
これらの色は、図７に示す実施例のようにパッチによって表される。これらパッチは、異なる輝度、色調及びコントラストを有する同一色のパレットを表す。これら情報項目によれば、ステップ６中に、元画像における目標人物の毛髪テンプレートで見られる異なるハイライト部分を保持できる。
【００３２】
ｇ）ステップ６：色付けした毛髪テンプレートのオーバーレイ生成
このステップは、ステップ５で選択したパッチのうち１つを使用して毛髪テンプレートを生成することに対応する。この機能は、テンプレート生成機能によって行う。このステップの目的は、毛髪テンプレートの均一でリアルな色付けを得ることにある。このことを行うためには、ステップ５中に選択した色パッチに最初に加え、また第２にステップ４で目標人物画像から抽出した毛髪テンプレートに加える幾つかの連続的な処理ステップを行うことが必要である。
【００３３】
このステップは幾つかの個別部分に分かれる。第１部分において、色パッチ及び毛髪テンプレートを比色基準に基づいて定義されたヒストグラムに変換する。色の最適レンダリングのためには、これらヒストグラムは比色基準による同一色領域に位置しなければならない。そうでない場合、目標人物の毛髪テンプレートにおける色は、色パッチの定義領域に転置される。次に第２部分において、選択したパッチの色をすべて抽出し、重複（同一特性を有するピクセル）を排除する。次いで、これらピクセルを比色基準に従って分類する。第３部分において、ピクセルを分類する同一方法を毛髪テンプレートに適用する。最終作業中、各グラフィック実体から分類したピクセルを、既に使用した比色基準を使用して相関付けする。
【００３４】
ステップ４中に抽出した毛髪テンプレートから始まって、すべてのピクセルは選択したパッチを使用して色付けされる。しかし、この色付けは均一ではない。それは元の毛髪テンプレートにおける既存のハイライト部分（コントラスト、色調、及び異なるピクセルの明度）に付着する。この方法によって、毛染めの最終レンダリングはリアルとなる。
【００３５】
図示の実施例において、このステップはサーバーが行う最終ステップである。オーバーレイを生成したら即座に、サーバーは情報を触知媒体に送信する。
【００３６】
ｈ）ステップ７：スクリーンディスプレイ
データを受信した後、触知媒体は、毛髪色付け（毛染め）結果を目標人物の元画像に対して色付けしたオーバーレイを重ね合わせて表示する（図８参照）。
【００３７】
ユーザーは、初期結果を見た後、異なる色を選択することができる。触知媒体は、オーバーレイを再定義し、またその結果を目標人物の元画像に対して色付けしたオーバーレイを重ね合わせて表示する（図８参照）
【００３８】
ｉ）ステップ８：美容処方生成
グラフィックインタフェースを介して、このステップは本発明方法で行われる先行操作の要約を生成する。
・選択した毛染めをした目標人物の画像表示
・毛染めに必要な様々な製品のリスト
・毛染めを適正に行うやり方に関する図表に基づく説明
【００３９】
これら処方を、最終的にＰＤＦフォーマットでプリントする。
【００４０】
本発明による方法及び装置は、２つの個別実体を有するシステムによって図示及び説明する。幾つかの変更例も本発明の範囲から逸脱することなく可能である。例えば、オールインワンＰＣ（画面、マイクロプロセッサ及び他の素子を単独ユニット内に組込んである）を使用して本発明を実現することもできる。他の変更例において、十分な計算能力を有するタッチタブレットも使用することができる。
【００４１】
他の変更例において、触知インタフェースは、マウス、英数字キーパッド又は移動のための任意な他の既知手段によって遠隔操作する既知のタイプの移動可能なカーソルに置換することができる。このような実施例において、上述したユーザーの指で行う選択は、選択すべき関連ゾーンにおけるカーソル移動によって行う選択に置換することができる。
【００４２】
最後に、遠隔操作で動作できる移動可能なカーソル又は触知インタフェースにより、色付けすべきゾーンは、色付けすべきゾーンに含まれる１個の、又は複数個の離散ポイントによって選択することができる。
【００４３】
上述した異なる色付け装置モジュールの実装は、モジュールが、関連するモジュール用に特別に企図された操作を行うことができるようにする命令又はコマンドを介して行うようにすると有利である。命令は、１個又はそれ以上のマイクロプロセッサによって実装される１つ又はそれ以上のソフトウェア若しくはソフトウェアモジュールの形態とすることができる。モジュール及び／又はソフトウェアは、コンピュータが利用可能な記録ユニット又は記録媒体を備え、またその記録ユニット又は記録媒体内に組込んだコンピュータ可読プログラム化コードを有し、アプリケーションソフトウェアをタッチスクリーン付きタブレットのようなコンピュータ若しくは他のマイクロプロセッサデバイスで実行させることができるようにしたコンピュータプログラム製品として提供すると有利である。
【図１】
2015511339.tif 000003
【図２ａ】
2015511339.tif 000004
【図２ｂ】
2015511339.tif 000005
【図３】
2015511339.tif 000006
【図４】
2015511339.tif 000007
【図５】
2015511339.tif 000008
【図６ａ】
2015511339.tif 000009
【図６ｂ】
2015511339.tif 000010
【図７】
2015511339.tif 000011
【図８】
2015511339.tif 000012
【国際調査報告】
2015511339.tif 000013
2015511339.tif 000014
2015511339.tif 000015
2015511339.tif 000016
2015511339.tif 000017
2015511339.tif 000018