【手続補正書】
【提出日】令和3年7月12日(2021.7.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像から少なくとも第１の領域および前記第１の領域とは異なる第２の領域を含む顔ランドマークを探索することと、
前記顔画像の前記第１の領域を、反射率チャネルおよびシェーディングチャネルを含む第１のチャネルに分解することと、
前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給して前記第１の領域において化粧が除去された第１の画像を取得することと、
前記顔画像の前記第２の領域を、色相チャネル、彩度チャネル、および色値チャネルを含むカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルを前記ヒストグラムマッチングに供給して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の画像と前記第２の画像とを組み合わせて前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することとを含み、
前記カラーチャネルをヒストグラムマッチングに供給することが、
それぞれが異なる照明条件下での各顔画像の対応する第２の領域に化粧を有せず、事前定義されたヒストグラムを含む顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを前記事前定義されたヒストグラムのうちの対応するものとマッチングして前記第２の画像を取得することとを含む、方法。
【請求項２】
前記反射率チャネルが、前記顔画像の材料依存特性を含み、前記シェーディングチャネルが、前記顔画像の光依存特性を含む、請求項１に記載の方法。
【請求項３】
前記反射率チャネルが、１色のみを含み、前記シェーディングチャネルが、前記第１の領域の形状情報を保存する、請求項２に記載の方法。
【請求項４】
前記第１の領域が、目領域を含み、前記第２の領域が、唇領域を含む、請求項１に記載の方法。
【請求項５】
前記第１の領域の前記第１のチャネルを前記ヒストグラムマッピングに供給する前の前記第１の領域の化粧の種類が、前記顔画像の前記第２の領域をカラーチャネルに変換する前の前記第２の領域の化粧の種類とは異なる、請求項１に記載の方法。
【請求項６】
前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、請求項１に記載の方法。
【請求項７】
顔の化粧を仮想的に除去する方法であって、
化粧が適用されたユーザの顔画像を提供することと、
前記ユーザの顔画像の領域内の顔ランドマークを探索することと、
前記顔画像の前記領域を、色相チャネル、彩度チャネル、および色値チャネルから選択されるカラーチャネルに変換することと、
異なる照明条件下で前記カラーチャネルをヒストグラムマッチングに供給して、前記領域において化粧が除去された結果画像を取得することとを含み、
前記カラーチャネルをヒストグラムマッチングに供給することが、
事前定義されたヒストグラムを含む、化粧なしの顔画像のデータセットを提供することと、
異なる照明条件下での前記カラーチャネルのうちの１つ以上のヒストグラムを、前記事前定義されたヒストグラムのうちの対応するものとマッチングして第２の画像を取得することとを含む、方法。
【請求項８】
前記ユーザの顔画像の前記領域が、唇領域を含む、請求項７に記載の方法。
【請求項９】
前記顔画像の前記領域をカラーチャネルに変換する前の前記顔画像の化粧が、口紅またはリップグロスである、請求項８に記載の方法。
【請求項１０】
前記カラーチャネルが、色値チャネルおよび／または彩度チャネルである、請求項７に記載の方法。
【請求項１１】
さらに、
皮膚色データセットを収集することであって、標準唇色と比較して異なる照明条件についての対応する唇色シフトを有するそのような異なる照明条件下での皮膚色データが収集される、収集することと、
前記ユーザの画像から入力皮膚色を抽出することと、
前記皮膚色データセットを使用して前記入力皮膚色の特定の照明条件下での前記入力皮膚色の対応する唇色シフトを検出することと、
前記ユーザの顔画像の第１の領域からの除去唇色として使用するための最終修正唇色を提供することとを含み、前記最終修正唇色が、前記検出された色シフトを有する、請求項７に記載の方法。
【請求項１２】
入力画像から化粧を検出および除去するシステムであって、
ユーザインターフェースから化粧が適用された入力画像を受信し、
少なくとも第１の領域および／または前記第１の領域とは異なる第２の領域においてユーザの顔画像から顔ランドマークを探索することであって、前記第１の領域が化粧を含みおよび／または前記第２の領域が化粧を含む、探索することと、
前記第１の領域が探索された場合、前記顔画像の前記第１の領域を第１のチャネルに分解し、それぞれ化粧を有しない顔のヒストグラムのデータセットから参照ヒストグラムを使用して前記第１の領域の前記第１のチャネルをヒストグラムマッチングに供給し、前記第１の領域において化粧が除去された第１の画像を取得し、および／または前記第２の領域が探索された場合、前記顔画像の前記第２の領域をカラーチャネルに変換し、異なる照明条件下でのヒストグラムマッチングに前記カラーチャネルを供給し、それぞれ化粧を有しない異なる照明条件下での顔のヒストグラムのデータセットからの参照ヒストグラムを使用して前記第２の領域において化粧が除去された第２の画像を取得することと、
前記第１の領域および前記第２の領域の両方が探索された場合、前記第１の画像および前記第２の画像を組み合わせて、前記第１の領域および前記第２の領域から化粧が除去された結果顔画像を形成することと、を行うことができるように構成される、システム。
【請求項１３】
前記システムが、システムメモリおよびシステムプロセッサを有するコントローラを備え、前記コントローラが、前記入力画像を受信し、化粧を有しない前記顔のヒストグラムのデータセットおよび異なる照明条件下での前記顔のヒストグラムのデータセットを受信および／または前記メモリに記憶するように構成され、前記システムプロセッサが、顔画像を検出して顔ランドマークを探索することができるプログラミング命令を実行することができる、請求項１２に記載のシステム。
【請求項１４】
前記プロセッサが、前記入力画像の前記第１の領域の前記第１のチャネルへの分解および前記第１の領域の前記第１のチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができ、
前記プロセッサが、前記顔画像の前記第２の領域のカラーチャネルへの変換および異なる照明条件下での前記カラーチャネルのヒストグラムマッチングのためのプログラミング命令を実行することができる、請求項１３に記載のシステム。
【請求項１５】
前記ユーザインターフェースが、スマートフォンデジタルカメラ、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、またはスマートフォンデジタルビデオカメラである、請求項１４に記載のシステム。
【請求項１６】
顔を有する入力画像上に出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第１の領域を含み、前記第１の領域に関連付けられたランドマークが唇色を有する前記顔画像の唇に関連付けられ、前記第１の領域が唇領域を含む、探索することと、
（ｃ）前記画像の前記唇領域を少なくとも１つのカラーチャネルに変換し、前記唇領域の光分布を検出および分析することと、
（ｄ）変化する光分布にわたって前記少なくとも１つのカラーチャネルをヒストグラムマッチングに供給し、前記唇領域の前記光分布から変化する事前定義された光分布を有するヒストグラムを特定することにより、少なくとも１つの第１の出力効果を生成することと、
（ｅ）前記出力効果を前記第１の画像と組み合わせて、前記唇色と唇に適用された前記少なくとも１つの第１の出力効果とを有する第１の結果画像を提供することとを含む、方法。
【請求項１７】
前記少なくとも１つのカラーチャネルが、彩度チャネルおよび／または色値チャネルを含む、請求項１６に記載の方法。
【請求項１８】
前記変換ステップ（ｃ）の前に、前記方法が、さらに、前記ユーザの顔画像の前記唇領域から化粧を除去するステップを含む、請求項１６に記載の方法。
【請求項１９】
前記顔ランドマークが第２の領域を含み、前記第２の領域における前記ランドマークが前記顔画像の目と関連付けられ、前記第２の領域が目領域を含み、前記方法が、さらに、
（ｆ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｇ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に少なくとも１つの第２の出力効果を生成することと、
（ｈ）前記第１の結果画像を前記第２の画像および前記少なくとも１つの第２の出力効果と組み合わせ、前記事前定義された唇色および前記唇に対する前記少なくとも１つの第１の出力効果および前記目に対する前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、請求項１６に記載の方法。
【請求項２０】
前記少なくとも１つの第１のチャネルが、シェーディングまたは反射率のうちの１つを含む、請求項１９に記載の方法。
【請求項２１】
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および滑らかさを追加し、前記少なくとも１つの第１の出力効果が、光沢効果を含む、請求項１６に記載の方法。
【請求項２２】
前記光沢効果が、前記透明度のレベルによって変化する、請求項２１に記載の方法。
【請求項２３】
前記事前定義された光分布を有する前記ヒストグラムの光分布が、ランダムな反射率を追加し、前記少なくとも１つの出力効果が、自然効果を含む、請求項１６に記載の方法。
【請求項２４】
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含む、請求項１６に記載の方法。
【請求項２５】
前記事前定義された光分布を有する前記ヒストグラムの光分布が、きらめきを追加し、前記少なくとも１つの出力効果が、きらめき効果を含む、請求項１６に記載の方法。
【請求項２６】
前記ステップ（ｄ）および（ｅ）を繰り返して、前記第１の画像に少なくとも１つの異なる出力効果を生み出し、前記第１の画像における前記少なくとも１つの異なる出力効果のうちの１つを有する各結果画像が、前記第１の結果画像と組み合わせられ、前記少なくとも１つの第１の出力効果と、前記第１の画像に対する前記少なくとも１つの異なる出力効果のそれぞれとを有する最終結果画像を提供する、請求項１６に記載の方法。
【請求項２７】
前記方法が、さらに、ステップ（ｂ）の後に、前記唇領域の面積を計算し、前記唇領域の面積を所定の比率で拡大して目標拡大ランドマークを提供し、前記少なくとも１つの第１の出力効果に加えて膨らみ出力効果を生み出すことと、前記膨らみ出力効果を前記少なくとも１つの第１の出力効果および前記第１の画像と組み合わせて歪ませ、前記唇に適用された唇色、前記膨らみ出力効果および前記少なくとも１つの第１の出力効果を有する前記第１の結果画像を提供することとを含む、請求項１６に記載の方法。
【請求項２８】
前記事前定義された光分布を有する前記ヒストグラムの光分布が、透明度および艶を追加し、前記少なくとも１つの第１の出力効果が、艶効果を含み、前記結果画像が、膨らんで艶のある外観を含む、請求項２７に記載の方法。
【請求項２９】
顔を有する入力画像に対する出力効果を生成する方法であって、
（ａ）顔ランドマークを有するユーザの顔画像を提供することと、
（ｂ）前記ユーザの顔画像から前記顔ランドマークを探索することであって、前記顔ランドマークが第２の領域を含み、前記第２の領域に関連付けられたランドマークが前記顔画像の目に関連付けられ、前記第２の領域が目領域を含む、探索することと、
（ｃ）前記画像の前記目領域を少なくとも１つの第１のチャネルに分解し、前記目領域の光分布を検出および分析することと、
（ｄ）前記少なくとも１つの第１のチャネルを、変化する光分布にわたってヒストグラムマッチングに供給し、前記目領域の前記光分布とは異なる事前定義された光分布を有するヒストグラムを特定することによって前記目に対して少なくとも１つの第２の出力効果を生成することと、
（ｅ）前記顔画像を前記少なくとも１つの第２の出力効果と組み合わせ、前記目に対する前記少なくとも１つの第２の出力効果を有する第２の結果画像を提供することとを含む、方法。
【請求項３０】
高速顔検出およびランドマーク追跡のための方法であって、
２次元カメラを使用して入力画像をキャプチャすることと、
異なるスケールの画像を使用して画像ピラミッドを作成することと、
スライディングウィンドウおよびサポートベクターマシンを使用して勾配のヒストグラム特徴を適用して前記画像ピラミッドの画像上で顔の境界ボックスを見つけることと、
グローバル学習降下正規化モデルに基づく１つ以上の顔のランドマーク検出器を使用して、顔が存在する場合に前記境界ボックス内の前記顔を検出することとを含む、方法。
【請求項３１】
さらに、パッチを抽出し、ランドマーク平均シフトフィッティングを前記画像に適用してランドマークを平滑化し、前記画像ピラミッドにわたるランドマーク位置を正規化することと、３層ニューラルネットワークモデルを正確性検証モデルとして適用して誤形状をフィルタリングし、最終ランドマークを関連付けて選択することとを含む、請求項３０に記載の方法。
【請求項３２】
前記ニューラルネットワークの３層が、畳み込み層、アップサンプル層およびマッピング層である、請求項３１に記載の方法。
【請求項３３】
さらに、点分布モデルを使用してグラウンドトゥルースデータセットからノイズをフィルタリングしてランドマークビデオをより安定にすることを含む、高速移動に関連付けられた遅延を減らし、移動不足に関連付けられた揺れを減らすステップを含む、請求項３０に記載の方法。
【請求項３４】
顔画像に目化粧アドオン効果を仮想的に提供する方法であって、
（ａ）目の少なくとも１つの目化粧特徴のテンプレートを作成し、前記目化粧特徴に関連する前記テンプレート上のランドマーク地点に手動で注釈を付け、前記ランドマーク地点の場所をテキストファイルとして保存することと、
（ｂ）画像フレームのランドマーク検出器を使用して顔画像の目領域のランドマークを抽出することと、
（ｃ）前記画像の前記目領域をトリミングして、前記テンプレートの前記目化粧特徴に関連する前記ランドマークに基づいて画像フレームを作成することと、
（ｄ）前記画像フレームの前記目領域上の前記検出された抽出ランドマークから前記目領域の周りの線形補間によって地点を生成することと、
（ｅ）前記テンプレートの注釈付きランドマークに基づいて前記テンプレートの周りの地点を生成することと、
（ｆ）順方向歪みにより前記テンプレートを前記画像フレームに適用し、前記適用されたテンプレートから前記目化粧特徴を有する目領域画像フレームを作成することと、
（ｇ）前記目領域画像フレームを元の顔画像にトリミングして戻し、前記目化粧特徴を有する顔画像を作成することとを含む、方法。
【請求項３５】
前記目化粧特徴が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴から選択される、請求項３４に記載の方法。
【請求項３６】
ステップ（ａ）が、アイシャドウ特徴、ミドルアイシャドウ特徴、アイシャドウテール特徴、アイシャドウコーナー特徴およびまつげ特徴のそれぞれについてテンプレートを作成することを含み、前記方法が、さらに、前記テンプレートにおける前記目特徴のうちの２つ以上について顔画像に対してステップ（ｂ）から（ｇ）を繰り返すことと、前記顔画像における２つ以上の特徴を組み合わせて合成目化粧外見を作成することとを含む、請求項３５に記載の方法。
【請求項３７】
顔画像に口紅テクスチャを仮想的に提供する方法であって、
深層畳み込みニューラルネットワーク構造を有する訓練モジュールを備えるテクスチャシミュレータを提供することと、
前処理モジュールにおいて入力唇領域を処理し、所望の口紅色のＬ＊ａ＊ｂ＊色空間の輝度チャネルと重み付きカバレッジ係数とを使用して前記所望の口紅色および輝度向上を有するように前記入力唇領域を変更して輝度分布とシミュレートされた動的テクスチャとを有するＬチャネル画像を作成し、ａ＊チャネルおよびｂ＊チャネルについて入力画像をＲＧＢからＬ＊ａ＊ｂ＊空間色に処理することと、
前記前処理モジュールから、訓練モジュールを使用して画像データセットに対して訓練されたモノチャネルスタイル移行モジュールに前記Ｌチャネル画像を供給し、前記データセットにおける参照スタイル画像に基づいて合成色およびテクスチャを有する合成Ｌチャネル画像を作成することと、
動的テクスチャシミュレーションを有する前記合成Ｌチャネル画像と、ＲＧＢ変換のための前記前処理モジュールからのａ＊チャネル画像およびｂ＊チャネル画像とを、ＲＧＢ変換のための後処理モジュールにおいてさらに処理することとを含む、方法。