(57)【要約】【課題】データ処理装置及びデータ処理方法を提供する。【解決手段】  データ処理装置は、遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築部と、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、遮蔽物と遮蔽物を含まない顔画像との幾何学的関係に基づいて遮蔽物モデルをレンダリングするレンダリング部と、遮蔽物を含まない顔画像とレンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成部とを含む。これによって、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。【選択図】図１
2019102081.tif 000002
【特許請求の範囲】
【請求項１】
遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築手段と、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするレンダリング手段と、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成手段と、を含む、データ処理装置。
【請求項２】
前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、請求項１に記載のデータ処理装置。
【請求項３】
非剛体遮蔽物を含む顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、請求項２に記載のデータ処理装置。
【請求項４】
前記第１前処理は、標準顔又は平均顔画像により前記非剛体遮蔽物における顔特徴点を最適化することをさらに含む、請求項３に記載のデータ処理装置。
【請求項５】
前記第１前処理は、最適化された顔画像を分割し、非剛体遮蔽物画像を取得することをさらに含む、請求項４に記載のデータ処理装置。
【請求項６】
遮蔽物を含まない顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、顔検出、顔特徴点検出及び顔分割を含み、
顔特徴点検出は、顔特徴点の抽出を含む、請求項２に記載のデータ処理装置。
【請求項７】
前記レンダリング手段は、
抽出された顔特徴点及び前記遮蔽物モデルに基づいて、前記遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築し、
前記複数の三角形の面の各々に対して、アフィン変換により前記遮蔽物モデルをレンダリングする、請求項６に記載のデータ処理装置。
【請求項８】
剛体遮蔽物を含む画像に対して第２前処理を行う前処理手段、をさらに含み、
前記第２前処理は、前記剛体遮蔽物の重心、高さ及び幅を含むスケール情報を決定することを含む、請求項２に記載のデータ処理装置。
【請求項９】
遮蔽物を含む画像に対して遮蔽物モデルを構築するステップと、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするステップと、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップと、を含む、データ処理方法。
【請求項１０】
機器読み取り可能な命令コードを含むプログラムプロダクトを記録した機器読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに請求項９に記載のデータ処理方法を実行させることができる、機器読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理の技術分野に関し、具体的には、顔データを強化するデータ処理装置及びデータ処理方法に関する。
【背景技術】
【０００２】
この部分は、本発明に関連する背景情報を提供するが、必ずしも従来技術ではない。
【０００３】
実際の環境において顔関連モジュール（例えば検出、位置合わせ、認識など）の性能を向上させるために、実際の状況に応じて訓練データセットを収集する必要があり、このため、モデルの訓練データの多様性に対する要求が高い。既存のオープンデータセット（ｏｐｅｎ  ｄａｔａｓｅｔ）、特に眼鏡やマスク着用などの局部遮蔽の顔データセットは、訓練データの多様性を確保しにくい場合がある。応用環境及び要求に応じて顔データを再収集すると、労働コストが高くなり、データセットの多様性を長期間維持する必要がある。
【０００４】
従って、顔データを低コストで、且つ安易に強化する方法が求められている。上記の問題を解決するために、本発明は、顔遮蔽のデータセットを低コストで生成するスキームを提案し、遮蔽物はマスク、眼鏡、手、マイクなどの通常の顔遮蔽の態様を含む。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この部分は、本発明の一般的な概要を提供し、その全範囲又はその全ての特徴を完全に開示するものではない。
【０００６】
本発明は、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる、顔データ強化のためのデータ処理装置及びデータ処理方法を提供することを目的とする。また、本発明のデータ処理装置及びデータ処理方法は、操作が容易であり、計算量及び労働コストが低い。
【課題を解決するための手段】
【０００７】
本発明の１つの態様では、遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築手段と、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするレンダリング手段と、遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成手段と、を含む、データ処理装置を提供する。
【０００８】
本発明のもう１つの態様では、遮蔽物を含む画像に対して遮蔽物モデルを構築するステップと、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするステップと、遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップと、を含む、データ処理方法を提供する。
【０００９】
本発明のもう１つの態様では、機器読み取り可能な命令コードを含むプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに本発明のデータ処理方法を実行させることができる、プログラムプロダクトを提供する。
【００１０】
本発明のもう１つの態様では、機器読み取り可能な命令コードを含むプログラムプロダクトを記録した機器読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに本発明のデータ処理方法を実行させることができる、機器読み取り可能な記憶媒体を提供する。
【００１１】
本発明のデータ処理装置及びデータ処理方法によれば、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。また、本発明のデータ処理装置及びデータ処理方法は、操作が容易であり、計算量及び労働コストが低い。
【００１２】
ここで行われる説明により、本発明の適用可能な範囲はより明確になる。この部分における説明及び特定の例は、単なる例示するためのものであり、本発明の範囲を限定するものではない。
【図面の簡単な説明】
【００１３】
ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本発明の範囲を限定するものではない。
【図１】本発明の実施例に係るデータ処理装置を示すブロック図である。
【図２ａ】図２ａ乃至図２ｃは本発明の実施例に係る遮蔽物を示す図である。
【図２ｂ】図２ａ乃至図２ｃは本発明の実施例に係る遮蔽物を示す図である。
【図２ｃ】図２ａ乃至図２ｃは本発明の実施例に係る遮蔽物を示す図である。
【図３】本発明の他の実施例に係るデータ処理装置を示すブロック図である。
【図４】本発明の実施例に係る非剛体遮蔽物画像の遮蔽物モデルを示す模式図である。
【図５】本発明の実施例に係るデータ処理方法を示すフローチャートである。
【図６】本発明に係るデータ処理装置及びデータ処理方法を実現可能な汎用パーソナルコンピュータの例示的な構成を示すブロック図である。  本発明に対して各種の変更及び代替を行うことができるが、その特定の実施例は図面を参照しながら詳細に説明される。なお、特定の実施例の説明は本発明を開示の具体的な態様に限定するものではなく、本発明の主旨及び範囲内で各種の変更、均等的なものへの変形、代替を行ってもよい。なお、図面において、同一の構成部は同一の符号で示されている。
【発明を実施するための形態】
【００１４】
以下は、図面を参照しながら本発明の例示的な実施例を詳細に説明する。以下の説明は単なる例示的なものであり、本発明、応用及び用途を限定するものではない。
【００１５】
以下は、本発明を詳細に説明し、当業者が本発明の範囲を十分に理解するために、例示的な実施例を提供する。本発明の実施例を詳細に理解させるために、多くの特定の細部、例えば特定の手段、装置及び方法の例を説明する。なお、当業者が分かるように、特定の細部を用いる必要がなく、異なる方式を用いて例示的な実施例を実施してもよく、これらの実施例は本発明の範囲を制限するものではない。一部の例示的な実施例では、周知のプロセス、周知の構成及び周知の技術が詳細に説明されていない。
【００１６】
図１は本発明の実施例に係るデータ処理装置１００を示すブロック図である。図１に示すように、本発明の実施例に係るデータ処理装置１００は、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
【００１７】
モデル構築部１０１は、遮蔽物を含む画像に対して遮蔽物モデルを構築してもよい。
【００１８】
レンダリング部１０２は、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
【００１９】
合成部１０３は、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成してもよい。
【００２０】
本発明のデータ処理装置によれば、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。また、本発明のデータ処理装置は、操作が容易であり、計算量及び労働コストが低い。
【００２１】
本発明の１つの実施例では、該遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含んでもよい。図２ａ乃至図２ｃに示すように、該非剛体遮蔽物は、例えばマスク、顔用マスクなどのような境界が顔の輪郭に応じて変形し得る遮蔽物を含んでもよく、該剛体遮蔽物は、例えば眼鏡、マイク、手などのような顔の輪郭に応じて変形しない遮蔽物を含んでもよい。ここで、当業者が分かるように、該非剛体遮蔽物及び該剛体遮蔽物は本明細書に示されている例に限定されない。
【００２２】
本発明の１つの実施例では、データ処理装置は、該遮蔽物の類型を定義する遮蔽物定義部をさらに含んでもよい。即ち、該遮蔽物定義部は、該遮蔽物が剛体遮蔽物であるか、それとも非剛体遮蔽物であるかを定義してもよい。
【００２３】
＜非剛体遮蔽物の実施例＞
本発明の１つの実施例では、後続処理の便宜のために、モデル構築処理の前に、前処理を行ってもよい。図３は本発明の他の実施例に係るデータ処理装置３００を示すブロック図である。図３に示すように、本発明の実施例に係るデータ処理装置３００は、前処理部３１０、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
【００２４】
本実施例では、データ処理装置３００は、非剛体遮蔽物を含む顔画像に対して前処理を行う前処理部３１０をさらに含んでもよい。該前処理は、該非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含んでもよい。
【００２５】
本発明の１つの実施例では、該顔検出及び該顔特徴点検出を自動的又は手動で行ってもよい。該顔検出及び該顔特徴点検出を自動的に行う場合は、該顔検出は、マルチタスク畳み込みニューラルネットワーク（ＭＴＣＮＮ：Ｍｕｌｔｉ−Ｔａｓｋ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）又は正規化された画素差分特徴（ＮＰＤ：Ｎｏｒｍａｌｉｚｅｄ  Ｐｉｘｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）などの方法を含んでもよい。該顔特徴点検出は、変形可能パーツモデル（ＤＰＭ：Ｄｅｆｏｒｍａｂｌｅ  Ｐａｒｔｓ  Ｍｏｄｅｌ）又は畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）など基づく方法を含んでもよい。ここで、当業者が分かるように、該顔検出及び該顔特徴点検出の方法は本明細書に示されている例に限定されない。当業者は従来技術における類似機能を実現可能な他の方法を採用してもよい。該顔特徴点検出を手動で行う場合は、予めラベルを付け、顔特徴点を記憶してもよい。
【００２６】
マスクなどの非剛体遮蔽物が顔特徴点の位置の精度に影響を及ぼす可能性があるため、本発明の１つの実施例では、前処理部３１０は、標準顔又は平均顔画像により、該非剛体遮蔽物における顔特徴点を修正してもよい。
【００２７】
後続のモデル構築処理及び色一致性の調整のために、本発明の１つの実施例では、前処理部３１０は、最適化された（即ち修正後の）顔画像を分割し、非剛体遮蔽物画像を取得してもよい。ここで、非剛体遮蔽物画像は、非剛体遮蔽物領域、即ちマスク領域と、顔領域とを含む。本発明の１つの実施例では、手動でのラベル付け、又は自動若しくは半自動の方法、例えばウォーターシェッド法（Ｗａｔｅｒｓｈｅｄ  Ｍｅｔｈｏｄ）により分割を行ってもよい。
【００２８】
そして、モデル構築部１０１は、非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築してもよい。本発明の１つの実施例では、モデル構築部１０１は、図４に示すように、不規則三角網（ＴＩＮ：Ｔｒｉａｎｇｕｌａｔｅｄ  Ｉｒｒｅｇｕｌａｒ  Ｎｅｔｗｏｒｋ）により、分割された非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築してもよい。ここで、当業者が分かるように、実際の視点などの需要に応じて、アフィン変換により処理を行ってもよい。
【００２９】
そして、遮蔽物を含まない顔画像を入力する。本発明の１つの実施例では、前処理部３１０は、該入力された遮蔽物を含まない顔画像に対して前処理を行ってもよく、該前処理は、同様に顔検出、顔特徴点検出及び顔分割を含んでもよく、ここで、顔特徴点検出は、顔特徴点の抽出を含む。同様に、該顔検出、該顔特徴点検出及び顔分割は、本明細書に示されている従来技術の方法を採用してもよい。当業者が分かるように、本明細書に示されていない従来技術における類似機能を実現可能な他の方法を採用してもよい。
【００３０】
そして、レンダリング部１０２は、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
【００３１】
本発明の１つの実施例では、レンダリング部１０２は、抽出された顔特徴点及び該遮蔽物モデルに基づいて、該遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築し、そして、該複数の三角形の面の各々に対して、アフィン変換により該遮蔽物モデルをレンダリングしてもよい。即ち、レンダリング部１０２は、アフィン変換により、該遮蔽物モデルの各三角形の面を、対応する入力された遮蔽物を含まない顔画像の座標に変換してもよい。
【００３２】
そして、合成部１０３は、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像（遮蔽された顔画像）に合成してもよい。
【００３３】
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像との合成に由来する遮蔽顔画像の真実性を向上させるために、画像の置換のみで十分ではなく、後処理が必要である。
【００３４】
本発明の１つの実施例では、合成部１０３は、例えばアルファ・マッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）などの画像混合処理により、遮蔽顔画像の融合部分の境界を自然に遷移させてもよい。
【００３５】
また、融合領域と入力された遮蔽物を含まない顔画像とが同一の照明条件を有するために、本発明の１つの実施例では、合成部１０３は、ヒストグラム正規化手法を用いて、該遮蔽顔画像の融合領域と該遮蔽物を含まない顔画像とが同一の照明条件を有するようにしてもよい。具体的には、遮蔽顔画像の残りの顔領域及び入力された遮蔽物を含まない顔画像の対応領域において、ヒストグラム正規化を用いて、そして、取得されたグレースケールマッピング関数を最終的な融合領域に適用する。
【００３６】
本発明の１つの実施例では、データ処理装置は、正面図の場合の、該非剛体遮蔽物を有する顔画像、例えば図２ａに示す１番目及び３番目の画像を収集する収集部をさらに含んでもよい。
【００３７】
本発明のデータ処理装置によれば、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。また、本発明のデータ処理装置及びデータ処理方法は、操作が容易であり、計算量及び労働コストが低い。
【００３８】
＜剛体遮蔽物の実施例＞
同様に、剛体遮蔽物の実施例において、後続処理の便宜のために、前処理を行ってもよい。図３に示すように、本発明の実施例に係るデータ処理装置３００は、前処理部３１０、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
【００３９】
本実施例では、データ処理装置３００は、剛体遮蔽物を含む画像に対して前処理を行う前処理部３１０をさらに含んでもよく、該前処理は、該剛体遮蔽物の重心、高さ及び幅などを含むスケール情報を決定することを含んでもよい。当業者が分かるように、ここで、該剛体遮蔽物は、眼鏡、マイクなどのような変形しない遮蔽物であってもよく、そのスケール情報は、実際の状況又は需要に応じて決定されてもよく、本明細書に示されている重心、高さ及び幅などに限定されない。
【００４０】
後続のモデル構築処理のために、本発明の１つの実施例では、前処理部３１０は、剛体遮蔽物を含む画像を分割してもよい。
【００４１】
そして、モデル構築部１０１は、分割後の結果、該剛体遮蔽物の位置及び該スケール情報を用いて遮蔽物の平面モデルを構築してもよい。ここで、当業者が分かるように、実際の視点などの需要に応じて、アフィン変換により処理を行ってもよい。
【００４２】
そして、遮蔽物を含まない顔画像を入力する。本発明の１つの実施例では、前処理部３１０は、該入力された遮蔽物を含まない顔画像に対して前処理を行ってもよく、該前処理は、同様に顔検出、顔特徴点検出及び顔分割を含んでもよく、ここで、顔特徴点検出は、顔特徴点の抽出を含む。同様に、該顔検出、該顔特徴点検出及び顔分割は、本明細書に示されている従来技術の方法を採用してもよい。当業者が分かるように、本明細書に示されていない従来技術における類似機能を実現可能な他の方法を採用してもよい。
【００４３】
また、本発明の１つの実施例では、前処理部３１０は、該剛体遮蔽物について、簡単な幾何学的方法を用いて姿勢を推定してもよい。
【００４４】
そして、レンダリング部１０２は、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と入力された該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
【００４５】
本発明の１つの実施例では、レンダリング部１０２は、該剛体遮蔽物の情報及び該遮蔽物を含まない顔画像の情報に基づいてアフィン変換行列を算出してもよい。
【００４６】
例えば、該剛体遮蔽物が眼鏡である場合は、レンダリング部１０２は、眼鏡の重心及びスケール情報、入力された遮蔽物を含まない顔画像における両眼の中心点及び長さ、並びに入力された遮蔽物を含まない顔画像の回転、平行移動を含む姿勢などに基づいてアフィン変換行列を算出してもよい。該剛体遮蔽物がマイクや手などの他の遮蔽物である場合は、同様に類似のパラメータを用いて、遮蔽物の重心及びスケール情報などに基づいてアフィン変換行列を算出してもよい。ここで、生成されたデータセットの多様性を確保するために、遮蔽物の配置位置及び視点（角度）をランダムに生成してもよい。
【００４７】
そして、合成部１０３は、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成してもよい。
【００４８】
本発明の１つの実施例では、データ処理装置は、例えば眼鏡、マイク及び手などのような剛体遮蔽物の顔画像、例えば図２ｂ及び図２ｃに示す画像を収集する収集部をさらに含んでもよい。なお、手のデータの強化方法を簡略化すると共に、ジェスチャ（ｇｅｓｔｕｒｅ）の多様性を維持するために、異なるジェスチャを含むオープンデータセット（例えばＥｇｏＨａｎｄｓ）用いてもよい。
【００４９】
ここで、本発明の上記非剛体遮蔽物の実施例と類似するユニットの動作について、ここでその説明を省略する。
【００５０】
以下は、図５を参照しながら本発明の実施例に係るデータ処理方法を説明する。図５に示すように、本発明の実施例に係るデータ処理方法は、ステップＳ５１０〜ステップＳ５３０を含む。
【００５１】
ステップＳ５１０において、遮蔽物を含む画像に対して遮蔽物モデルを構築してもよい。
【００５２】
次に、ステップＳ５２０において、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
【００５３】
最後に、ステップＳ５３０において、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成してもよい。
【００５４】
本発明の実施例では、データ処理方法は、該遮蔽物が剛体遮蔽物であるか、それとも非剛体遮蔽物であるかを定義する該遮蔽物の類型の定義ステップをさらに含んでもよい。
【００５５】
本発明の実施例では、該遮蔽物が非剛体遮蔽物である場合は、データ処理方法は、非剛体遮蔽物を含む顔画像に対して第１前処理を行うステップをさらに含んでもよい。該第１前処理は、該非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含んでもよい。
【００５６】
本発明の実施例では、該顔検出及び該顔特徴点検出を自動的又は手動で行ってもよい。
【００５７】
本発明の実施例では、該第１前処理は、標準顔又は平均顔画像により該非剛体遮蔽物における顔特徴点を最適化するステップをさらに含んでもよい。
【００５８】
本発明の実施例では、該第１前処理は、最適化された顔画像を分割し、非剛体遮蔽物画像を取得するステップをさらに含んでもよい。
【００５９】
本発明の実施例では、モデルを構築するステップは、不規則三角網（ＴＩＮ）により該非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築するステップを含んでもよい。
【００６０】
本発明の実施例では、データ処理方法は、遮蔽物を含まない顔画像に対して第１前処理を行うステップをさらに含んでもよい。該第１前処理は、顔検出、顔特徴点検出及び顔分割を含んでもよく、ここで、顔特徴点検出は、顔特徴点を抽出するステップを含んでもよい。
【００６１】
本発明の実施例では、該遮蔽物モデルをレンダリングするステップは、抽出された顔特徴点及び該遮蔽物モデルに基づいて、該遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築するステップと、該複数の三角形の面の各々に対して、アフィン変換により該遮蔽物モデルをレンダリングするステップと、を含んでもよい。
【００６２】
本発明の実施例では、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップは、画像混合処理により、遮蔽顔画像の融合部分の境界を自然に遷移させるステップを含んでもよい。
【００６３】
本発明の実施例では、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップは、ヒストグラム正規化手法を用いて、該遮蔽顔画像の融合領域と該遮蔽物を含まない顔画像とが同一の照明条件を有するようにするステップを含んでもよい。
【００６４】
本発明の実施例では、データ処理方法は、正面図の場合の、該非剛体遮蔽物を有する顔画像を収集するステップをさらに含んでもよい。
【００６５】
本発明の実施例では、該遮蔽物が剛体遮蔽物である場合は、データ処理方法は、剛体遮蔽物を含む画像に対して第２前処理を行うステップをさらに含んでもよい。該第２前処理は、該剛体遮蔽物の重心、高さ及び幅を含むスケール情報を決定することを含んでもよい。
【００６６】
本発明の実施例では、モデルを構築するステップは、該剛体遮蔽物の位置及び該スケール情報を用いて遮蔽物の平面モデルを構築するステップを含んでもよい。
【００６７】
本発明の実施例では、該第２前処理は、幾何学的方法を用いて姿勢を推定するステップを含んでもよい。
【００６８】
本発明の実施例では、該遮蔽物モデルをレンダリングするステップは、該剛体遮蔽物の情報及び該遮蔽物を含まない顔画像の情報に基づいてアフィン変換行列を算出するステップを含んでもよい。
【００６９】
本発明の実施例に係るデータ処理方法の上記ステップの各具体的な実施形態は既に詳細に説明されているため、ここでその説明を省略する。
【００７０】
なお、本発明のデータ処理方法の各処理は、各種の機器が読み取り可能な記憶媒体に記憶されたコンピュータ実行可能なプログラムにより実現されてもよい。
【００７１】
また、本発明の目的は、上記実行可能なプログラムコードを記憶した記憶媒体をシステム又は装置に直接的又は間接的に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（ＣＰＵ）が該プログラムコードを読み出して実行することによって実現されてもよい。この場合は、該システム又は装置はプログラムを実行可能な機能を有すればよく、本発明の実施形態はプログラムに限定されない。また、該プログラムは任意の形であってもよく、例えばオブジェクトプログラム、インタプリタによって実行されるプログラム、又はオペレーティングシステムに提供されるスクリプトプログラム等であってもよい。
【００７２】
上記の機器が読み取り可能な記憶媒体は、各種のメモリ、記憶部、半導体装置、光ディスク、磁気ディスク及び光磁気ディスクのようなディスク、並びに情報を記憶可能な他の媒体等を含むが、これらに限定されない。
【００７３】
また、コンピュータがインターネット上の対応するウェブサイトに接続され、本発明のコンピュータプログラムコードをコンピュータにダウンロード、インストール、そして実行することによって、本発明の実施形態を実現することができる。
【００７４】
図６は本発明に係るデータ処理装置及びデータ処理方法を実現可能な汎用パーソナルコンピュータ１３００の例示的な構成を示すブロック図である。
【００７５】
図６に示すように、ＣＰＵ１３０１は、読み出し専用メモリ（ＲＯＭ）１３０２に記憶されているプログラム、又は記憶部１３０８からランダムアクセスメモリ（ＲＡＭ）１３０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ１３０３には、必要に応じて、ＣＰＵ１３０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ１３０１、ＲＯＭ１３０２、及びＲＡＭ１３０３は、バス１３０４を介して互いに接続されている。入力／出力インターフェース１３０５もバス１３０４に接続されている。
【００７６】
入力部１３０６（キーボード、マウスなどを含む）、出力部１３０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部１３０８（例えばハードディスクなどを含む）、通信部１３０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース１３０５に接続されている。通信部１３０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部１３１０は、入力／出力インターフェース１３０５に接続されてもよい。取り外し可能な媒体１３１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部１３１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部１３０８にインストールされている。
【００７７】
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体１３１１を介してソフトウェアを構成するプログラムをインストールする。
【００７８】
なお、これらの記憶媒体は、図６に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体１３１１に限定されない。取り外し可能な媒体１３１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ１３０２、記憶部１３０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
【００７９】
なお、本発明のシステム及び方法では、各ユニット又は各ステップを分解且つ、或いは再組み合わせてもよい。これらの分解及び／又は再組み合わせは、本発明と同等であると見なされる。また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。
【００８０】
以上は図面を参照しながら本発明の実施例を詳細に説明しているが、上述した実施形態及び実施例は単なる例示的なものであり、本発明を限定するものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、変更を行ってもよい。これらの修正、変更は本発明の保護範囲に含まれるものである。
【００８１】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築手段と、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするレンダリング手段と、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成手段と、を含む、データ処理装置。
（付記２）
前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、付記１に記載のデータ処理装置。
（付記３）
非剛体遮蔽物を含む顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、付記２に記載のデータ処理装置。
（付記４）
前記第１前処理は、前記顔検出及び前記顔特徴点検出を自動的又は手動で行う、付記３に記載のデータ処理装置。
（付記５）
前記第１前処理は、標準顔又は平均顔画像により前記非剛体遮蔽物における顔特徴点を最適化することをさらに含む、付記３に記載のデータ処理装置。
（付記６）
前記第１前処理は、最適化された顔画像を分割し、非剛体遮蔽物画像を取得することをさらに含む、付記５に記載のデータ処理装置。
（付記７）
前記モデル構築手段は、不規則三角網（ＴＩＮ）により前記非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築する、付記６に記載のデータ処理装置。
（付記８）
遮蔽物を含まない顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、顔検出、顔特徴点検出及び顔分割を含み、
顔特徴点検出は、顔特徴点の抽出を含む、付記２に記載のデータ処理装置。
（付記９）
前記レンダリング手段は、
抽出された顔特徴点及び前記遮蔽物モデルに基づいて、前記遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築し、
前記複数の三角形の面の各々に対して、アフィン変換により前記遮蔽物モデルをレンダリングする、付記８に記載のデータ処理装置。
（付記１０）
前記合成手段は、画像混合処理により、前記遮蔽顔画像の融合部分の境界を自然に遷移させる、付記１に記載のデータ処理装置。
（付記１１）
前記合成手段は、ヒストグラム正規化手法を用いて、前記遮蔽顔画像の融合領域と前記遮蔽物を含まない顔画像とが同一の照明条件を有するようにする、付記１０に記載のデータ処理装置。
（付記１２）
剛体遮蔽物を含む画像に対して第２前処理を行う前処理手段、をさらに含み、
前記第２前処理は、前記剛体遮蔽物の重心、高さ及び幅を含むスケール情報を決定することを含む、付記２に記載のデータ処理装置。
（付記１３）
前記モデル構築手段は、前記剛体遮蔽物の位置及び前記スケール情報を用いて遮蔽物の平面モデルを構築する、付記１２に記載のデータ処理装置。
（付記１４）
前記剛体遮蔽物について、前記第１前処理は幾何学的方法を用いて姿勢を推定する、付記８に記載のデータ処理装置。
（付記１５）
前記レンダリング手段は、前記剛体遮蔽物の情報及び前記遮蔽物を含まない顔画像の情報に基づいてアフィン変換行列を算出する、付記２に記載のデータ処理装置。
（付記１６）
正面図の場合の、前記非剛体遮蔽物を有する顔画像を収集する収集手段、をさらに含む、付記２に記載のデータ処理装置。
（付記１７）
遮蔽物を含む画像に対して遮蔽物モデルを構築するステップと、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするステップと、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップと、を含む、データ処理方法。
（付記１８）
前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、付記１７に記載のデータ処理方法。
（付記１９）
非剛体遮蔽物を含む顔画像に対して第１前処理を行うステップ、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、付記１８に記載のデータ処理方法。
（付記２０）
機器読み取り可能な命令コードを含むプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに付記１７乃至１９の何れかに記載のデータ処理方法を実行させることができる、プログラムプロダクト。
【図１】
2019102081.tif 000003
【図２ａ】
2019102081.tif 000004
【図２ｂ】
2019102081.tif 000005
【図２ｃ】
2019102081.tif 000006
【図３】
2019102081.tif 000007
【図４】
2019102081.tif 000008
【図５】
2019102081.tif 000009
【図６】
2019102081.tif 000010