(57)【特許請求の範囲】
【請求項１】
初期画像の照明動作タイプに対応する畳み込みニューラルネットワークを決定することと、
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得することと、
前記畳み込みニューラルネットワークによって、前記局所特徴情報および前記大域特徴情報に基づき、前記初期画像の融合特徴情報を取得することと、
前記畳み込みニューラルネットワークによって、前記初期画像の輝度成分マップに基づき、最大プーリング結果マップおよび最小プーリング結果マップを取得することと、
前記融合特徴情報、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の双方向グリッド行列を取得することであって、前記双方向グリッド行列は前記初期画像を空間領域（ｓｐａｃｅ）および値域（ｒａｎｇｅ）の二つの次元でサンプリングするものである、ことと、
前記双方向グリッド行列によって前記初期画像のアフィン変換を行い、前記照明動作タイプに応じて前記初期画像に照明を施した画像である目標画像を得ることと、を含む、画像照明方法。
【請求項２】
前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得ることは、
前記双方向グリッド行列、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の輝度成分マップのスライス処理を行い、アフィン変換行列を取得することと、
前記アフィン変換行列に基づいて前記初期画像のアフィン変換を行って前記目標画像を得ることと、を含む、請求項１に記載の方法。
【請求項３】
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得することは、前記初期画像の輝度成分マップを畳み込みニューラルネットワークに入力し、前記初期画像の局所特徴情報および大域特徴情報を取得することを含み、
前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得ることは、
前記双方向グリッド行列、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の輝度成分マップのスライス処理を行い、残差行列を得ることと、
前記残差行列および前記初期画像によって前記目標画像を得ることと、を含み、
前記残差行列および前記初期画像によって前記目標画像を得ることは、前記残差行列と前記初期画像の輝度成分マップの同じ位置での画素点の値を加算し、前記目標画像を取得することを含む、請求項１に記載の方法。
【請求項４】
前記残差行列および前記初期画像によって前記目標画像を得ることは、
前記残差行列と前記初期画像の輝度成分マップの同じ位置での画素点の値を加算し、前記目標画像を取得することを含む、請求項３に記載の方法。
【請求項５】
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得することは、
前記初期画像および前記初期画像の顔マスクパターンを前記畳み込みニューラルネットワークに入力し、前記初期画像の局所特徴情報および大域特徴情報を取得することを含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得することは、
前記初期画像を前記畳み込みニューラルネットワークの低レベル特徴抽出層に入力し、前記初期画像の低レベル特徴情報を取得することと、
前記初期画像の低レベル特徴情報を前記畳み込みニューラルネットワークの局所特徴抽出層に入力し、前記初期画像の局所特徴情報を取得することと、
前記初期画像の低レベル特徴情報を前記畳み込みニューラルネットワークの大域特徴抽出層に入力し、前記初期画像の大域特徴情報を取得することと、を含む、請求項１から４のいずれか一項に記載の方法。
【請求項７】
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得する前に、さらに、
前記初期画像の顔マスクパターンに基づいて前記初期画像の輝度成分マップの顔補正を行い、補正後の画像を得ることを含み、
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得することは、
前記畳み込みニューラルネットワークによって、前記補正後の画像に基づき、前記初期画像の局所特徴情報および大域特徴情報を取得することを含む、請求項１から４のいずれか一項に記載の方法。
【請求項８】
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得する前に、さらに、
前記初期画像の縮小処理を行うことを含む、請求項１から４のいずれか一項に記載の方法。
【請求項９】
前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得た後に、さらに、
前記目標画像の拡大処理を行い、前記初期画像のサイズと同じである目標画像を取得することを含む、請求項８に記載の方法。
【請求項１０】
前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得た後に、さらに、
前記目標画像の肖像分割マップを取得し、前記目標画像をガイド画像（ｇｕｉｄｅ）として使用し、前記肖像分割マップの高速ガイドフィルタリングを行い、初期重みマップを取得し、そして前記初期画像の顔マスクパターンに基づいて初期スポットライト照明効果重みマップを取得することと、
前記初期スポットライト照明効果重みマップおよび前記初期重みマップに基づき、肖像スポットライト照明効果重みマップを取得することと、
前記肖像スポットライト照明効果重みマップおよび前記目標画像に基づき、スポットライト照明効果を増加させた画像を取得することと、を含む、請求項１から４のいずれか一項に記載の方法。
【請求項１１】
前記肖像スポットライト照明効果重みマップおよび前記目標画像に基づいてスポットライト照明効果を増加させた画像を取得することは、
前記肖像スポットライト照明効果重みマップＷおよび前記目標画像
0006905602.tif 000066
に基づき、下式
0006905602.tif 000067
を採用してスポットライト照明効果を増加させた画像
0006905602.tif 000068
を取得することを含み、ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、前記Ｎは前記目標画像の合計行数であり、Ｍは前記目標画像の合計列数である、請求項１０に記載の方法。
【請求項１２】
前記目標画像の肖像分割マップを取得することは、
前記目標画像の肖像分割を行い、肖像前景マップを取得することと、
前記目標画像のキーポイント抽出を行い、肖像の顔マップを取得することと、
前記肖像前景マップおよび前記肖像の顔マップに基づいて肖像分割マップを取得することと、を含む、請求項１０に記載の方法。
【請求項１３】
前記肖像前景マップおよび前記肖像の顔マップに基づいて肖像分割マップを取得することは、
前記肖像前景マップ
0006905602.tif 000069
における全ての画素点をトラバースし、前記肖像前景マップ
0006905602.tif 000070
における任意の画素点
0006905602.tif 000071
について、前記肖像の顔マップ
0006905602.tif 000072
における同じ位置での画素点
0006905602.tif 000073
が肖像部分に属する場合、前記画素点
0006905602.tif 000074
および前記画素点
0006905602.tif 000075
の値がいずれも１であるかどうかを判定し、否であれば、前記肖像前景マップ
0006905602.tif 000076
における画素点
0006905602.tif 000077
の値を０に修正することと、
前記肖像分割マップを得ることと、を含み、
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、前記Ｎは前記目標画像の合計行数であり、Ｍは前記目標画像の合計列数である、請求項１２に記載の方法。
【請求項１４】
前記顔マスクパターンはさらに、顔の鼻背情報、鼻翼情報、鼻先情報、頬情報、こめかみ情報、肌色タイプ情報の少なくとも一つを含む、請求項５、７または１０のいずれか一項に記載の方法。
【請求項１５】
前記照明動作タイプは輪郭照明、写真館照明、ステージ照明、単色照明、二色照明または多色照明を含む、請求項１から４のいずれか一項に記載の方法。
【請求項１６】
初期画像の照明動作タイプに対応する畳み込みニューラルネットワークを決定するように構成された畳み込みニューラルネットワーク取得モジュールと、
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得するように構成された特徴情報取得モジュールと、
前記畳み込みニューラルネットワークによって、前記局所特徴情報および前記大域特徴情報に基づき、前記初期画像の融合特徴情報を取得するように構成された融合特徴情報取得モジュールと、
前記畳み込みニューラルネットワークによって、前記初期画像の輝度成分マップに基づき、最大プーリング結果マップおよび最小プーリング結果マップを取得するように構成されたプーリング結果マップ取得モジュールと、
前記融合特徴情報、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の双方向グリッド行列を取得するように構成された双方向グリッド行列取得モジュールであって、前記双方向グリッド行列は前記初期画像を空間領域（ｓｐａｃｅ）および値域（ｒａｎｇｅ）の二つの次元でサンプリングするものである、双方向グリッド行列取得モジュールと、
前記双方向グリッド行列によって前記初期画像のアフィン変換を行い、前記照明動作タイプに応じて前記初期画像に照明を施した画像である目標画像を得るように構成された目標画像取得モジュールと、を含む、画像照明装置。
【請求項１７】
プログラム命令を記憶するように構成されたメモリと、
前記メモリにおけるプログラム命令を呼び出して実行し、請求項１から１５のいずれか一項に記載の画像照明方法を実行するように構成されたプロセッサと、を含む、電子機器。
【請求項１８】
請求項１から１５のいずれか一項に記載の画像照明方法を実行するためのコンピュータプログラムが記憶されている、読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は２０１８年０７月２７日に出願された、出願番号２０１８１０８４８２８３．３の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は画像処理技術に関し、特に画像照明方法、装置、電子機器および記憶媒体に関する。
【背景技術】
【０００３】
端末機器（例えば携帯電話、タブレット、リストバンドなど）のカメラ画素数の大幅な増加に伴い、端末機器を頻繁に使用して肖像を撮影しかつ理想的な肖像撮影効果を得るために撮影した肖像画像をレタッチするユーザは益々多くなっている。理想的な肖像撮影は高い撮影効果を達成するために高度な照明配置、および顔に加えた適度の照明が必要であるが、大部分の実際の撮影シーンでは理想的な照明配置環境を達成しにくいため、実際に撮影した画像における肖像には通常、顔が暗く、立体感が欠如し、顔における光線が不均一であるなどの問題が存在する。
【０００４】
上記問題を解決するために、関連技術では肖像写真に基づいて肖像の３Ｄモデリングを行い、肖像における照明を調整し、画像をレンダリングし、照明後の画像を取得している。
【０００５】
関連技術における照明手段は顔認識、画像に基づくレンダリング、および映画のポストプロダクションなどの分野において非常に広く応用されている。しかしながら、肖像モデリングは顔認識に大きく影響され、顔認識が不正確である場合、モデリングの誤差も大きくなるため、関連技術における画像照明手段は複雑で、効率が低い。
【発明の概要】
【０００６】
これに鑑みて、本願の実施例は画像照明方法および装置の提供を図る。
【０００７】
第一態様によれば、本願の実施例は、
初期画像の照明動作タイプに対応する畳み込みニューラルネットワークを決定することと、
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得することと、
前記畳み込みニューラルネットワークによって、前記局所特徴情報および前記大域特徴情報に基づき、前記初期画像の融合特徴情報を取得することと、
前記畳み込みニューラルネットワークによって、前記初期画像の輝度成分マップに基づき、最大プーリング結果マップおよび最小プーリング結果マップを取得することと、
前記融合特徴情報、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の双方向グリッド行列を取得することと、
前記双方向グリッド行列によって前記初期画像のアフィン変換を行い、前記照明動作タイプに応じて前記初期画像に照明を施した画像である目標画像を得ることと、を含む画像照明方法を提供する。
【０００８】
深層学習による畳み込みニューラルネットワーク技術を採用し、および畳み込みニューラルネットワークを用いて初期画像の特徴抽出を行い、初期画像の最大プーリング結果マップおよび最小プーリング結果マップに基づいて初期画像の自己適応双方向グリッド行列を取得し、双方向グリッド行列に基づいて初期画像の目標画像を取得することで、より自然な画像照明効果を得る。
【０００９】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得る前記ステップは、
前記双方向グリッド行列、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の輝度成分マップのスライス処理を行い、アフィン変換行列を取得することと、
前記アフィン変換行列に基づいて前記初期画像のアフィン変換を行って前記目標画像を得ることと、を含む。
【００１０】
初期画像の輝度成分マップのスライス処理を行うことで、画像照明アルゴリズムを簡略化し、画像照明速度を向上させ、ハードウェア機器の性能に対する画像照明アルゴリズムの要求を低下させ、画像照明方法を端末機器に配置可能にすることができる。
【００１１】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得る前記ステップは、
前記双方向グリッド行列、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の輝度成分マップのスライス処理を行い、残差行列を得ることと、
前記残差行列および前記初期画像によって前記目標画像を得ることと、を含む。
【００１２】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記残差行列および前記初期画像によって前記目標画像を得る前記ステップは、
前記残差行列と前記初期画像の輝度成分マップの同じ位置での画素点の値を加算し、前記目標画像を取得することを含む。
【００１３】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得する前記ステップは、
前記初期画像および前記初期画像の顔マスクパターンを前記畳み込みニューラルネットワークに入力し、前記初期画像の局所特徴情報および大域特徴情報を取得することを含む。
【００１４】
初期画像および初期画像の顔マスクパターンを入力することで、画像照明後の顔の五官をより立体的にし、顔の細部をより鮮鋭にすることができる。
【００１５】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得する前記ステップは、
前記初期画像を前記畳み込みニューラルネットワークの低レベル特徴抽出層に入力し、前記初期画像の低レベル特徴情報を取得することと、
前記初期画像の低レベル特徴情報を前記畳み込みニューラルネットワークの局所特徴抽出層に入力し、前記初期画像の局所特徴情報を取得することと、
前記初期画像の低レベル特徴情報を前記畳み込みニューラルネットワークの大域特徴抽出層に入力し、前記初期画像の大域特徴情報を取得することと、を含む。
【００１６】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得する前記ステップの前に、前記方法はさらに、
前記初期画像の顔マスクパターンに基づいて前記初期画像の輝度成分マップの顔補正を行い、補正後の画像を得ることを含み、
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得する前記ステップは、
前記畳み込みニューラルネットワークによって、補正後の画像に基づき、前記初期画像の局所特徴情報および大域特徴情報を取得することを含む。
【００１７】
顔マスクパターンに基づいて初期画像を補正することで、画像照明後の顔の五官をより立体的にし、顔の細部をより鮮鋭にすることができる。
【００１８】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得する前記ステップの前に、前記方法はさらに、
前記初期画像の縮小処理を行うことを含む。
【００１９】
本願のいずれか一つの実施例と関連付ければ、前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得る前記ステップの後に、前記方法はさらに、
前記目標画像の拡大処理を行い、前記初期画像のサイズと同じである目標画像を取得することを含む。
【００２０】
縮小後の画像はデータ量がより小さくなり、画像照明の処理速度が向上する。
【００２１】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記双方向グリッド行列に基づいて前記初期画像のアフィン変換を行って目標画像を得る前記ステップの後に、前記方法はさらに、
前記目標画像の肖像分割マップを取得し、前記目標画像に基づいて前記肖像分割マップの高速ガイドフィルタリングを行い、初期重みマップを取得し、そして前記初期画像の顔マスクパターンに基づいて初期スポットライト照明効果重みマップを取得することと、
前記初期スポットライト照明効果重みマップおよび前記初期重みマップに基づき、肖像スポットライト照明効果重みマップを取得することと、
前記肖像スポットライト照明効果重みマップおよび前記目標画像に基づき、スポットライト照明効果を増加させた画像を取得することと、を含む。
【００２２】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記肖像スポットライト照明効果重みマップおよび前記目標画像に基づいてスポットライト照明効果を増加させた画像を取得する前記ステップは、
前記肖像スポットライト照明効果重みマップＷおよび前記目標画像
0006905602.tif 000002
に基づき、下式を採用してスポットライト照明効果を増加させた画像
0006905602.tif 000003
を取得することを含み、
0006905602.tif 000004
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、前記Ｎは前記目標画像の合計行数であり、Ｍは前記目標画像の合計列数である。
【００２３】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記目標画像の肖像分割マップを取得する前記ステップは、
前記目標画像の肖像分割を行い、肖像前景マップを取得することと、
前記目標画像のキーポイント抽出を行い、肖像の顔マップを取得することと、
前記肖像前景マップおよび前記肖像の顔マップに基づいて肖像分割マップを取得することと、を含む。
【００２４】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記肖像前景マップおよび前記肖像の顔マップに基づいて肖像分割マップを取得する前記ステップは、
前記肖像前景マップ
0006905602.tif 000005
における全ての画素点をトラバースし、前記肖像前景マップ
0006905602.tif 000006
における任意の画素点
0006905602.tif 000007
について、前記肖像顔マップ
0006905602.tif 000008
における同じ位置での画素点
0006905602.tif 000009
が肖像部分に属する場合、前記画素点
0006905602.tif 000010
および前記画素点
0006905602.tif 000011
の値がいずれも１であるかどうかを判定し、否であれば、前記肖像前景マップ
0006905602.tif 000012
における画素点
0006905602.tif 000013
の値を０に修正することと、
前記肖像分割マップを得ることと、を含み、
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、前記Ｎは前記目標画像の合計行数であり、Ｍは前記目標画像の合計列数である。
【００２５】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記顔マスクパターンはさらに、顔の鼻背情報、鼻翼情報、鼻先情報、頬情報、こめかみ情報、肌色タイプ情報の少なくとも一つを含む。
【００２６】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記照明動作タイプは輪郭照明、写真館照明、ステージ照明、単色照明、二色照明または多色照明を含む。
【００２７】
本願の実施例の第二態様はさらに、
初期画像の照明動作タイプに対応する畳み込みニューラルネットワークを決定するように構成された畳み込みニューラルネットワーク取得モジュールと、
前記畳み込みニューラルネットワークによって、前記初期画像の局所特徴情報および大域特徴情報を取得するように構成された特徴情報取得モジュールと、
前記畳み込みニューラルネットワークによって、前記局所特徴情報および前記大域特徴情報に基づき、前記初期画像の融合特徴情報を取得するように構成された融合特徴情報取得モジュールと、
前記畳み込みニューラルネットワークによって、前記初期画像の輝度成分マップに基づき、最大プーリング結果マップおよび最小プーリング結果マップを取得するように構成されたプーリング結果マップ取得モジュールと、
前記融合特徴情報、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の双方向グリッド行列を取得するように構成された双方向グリッド行列取得モジュールと、
前記双方向グリッド行列によって前記初期画像のアフィン変換を行い、前記照明動作タイプに応じて前記初期画像に照明を施した画像である目標画像を得るように構成された目標画像取得モジュールと、を含む画像照明装置を提供する。
【００２８】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記目標画像取得モジュールはさらに、
前記双方向グリッド行列、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の輝度成分マップのスライス処理を行い、アフィン変換行列を取得し、
そして前記アフィン変換行列に基づいて前記初期画像のアフィン変換を行って前記目標画像を得るように構成される。
【００２９】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記目標画像取得モジュールはさらに、
前記双方向グリッド行列、前記最大プーリング結果マップおよび前記最小プーリング結果マップに基づき、前記初期画像の輝度成分マップのスライス処理を行い、残差行列を得て、
そして前記残差行列および前記初期画像によって前記目標画像を得るように構成される。
【００３０】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記目標画像取得モジュールはさらに、
前記残差行列と前記初期画像の輝度成分マップの同じ位置での画素点の値を加算し、前記目標画像を取得するように構成される。
【００３１】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記特徴情報取得モジュールはさらに、
前記初期画像および前記初期画像の顔マスクパターンを前記畳み込みニューラルネットワークに入力し、前記初期画像の局所特徴情報および大域特徴情報を取得するように構成される。
【００３２】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記特徴情報取得モジュールは、
前記初期画像を前記畳み込みニューラルネットワークの低レベル特徴抽出層に入力し、前記初期画像の低レベル特徴情報を取得するように構成された低レベル特徴情報取得ユニットと、
前記初期画像の低レベル特徴情報を前記畳み込みニューラルネットワークの局所特徴抽出層に入力し、前記初期画像の局所特徴情報を取得するように構成された局所特徴情報取得ユニットと、
前記初期画像の低レベル特徴情報を前記畳み込みニューラルネットワークの大域特徴抽出層に入力し、前記初期画像の大域特徴情報を取得するように構成された大域特徴情報取得ユニットと、を含む。
【００３３】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記画像照明装置はさらに、
前記初期画像の顔マスクパターンに基づいて前記初期画像の輝度成分マップの顔補正を行い、補正後の画像を得るように構成された補正モジュールを含み、
前記特徴情報取得モジュールはさらに、前記畳み込みニューラルネットワークによって、補正後の画像に基づき、前記初期画像の局所特徴情報および大域特徴情報を取得するように構成される。
【００３４】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記画像照明装置はさらに、
前記初期画像の縮小処理を行うように構成された縮小モジュールを含む。
【００３５】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記画像照明装置はさらに、
前記照明後の画像の拡大処理を行い、前記初期画像のサイズと同じである目標画像を取得するように構成された拡大モジュールを含む。
【００３６】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記画像照明装置はさらに、
前記目標画像の肖像分割マップを取得するように構成された肖像分割マップ取得モジュールと、
前記目標画像に基づいて前記肖像分割マップの高速ガイドフィルタリングを行い、初期重みマップを取得するように構成された初期重みマップ取得モジュールと、
前記初期画像の顔マスクパターンに基づいて初期スポットライト照明効果重みマップを取得するように構成された初期スポットライト照明効果重みマップ取得モジュールと、
前記初期スポットライト照明効果重みマップおよび前記初期重みマップに基づき、肖像スポットライト照明効果重みマップを取得するように構成された肖像スポットライト照明効果重みマップ取得モジュールと、
前記肖像スポットライト照明効果重みマップおよび前記目標画像に基づき、スポットライト照明効果を増加させた画像を取得するように構成されたスポットライト照明効果による照明モジュールと、を含む。
【００３７】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記スポットライト照明効果による照明モジュールはさらに、
前記肖像スポットライト照明効果重みマップＷおよび前記目標画像
0006905602.tif 000014
に基づき、下式を採用してスポットライト照明効果を増加させた画像
0006905602.tif 000015
を取得するように構成され、
0006905602.tif 000016
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、前記Ｎは前記目標画像の合計行数であり、Ｍは前記目標画像の合計列数である。
【００３８】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記肖像分割マップ取得モジュールは、
前記目標画像の肖像分割を行い、肖像前景マップを取得するように構成された肖像前景マップ取得ユニットと、
前記目標画像のキーポイント抽出を行い、肖像の顔マップを取得するように構成された肖像顔マップ取得ユニットと、
前記肖像前景マップおよび前記肖像の顔マップに基づいて肖像分割マップを取得するように構成された肖像分割マップ取得ユニットと、を含む。
【００３９】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記肖像分割マップ取得ユニットはさらに、
前記肖像前景マップ
0006905602.tif 000017
における全ての画素点をトラバースし、前記肖像前景マップ
0006905602.tif 000018
における任意の画素点
0006905602.tif 000019
について、前記肖像顔マップ
0006905602.tif 000020
における同じ位置での画素点
0006905602.tif 000021
が肖像部分に属する場合、前記画素点
0006905602.tif 000022
および前記画素点
0006905602.tif 000023
の値がいずれも１であるかどうかを判定し、否であれば、前記肖像前景マップ
0006905602.tif 000024
における画素点
0006905602.tif 000025
の値を０に修正し、
そして前記肖像分割マップを得るように構成され、
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、前記Ｎは前記目標画像の合計行数であり、Ｍは前記照明後の画像の合計列数である。
【００４０】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記顔マスクパターンはさらに、顔の鼻背情報、鼻翼情報、鼻先情報、頬情報、こめかみ情報、肌色タイプ情報の少なくとも一つを含む。
【００４１】
本願のいずれか一つの実施例と関連付ければ、上記解決手段では、前記照明動作タイプは、輪郭照明、写真館照明、ステージ照明、単色照明、二色照明または多色照明を含む。
【００４２】
本願の実施例の第三態様はさらに、
プログラム命令を記憶するように構成されたメモリと、
前記メモリにおけるプログラム命令を呼び出して実行し、本願の実施例が提供する上記画像照明方法を実行するように構成されたプロセッサと、を含む電子機器を提供する。
【００４３】
本願の実施例の第四態様はさらに、本願の実施例が提供する上記画像照明方法を実行するためのコンピュータプログラムが記憶されている読み取り可能記憶媒体提供する。
【００４４】
本実施例が提供する画像照明方法、装置、電子機器および記憶媒体を使用し、深層学習による畳み込みニューラルネットワーク技術を採用し、および畳み込みニューラルネットワークを用いて初期画像の特徴抽出を行い、初期画像の最大プーリング結果マップおよび最小プーリング結果マップに基づいて初期画像の自己適応双方向グリッド行列を取得し、双方向グリッド行列に基づいて初期画像の目標画像を取得することで、より自然な画像照明効果を得る。
【図面の簡単な説明】
【００４５】
【図１】本願の実施例が提供する画像照明方法のフローチャート１である。
【図２】本願の実施例が提供する画像照明効果を示す図である。
【図３】本願の実施例が提供する顔マスクパターンの模式図である。
【図４】本願の実施例が提供する画像照明方法のフローチャート２である。
【図５】本願の実施例が提供する画像照明方法における画像処理のフローチャートである。
【図６】本願の実施例が提供する画像照明装置の構成模式図である。
【図７】本願の実施例が提供する画像照明装置の構成模式図２である。
【図８】本願の実施例が提供する画像照明装置の構成模式図３である。
【図９】本願の実施例が提供する画像照明装置の構成模式図４である。
【図１０】本願の実施例が提供する画像照明装置の構成模式図５である。
【図１１】本願の実施例が提供する電子機器の構成模式図である。
【発明を実施するための形態】
【００４６】
以下に図面と実施例を関連付けて、本願をさらに詳細に説明する。なお、ここで説明した具体的な実施例は本願を解釈するためのものに過ぎず、本願を限定するものではないことを理解すべきである。
【００４７】
ユーザは通常、携帯型端末機器（例えば携帯電話、タブレット、リストバンドなど）のカメラを使用して集合写真および自撮り写真を撮影する。携帯側端末機器のカメラ画素数の大幅な増加に伴い、端末機器を使用して肖像を撮影し、かつ理想的な肖像撮影効果を得るために肖像を撮影した画像をリタッチするユーザは益々多くなっている。しかしながら、理想的な肖像撮影は高い撮影効果を得るために高度な照明配置、および顔に加えた適度の照明が必要であるが、大部分の実際の撮影シーンでは理想的な照明配置環境を達成しにくいため、実際に撮影した画像における肖像には通常、顔が暗く、立体感が欠如し、顔における光線が不均一であるなどの問題が存在する。
【００４８】
関連技術では、通常、撮影した肖像写真に基づき、肖像の３Ｄモデリングを行い、肖像における照明を調整し、画像をレンダリングし、照明後の画像を取得している。しかし、肖像モデリングは顔認識に大きく影響され、顔認識が不正確である場合、モデリング誤差も大きくなる。そのため、関連技術における画像照明手段は複雑で、効率が低い。
【００４９】
本願の実施例は上記問題を解決するために、画像照明方法、装置、電子機器および記憶媒体を提供し、その照明効果が高い。
【００５０】
図１は本願の実施例が提供する画像照明方法のフローチャートであり、該方法は任意のカメラ付きの端末機器において用いることができ、またコンピュータ、サーバにおいて用いることもでき、該方法の実行主体はカメラを有する端末機器、例えば携帯電話などであってもよい。図１に示すように、画像照明方法は以下のステップを含む。
【００５１】
Ｓ１０１において、初期画像の照明動作タイプに対応する畳み込みニューラルネットワークを決定する。
【００５２】
Ｓ１０２において、畳み込みニューラルネットワークによって、初期画像の局所特徴情報および大域特徴情報を取得する。
【００５３】
例示的に、初期画像はカメラによって撮影された画像であってもよい。
【００５４】
Ｓ１０３において、畳み込みニューラルネットワークによって、局所特徴情報および大域特徴情報に基づき、前記初期画像の融合特徴情報を取得する。
【００５５】
Ｓ１０４において、畳み込みニューラルネットワークによって、初期画像の輝度成分マップに基づき、最大プーリング結果マップおよび最小プーリング結果マップを取得する。
【００５６】
例示的に、Ｓ１０４はＳ１０５の前に実行し、Ｓ１０１〜Ｓ１０３とは実行的に厳密な前後関係を有さない。
【００５７】
Ｓ１０５において、融合特徴情報、最大プーリング結果マップおよび最小プーリング結果マップに基づき、初期画像の双方向グリッド行列を取得する。
【００５８】
例示的に、本願の実施例は訓練された畳み込みニューラルネットワークに初期画像を入力し、初期画像の双方向グリッド行列を得る。
【００５９】
例示的に、本願の実施例が提供する画像照明方法を実行する前に、本願の実施例はさらに、ラベル画像を用いて畳み込みニューラルネットワークを訓練し、訓練された畳み込みニューラルネットワークを得ることを含む。ラベル画像は元肖像画像および照明後の肖像画像を含む。ラベル画像を用いて訓練した畳み込みニューラルネットワークは任意の肖像画像に対する照明を実現できる。
【００６０】
一実施例では、肖像画像に対する照明のタイプは輪郭照明、写真館照明、ステージ照明、単色照明、二色照明または多色照明などを含む。図２は本願の実施例が提供する画像照明効果を示す図である。輪郭照明効果処理がなされた肖像画像は照明がなされていない肖像画像に比べ、顔の五官の立体感がより強い。写真館照明効果処理がなされた肖像画像は照明がなされていない肖像画像に比べ、顔における光線がより十分かつ均一である。異なる照明タイプに対応して、異なるラベル画像を有し、そして異なるラベル画像を用いて畳み込みニューラルネットワークを訓練し、異なる照明タイプに対応する畳み込みニューラルネットワークを得る。初期画像の輪郭照明タイプの照明を行おうとする場合、輪郭照明タイプに対応する畳み込みニューラルネットワークを採用する。初期画像の写真館照明タイプの照明を行おうとする場合、写真館照明タイプに対応する畳み込みニューラルネットワークを採用する。実際の適用では、肖像画像に対する照明タイプはさらに他のタイプを含んでもよい。
【００６１】
一実施例では、さらに、初期画像および初期画像の顔マスクパターンを同時に畳み込みニューラルネットワークに入力してもよい。
【００６２】
例示的に、顔マスクパターンは顔認識アルゴリズムを用いて初期画像の顔認識を行って得られてもよいし、端末機器、例えば携帯電話に付属する顔フレームワークであってもよい。図３は本願の実施例が提供する顔マスクパターンの模式図である。図３の左側に示すように、顔マスクパターンには通常、顔の眉毛、目、鼻、口および顔輪郭などの情報が含まれる。顔マスクパターンおよび初期画像を同時に畳み込みニューラルネットワークに入力することで、顔に対する照明効果を向上可能である。
【００６３】
一実施例では、本願の各実施例における顔マスクパターンはさらに、顔の鼻背情報、鼻翼情報、鼻先情報、頬情報、こめかみ情報、肌色タイプ情報の少なくとも一つを含む。上記情報を含む顔マスクパターンは顔細部のマスクパターンと呼ばれ、図３の右側に示されたとおりである。情報がより詳細な顔マスクパターンを取得することで、異なる肌色のユーザに対する顔照明効果を向上可能である。
【００６４】
可能な一実施例では、Ｓ１０２における初期画像を畳み込みニューラルネットワークの特徴抽出層に入力するステップの前に、先に初期画像の顔細部マスクパターンに基づいて初期画像の輝度成分マップの顔補正を行い、補正後の画像を得てもよい。続いて補正後の画像、または、同時に補正後の画像および顔マスクパターンを畳み込みニューラルネットワークに入力する。
【００６５】
例示的に、任意の照明タイプの畳み込みニューラルネットワークについて、本実施例における畳み込みニューラルネットワークは特徴抽出層、融合層およびプーリング層を含む。
【００６６】
実際の適用では、特徴抽出層は畳み込みニューラルネットワークに入力された画像を畳み込み、通常画像におけるエッジ、曲線などである画像の低レベル特徴、および、それに対して通常画像における図形、文字などである高レベル特徴を抽出するために用いられる。
【００６７】
本実施例をもとに、畳み込みニューラルネットワークの特徴抽出層を詳細に説明する。例示的に、特徴抽出層は低レベル特徴抽出層、および、局所特徴抽出層や大域特徴抽出層を含む高レベル特徴抽出層を含む。それに対して、上記ステップＳ１０２における畳み込みニューラルネットワークによって、初期画像の局所特徴情報および大域特徴情報を取得するステップは以下を含む。
【００６８】
Ｓ１１において、初期画像を畳み込みニューラルネットワークの低レベル特徴抽出層に入力し、初期画像の低レベル特徴情報を取得する。
【００６９】
例示的に、まず初期画像を畳み込みニューラルネットワークの低レベル特徴抽出層に入力し、それにより画像の低レベル特徴情報を取得する。例示的に、低レベル特徴抽出層は８個の畳み込み層を含み、低レベル特徴抽出層によって得られた低レベル特徴情報は、サイズが６４ｘ６４、チャネル数がｃｏｅｆｆ＊ｇｄ＊（２ｎ＿ｃｏｎｖ）の特徴行列である。ここで、ｃｏｅｆｆは予め設定されたパラメータで、例示的に１であってもよく、ｇｄは双方向グリッド（ｂｉｌａｔｅｒａｌ  ｇｒｉｄ）の深さで、例示的に８であってもよく、ｎ＿ｃｏｎｖは畳み込み層数で、例示的に８であってもよい。それに対して、チャネル数は例示的に１＊８＊２８＝５１２であってもよい。
【００７０】
一実施例では、本願の各実施例における畳み込みニューラルネットワークの入力の大きさ、畳み込み層の数、双方向グリッドの大きさおよび深さはいずれも畳み込みニューラルネットワークの性能および効果に対する要求に応じて自在に調整可能である。
【００７１】
例示的に、畳み込みニューラルネットワークの入力、即ち初期画像の大きさは６４ｘ６４〜５１２ｘ５１２の間であってもよく、低レベル特徴抽出畳み込み層の数はｌｏｇ２（ｉｎ＿ｈｗ／ｇ＿ｈｗ）以上である。ここで、ｉｎ＿ｈｗは畳み込みニューラルネットワークの入力画像の辺長で、例えば５１２であり、ｇ＿ｈｗは初期画像の畳み込みニューラルネットワークによって取得された双方向グリッドの辺長で、例えば３２である。畳み込みニューラルネットワーク入力画像のサイズを制御することで、双方向グリッドの大きさを調整可能である。実際の適用では、双方向グリッドの深さは通常１〜１２８の間である。
【００７２】
Ｓ１２において、初期画像の低レベル特徴情報を畳み込みニューラルネットワークの局所特徴抽出層に入力し、初期画像の局所特徴情報を取得する。
【００７３】
Ｓ１３において、初期画像の低レベル特徴情報を畳み込みニューラルネットワークの大域特徴抽出層に入力し、初期画像の大域特徴情報を取得する。
【００７４】
例示的に、初期画像の低レベル特徴情報を抽出してから、初期画像の低レベル特徴情報を畳み込みニューラルネットワークの高レベル特徴抽出層に入力する。実際の適用では、初期画像の低レベル特徴情報を同時に畳み込みニューラルネットワークの局所特徴抽出層および大域特徴抽出層に入力し、それによって初期画像の局所特徴情報および大域特徴情報を取得する。例示的に、初期画像の大域特徴抽出は初期画像の全体的な照明効果の向上に役立ち、抽出した局所特徴は初期画像における顔の局所細部をより鮮鋭にすることに役立つ。
【００７５】
例示的に、初期画像の局所特徴情報および大域特徴情報を抽出してから、初期画像の局所特徴情報および大域特徴情報を畳み込みニューラルネットワークの融合層に入力し、それによって初期画像の双方向グリッド行列を取得する。実際の適用では、双方向グリッド行列は画像を空間領域（ｓｐａｃｅ）および値域（ｒａｎｇｅ）の二つの次元でサンプリングする。双方向グリッド行列では、グリッド毎に一つの画像変換演算子が提供され、その原理は空間領域と値域が近い領域内で、類似する入力画像の輝度が演算子によって変換されても類似するものであるはずということであり、従って各グリッドにおける動作演算子は入力／出力の近似曲線、即ちアフィンモデルと見なしてもよい。グリッドは画像の色を変換するために用いられ、それぞれのグリッドは異なる機能、例えば、画像の青色をより濃くし、青空の表示効果を向上させる機能、芝生の緑色をより濃くする機能を有する。例示的に、双方向グリッドは１６ｘ１６個のグリッドを含んでもよく、各グリッドは８個のチャネルを含んでもよく、画像の階調値は０〜２５５であってもよく、各チャネルは例示的に３２個の色階調を含んでもよく、例えば一つのチャネルでグリッドの階調値範囲は０〜３１で、もう一つのチャネルでグリッドの階調値範囲は３２〜６３である。画像の色の値の範囲は比較的集中されている可能性、例えば顔の色度範囲は０〜２５５に均一に分布しない可能性を考慮する上で、本実施例では各チャネルの色階調範囲を改めて限定する。
【００７６】
例示的に、初期画像の最大プーリング結果マップおよび最小プーリング結果マップを参照しながら、初期画像の双方向グリッド行列を取得する。ここで、最大プーリング結果マップは各サンプリング領域内の最大値を示すためのものであり、最小プーリング結果マップは各サンプリング領域内の最小値を示すためのものである。初期画像の最大プーリング結果マップおよび最小プーリング結果マップに基づいて取得した双方向グリッド行列における各グリッドの８個のチャネルの色階調範囲は初期画像における値域範囲を適応的に反映し、さらに画像照明効果を向上させることができる。
【００７７】
例示的に、初期画像の輝度成分マップを畳み込みニューラルネットワークのプーリング層に入力し、輝度成分マップの最大プーリングおよび最小プーリングを同時に行い、初期画像の最大プーリング結果マップおよび最小プーリング結果マップを取得する。
【００７８】
一実施例では、畳み込みニューラルネットワークの計算データ量を低減するために、初期画像を畳み込みニューラルネットワークに入力する前に、まずラプラシアンピラミッドアルゴリズムを用いて初期画像の縮小処理を行ってもよい。縮小後の画像はデータ量がより小さくなり、画像照明の処理速度が向上する。
【００７９】
Ｓ１０６において、双方向グリッド行列に基づいて初期画像のアフィン変換を行い、照明動作タイプに応じて初期画像に照明を施した画像である目標画像を得る。
【００８０】
可能な一実施形態では、双方向グリッド行列に基づいて初期画像のアフィン変換を行って目標画像を得るステップは、以下のステップを含む。
【００８１】
Ｓ２１において、双方向グリッド行列、最大プーリング結果マップおよび最小プーリング結果マップに基づき、初期画像の輝度成分マップのスライス処理を行い、アフィン変換行列を取得する。
【００８２】
例示的に、初期画像の双方向グリッド行列を取得してから、初期画像の輝度成分マップを基準マップ（ｇｕｉｄｅ）とし、輝度成分マップの画素を空間領域および値域でサンプリングし、続いてそのグリッドにおける位置を見出し、双方向グリッドの差分処理を行い、８個のチャネルを含むアフィン変換行列を得る。
【００８３】
一実施例では、初期画像の非線形アフィン変換、および畳み込みを行った単一チャネルマップをｇｕｉｄｅとして用いてもよい。
【００８４】
Ｓ２２において、アフィン変換行列に基づいて初期画像のアフィン変換を行い、目標画像を取得する。
【００８５】
例示的に、アフィン変換行列を取得してから、アフィン変換行列に基づいて初期画像のアフィン変換を行えば、目標画像を取得できる。
【００８６】
別の可能な実施形態では、畳み込みニューラルネットワークの深さ、幅および畳み込み層の数はいずれも上記実施例における畳み込みニューラルネットワークの深さ、幅および畳み込み層の数より小さい。初期画像の双方向グリッド行列の大きさは例示的に１６ｘ１６であってもよく、深さは４である。
【００８７】
この場合、初期画像を畳み込みニューラルネットワークに入力するステップは、
初期画像の輝度成分マップを畳み込みニューラルネットワークに入力するようにしてもよい。
【００８８】
初期画像の輝度成分マップのみを畳み込みニューラルネットワークに入力することで、畳み込みニューラルネットワークの特徴抽出速度を向上させる。
【００８９】
それに対して、双方向グリッド行列に基づいて初期画像のアフィン変換を行って目標画像を得るステップは、以下を含む。
【００９０】
Ｓ３１において、双方向グリッド行列、最大プーリング結果マップおよび最小プーリング結果マップに基づき、初期画像の輝度成分マップのスライス処理を行い、単一チャネルの残差行列を得る。
【００９１】
Ｓ３２において、残差行列および初期画像に基づいて目標画像を得る。
【００９２】
一実施例では、残差行列および初期画像に基づき、目標画像を取得するステップは、
残差行列と初期画像の輝度成分マップの同じ位置での画素点の値を加算し、目標画像を取得することを含む。
【００９３】
このような実施形態では、画像照明アルゴリズムは簡単で、計算量が低く、画像を撮影すると同時に、画像のリアルタイムな照明を実現でき、それによりユーザは表示画面から画像照明効果をリアルタイムに確認できる。
【００９４】
一実施例では、初期画像を畳み込みニューラルネットワークに入力する前に、まずラプラシアンピラミッドアルゴリズムを用いて初期画像の縮小処理を行ったとすれば、それに対して、取得した目標画像は縮小後の照明後の画像となり、本願の実施例が提供する画像照明方法はさらに、
ラプラシアンピラミッドアルゴリズムを用いて目標画像の拡大処理を行い、初期画像のサイズと同じである照明後の画像を取得することを含むものとする。
【００９５】
本願の実施例が提供する画像照明方法は、初期画像の照明動作タイプに対応する畳み込みニューラルネットワークを決定することと、畳み込みニューラルネットワークによって、初期画像の局所特徴情報および大域特徴情報を取得することと、畳み込みニューラルネットワークによって、局所特徴情報および大域特徴情報に基づき、初期画像の融合特徴情報を取得することと、畳み込みニューラルネットワークによって、初期画像の輝度成分マップに基づき、最大プーリング結果マップおよび最小プーリング結果マップを取得することと、融合特徴情報、最大プーリング結果マップおよび最小プーリング結果マップに基づき、初期画像の双方向グリッド行列を取得することと、双方向グリッド行列によって初期画像のアフィン変換を行い、照明動作タイプに応じて初期画像に照明を施した画像である目標画像を得ることと、を含む。本実施例が提供する画像照明方法は、深層学習による畳み込みニューラルネットワーク技術を採用し、および畳み込みニューラルネットワークを用いて初期画像の特徴抽出を行い、初期画像の最大プーリング結果マップおよび最小プーリング結果マップに基づいて初期画像の自己適応双方向グリッド行列を取得し、双方向グリッド行列に基づいて初期画像の目標画像を取得することで、より自然な画像照明効果を得る。
【００９６】
上記実施例をもとに、本願の実施例はさらに画像照明方法を提供する。図４は本願の実施例が提供する画像照明方法のフローチャートである。本実施例は初期画像のスポットライト照明効果（即ち図２に示す照明効果図のうちのステージ照明）を向上させる画像照明方法を提供する。図４に示すように、本実施例が提供する画像照明方法は、初期画像について、図１に示す実施例におけるＳ１０１からＳ１０６を実行し、目標画像を取得するステップの後に、さらに、
Ｓ４０１において、目標画像の肖像分割マップを取得し、目標画像に基づいて肖像分割マップの高速ガイドフィルタリングを行い、初期重みマップを取得し、そして初期画像の顔マスクパターンに基づいて初期スポットライト照明効果重みマップを取得することを含む。
【００９７】
例示的に、ここの照明動作タイプは輪郭照明、写真館照明、単色照明、二色照明または多色照明を含む。
【００９８】
本願の実施例の別の一態様はさらに画像照明方法を提供でき、任意の肖像図について、図４に示す画像照明方法を行い、それによりスポットライト照明効果を増加させた照明画像を取得することができる。
【００９９】
例示的に、初期画像の目標画像を取得してから、照明後の画像の肖像分割を行い、肖像分割マップを取得する。例示的に、輪郭照明または写真館照明を有する照明後の画像を用いてもよい。目標画像における肖像は細部がより鮮鋭で、特徴がより明確で、元の初期画像に比べて容易に肖像分割ができる。
【０１００】
一実施例では、目標画像の肖像分割マップを取得するステップは、以下を含む。
【０１０１】
Ｓ４１において、目標画像の肖像分割を行い、肖像前景マップを取得する。
【０１０２】
例示的に、図５は本願の実施例が提供する画像照明方法における画像処理のフローチャートであり、図５に示すように、照明後の画像Ｓについて、肖像分割技術を用いて、照明後の画像Ｓの肖像前景マップ
0006905602.tif 000026
を取得し、肖像前景マップ
0006905602.tif 000027
において人体に属する部分の値は第一の値とし、非人体、例えば背景に属する部分の値は第二の値とする。実際の適用では、第一の値は１であってもよく、第二の値は０であってもよい。
【０１０３】
一実施例では、さらに、目標画像または初期画像の深さ情報に基づき、肖像前景マップを取得してもよい。実際の適用では、さらに、目標画像または初期画像の深さ情報に基づき、肖像分割アルゴリズムを用いて肖像前景マップを取得してもよい。
【０１０４】
Ｓ４２において、目標画像についてキーポイント抽出技術を用いて肖像顔マップを取得する。
【０１０５】
例示的に、従来の肖像分割技術に顔分割が不正確であるという問題が存在し得ることを考慮する上で、キーポイント抽出技術を用いて目標画像Ｓの肖像顔マップを取得する。一実施例では、肖像顔マップは図１に示す実施例における顔マスクパターン
0006905602.tif 000028
であってもよい。顔マスクパターン
0006905602.tif 000029
において顔に属する部分の値は第三の値とし、顔に属しない部分の値は第四の値とする。実際の適用では、第三の値は１であってもよく、第四の値は０であってもよい。
【０１０６】
一実施例では、Ｓ４１およびＳ４２は同時に実行してもよいし、前後に実行してもよく、厳密な前後関係を有さない。
【０１０７】
Ｓ４３において、肖像前景マップおよび肖像顔マップに基づいて肖像分割マップを取得する。
【０１０８】
例示的に、肖像前景マップ
0006905602.tif 000030
および肖像顔マップ
0006905602.tif 000031
を取得してから、肖像前景マップ
0006905602.tif 000032
および肖像顔マップ
0006905602.tif 000033
に基づいて肖像分割マップを取得する。
【０１０９】
例示的に、肖像前景マップ
0006905602.tif 000034
において顔の範囲が十分に正確でなくおよび肖像顔マップ
0006905602.tif 000035
において人体の他の部分の情報が欠如することを考慮する上で、肖像前景マップ
0006905602.tif 000036
と肖像顔マップ
0006905602.tif 000037
を結合し、正確な肖像分割マップを取得してもよい。
【０１１０】
一実施例では、肖像分割マップを取得するプロセスは、
肖像前景マップ
0006905602.tif 000038
における全ての画素点をトラバースし、肖像前景マップ
0006905602.tif 000039
における任意の画素点
0006905602.tif 000040
について、肖像顔マップ
0006905602.tif 000041
における同じ位置での画素点
0006905602.tif 000042
が肖像部分に属する場合、画素点
0006905602.tif 000043
および画素点
0006905602.tif 000044
の値がいずれも１であるかどうかを判定し、否であれば、肖像前景マップ
0006905602.tif 000045
における画素点
0006905602.tif 000046
の値を０に修正することと、
肖像分割マップを得ることと、を含み、
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、Ｎは目標画像の合計行数であり、Ｍは目標画像の合計列数である。
【０１１１】
例示的に、肖像分割マップにおいて値が１とした画素点は人体に属し、値が０とした画素点は背景領域に属する。
【０１１２】
例示的に、初期画像にスポットライト照明効果を追加する場合、人体部分に強い照明を当て、かつ背景部分の輝度を低下させる必要がある。同時に、顔部分についても顔の高輝度領域および低輝度領域に基づいて異なる強度の照明効果をそれぞれ追加する必要がある。
【０１１３】
実際の適用では、初期画像の顔マスクパターンに基づいてスポットライト照明効果重みマップＷ１を取得してもよい。例示的に、スポットライト照明効果重みマップＷ１における各画素点の値の範囲は［０，１］とし、各画素点の値は初期画像における同じ位置での画素点の補正照明強度を表す。例示的に、スポットライト照明効果重みマップＷ１は通常ガウシアンぼかし中実楕円マップである。
【０１１４】
一実施例では、目標画像の肖像分割マップを取得してから、目標画像をガイド画像（ｇｕｉｄｅ）とし、肖像分割マップの高速ガイドフィルタリングを行い、そのエッジが目標画像における肖像のエッジにより適合する初期重みマップＷ２を得る。
【０１１５】
Ｓ４０２において、初期スポットライト照明効果重みマップＷ１および初期重みマップＷ２に基づき、肖像スポットライト照明効果重みマップＷを取得する。
【０１１６】
例示的に、初期スポットライト照明効果重みマップＷ１と初期重みマップＷ２の同じ位置での画素点の値を乗算し、肖像スポットライト照明効果重みマップにおける各画素点の値を得てもよい。
【０１１７】
Ｓ４０３において、肖像スポットライト照明効果重みマップおよび目標画像に基づき、スポットライト照明効果を増加させた画像を取得する。
【０１１８】
例示的に、肖像スポットライト照明効果重みマップに基づいて目標画像の照明を行い、目標画像をスポットライト照明効果が追加されたようにし、それによりスポットライト照明効果を増加させた画像を得る。
【０１１９】
一実施例では、スポットライト照明効果を増加させるプロセスは、
肖像スポットライト照明効果重みマップＷおよび目標画像
0006905602.tif 000047
に基づき、下式１を採用してスポットライト照明効果を増加させた画像
0006905602.tif 000048
を取得することを含み、
0006905602.tif 000049
式１
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、前記Ｎは目標画像の合計行数であり、Ｍは目標画像の合計列数である。
【０１２０】
例示的に、目標画像
0006905602.tif 000050
は、通常、それぞれ［：，：，１］、［：，：，２］、［：，：，３］で表すことができる三つの成分画像を含み、例えば画像フォーマットはＲＧＢフォーマットである場合、画像
0006905602.tif 000051
の成分画像［：，：，１］、［：，：，２］、［：，：，３］は画像
0006905602.tif 000052
の赤色成分画像、緑色成分画像および青色成分図をそれぞれ表すことができる。一実施例では、画像
0006905602.tif 000053
のフォーマットはＹｃｂＣｒなどであってもよい。
【０１２１】
本願の実施例が提供する画像照明方法は、目標画像の肖像分割マップを取得し、初期画像の顔マスクパターンに基づいて初期スポットライト照明効果重みマップを取得し、そして初期スポットライト照明効果重みマップおよび肖像分割マップに基づき、肖像スポットライト照明効果重みマップを取得することと、肖像スポットライト照明効果重みマップおよび目標画像に基づき、スポットライト照明効果を増加させた画像を取得することと、を含む。肖像スポットライト照明効果重みマップを取得し、肖像スポットライト照明効果重みマップに基づいて目標画像の照明を行い、スポットライト照明効果を増加させた画像を取得することで、スポットライト照明効果の照明効果を向上可能である。
【０１２２】
本願の実施例はさらに、上記図１から図５の実施例における画像照明方法を実行するように構成され、同じまたは類似する技術的特徴および技術的効果を有する画像照明装置を提供する。
【０１２３】
図６は本願の実施例が提供する画像照明装置の構成模式図である。図６に示すように、画像照明装置は、
初期画像の照明動作タイプに対応する畳み込みニューラルネットワークを決定するように構成された畳み込みニューラルネットワーク取得モジュール６０１と、
畳み込みニューラルネットワークによって、初期画像の局所特徴情報および大域特徴情報を取得するように構成された特徴情報取得モジュール６０２と、
畳み込みニューラルネットワークによって、局所特徴情報および大域特徴情報に基づき、初期画像の融合特徴情報を取得するように構成された融合特徴情報取得モジュール６０３と、
畳み込みニューラルネットワークによって、初期画像の輝度成分マップに基づき、最大プーリング結果マップおよび最小プーリング結果マップを取得するように構成されたプーリング結果マップ取得モジュール６０４と、
融合特徴情報、最大プーリング結果マップおよび最小プーリング結果マップに基づき、初期画像の双方向グリッド行列を取得するように構成された双方向グリッド行列取得モジュール６０５と、
双方向グリッド行列によって初期画像のアフィン変換を行い、照明動作タイプに応じて初期画像に照明を施した画像である目標画像を得るように構成された目標画像取得モジュール６０６と、を含む。
【０１２４】
一実施例では、目標画像取得モジュール６０６はさらに、
双方向グリッド行列、最大プーリング結果マップおよび最小プーリング結果マップに基づき、初期画像の輝度成分マップのスライス処理を行い、アフィン変換行列を取得し、
そしてアフィン変換行列に基づいて初期画像のアフィン変換を行って目標画像を得るように構成される。
【０１２５】
一実施例では、特徴情報取得モジュール６０２はさらに、
初期画像および初期画像の顔マスクパターンを畳み込みニューラルネットワークに入力し、初期画像の局所特徴情報および大域特徴情報を取得するように構成される。
【０１２６】
例示的に、図６に示す実施例をもとに、本願の実施例はさらに画像照明装置を提供する。図７は本願の実施例が提供する画像照明装置の構成模式図である。図７に示すように、画像照明装置内の特徴情報取得モジュール６０２は、
初期画像を畳み込みニューラルネットワークの低レベル特徴抽出層に入力し、初期画像の低レベル特徴情報を取得するように構成された低レベル特徴情報取得ユニット６０２１と、
初期画像の低レベル特徴情報を畳み込みニューラルネットワークの局所特徴抽出層に入力し、初期画像の局所特徴情報を取得するように構成された局所特徴情報取得ユニット６０２２と、
初期画像の低レベル特徴情報を畳み込みニューラルネットワークの大域特徴抽出層に入力し、初期画像の大域特徴情報を取得するように構成された大域特徴情報取得ユニット６０２３と、を含む。
【０１２７】
例示的に、図６または図７に示す実施例をもとに、本願の実施例はさらに画像照明装置を提供する。図８は本願の実施例が提供する画像照明装置の構成模式図である。図８に示すように、画像照明装置はさらに、
初期画像の顔マスクパターンに基づいて初期画像の輝度成分マップの顔補正を行い、補正後の画像を得るように構成された補正モジュール６００と、
さらに畳み込みニューラルネットワークによって、補正後の画像に基づき、初期画像の局所特徴情報および大域特徴情報を取得するように構成された特徴情報取得モジュール６０２と、を含む。
【０１２８】
一実施例では、図８に示すように、画像照明装置はさらに、
初期画像の縮小処理を行うように構成された縮小モジュール６０７を含む。
【０１２９】
一実施例では、図８に示すように、画像照明装置はさらに、
目標画像の拡大処理を行い、初期画像のサイズと同じである目標画像を取得するように構成された拡大モジュール６０８を含む。
【０１３０】
例示的に、図６から図８のいずれか一つの実施例をもとに、本願の実施例はさらに画像照明装置を提供する。図９は本願の実施例が提供する画像照明装置の構成模式図である。図９に示すように、画像照明装置はさらに、
目標画像の肖像分割マップを取得するように構成された肖像分割マップ取得モジュール９０１と、
目標画像に基づいて肖像分割マップの高速ガイドフィルタリングを行い、初期重みマップを取得するように構成された初期重みマップ取得モジュール９０２と、
初期画像の顔マスクパターンに基づいて初期スポットライト照明効果重みマップを取得するように構成された初期スポットライト照明効果重みマップ取得モジュール９０３と、
初期スポットライト照明効果重みマップおよび初期重みマップに基づき、肖像スポットライト照明効果重みマップを取得するように構成された肖像スポットライト照明効果重みマップ取得モジュール９０４と、
肖像スポットライト照明効果重みマップおよび目標画像に基づき、スポットライト照明効果を増加させた画像を取得するように構成されたスポットライト照明効果による照明モジュール９０５と、を含む。
【０１３１】
一実施例では、スポットライト照明効果による照明モジュール９０５はさらに、
肖像スポットライト照明効果重みマップＷおよび目標画像
0006905602.tif 000054
に基づき、下式を採用してスポットライト照明効果を増加させた画像
0006905602.tif 000055
を取得するように構成され、
0006905602.tif 000056
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、Ｎは目標画像の合計行数であり、Ｍは目標画像の合計列数である。
【０１３２】
例示的に、図９に示す実施例をもとに、本願の実施例はさらに画像照明装置を提供する。図１０は本願の実施例が提供する画像照明装置の構成模式図である。図１０に示すように、画像照明装置内の肖像分割マップ取得モジュール９０１は、
目標画像の肖像分割を行い、肖像前景マップを取得するように構成された肖像前景マップ取得ユニット１１と、
目標画像のキーポイント抽出を行い、肖像顔マップを取得するように構成された肖像顔マップ取得ユニット１２と、
肖像前景マップおよび肖像顔マップに基づいて肖像分割マップを取得するように構成された肖像分割マップ取得ユニット１３と、を含む。
【０１３３】
一実施例では、肖像分割マップ取得ユニット１３はさらに、
肖像前景マップ
0006905602.tif 000057
における全ての画素点をトラバースし、肖像前景マップ
0006905602.tif 000058
における任意の画素点
0006905602.tif 000059
について、肖像顔マップ
0006905602.tif 000060
における同じ位置での画素点
0006905602.tif 000061
が肖像部分に属する場合、画素点
0006905602.tif 000062
および画素点
0006905602.tif 000063
の値がいずれも１であるかどうかを判定し、否であれば、肖像前景マップ
0006905602.tif 000064
における画素点
0006905602.tif 000065
の値を０に修正し、
そして肖像分割マップを得るように構成され、
ここで、ｉの値の範囲は［０，Ｎ−１］であり、ｊの値の範囲は［０，Ｍ−１］であり、ＭおよびＮの値は１よりも大きい整数であり、Ｎは目標画像の合計行数であり、Ｍは目標画像の合計列数である。
【０１３４】
一実施例では、顔マスクパターンはさらに、顔の鼻背情報、鼻翼情報、鼻先情報、頬情報、こめかみ情報、肌色タイプ情報の少なくとも一つを含む。
【０１３５】
一実施例では、照明動作タイプは輪郭照明、写真館照明、ステージ照明、単色照明、二色照明または多色照明を含む。
【０１３６】
一実施例では、目標画像取得モジュール６０６はさらに、
双方向グリッド行列、最大プーリング結果マップおよび最小プーリング結果マップに基づき、初期画像の輝度成分マップのスライス処理を行い、残差行列を得て、
そして残差行列および初期画像に基づいて目標画像を得るように構成される。
【０１３７】
一実施例では、目標画像取得モジュール６０６はさらに、
残差行列と初期画像の輝度成分マップの同じ位置での画素点の値を加算し、目標画像を取得するように構成される。
【０１３８】
本願の実施例の別の態様はさらに電子機器を提供し、図１１は本願の実施例が提供する電子機器の構成模式図であり、図１１に示すように、該電子機器は、
プログラム命令を記憶するように構成されたメモリ１１０１と、
メモリ内のプログラム命令を呼び出して実行し、上記図１から図５に示す実施例における方法のステップを実行するように構成されたプロセッサ１１０２と、を含む。
【０１３９】
本願の実施例の別の態様はさらに、上記図１から図５に示す実施例における方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能記憶媒体を提供する。
【０１４０】
本実施例における装置と前記実施例における方法は同一発明思想に基づく二つの態様であり、以上に方法の実施プロセスを詳細に説明したため、当業者は前記説明によって本実施におけるシステムの構造および実施プロセスを明確に理解でき、明細書を簡潔にするために、ここでは説明を省略する。
【０１４１】
本願が提供するいくつかの実施例では、開示されたシステム、装置および方法は、他の形態で実現できることを理解すべきである。例えば、以上に記載の装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した互いの結合、または直接結合、または通信接続は、いくつかのインタフェース、装置またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。
【０１４２】
本願の明細書および特許請求の範囲ならびに上記図面における用語「第一」、「第二」、「第三」、「第四」などは類似する対象を区別するためのものであり、特定の順序または優先順位を表すものではない。このように、使用されるデータは場合によって互いに置き換えることができ、それによってここで説明した実施例はここで図示または記述した内容以外の順序で実施できることを理解すべきである。また、用語「含む」および「有する」ならびにそれらのあらゆる変形は、非排他的包含を含むように意図され、例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品もしくは機器は明示されたステップまたはユニットのみならず、明示されていないまたはこれらのプロセス、方法、製品もしくは機器に固有の他のステップまたはユニットを含むこともできる。
【０１４３】
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラム命令によって関連ハードウェアに命令を出して完了させることができることを理解すべきである。前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能である。該プログラムは実行時、上記各方法の実施例のステップを実行する。
【０１４４】
最後に、説明すべきは、以上の各実施例は本願の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前記各実施例を参照しながら本願を詳細に説明したが、当業者であれば、前記各実施例に記載の技術的解決手段に対する修正、またはその一部もしくは全ての技術的特徴に対する置換が可能であることは、当然理解されるものであり、これらの修正または置換は、該当する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではないということである。
【図１】
0006905602.tif 000078
【図２】
0006905602.tif 000079
【図３】
0006905602.tif 000080
【図４】
0006905602.tif 000081
【図５】
0006905602.tif 000082
【図６】
0006905602.tif 000083
【図７】
0006905602.tif 000084
【図８】
0006905602.tif 000085
【図９】
0006905602.tif 000086
【図１０】
0006905602.tif 000087
【図１１】
0006905602.tif 000088