(57)【特許請求の範囲】
【請求項１】
画像処理装置が処理対象画像中の顔肌色領域を取得することと、
前記画像処理装置が前記処理対象画像をフィルタリングし、平滑化画像を取得することであって、前記平滑化画像はフィルタリングによってノイズを除去して得られた画像である、ことと、
前記画像処理装置が前記処理対象画像の明るさのチャンネルでの全ての画素値から対応的に前記平滑化画像の明るさのチャンネルでの対応位置の画素値を差し引き、高周波画像を取得することと、
前記画像処理装置が予設の第１の重ね合わせ強度に基づいて、前記高周波画像と顔肌色マスクを要素乗算し、顔肌色高周波画像を取得することと、
前記画像処理装置が前記処理対象画像の明るさチャンネル信号に、前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得することと、を含む画像処理方法。
【請求項２】
前記画像処理装置が前記処理対象画像中の顔肌色領域を取得することは、前記画像処理装置がＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得することを含み、前記ＹＣｒＣｂ最適化カラービデオ信号空間は、明るさチャンネル、クロミナンスチャンネル、および彩度チャンネルを含み、
前記画像処理装置が前記処理対象画像をフィルタリングすることは、前記画像処理装置が前記処理対象画像を明るさチャンネルでフィルタリングすることを含む請求項１に記載の方法。
【請求項３】
前記画像処理装置が前記ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得することは、
前記画像処理装置が処理対象画像の前記最適化カラービデオ信号空間でのクロミナンス値および彩度値に基づいて前記処理対象画像中の顔肌色領域を決定することと、
前記画像処理装置がニューラルネットワークを利用して前記処理対象画像の顔キーポイントを取得し、前記顔キーポイントに基づいて前記処理対象画像中の顔肌色領域を決定することと、を含む請求項２に記載の方法。
【請求項４】
前記画像処理装置が前記処理対象画像を明るさチャンネルでフィルタリングすることは、前記画像処理装置がフィルタに基づいて前記処理対象画像の明るさチャンネルでの全ての画素値をブロックフィルタリングすることを含む請求項２または３に記載の方法。
【請求項５】
前記画像処理装置が前記処理対象画像の明るさチャンネル信号を前記顔肌色高周波画像の明るさチャンネル信号に重ね合わせる前に、
前記画像処理装置がＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて前記処理対象画像の明るさチャンネル信号を取得することと、
前記画像処理装置がＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて前記顔肌色高周波画像の明るさチャンネル信号を取得することと、を含む請求項２〜４のいずれか１項に記載の方法。
【請求項６】
前記画像処理装置が最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得する前、処理対象画像を最適化カラービデオ信号空間に変換することを更に含む請求項２〜５のいずれか１項に記載の方法。
【請求項７】
前記画像処理装置が前記第１の画像をＲＧＢ３原色空間に変換し、前記ＲＧＢ３原色空間に基づいて前記第１の画像中の色成分を調整することと、
前記画像処理装置が色成分が調整された第１の画像をＨＳＬ色相彩度明るさ空間に変換し、前記ＨＳＬ色相彩度明るさ空間に基づいて前記色成分が調整された第１の画像の明るさ値を保持し、第２の画像を取得することと、を更に含む請求項１〜６のいずれか１項に記載の方法。
【請求項８】
前記画像処理装置が前記ＲＧＢ３原色空間に基づいて前記第１の画像中の色成分を調整することは、前記画像処理装置が前記ＲＧＢ３原色空間に基づいて前記第１の画像中の青成分及びマゼンタ成分を増やし、黄色成分を低減することを含む請求項７に記載の方法。
【請求項９】
前記画像処理装置が最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて前記第１の画像中の顔領域上のシャドー領域を取得することと、
前記画像処理装置が前記シャドー領域中の明るさ値および赤色成分値を増やし、第３の画像を取得することと、を更に含む請求項１〜６のいずれか１項に記載の方法。
【請求項１０】
前記画像処理装置が前記シャドー領域中の明るさ値を増やすことは、
前記画像処理装置が前記シャドー領域の明るさチャンネルでの全ての画素値と前記第１の処理対象画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第１の明るさ重ね合わせマップを取得することと、
前記画像処理装置が前記第１の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１の明るさのドット積を取得することと、
前記画像処理装置が前記第１の明るさのドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項９に記載の方法。
【請求項１１】
前記画像処理装置が前記シャドー領域中の赤色成分値を増やすことは、
前記画像処理装置が前記シャドー領域のクロミナンスチャンネルでの全ての画素値と前記第１の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第１のクロミナンス重ね合わせマップを取得することと、
前記画像処理装置が前記第１のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１のクロミナンスドット積を取得することと、
前記画像処理装置が前記第１のクロミナンスドット積と前記第１の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせることと、を含む請求項９または１０に記載の方法。
【請求項１２】
前記画像処理装置が前記第２の画像を最適化カラービデオ信号空間に変換し、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて前記第２の画像中の顔領域上のシャドー領域マスクを取得することと、
前記画像処理装置が前記シャドー領域マスク中の明るさ値および赤色成分値を増やし、第４の画像を取得することと、を更に含む請求項７または８に記載の方法。
【請求項１３】
前記画像処理装置が前記シャドー領域マスク中の明るさ値を増やすことは、
前記画像処理装置が前記シャドー領域マスクの明るさチャンネルでの全ての画素値と前記第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第２の明るさ重ね合わせマップを取得することと、
前記画像処理装置が前記第２の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２の明るさのドット積を取得することと、
前記画像処理装置が前記第２の明るさのドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１２に記載の方法。
【請求項１４】
前記画像処理装置が前記シャドー領域マスク中の赤色成分値を増やすことは、
前記画像処理装置が前記シャドー領域マスクのクロミナンスチャンネルでの全ての画素値と前記第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第２のクロミナンス重ね合わせマップを取得することと、
前記画像処理装置が前記第２のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２のクロミナンスドット積を取得することと、
前記画像処理装置が前記第２のクロミナンスドット積と前記第２の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１２または１３に記載の方法。
【請求項１５】
前記画像処理装置が最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から前記第１の画像、第３の画像または第４の画像中の顔領域上の唇領域を取得することと、
前記画像処理装置が前記唇領域中の明るさ値および赤色成分値を増やし、第５の画像、第７の画像または第８の画像を取得することと、を更に含む請求項１〜６、９〜１４のいずれか１項に記載の方法。
【請求項１６】
前記画像処理装置が前記唇領域中の明るさ値を増やすことは、
前記画像処理装置が前記唇領域の明るさチャンネルでの全ての画素値と前記第１の画像、第３の画像または第４の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第３の明るさ重ね合わせマップ、第５の明るさ重ね合わせマップまたは第６の明るさ重ね合わせマップを取得することと、
前記画像処理装置が前記第３の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
前記画像処理装置が前記第５の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第３の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
前記画像処理装置が前記第６の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第４の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１５に記載の方法。
【請求項１７】
前記画像処理装置が前記唇領域中の赤色成分値を増やすことは、
前記画像処理装置が前記唇領域のクロミナンスチャンネルでの全ての画素値と前記第１の画像、第３の画像または第４の画像のクロミナンスチャンネルでの重ね合わせ値に対してドット積操作を行い、第３のクロミナンス重ね合わせマップ、第５のクロミナンス重ね合わせマップまたは第６のクロミナンス重ね合わせマップを取得することと、
前記画像処理装置が前記第３のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
前記画像処理装置が前記第５のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第３の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
前記画像処理装置が前記第６のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第４の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１５または１６に記載の方法。
【請求項１８】
前記画像処理装置が前記第２の画像を最適化カラービデオ信号空間に変換し、最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から前記第２の画像中の顔領域上の唇領域を取得することと、
前記画像処理装置が前記唇領域中の明るさ値および赤色成分値を増やし、第６の画像を取得することと、を更に含む請求項７または８、１２〜１４のいずれか１項に記載の方法。
【請求項１９】
前記画像処理装置が前記唇領域中の明るさ値を増やすことは、
前記画像処理装置が前記唇領域の明るさチャンネルでの全ての画素値と前記第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第４の明るさ重ね合わせマップを取得することと、前記画像処理装置が前記第４の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１８に記載の方法。
【請求項２０】
前記画像処理装置が前記唇領域中の赤色成分値を増やすことは、前記画像処理装置が前記唇領域のクロミナンスチャンネルでの全ての画素値と前記第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第４のクロミナンス重ね合わせマップを取得することと、前記画像処理装置が前記第４のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１８または１９に記載の方法。
【請求項２１】
画像処理装置であって、
前記画像処理装置が請求項１〜２０のいずれか１項に記載の画像処理方法を実行する画像処理装置。
【請求項２２】
請求項２１に記載の画像処理装置を含むプロセッサーを備える電子デバイス。
【請求項２３】
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信し前記実行可能コマンドを実行することによって請求項１〜２０のいずれか１項に記載の画像処理方法の操作を実現するためのプロセッサーと、を含む電子デバイス。
【請求項２４】
コンピュータに請求項１〜２０のいずれか１項に記載の画像処理方法を実行させるためのコンピュータ可読コマンドを記憶したコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１７年９月３０日に中国特許局に提出された、出願番号ＣＮ２０１７１０９２８７４６．２、発明の名称「画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本発明の実施形態は、画像処理技術に関し、特に画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体に関する。
【背景技術】
【０００３】
近年、人工知能技術の普及と発展に伴い、コンピュータによる画像に対する美化処理はますます多くのシーンに応用されている。例えば、顔の美化やシーン美化などの応用が挙げられ、その内に、顔の美化はユーザエクスペリエンスの向上につながるため、徐々に画像美化応用中の主な応用になる。
【発明の概要】
【０００４】
本発明の実施形態は、画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体を提供する。
【０００５】
本発明の実施形態によって提供される画像処理方法は、
処理対象画像中の顔肌色領域を取得することと、
前記処理対象画像に対してフィルタリングを行い、フィルタリングされた平滑化画像を取得することと、
前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得することと、
前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得することと、
前記処理対象画像の明るさチャンネル信号に、前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の処理対象画像を取得することと、を含む。
【０００６】
本発明の実施形態の一態様によれば、
処理対象画像中の顔肌色領域を取得するように構成される領域取得ユニットと、
前記処理対象画像に対してフィルタリングを行い、平滑化画像を取得するように構成されるフィルタリングユニットと、
前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得するように構成される高周波取得ユニットと、
前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得するように構成される顔肌色の高周波ユニットと、
前記処理対象画像の明るさチャンネル信号に、前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得するように構成される信号重ね合わせユニットと、を含む画像処理装置を提供する。
【０００７】
本発明の実施形態の一態様によれば、上述した画像処理装置を含むプロセッサーを備える電子デバイスを提供する。
【０００８】
本発明の実施形態の一態様によれば、実行可能コマンドを記憶するためのメモリと、前記メモリと通信し前記実行可能コマンドを実行することによって上述した画像処理方法の操作を実現するためのプロセッサーと、を含む電子デバイスを提供する。
【０００９】
本発明の実施形態の一態様によれば、コンピュータ可読コマンドを記憶するためのものであり、前記コマンドを実行する時に上述した画像処理方法の操作を実行するコンピュータ記憶媒体を提供する。
【００１０】
本発明の実施形態によって提供される画像処理方法によれば、処理対象画像中の顔肌色領域を取得し、処理する顔領域を決定して、後で顔領域のみを処理することによって、画像中の他の部分の表示効果に影響を与えず、処理対象画像に対するフィルタリングを行い、平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像を利用して顔の肌の細部に対する最適化を実現し、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。
【００１１】
以下、図面および実施形態を参照して、本発明の技術手段をさらに詳細に説明する。
【図面の簡単な説明】
【００１２】
明細書の一部を構成する図面は本発明の実施形態を説明し、且つ説明と共に本発明の原理を解釈するために用いられる。
【００１３】
図面を参照して、以下の詳細な説明によって本発明をより明確に理解することができる。
【図１】本発明の画像処理方法の１つの実施形態のフローチャートである。
【図２】本発明の画像処理方法のもう１つの実施形態のフローチャートである。
【図３】本発明の画像処理方法のもう１つの実施形態のフローチャートである。
【図４】本発明の画像処理方法のもう１つの実施形態のフローチャートである。
【図５】本発明の画像処理装置の１つの実施形態の構造模式図である。
【図６】本発明の画像処理装置のもう１つの実施形態の構造模式図である。
【図７】本願の実施形態の端末機器またはサーバを実現するための電子デバイスの構造模式図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の各種の例示的な実施形態を詳細に説明する。特に断らない限り、これらの実施形態に記載の構成要素およびステップの相対的な配置、数値表現、および数値は、本発明の範囲を限定するものではないことに留意すべきである。
【００１５】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００１６】
少なくとも１つの例示的な実施形態の以下の説明は、単なる例示であり、本発明及びその応用または使用を限定するものではない。
【００１７】
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
【００１８】
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００１９】
本発明の実施形態は、他の多数の汎用または専用コンピューティングシステム環境または構成とともに動作するコンピュータシステム／サーバに適用することができる。コンピュータシステム／サーバとともに使用される周知のコンピューティングシステム、環境及び／又は配置の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサーに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００２０】
端末機器、コンピュータシステム、サーバなどの電子デバイスはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記載できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでもよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
【００２１】
本発明を実施する過程中に、発明者らは、従来技術が少なくとも以下の問題を有することを発見した。従来技術において、美化処理された顔画像は、全体的に黄色または赤色がかかった肌色を有し、層状化および保湿効果を欠く。
【００２２】
マスクは、選択範囲としてマーキーの内側を選択することによって取得される。マスクという言葉自体は、生活の応用、つまり「一番上のボード」の意味から来る。
【００２３】
図１は、本発明の画像処理方法の１つの実施形態のフローチャートである。図１に示すように、該実施形態の方法は、以下のステップを含む。
【００２４】
ステップ１０１において、処理対象画像中の顔肌色領域を取得する。
【００２５】
顔肌色領域を取得するには多くの方法があるが、画像中の各箇所の顔肌色を識別できればよく、ＹＣｒＣｂ最適化カラービデオ信号空間でクロミナンスと彩度に基づき取得しても良く、ニューラルネットワークなどの技術によって取得してもよい。
【００２６】
その内に、処理対象画像中の顔肌色領域を取得することにより、処理する顔領域が決定され、画像内の他の部分の表示効果に影響を与えず、後で顔領域のみを処理することができる。
【００２７】
ステップ１０２において、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得する。
【００２８】
画像フィルタリングは、画像の細部特徴を可能な限り保持する条件下で、目標画像のノイズを抑制することであり、画像の前処理に不可欠な操作であり、その処理効果は、後続の画像処理および分析の有効性と信頼性に直接影響し、本実施形態は、平滑化画像及び処理対象画像に基づいて高周波画像を取得することにより、高周波画像がより多くの肌の細部を反映することができ、顔の肌の細部に対する最適化を実現することができる。
【００２９】
ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。
【００３０】
ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。
【００３１】
通常、美化処理された顔画像は、全体的に黄色または赤色がかかった肌色を有する（即ち、顔肌色マスク）。本実施形態では、「顔肌色マスクと顔肌色領域」を合わせて、高周波画像を利用して顔の肌の細部に対する最適化を実現する。
【００３２】
ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。
【００３３】
その内に、第１の画像は、画像の明るさチャンネルに処理対象画像と顔肌色高周波画像を重ね合わせて得られ、このように、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて第１の画像を取得し、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。
【００３４】
本発明の上記実施形態によって提供される画像処理方法によれば、処理対象画像中の顔肌色領域を取得し、受信した処理対象画像を最適化カラービデオ信号空間に変換することにより、最適化カラービデオ信号空間で処理対象画像中の顔肌色マスクを決定し、処理する顔領域を決定し、後で顔領域のみを処理し、画像内の他の部分の表示効果に影響を与えず、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像を利用して顔の肌の細部に対する最適化を実現し、高周波画像においてより多くの肌の細部を反映でき、顔の肌の最適化がより正確になり、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、明るさチャンネルに顔肌色マスクおよび予設の第１の重ね合わせ強度に基づいて高周波画像および処理対象画像を重ね合わせて、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。
【００３５】
上記の各実施形態の一例では、操作１０１は、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得し、ＹＣｒＣｂ最適化カラービデオ信号空間は、明るさチャンネル、クロミナンスチャンネル、および彩度チャンネルを含み、操作１０２は、処理対象画像を明るさチャンネルでフィルタリングすることを含む。
【００３６】
ＹＣｒＣｂは、主にカラービデオ信号の転送を最適化するために使用されるＹＵＶであり、Ｙは明るさ（ＬｕｍｉｎａｎｃｅまたはＬｕｍａ）、即ちグレーレベル値を示し、Ｃｒは色相を示し、Ｃｂは彩度を示し、顔検出でＹＣｒＣｂ最適化カラービデオ信号空間がよく使用され、一般の画像はＲＧＢ空間に基づくものであるから、ＲＧＢ空間で顔肌色は明るさの影響を大きく受け、顔肌色の点を顔以外の色の点から分離することは困難であり、つまりその空間で処理された後、顔肌色の点は不連続な点になり、その間に多くの顔以外の色が混合されるので、顔肌色領域のキャリブレーション（顔キャリブレーション、目など）に問題が生じる。ＲＧＢをＹＣｒＣｂ空間に変換する場合に、該空間が明るさの影響を受けにくく、顔肌色が好適に分類するので、Ｙ（明るさ）の影響を無視することができる。このようにして、３次元空間が２次元のＣｒＣｂになり、顔肌色の点が特定の形状を形成し、例えば、顔であれば顔の領域が見え、腕であれば腕の形態が見え、パターン識別の処理に非常に適する。そこで、本実施形態では、処理対象画像をＹＣｒＣｂ空間に変換し顔肌色マスクを顔肌色領域として取得する。
【００３７】
上記の各実施形態の一例では、操作１０１は、処理対象画像の最適化カラービデオ信号空間でのクロミナンス値及び彩度値に基づいて処理対象画像中の顔肌色領域を決定することと、ニューラルネットワークを利用して処理対象画像の顔キーポイントを取得し、顔キーポイントに基づいて処理対象画像中の顔肌色領域を決定することと、を更に含む。
【００３８】
本実施形態では、経験によれば、ＹＣｒＣｂ空間において、ある点のＣｒクロミナンス値及びＣｂ彩度値が、１３３≦Ｃｒ≦１７３、７７≦Ｃｂ≦１２７を満たす場合に、その点は顔肌色の点と見なされ、その他は顔以外の色の点であるので、ＹＣｒＣｂ空間で処理対象画像中の顔肌色領域マスクを決定し、また顔キーポイントはトレーニングされたニューラルネットワークによって計算して得られ、顔肌色領域マスクに重ね合わせて顔キーポイント即ち顔肌色領域を決定でき、つまり、後で処理する顔領域を決定する。
【００３９】
上記の各実施形態の一例では、操作１０２は、フィルタに基づいて処理対象画像の明るさチャンネルでの全ての画素値に対してブロックフィルタリングを行うことを含む。
【００４０】
本実施形態では、フィルタリングによって顔の肌部分の最適化する必要がある細部を取得し、元の処理対象画像から最適化する必要がある細部を差し引き、最適化された画像の細部のみを強調する高周波画像を取得し、ブロックフィルタリングとは、まずカーネルを提供し、カーネルの各点の値と対応する画像の値を乗算し、フィルタリング後、写真のエッジ情報が失われることを指す。
【００４１】
上記の各実施形態の一例では、操作１０３は、処理対象画像の明るさチャンネルでの全ての画素値から対応的に平滑化画像の明るさのチャンネルでの対応位置の画素値を差し引き、高周波画像を取得することを含む。
【００４２】
本実施形態では、フィルタリングによって得られた平滑化画像はノイズが除去され、明るさチャンネルで平滑化画像を差し引いて得られた高周波画像によって顔の肌の細部の明るさを調整する。
【００４３】
上記の各実施形態の一例では、操作１０４は、予設の第１の重ね合わせ強度に基づいて、高周波画像と顔肌色マスクを要素乗算し、顔肌色高周波画像を取得することを含む。
【００４４】
本実施形態では、調整可能な第１の重ね合わせ強度によって顔肌色高周波画像を取得し、人間の肌の明るさを制御可能な範囲で調整でき、さらにユーザのニーズに応じて調整することもでき、本実施形態では、高周波画像を元の処理対象画像に直接重ね合わせると、画像中の全ての細部が処理されるが、本発明は、顔肌色の部分のみの細部を最適化するので、重ね合わせる前に、高周波画像と顔肌色マスクを乗算し、ユーザのニーズに応じて最適化された強度に基づいて設定された第１の重ね合わせ強度で顔部分の細部を最適化し、本実施形態では、重ね合わせの式は式（１）に示される。
【００４５】
Ｙ１＝Ｙ＋ｈｉｇｈｐａｓｓ＊ｍａｓｋ２＊ｌｅｖｅｌ１  式（１）
ただし、Ｙは処理対象画像の明るさチャンネルでの画素マップであり、Ｙ１は第１の画像の明るさチャンネルでの画素マップであり、ブロックフィルタリングされたぼかしの図をｓｍｏｏｔｈ＿Ｙと表記し、高周波図はｈｉｇｈｐａｓｓ＝Ｙ−ｓｍｏｏｔｈ＿Ｙであり、ｍａｓｋ２は顔の肌マスクであり、ｌｅｖｅｌ１は予設の第１の重ね合わせ強度である。
【００４６】
上記の各実施形態の一例では、処理対象画像を最適化カラービデオ信号空間に変換することを更に含む。
【００４７】
本実施例では、処理対象画像の元の空間は制限されず、変換された処理対象画像がＹＣｒＣｂ空間に位置すればよく、ここでの変換は、１回の変換または複数回の変換であっても良く、例えば、ＲＧＢ空間またはＮＶ２１フォーマットの処理対象画像は、すべてＹＣｒＣｂ空間に直接変換でき、ＲＧＢ空間からＹＣｒＣｂ空間に変換する式は以下の通りである（ＲＧＢからＹｃｒＣｂへの式は一意ではない）。
【００４８】
／／Ｙ＝０．２９９０Ｒ＋０．５８７０Ｇ＋０．１１４０Ｂ
／／Ｃｂ＝−０．１６８７Ｒ−０．３３１３Ｇ＋０．５０００Ｂ＋１２８
／／Ｃｒ＝０．５０００Ｒ−０．４１８７Ｇ−０．０８１３Ｂ＋１２８。
【００４９】
上記の各実施形態の一例では、操作１０５の前に、
ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて処理対象画像の明るさチャンネル信号を取得することと、
ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて顔肌色高周波画像の明るさチャンネル信号を取得することと、を更に含んでもよい。
【００５０】
本実施形態では、処理対象画像および顔肌色高周波画像がＹＣｒＣｂ空間に位置する場合に、処理対象画像および顔肌色高周波画像それぞれの明るさチャンネル、クロミナンスチャンネルと彩度チャンネルでの信号を取得できるので、ＹＣｒＣｂ空間では処理対象画像および顔肌色高周波画像に対応する明るさ信号を直接取得することができる。
【００５１】
図２は、本発明の画像処理方法のもう１つの実施形態のフローチャートである。図２に示すように、該実施形態の方法は以下のステップを含む。
【００５２】
ステップ１０１において、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得する。
【００５３】
ステップ１０２において、処理対象画像を明るさチャンネルでフィルタリングし、フィルタリングリングされた平滑化画像を取得する。
【００５４】
ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。
【００５５】
ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。
【００５６】
ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。
【００５７】
ステップ２０６において、第１の画像をＲＧＢ３原色空間に変換し、ＲＧＢ空間で第１の画像中の色成分を調整する。
【００５８】
ＲＧＢカラーモードは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＲＧＢは赤、緑、青の３つのチャンネルの色で、ＲＧＢ空間で第１の画像中の色を調整することによって顔肌色の調整を実現する。
【００５９】
ステップ２０７において、色成分が調整された第１の画像をＨＳＬ（色相彩度明るさ）空間に変換し、ＨＳＬ空間に基づいて色成分が調整された第１の画像の明るさ値を保持して、第２の画像を取得する。
【００６０】
その内に、ＨＳＬカラーモードは、色相（Ｈ）、彩度（Ｓ）、明るさ（Ｌ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＨＳＬは色相、彩度、明るさの３つのチャンネルの色であり、ＨＳＬ空間で第１の画像の明るさ値を保持し、このようにして第２の画像を取得する。言い換えれば、第２の画像は第１の画像から得られたものであり、且つ第１の画像に対して順次色成分調整、ＨＳＬ空間変換、明るさ値保持などの処理を行って得られた画像という「所定の条件」を満たす。
【００６１】
他の実施形態では、該方法は、前記第２の画像をＹＣｒＣｂ空間に変換し、ＹＣｒＣｂ空間で明るさおよびクロミナンスの値に基づいて前記第２の画像中の顔領域上のシャドー領域マスクを取得することと、前記シャドー領域マスク中の明るさ値および赤色成分値を増やし、第４の画像を取得することと、を更に含む。その内に、第４の画像は第２の画像から得られたものであり、ＨＳＬ空間の第２の画像をＨＳＬ空間からＹＣｒＣｂ空間に変換し、その後明るさおよびクロミナンスの値に基づいて第２の画像中から顔領域上のシャドー領域マスクを取得し、最終的に前記シャドー領域マスク中の明るさ値および赤色成分値を増やして、第４の画像を取得する。
【００６２】
本実施形態によって提供される画像処理方法は、ＲＧＢ空間で第１の画像中の色および色相を調整することによって、従来技術において美化処理された後全体的に黄色または赤色がかかった肌色を有する問題を解決し、所期の肌の色が得られ、明るさ調整と組み合わせて透明な顔の肌を実現する。
【００６３】
上記の各実施形態の一例では、操作２０６は、ＲＧＢ空間に基づいて第１の画像中の青成分及びマゼンタ成分を増やし、黄色成分を低減することを含む。本実施形態では、ＲＧＢ空間で、青色に対応するＲ、Ｇ、Ｂ値はそれぞれ０、２５５、２５５であり、マゼンタに対応するＲ、Ｇ、Ｂ値はそれぞれ２５５、０、２５５であり、黄色に対応するＲ、Ｇ、Ｂ値はそれぞれ２５５、２５５、０であり、これらの３色の成分を調整する、または赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の成分を調整することによって顔肌色が血色良く健康的になり、より優れた視覚効果を実現することができる。
【００６４】
図３は本発明の画像処理方法のもう１つの実施形態のフローチャートである。図３に示すように、該実施形態の方法は、以下のステップを含む。
【００６５】
ステップ１０１において、ＹＣｒＣｂ（最適化カラービデオ信号）空間に基づく処理対象画像中の顔肌色領域を取得する。
【００６６】
ステップ１０２において、処理対象画像を明るさチャンネルでフィルタリングし、フィルタリングリングされた平滑化画像を取得する。
【００６７】
ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。
【００６８】
ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。
【００６９】
ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。
【００７０】
ステップ３０８において、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて第１の画像中の顔領域上のシャドー領域を取得し、シャドー領域中の明るさ値および赤色成分値を増やして第３の画像を取得する。
【００７１】
その内に、第３の画像は第１の画像から得られたものであり、第２の画像も第１の画像から得られたものであり、第３の画像と第２の画像とを比較すると、第２の画像は第１の画像をＨＳＬ空間で処理されて得られたものであり、第３の画像は第１の画像をＹＣｒＣｂ空間で処理されて得られたものである。
【００７２】
本実施形態では、明るさおよびクロミナンスに基づいて顔領域中のシャドー領域を決定でき、シャドー領域中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。
【００７３】
上記の各実施形態の一例では、シャドー領域中の明るさ値を増やすことは、
シャドー領域マスクの明るさチャンネルでの全ての画素値と第１の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第１の明るさ重ね合わせマップを取得するステップＡ１と、
第１の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１の明るさのドット積を取得するステップＡ２と、
第１の明るさのドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＡ３と、を含む。
【００７４】
本実施形態では、顔シャドー領域の明るさのみの調整を実現するために、明るさ値を調整する時に、まず明るさの重ね合わせ値とシャドー領域とのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいて明るさ処理された顔シャドー領域を第１の画像に重ね合わせ、第１の画像に基づく顔シャドー領域の明るさ調整を実現し、肌の立体感を増やす。
【００７５】
本実施形態では、重ね合わせ式は式（２）に示される。
【００７６】
Ｙ３＝Ｙ１＋Ｙ＿ａｄｄ＊ｍａｓｋ４＊ｌｅｖｅｌ２   式（２）
ただし、Ｙ１は第１の画像の明るさチャンネルでの画素マップであり、Ｙ３は第３の画像の明るさチャンネルでの画素マップであり、Ｙ＿ａｄｄは明るさチャンネル成分の重ね合わせ値であり、ｍａｓｋ４は顔シャドーマスクであり、ｌｅｖｅｌ２は予設の第２の重ね合わせ強度である。
【００７７】
上記の各実施形態の一例では、シャドー領域中の赤色成分値を増やすことは、
シャドー領域のクロミナンスチャンネルでの全ての画素値と第１の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第１のクロミナンス重ね合わせマップを取得するステップＢ１と、
第１のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度とのドット積から第１のクロミナンスドット積を取得するステップＢ２と、
第１のクロミナンスドット積と第１の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせるステップＢ３と、を含む。
【００７８】
本実施形態では、重ね合わせ式は式（３）に示される。
【００７９】
Ｃｒ３＝Ｃｒ１＋Ｃｒ＿ａｄｄ＊ｍａｓｋ４＊ｌｅｖｅｌ２    式（３）
ただし、Ｃｒ１は第１の画像のクロミナンスチャンネルでの画素マップであり、Ｃｒ３は第３の画像のクロミナンスチャンネルでの画素マップであり、Ｃｒ＿ａｄｄはクロミナンスチャンネル成分の重ね合わせ値であり、ｍａｓｋ４は顔シャドーマスクであり、ｌｅｖｅｌ２は予設の第２の重ね合わせ強度である。
【００８０】
本実施形態では、顔シャドー領域のクロミナンスのみの調整を実現するために、クロミナンス値を調整する時に、まずクロミナンスの重ね合わせ値とシャドー領域マスクとのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいてクロミナンス処理された顔シャドー領域を第１の画像に重ね合わせ、第１の画像に基づく顔シャドー領域のクロミナンス調整を実現し、肌の血色感を増やす。
【００８１】
図４は、本発明の画像処理方法のもう１つの実施形態のフローチャートである。図４に示すように、該実施形態の方法は、以下のステップを含む。
【００８２】
ステップ１０１において、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得する。
【００８３】
ステップ１０２において、処理対象画像を明るさチャンネルでフィルタリングし、フィルタリングリングされた平滑化画像を取得する。
【００８４】
ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。
【００８５】
ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。
【００８６】
ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。
【００８７】
ステップ２０６において、第１の画像をＲＧＢ３原色空間に変換し、ＲＧＢ空間で第１の画像中の色成分を調整する。
【００８８】
ステップ２０７において、色成分が調整された第１の画像をＨＳＬ色相彩度明るさ空間に変換し、ＨＳＬ空間に基づいて色成分が調整された第１の画像の明るさ値を保持し、第２の画像を取得する。
【００８９】
ステップ３０８において、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて第１の画像中の顔領域上のシャドー領域を取得し、シャドー領域中の明るさ値および赤色成分値を増やし、第３の画像を取得する。
【００９０】
本実施形態では、第２の画像に基づき、明るさおよびクロミナンスから顔領域中のシャドー領域マスクを決定でき、シャドー領域マスク中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。
【００９１】
上記の各実施形態の一例では、シャドー領域中の明るさ値を増やすことは、シャドー領域マスクの明るさチャンネルでの全ての画素値と第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第２の明るさ重ね合わせマップを取得するステップＣ１と、第２の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２の明るさのドット積を取得するステップＣ２と、第２の明るさのドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＣ３と、を含む。
【００９２】
本実施形態では、顔シャドー領域の明るさのみの調整を実現するために、明るさ値を調整する時に、まず明るさの重ね合わせ値とシャドー領域マスクとのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいて明るさ処理された顔シャドー領域を第２の画像に重ね合わせ、第２の画像に基づく顔シャドー領域の明るさ調整を実現し、肌の立体感を増やす。
【００９３】
上記の各実施形態の一例では、シャドー領域中の赤色成分値を増やすことは、
シャドー領域のクロミナンスチャンネルでの全ての画素値と第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第２のクロミナンス重ね合わせマップを取得するステップＤ１と、
第２のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２のクロミナンスドット積を取得するステップＤ２と、
第２のクロミナンスドット積と第２の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせるステップＤ３と、を含む。
【００９４】
本実施形態では、顔シャドー領域のクロミナンスのみの調整を実現するために、クロミナンス値を調整する時に、まずクロミナンスの重ね合わせ値とシャドー領域マスクのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいてクロミナンス処理された顔シャドー領域を第２の画像に重ね合わせ、第２の画像に基づく顔シャドー領域のクロミナンス調整を実現し、肌の血色感を増やす。
【００９５】
本発明の画像処理方法のもう１つの実施形態では、上記の図１、３、４の実施形態に基づき、該実施形態の方法は、最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から第１の画像、第３の画像または第４の画像中の顔領域上の唇領域を取得することと、唇領域中の明るさ値および赤色成分値を増やし、第５の画像を取得することと、を更に含む。
【００９６】
ただし、第５の画像は第１の画像、第３の画像または第４の画像から得られ、例えば、第５の画像は第１、３または４の画像の唇領域に明るさ値および赤色成分値を増やして得られたものである。
【００９７】
本実施形態では、最適化された第１の画像、第３の画像または第４の画像について、ＹＣｒＣｂ空間で明るさおよびクロミナンスの値に基づいて唇領域を決定し、更に唇領域中の明るさ値および赤色成分値を増やすることで、唇の血色および唇の明るさの向上効果を実現し、ユーザの体験を更に向上させる。
【００９８】
上記の各実施形態の一例では、唇領域中の明るさ値を増やすことは、
唇領域の明るさチャンネルでの全ての画素値と第１の画像、第３の画像または第４の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第３の明るさ重ね合わせマップ、第４の明るさ重ね合わせマップまたは第５の明るさ重ね合わせマップを取得するステップＥ１と、第３の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＥ２と、第４の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＥ３と、第５の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＥ４と、を含む。
【００９９】
本実施形態では、実際に第１の画像に基づく処理、第３の画像に基づく処理、および第４の画像に基づく処理を含む３つの例に相当し、ユーザに予設された第３の重ね合わせ強度に基づいて画像の明るさチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域マスクの明るさ向上を実現する。
【０１００】
上記の各実施形態の一例では、唇領域中の赤色成分値を増やすことは、
唇領域のクロミナンスチャンネルでの全ての画素値と第１の画像、第３の画像または第４の画像のクロミナンスチャンネルでの重ね合わせ値に対してドット積操作を行い、第３のクロミナンス重ね合わせマップ、第４のクロミナンス重ね合わせマップまたは第５のクロミナンス重ね合わせマップを得るステップＦ１と、第３のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＦ２と、第４のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＦ３と、第５のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＦ４と、を含む。
【０１０１】
本実施形態では、実際に第１の画像に基づく処理、第３の画像に基づく処理、および第４の画像に基づく処理を含む３つの例に相当し、ユーザに予設された第３の重ね合わせ強度に基づいて画像のクロミナンスチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域マスクのクロミナンスの赤色を実現し、唇の血色効果を実現する。
【０１０２】
本実施形態では、重ね合わせ式は式（４）に示される。
【０１０３】
Ｙ５＝Ｙｉ＋Ｙ＿ａｄｄ２＊ｍａｓｋ５＊ｌｅｖｅｌ３        式（４）
ただし、Ｙｉは第ｉ画像の明るさチャンネルでの画素マップであり、ｉの値は１、３または４（後記のある実施形態の場合にｉは２である）であり、Ｙ５は第５の画像の明るさチャンネルでの画素マップであり、Ｙ＿ａｄｄ２は明るさチャンネル成分の重ね合わせ値であり、ｍａｓｋ５は唇領域マスクであり、ｌｅｖｅｌ３は予設の第３の重ね合わせ強度である。
【０１０４】
本発明の画像処理方法のもう１つの実施形態では、上記の図２の実施形態に基づき、該実施形態の方法は、第２の画像を最適化カラービデオ信号空間に変換し、最適化カラービデオ信号空間に基づき明るさおよびクロミナンスの値から第２の画像中の顔領域上の唇領域を取得するステップＧ１と、唇領域中の明るさ値および赤色成分値を増やし、第６の画像を取得するステップＧ２と、を更に含む。その内に、第６の画像は第４の画像に類似し、第４の画像が前記第２の画像中の顔領域上のシャドー領域マスクに関する画像であり、第６の画像が第２の画像中の顔領域上の唇領域に関する画像である点で異なる。
【０１０５】
本実施形態では、第２の画像の処理空間がＨＳＬ空間に位置するので、唇領域を処理する前に、まず第２の画像をＹＣｒＣｂ空間に変換し、ＹＣｒＣｂ空間で明るさおよびクロミナンスの値に基づいて唇領域を決定し、そして唇領域中の明るさ値および赤色成分値を増やすことで、唇の血色および唇の明るさの向上効果を実現し、ユーザの体験を向上させる。
【０１０６】
本実施形態では、重ね合わせ式は式（５）に示される。
【０１０７】
Ｃｒ５＝Ｃｒ  ｉ＋Ｃｒ＿ａｄｄ２＊ｍａｓｋ５＊ｌｅｖｅｌ３   式（５）
ただし、Ｃｒ  ｉは第ｉ画像のクロミナンスチャンネルでの画素マップであり、ｉの値は１、３または４（後記のある実施形態の場合にｉは２である）であり、Ｃｒ５は第５の画像のクロミナンスチャンネルでの画素マップであり、Ｃｒ  ＿ａｄｄ２はクロミナンスチャンネル成分の重ね合わせ値であり、ｍａｓｋ５は唇領域マスクであり、ｌｅｖｅｌ３は予設の第３の重ね合わせ強度である。
【０１０８】
上記の各実施形態の一例では、唇領域中の明るさ値を増やすことは、
唇領域の明るさチャンネルでの全ての画素値と第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第６の明るさ重ね合わせマップを取得するステップＨ１と、第６の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＨ２と、を含む。
【０１０９】
本実施形態では、ユーザに予設された第３の重ね合わせ強度に基づいて画像の明るさチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域の明るさ向上を実現する。
【０１１０】
上記の各実施形態の一例では、唇領域中の赤色成分値を増やすことは、
唇領域のクロミナンスチャンネルでの全ての画素値と第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第６のクロミナンス重ね合わせマップを取得するステップＪ１と、第６のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＪ２と、を含む。
【０１１１】
本実施形態では、ユーザに予設された第３の重ね合わせ強度に基づいて画像のクロミナンスチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域マスク中のクロミナンスの赤色を実現し、唇の血色効果を実現する。
【０１１２】
図５は本発明の画像処理装置の１つの実施形態の構造模式図である。該実施形態の装置は本発明の上記の各方法の実施例を実現するために用いられる。図５に示すように、該実施形態の装置は以下の手段を含む。
【０１１３】
領域取得ユニット５１は、処理対象画像中の顔肌色領域を取得するように構成される。
【０１１４】
その内に、顔肌色領域を取得する方式は様々あるが、画像中のどの箇所が顔肌色であるかを識別できればよく、ＹＣｒＣｂ最適化カラービデオ信号空間でクロミナンス及び彩度に基づいて得られてもよく、ニューラルネットワークなどの技術によって得られてもよい。
【０１１５】
フィルタリングユニット５２は、処理対象画像をフィルタリングし、平滑化画像を取得するように構成される。
【０１１６】
その内に、画像フィルタリングは、画像の細部特徴を可能な限り保持する条件下で、目標画像のノイズを抑制することであり、画像の前処理に不可欠な操作であり、その処理効果は、後続の画像処理および分析の有効性と信頼性に直接影響し、本実施形態は、平滑化画像及び処理対象画像に基づいて高周波画像を取得することにより、高周波画像がより多くの肌の細部を反映することができ、顔の肌の細部に対する最適化を実現することができる。
【０１１７】
高周波取得ユニット５３は、平滑化画像及び処理対象画像に基づいて高周波画像を取得するように構成される。
【０１１８】
顔肌色の高周波ユニット５４は、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得するように構成される。
【０１１９】
信号重ね合わせユニット５５は、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得するように構成される。
【０１２０】
本発明の上記の実施形態によって提供される画像処理装置では、処理対象画像中の顔肌色領域を取得し、受信した処理対象画像を最適化カラービデオ信号空間に変換することにより、最適化カラービデオ信号空間で処理対象画像中の顔肌色マスクを決定し、処理する顔領域を決定し、後で顔領域のみを処理し、画像内の他の部分の表示効果に影響を与えず、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像を利用して顔の肌の細部に対する最適化を実現し、高周波画像においてより多くの肌の細部を反映でき、顔の肌の最適化がより正確になり、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、明るさチャンネルで顔肌色マスク及び予設の第１の重ね合わせ強度に基づいて高周波画像と処理対象画像を重ね合わせ、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。
【０１２１】
上記の各実施形態の一例では、領域取得ユニット５１は、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得するように構成され、ＹＣｒＣｂ最適化カラービデオ信号空間は、明るさチャンネル、クロミナンスチャンネル、および彩度チャンネルを含み、
フィルタリングユニット５２は、処理対象画像を明るさチャンネルでフィルタリングするように構成される。
【０１２２】
上記の各実施形態の一例では、領域取得ユニット５１は、処理対象画像の最適化カラービデオ信号空間でのクロミナンス値および彩度値に基づいて処理対象画像中の顔肌色領域を決定するように構成される顔肌色識別モジュールと、ニューラルネットワークを利用して処理対象画像の顔キーポイントを取得し、顔キーポイントに基づいて処理対象画像中の顔肌色領域を決定するように構成される領域識別モジュールと、を含む。
【０１２３】
上記の各実施形態の一例では、フィルタリングユニット５２は、フィルタに基づいて処理対象画像の明るさチャンネルでの全ての画素値をブロックフィルタリングするように構成される。
【０１２４】
上記の各実施形態の一例では、高周波取得ユニット５３は、処理対象画像の明るさチャンネルでの全ての画素値から対応的に平滑化画像の明るさのチャンネルでの対応位置の画素値を差し引き、高周波画像を取得するように構成される。
【０１２５】
上記の各実施形態の一例では、顔肌色の高周波ユニット５４は、予設の第１の重ね合わせ強度に基づいて、高周波画像と顔肌色マスクを要素乗算し、顔肌色高周波画像を取得するように構成される。
【０１２６】
上記の各実施形態の一例では、ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて処理対象画像の明るさチャンネル信号を取得し、ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて顔肌色高周波画像の明るさチャンネル信号を取得するように構成される信号取得ユニットを更に含む。
【０１２７】
上記の各実施形態の一例では、処理対象画像を最適化カラービデオ信号空間に変換するように構成される空間変換ユニットを更に含む。
【０１２８】
図６は、本発明の画像処理装置のもう１つの実施形態のフローチャートである。図６に示すように、該実施形態装置は以下の手段を含む。
【０１２９】
領域取得ユニット５１は、処理対象画像中の顔肌色領域を取得するように構成される。
【０１３０】
顔肌色領域を取得方式が様々あるが、画像中のどの箇所が顔肌色であるかを識別できればよく、ＹＣｒＣｂ最適化カラービデオ信号空間でクロミナンス及び彩度に基づいて得られてもよく、ニューラルネットワークなどの技術によって得られてもよい。
【０１３１】
フィルタリングユニット５２は、処理対象画像をフィルタリングし、平滑化画像を取得するように構成される。
【０１３２】
画像フィルタリングは、画像の細部特徴を可能な限り保持する条件下で、目標画像のノイズを抑制することであり、画像の前処理に不可欠な操作であり、その処理効果は、後続の画像処理および分析の有効性と信頼性に直接影響し、本実施形態は、平滑化画像及び処理対象画像に基づいて高周波画像を取得することにより、高周波画像がより多くの肌の細部を反映することができ、顔の肌の細部に対する最適化を実現することができる。
【０１３３】
高周波取得ユニット５３は、平滑化画像及び処理対象画像に基づいて高周波画像を取得するように構成される。
【０１３４】
顔肌色の高周波ユニット５４は、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得するように構成される。
【０１３５】
信号重ね合わせユニット５５は、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得するように構成される。
【０１３６】
成分調整ユニット６６は、第１の画像をＲＧＢ３原色空間に変換し、ＲＧＢ空間に基づいて第１の画像中の色成分を調整するように構成される。
【０１３７】
その内に、ＲＧＢカラーモードは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＲＧＢは赤、緑、青の３つのチャンネルの色で、ＲＧＢ空間で第１の画像中の色を調整することによって顔肌色の調整を実現する。
【０１３８】
明るさ値保持ユニット６７は、色成分が調整された第１の画像をＨＳＬ色相彩度明るさ空間に変換し、ＨＳＬ空間に基づいて色成分が調整された第１の画像の明るさ値を保持し、第２の画像を取得するように構成される。
【０１３９】
ＨＳＬカラーモードは、色相（Ｈ）、彩度（Ｓ）、明るさ（Ｌ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＨＳＬは色相、彩度、明るさの３つのチャンネルの色であり、ＨＳＬ空間で第１の画像の明るさ値を保持する。
【０１４０】
本実施形態によって提供される画像処理方法は、ＲＧＢ空間で第１の画像中の色および色相を調整することによって、従来技術において美化処理された後全体的に黄色または赤色がかかった肌色を有する問題を解決し、所期の肌の色が得られ、明るさ調整と組み合わせて透明な顔の肌を実現する。
【０１４１】
上記の各実施形態の一例では、成分調整ユニット６６は、ＲＧＢ空間に基づいて前記第１の画像中の青成分及びマゼンタ成分を増やし、黄色成分を低減するように構成される。
【０１４２】
本発明の画像処理装置のもう１つの実施形態では、上記の各実施形態に基づき、該実施形態装置は、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて第１の画像または第２の画像中の顔領域上のシャドー領域を取得するように構成されるシャドー取得ユニットと、シャドー領域中の明るさ値および赤色成分値を増やし、第３の画像または第４の画像を取得するように構成されるシャドー処理ユニットと、を更に含む。
【０１４３】
本実施形態では、明るさおよびクロミナンスに基づいて顔領域中のシャドー領域を決定でき、シャドー領域中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。
【０１４４】
上記の各実施形態の一例では、シャドー処理ユニットは、シャドー領域の明るさチャンネルでの全ての画素値と第１の画像または第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第１の明るさ重ね合わせマップを取得する、またはシャドー領域の明るさチャンネルでの全ての画素値と第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第２の明るさ重ね合わせマップを取得するように構成されるシャドードット積取得モジュールと、
第１の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１の明るさのドット積を取得し、第１の明るさのドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第２の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２の明るさのドット積を取得し、第２の明るさのドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成されるシャドー明るさ重ね合わせモジュールと、を含む。
【０１４５】
上記の各実施形態の一例では、シャドー処理ユニットは、
シャドー領域のクロミナンスチャンネルでの全ての画素値と第１の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第１のクロミナンス重ね合わせマップを取得する、またはシャドー領域マスクのクロミナンスチャンネルでの全ての画素値と第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第２のクロミナンス重ね合わせマップを取得するように構成されるシャドークロミナンス重ね合わせモジュールと、
第１のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１のクロミナンスドット積を取得し、第１のクロミナンスドット積と第１の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせる、または、第２のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２のクロミナンスドット積を取得し、第２のクロミナンスドット積と第２の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせるように構成されるシャドークロミナンスドット積モジュールと、を更に含む。
【０１４６】
上記の各実施形態の一例では、シャドー取得ユニットは、更に第２の画像を処理する前に、第２の画像を最適化カラービデオ信号空間に変換するように構成される。
【０１４７】
本発明の画像処理装置のもう１つの実施形態では、上記の各実施形態に基づき、該実施形態装置は、最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から第１の画像、第２の画像、第３の画像または第４の画像中の顔領域上の唇領域を取得するように構成される唇取得ユニットと、唇領域中の明るさ値および赤色成分値を増やし、第５の画像、第６の画像、第７の画像または第８の画像を取得するように構成される唇処理ユニットと、を更に含む。
【０１４８】
本実施形態では、第２の画像に基づき、明るさおよびクロミナンスから顔領域中のシャドー領域マスクを決定でき、シャドー領域マスク中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。
【０１４９】
上記の各実施形態の一例では、唇処理ユニットは、
唇領域の明るさチャンネルでの全ての画素値と第１の画像、第２の画像、第３の画像または第４の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第３の明るさ重ね合わせマップ、第４の明るさ重ね合わせマップ、第５の明るさ重ね合わせマップまたは第６の明るさ重ね合わせマップを取得するように構成される唇明るさドット積モジュールと、
第３の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第４の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第５の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第６の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成される唇明るさ重ね合わせモジュールと、を含む。
【０１５０】
上記の各実施形態の一例では、唇処理ユニットは、
唇領域のクロミナンスチャンネルでの全ての画素値と第１の画像、第２の画像、第３の画像または第４の画像のクロミナンスチャンネルでの重ね合わせ値に対してドット積操作を行い、第３のクロミナンス重ね合わせマップ、第４のクロミナンス重ね合わせマップ、第５のクロミナンス重ね合わせマップまたは第６のクロミナンス重ね合わせマップを取得するように構成される唇クロミナンスドット積モジュールと、
第３のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第４のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第５のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第６のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成される唇クロミナンス重ね合わせモジュールと、を更に含む。
【０１５１】
上記の各実施形態の一例では、唇取得ユニットは第２の画像を処理する前に、更に第２の画像を最適化カラービデオ信号空間に変換するように構成される。
【０１５２】
本発明の実施形態の一態様によれば、上記のような画像処理装置を含むプロセッサーを備える電子デバイスを提供する。
【０１５３】
本発明の実施形態の一態様によれば、実行可能コマンドを記憶するためのメモリと、
前記メモリと通信し前記実行可能コマンドを実行することによって上述した画像処理方法の操作を実現するためのプロセッサーと、含む電子デバイスを提供する。
【０１５４】
本発明の実施形態の一態様によれば、コンピュータ可読コマンドを記憶するためのものであり、前記コマンドを実行する時に上述した画像処理方法の操作を実現するコンピュータ記憶媒体を提供する。
【０１５５】
本発明の実施形態は、例えば携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどの電子デバイスを更に提供する。以下、図７を参照して、本願の実施形態の端末機器またはサーバを実現するのに適する電子デバイス７００の構造模式図であり、図７に示すように、コンピュータシステム７００は、１つまたは複数の中央処理ユニット（ＣＰＵ）７０１、及び／又は１つまたは複数の画像プロセッサー（ＧＰＵ）７１３などを含む１つまたは複数のプロセッサー、通信部等を含み、プロセッサーは、読み取り専用メモリ（ＲＯＭ）７０２に記憶された実行可能コマンドまたは記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能コマンドを実行することによって各種の適切な動作および処理を実現する。通信部７１２は、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むネットワークカードを含むが、これに限定されなく、プロセッサーは、読み取り専用メモリ７０２及び／又はランダムアクセスメモリ７３０と通信し実行可能コマンドを実行し、バス７０４を介して通信部７１２と接続され、かつ通信部７１２を介して他のターゲットデバイスと通信することによって、本願の実施形態によって提供されるいずれかの方法に対応する操作を実現し、例えば、処理対象画像中の顔肌色領域を取得し、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得し、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。
【０１５６】
また、ＲＡＭ７０３には、装置操作に必要な各種プログラムやデータを記憶することができる。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３はバス７０４を介して相互に接続される。ＲＡＭ７０３を有する場合に、ＲＯＭ７０２は任意選択可能なモジュールである。ＲＡＭ７０３は実行可能コマンドを記憶するか、または動作時に実行可能コマンドをＲＯＭ７０２に書き込み、実行可能コマンドによってプロセッサー７０１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。通信部７１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０１５７】
キーボード、マウス等を含む入力部７０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）等及びスピーカ等を含む出力部７０７と、ハードディスク等を含む記憶部７０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信インタフェース７０９などがＩ／Ｏインタフェース７０５に接続されている。ドライバ７１０も必要に応じてＩ／Ｏインタフェース７０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体７１１は、必要に応じてドライバ７１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部７０８にインストールする。
【０１５８】
なお、図７に示す構造は任意選択的な一実施例に過ぎず、具体的な実践では、実際の必要に応じて上記の図７の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置の実施例を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信デバイスは分離設置してもよく、またＣＰＵまたはＧＰＵに統合してもよいことである。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【０１５９】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供されるドアガード制御方法のステップに対応するコマンド、例えば、処理対象画像中の顔肌色領域を取得し、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得し、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。このような実施形態では、該コンピュータプログラムは通信部７０９によってネットワークからダウンロードおよびインストールされ、及び／又はリムーバブル媒体７１１からインストールされ得る。中央処理ユニット（ＣＰＵ）７０１によって該コンピュータプログラムを実行する時に、本願の方法中の特定の上記機能を実現する。
【０１６０】
本発明の方法及び装置、機器は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合せによって本発明の方法及び装置、機器を実現することができる。方法のステップのための上記順序は説明のために用いられ、本発明の方法のステップは、特に断らない限り、以上説明した順序に限定されない。また、いくつかの実施形態では、本発明は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本発明による方法を実現するための機械可読コマンドを含む。従って、本発明は本発明による方法を実現するためのプログラムが記憶された記録媒体も含む。
【０１６１】
以上の説明は制限的ではなく例示的なものであり、本発明はこれらに限定されない。当業者にとっては多くの修正や変更を加えることは明らかである。本発明の原理および実際応用を説明するために、選択的に実施形態を説明したが、勿論、当業者は本発明に基づき特定用途向けの各種の修正を加えた様々な実施形態を想到することができる。
【図１】
0006851546.tif 000002
【図２】
0006851546.tif 000003
【図３】
0006851546.tif 000004
【図４】
0006851546.tif 000005
【図５】
0006851546.tif 000006
【図６】
0006851546.tif 000007
【図７】
0006851546.tif 000008