(57)【要約】【課題】強調処理による儀信号の増幅を抑制することができるより適切な強調処理を可能にする画像強調方法を提供する。【解決手段】画像の色強調方法は、（ａ）画像を受信するステップと、（ｂ）前記画像をシグマフィルタ２００を用いて、ローパス画像ＩＬＰとハイパス画像ＩＨＰとに分解するステップと、（ｄ）ローパス画像ＩＬＰに対しダイナミックレンジを増加させるように色強調処理を施して強調ベース画像２５０を得るステップと、（ｅ）強調ベース画像２５０を、ハイパス画像ＩＨＰと結合し、強調画像２９０とを得るステップとを含んでいる【選択図】図３
2007208979.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ上に表示する画像の色強調方法であって、
（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、
（ｂ）前記画像を空間フィルタにかけて、主に肌色領域を含む領域を肌色領域と規定するステップと、
（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、
（ｄ）前記空間フィルタを通過したフィルタ画像を、前記受信画像の非肌色領域を用いて強調し、該フィルタ画像の肌色領域と当該非肌色領域からなる強調画像を得るステップとを含むことを特徴とする画像の色強調方法。
【請求項２】
前記肌色領域を規定する空間フィルタは、空間ローパスフィルタであることを特徴とする請求項１に記載の画像の色強調方法。
【請求項３】
前記空間フィルタを通過したフィルタ画像は、エッジを含むことを特徴とする請求項１に記載の画像の色強調方法。
【請求項４】
前記肌色領域を規定する空間フィルタは、シグマフィルタであることを特徴とする請求項１に記載の画像の色強調方法。
【請求項５】
前記空間フィルタを通過したフィルタ画像は、注目画素を中心とした領域を含むことを特徴とする請求項１に記載の画像の色強調方法。
【請求項６】
前記注目画素を中心とした領域内の画素のうち、該注目画素に近似した画素に基づいて前記肌色領域を規定することを特徴とする請求項５に記載の画像の色強調方法。
【請求項７】
前記ステップ（ｂ）において、非線形ローパスフィルタと通過し、３Ｄルックアップテーブルによって得られた肌色尤度マップを用いて前記肌色領域を規定することを特徴とする請求項１に記載の画像の色強調方法。
【請求項８】
前記ステップ（ｂ）において、各近接画素が肌色を有するかを空間特性に基づいて判断することによって前記肌色領域を規定することを特徴とする請求項１に記載の画像の色強調方法。
【請求項９】
前記ステップ（ｂ）において、各近接画素が肌色を有するかを空間特性に基づいて判断することによって前記肌色領域を規定することを特徴とする請求項１に記載の画像の色強調方法。
【請求項１０】
前記受信画像を、前記空間フィルタによって、低周波成分を含むフィルタ画像であるベース画像と、高周波成分を含む残像とに分類することを特徴とする請求項１に記載の画像の色強調方法。
【請求項１１】
ディスプレイ上に表示する画像の色強調方法であって、
（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、
（ｂ）前記各色成分を、シグマフィルタにかけ、主に低周波数成分からなるベース画像を得るステップと、
（ｃ）前記入力画像を前記ベース画像に基づいて強調し、主に高周波数成分からなる残像を得るステップと、
（ｄ）前記ベース画像をフィルタにかけ、肌色候補領域を規定し、画素を基準とした色強調技術を用いて、前記ベース画像のダイナミックレンジを増加させて強調ベース画像を得るステップと、
（ｅ）前記残像画像に基づいて、前記強調ベース画像を強調し、高周波成分を含む強調画像を得るステップとを含むことを特徴とする画像の色強調方法。
【請求項１２】
前記残像が、輪郭除去技術を使用してさらに処理されることを特徴とする請求項１１に記載の画像の色強調方法。
【請求項１３】
前記低周波数成分は、エッジを含むことを特徴とする請求項１１に記載の画像の色強調方法。
【請求項１４】
前記高周波数成分は、高周波数のディテール、ノイズ、および偽信号を含むことを特徴とする請求項１１に記載の画像の色強調方法。
【請求項１５】
前記シグマフィルタを通過した前記フィルタ画像は、注目画素を中心とした領域を含み、該シグマフィルタは、当該領域内のすべての画素を、前記注目画素と比較し、該注目画素との差が閾値内である画素の平均をとることを特徴とする請求項１１記載の画像の色強調方法。
【請求項１６】
前記閾値が、前記受信画像の内容に基づいて設定されていることを特徴とする請求項１５記載の画像の色強調方法。
【請求項１７】
ディスプレイ上に表示する画像の色のガマットマッピング方法であって、
（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、
（ｂ）前記受信画像を、空間フィルタにかけて主に肌色領域を含む領域を肌色領域と規定するステップと、
（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、
（ｄ）前記空間フィルタを通過したフィルタ画像を、前記受信画像の非肌色領域を用いて強調し、該フィルタ画像の肌色領域と当該非肌色領域からなる強調画像を得るステップとを含むことを特徴とするガマットマッピング方法。
【請求項１８】
ディスプレイ上に表示する画像の色を強調する色強調システムであって、
コンピュータスクリーン上に第１調整機構および第２調整機構を提供するユーザーインタフェースを備え、
前記第１調整機構が、肌色トーンの彩度を調整する第１肌色調整機構を含み、
前記第２調整機構が、非肌色トーンの彩度を調整する第２非肌色調整機構を含むことを特徴とする色強調システム。
【請求項１９】
各々複数の色成分を有する複数の画素からなる入力画像に対しフィルタ処理し、低周波数成分からなるベース画像を得るためのシグマフィルタと、
前記入力画像から前記ベース画像を減算し主に高周波数成分からなる残像を得るための減算処理部と、
前記ベース画像をフィルタ処理し、肌色候補を規定するための、非線形ローパスフィルタと、
ダイナミックレンジを増加させるように、前記ベース画像を強調し、強調画像を得るための色強調処理部と、
前記強調ベース画像と、前記高周波数成分からなる残像とを結合する結合部とを含むことを特徴とする色強調システム。
【請求項２０】
さらに、前記残像に対しコアリング処理を施し、前記高周波成分のディテール、ノイズおよび偽信号を減少させるためのコアリング処理部を含むことを特徴とする請求項１９に記載の色強調システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、肌色検出による色強調技術に関する。
【背景技術】
【０００２】
三原色（Ｒ、Ｇ、およびＢ）を直接修正することによって、画像の色を修正する方式に比べ、色空間モデルの色相 (Hue)、彩度 (Saturation)、明度 (Value of Brightness)の三要素で色を表すＨＳＶ方式または色相 (Hue)、彩度 (Saturation)、明度 (Brightness)の三つの要素で表現する方式は、人間の色に対する感覚を数値化しているため画像の色の直感的な修正が容易である。ＲＧＢ色空間は、立方体であり、ＨＳＶ色空間は、六角錐である。ＨＳＶコーンはＲＧＢ立方体の非線形変形であり、知覚モデルとしても知られている。ここで「知覚」とは、人間が色を知覚する方法と類似していることを意味している。
【０００３】
ＨＳＶモデルは、知覚ベースの変数、すなわち、色相、彩度、および明度を使用するＲＧＢディスプレイ装置の範囲または色再現領域（ガマット）の修正を容易にする。ＨＳＶモデルでは、ＲＧＢモデルで使用される直交座標系よりむしろ極座標系（ｒ、ｅ、ｚ）を用いている。色相、ティント、トーンは、０°から３６０°までのｚ軸に対する角度で表される。六角形の頂点は６０°ごとに分離されている。レッドがＨ＝０°、イエローがＨ＝６０°、グリーンがＨ＝１２０°シアンがＨ＝１８０°である。補色は、互いに１８０°離れている。ｚ軸からの距離（色彩的な量）は彩度（Ｓ）を表す。Ｓは０〜１になる。このモデルでは、それは色相の純度の比率として表される。Ｓ＝１はこの色相の最大の純度を表す。Ｓ＝０．２５のとき、色相は四分の一の純度であると言われる。Ｓ＝０では、グレイスケールとなる。Ｖ（ＨＳＶの明度）はhexconeの頂上における０からhexconeの底部の１までの値を取る。Ｖ＝０は黒を表す。Ｖ＝１では、色は、最大強度となる。Ｖ＝１かつＳ＝１のとき、純粋な色相となる。Ｖ＝１かつＳ＝０で、白色となる。
【０００４】
現在用いられている色強調技術としては、実質的な色の色相は変えずに、色の彩度を上げるものが一般的である。図１に示すような典型的な色強調技術は、色相・彩度環で、矢印で示すように半径方向外側に色を移動させる。本質的には、色強調アルゴリズムは、画素の彩度を増加させることによって、入力画像のダイナミックレンジを増加させている。
【０００５】
画像の色強調に使用される技術は、個々の画素の修正に基づいている。したがって、画素の色を新しい色に強調処理する際、各画素の古い色から新しい色への変換は、画像または映像全体で予め定められた固定調整となる。
【０００６】
一例として、テレビは、所定のコンテントにおける不安定な彩度を強調する技術を内蔵しており、観察者は、好みの色に設定することができる。ここで、人間の目は肌色に非常に敏感であるので、色強調技術にとり、肌色を適切に描写するのは重要となる。また、色強調技術にとり、肌色と非肌色とで、特性が異なる点に着目し、肌色と非肌色とを別々に調整することも望ましい。
【非特許文献１】J.S. Lee, "Digital image enhancement and noise filtering by use of local statistics," in IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. PAMI-2, No. 2, pp. 165-168, March, 1980
【発明の開示】
【発明が解決しようとする課題】
【０００７】
色強調技術には、肌色を保護する機能を備えたものもある。しかしながら、肌色保護機能を備えた色強調技術は、通常画素に基づくものである。これらの方法では、画素の色が新しい色に強調されるとき、古い色から新しい色への変換は、固定されていて、他の画素により影響を受けない。肌色保護機能を備えた画素を基準とした色強調技術は、肌色と非肌色とが重なり合っているといった問題の解決策を見出すことができない。このため、事実上、これらの色向上技術は、肌色と非肌色とを別々に強調処理することができず、色強調が施されない画像の肌色を保護できるにすぎない。
【０００８】
画素を基準としたアルゴリズムは有効ではない。特に、肌色領域と隣接している非肌色領域とが交じっている画像領域において視認し得る輪郭を描く偽信号が生成されるのを避けるために、色空間の肌色領域と、肌色領域と非肌色領域の間の段階的移行領域との両方を、非常に広く設定されなければならない。通常、これらの肌色領域と移行領域とは、図２に示すように、色域の約半分を占めている。この一方で、実際の肌色が、肌色領域で見逃されていて、その結果、多くの非肌色が不適切に保護されると共に、多くの肌色が不適切に強調されてしまう。
【０００９】
典型的な画素に基づいた色修正技術では、色修正の前には、近似していた２つの色が、色修正後に、明らかに近似が少ない異なった値に修正されることがある。図１は、２つの異なった状態を示す。状態１は、近似する２つの色が、異なる色相を有する場合を示している。一方、状態２は、２つの色が、同じ色相を有し、彩度も近似している場合を示している。
【００１０】
状態１、状態２共に、２つの色は、色強調処理前の色環では、近似している。しかしならが、色強調処理後は、２つの色は、色環でかなり離れている。これは、色強調処理後の２つの色が色強調処理前よりも近似していないことを示している。
【００１１】
画素基準の色向上技術では、色強調の際に、偽信号をも強調してしまう。画像中の強調処理の施されない平坦な領域の画素は、空間的に近似色を持っている傾向があり、また、観察者にとって、近似色間の差異は、視認し難い傾向にある。画素基準の色向上技術は、近似色の差を拡大するので、強調処理後の画像では、当該差異が視認できるようになってしまう可能性がある。この結果、強調処理前の画像の平坦な領域が、強調処理後は、それほど平坦でなくなっている可能性がある。特に、画素基準の色向上技術は、強調処理がされなければ平坦な領域で一般に視認不可能なノイズを、色強調処理後は、容易に視認可能となるように強調する傾向がある。また、画素基準の色向上技術は、色強調処理前には平坦だが、色強調処理後に比較的荒くなる領域において、量子化偽信号を増幅して生成する傾向がある。さらに、色強調処理が施されていない画像で一般に視認不可能なノイズが、圧縮偽信号が増幅されることによって、色強調処理後に目立つようになる傾向がある。
【００１２】
圧縮偽信号は、例えば輪郭（通常、不十分なビット深度(Bit Depth)に起因している）、ブロック状の偽信号（これはブロックベースの圧縮技術に共通するものである）、取り囲み偽信号（これは圧縮による高周波の損失に起因している）を含んでいる。
【００１３】
画素基準の色向上技術では、色強調の際に、偽信号をも強調してしまう。画像中の強調処理の施されない平坦な領域の画素は、空間的に近似色を持っている傾向があり、また、観察者にとって、近似色間の差異は、視認し難い傾向にある。画素基準の色向上技術は、近似色の差を拡大するので、強調処理後の画像では、当該差異が視認できるようになってしまう可能性がある。この結果、強調処理前の画像の平坦な領域が、強調処理後は、それほど平坦でなくなっている可能性がある。特に、画素基準の色向上技術は、強調処理がされなければ平坦な領域で一般に視認不可能なノイズを、色強調処理後は、容易に視認可能となるように強調する傾向がある。また、画素基準の色向上技術は、色強調処理前には平坦だが、色強調処理後に比較的荒くなる領域において、量子化偽信号を増幅して生成する傾向がある。さらに、色強調処理が施されていない画像で一般に視認不可能なノイズが、圧縮偽信号が増幅されることによって、色強調処理後に目立つようになる傾向がある。
【００１４】
圧縮偽信号は、例えば輪郭（これは、通常、不十分なビット深さのせいである）、ブロック状の偽信号（これはブロックベースの圧縮技術に共通する）、取り囲み偽信号（これは圧縮で引き起こされた高周波の損失のせいである）を含んでいる。
【００１５】
本発明は、上記従来の画像強調方法の問題点に鑑みてなされたものであり、その目的は、強調処理による儀信号の増幅を抑制することができるより適切な強調処理を可能にする画像強調方法を提供することにある。
【課題を解決するための手段】
【００１６】
本発明の画像強調方法は、上記の課題を解決するために、ディスプレイ上に表示する画像の色強調方法であって、（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、（ｂ）前記画像を空間フィルタにかけて、主に肌色領域を含む領域を肌色領域と規定するステップと、（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、（ｄ）前記空間フィルタを通過したフィルタ画像を、前記受信画像の非肌色領域を用いて強調し、該フィルタ画像の肌色領域と当該非肌色領域からなる強調画像を得るステップとを含むことを特徴としている。
【００１７】
上記の構成によれば、受信画像は、空間画像にかけられ、肌色領域が特定され、当該肌色領域が強調される。さらに、フィルタを通過したフィルタ画像は、受信画像の非肌色領域と合成して修正される。このように、空間情報を用いて肌色領域を特定し、当該特定された肌色領域を、修正画像全体で偽信号（artifacts）の発生を抑制することができる。
【００１８】
上記の構成において、前記肌色領域を規定する空間フィルタとしては、空間ローパスフィルタが望ましい。
【００１９】
上記の構成において、前記空間フィルタを通過したフィルタ画像は、エッジを含むことが望ましい。
【００２０】
上記の構成において、前記肌色領域を規定する空間フィルタは、シグマフィルタであることが望ましい。
【００２１】
上記の構成において、前記空間フィルタを通過したフィルタ画像は、注目画素を中心とした領域を含むことが望ましい。
【００２２】
上記の構成において、前記注目画素を中心とした領域内の画素のうち、該注目画素に近似した画素に基づいて前記肌色領域を規定することが望ましい。
【００２３】
上記の構成において、前記ステップ（ｂ）で、非線形ローパスフィルタと通過し、３Ｄルックアップテーブルによって得られた肌色尤度マップを用いて前記肌色領域を規定することが望ましい。
【００２４】
上記の構成において、前記ステップ（ｂ）で、各近接画素が肌色を有するかを空間特性に基づいて判断することによって前記肌色領域を規定することが望ましい。
【００２５】
上記の構成において、前記ステップ（ｂ）において、各近接画素が肌色を有するかを空間特性に基づいて判断することによって前記肌色領域を規定することが望ましい。
【００２６】
上記の構成において、前記受信画像を、前記空間フィルタによって、低周波成分を含むフィルタ画像であるベース画像と、高周波成分を含む残像とに分類することが望ましい。
【００２７】
本発明の他の色強調方法は、ディスプレイ上に表示する画像の色強調方法であって、上記の課題を解決するために、（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、（ｂ）前記各色成分を、シグマフィルタにかけ、主に低周波数成分からなるベース画像を得るステップと、（ｃ）前記入力画像を前記ベース画像に基づいて強調し、主に高周波数成分からなる残像を得るステップと、（ｄ）前記ベース画像をフィルタにかけ、肌色候補領域を規定し、画素を基準とした色強調技術を用いて、前記ベース画像のダイナミックレンジを増加させて強調ベース画像を得るステップと、（ｅ）前記残像画像に基づいて、前記強調ベース画像を強調し、高周波成分を含む強調画像を得るステップとを含むことを特徴としている。
【００２８】
上記の構成によれば、受信画像をシグマフィルタにかけ、主に低周波数成分からなるベース画像と、主に高周波数成分からなる残像とに分けた上で、主に低周波数成分からなり、ディテール、ノイズ、偽信号等をほとんど含まないベース画像の肌色領域に対して、フィルタを用いてダイナミックレンジが増加するように色強調処理を施している。そして、当該色強調処理が施されたベース画像を、色強調処理が施されていない残像と結合さて、１つの画像に戻している。
【００２９】
このように、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。
【００３０】
上記の構成において、前記残像が、輪郭除去技術を使用してさらに処理されることが望ましい。
【００３１】
上記の構成において、前記低周波数成分は、エッジを含むことが望ましい。
【００３２】
前記高周波数成分は、例えば、高周波数のディテール、ノイズ、および偽信号を含むでいる。
【００３３】
上記の構成において、前記シグマフィルタを通過した前記フィルタ画像が、注目画素を中心とした領域を含み、該シグマフィルタは、当該領域内のすべての画素を、前記注目画素と比較し、該注目画素との差が閾値内である画素の平均をとることが望ましい。
【００３４】
上記の構成において、前記閾値が、前記受信画像の内容に基づいて設定されていることが望ましい。
【００３５】
本発明のガマットマッピング方法は、ディスプレイ上に表示する画像の色のガマットマッピング方法であって、上記の課題を解決するために、（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、（ｂ）前記受信画像を、空間フィルタにかけて主に肌色領域を含む領域を肌色領域と規定するステップと、（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、（ｄ）前記空間フィルタを通過したフィルタ画像を、前記受信画像の非肌色領域を用いて強調し、該フィルタ画像の肌色領域と当該非肌色領域からなる強調画像を得るステップとを含むことを特徴としている。
【００３６】
上記の構成によれば、受信画像をシグマフィルタにかけ、主に低周波数成分からなるベース画像と、主に高周波数成分からなる残像とに分けた上で、主に低周波数成分からなり、ディテール、ノイズ、偽信号等をほとんど含まないベース画像の肌色領域に対して、フィルタを用いてダイナミックレンジが増加するように色強調処理を施している。そして、当該色強調処理が施されたベース画像を、色強調処理が施されていない残像と結合さて、１つの画像に戻している。
【００３７】
このように、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。
【００３８】
本発明の色強調システムは、ディスプレイ上に表示する画像の色を強調する色強調システムであって、上記の課題を解決するために、コンピュータスクリーン上に第１調整機構および第２調整機構を提供するユーザインタフェースを備え、前記第１調整機構が、肌色トーンの彩度を調整する第１肌色調整機構を含み、前記第２調整機構が、非肌色トーンの彩度を調整する第２非肌色調整機構を含むことを特徴としている。
【００３９】
本発明の他の色強調システムは、上記の課題を解決するために、各々複数の色成分を有する複数の画素からなる入力画像に対しフィルタ処理し、低周波数成分からなるベース画像を得るためのシグマフィルタと、前記入力画像から前記ベース画像を減算し主に高周波数成分からなる残像を得るための減算処理部と、前記ベース画像をフィルタ処理し、肌色候補を規定するための、非線形ローパスフィルタと、ダイナミックレンジを増加させるように、前記ベース画像を強調し、強調画像を得るための色強調処理部と、前記強調ベース画像と、前記高周波数成分からなる残像とを結合する結合部とを含むことを特徴としている。
【００４０】
上記の構成において、さらに、前記残像に対しコアリング処理を施し、前記高周波成分のディテール、ノイズおよび偽信号を減少させるためのコアリング処理部を含むことが望ましい。
【発明の効果】
【００４１】
本発明の画像強調方法は、以上のように、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。
【発明を実施するための最良の形態】
【００４２】
〔実施の形態１〕
本発明の実施の一形態について図面を参照し説明すれば、以下の通りである。
【００４３】
画像強調処理から生じる偽信号を減らすために、本発明では、空間情報を用いて色の強調処理を施すように構成されている。さらに、画像を、マルチチャンネル（例えば、２チャンネル）分解することにより、空間的な情報を得ることができる。より詳細には、画像を、ベース画像と残像とに分解することが望ましい。ベース画像は、画素を基準とした色強調技術を取り入れてもよい。そして、色強調処理が施されたベース画像と、色強調処理が施されていない残りの画像とを結合して単一の画像に戻している。
【００４４】
ベース画像のための色強調技術は、ダイナミックレンジを増加させるものである。この結果、一般に、低いダイナミックレンジでは観察不可能な、画像に含まれるノイズ、偽信号とを増加させる傾向がある。従って、増加したダイナミックレンジの画像の色を強調するする際、偽信号の生成を減らすことが望ましい。また、増加したダイナミックレンジの画像における、偽信号の生成を減少させる際、本技術は、一般に周波数が高い「ノイズ」と同種である、画像のディテールは復元されることが望ましい。
【００４５】
本好ましい実施の形態にかかる画像強調システムを図３のブロック図を参照し以下説明する。
【００４６】
本画像強調システムでは、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。図３に示すように、本画像強調システムは、空間フィルタ（好ましくはシグマフィルタ）２００、色強調パス２１０、減算処理部２７０、コアリング処理部２８０、結合部２６０を備えている。具体的には、受信画像（入力画像）は、まず、空間フィルタ２００によって、ローパス画像（例えば、ベース画像）ＩＬＰと、ハイパス画像（例えば、残像）ＩＨＰとに分解される。ディテール、偽信号等をほとんど含まないローパス画像ＩＬＰは、色強調パス２１０に送られる。色強調パス２１０には、肌色検出部２２０、非線形ローパスフィルタ２３０、色強調処理部２４０が設けられている。ハイパス画像ＩＨＰは、減算処理部２７０により、原画像からローパス画像ＩＬＰを取り除くことにより得られる。一方、ディテール、ノイズ、偽信号を含んだハイパス画像ＩＨＰは、色強調パス２１０へは送られず、色強調処理が施されたローパス画像２５０に結合され、単一の強調画像２９０が生成される。したがって、ハイパス画像ＩＨＰに含まれるノイズは増幅されない。さらに、ノイズおよび偽信号を抑制するためにハイパス画像ＩＨＰに対し、コアリング処理部２８０によりコアリング処理を施してもよい。コアリング処理とは、４ｂｉｔ信号で０〜１５の値が表現されるのであれば、微小の値、たとえば０，１，２を強制的に０にするなどのフィルタをかけるものである。次に、図３に示す各構成要素の詳細について説明する。
【００４７】
シグマフィルタ２００は、前述の通り、入力画像をローパス画像ＩＬＰとハイパス画像ＩＨＰとに分解するものである。本画像強調システムに好適なシグマフィルタ２００は、例えば、非特許文献１に開示されている。シグマフィルタ２００は、その中心に画素Ｉ（ｘ、ｙ）が位置する１−Ｄまたは２−Ｄ角窓を利用する。シグマフィルタ２００は、窓内のすべての画素Ｉ（ｉ、ｊ）を、注目画素Ｉ（ｘ、ｙ）と比較し、当該注目画素Ｉ（ｘ、ｙ）との差が、閾値Ｔ内である画素の平均を取るように構成されている。シグマフィルタ２００は閾値内に無い画素を省くので、シグマフィルタと呼ばれている。シグマフィルタ２００は非線形フィルタである。シグマフィルタ２００の出力ＩＬＰ（ｘ、ｙ）は：
【００４８】
【数１】
2007208979.tif 000003
【００４９】
により算出される。ここで、Ｅは窓である。Ｎ（ｘ、ｙ）は、｜Ｉ（ｉ、ｊ）−Ｉ（ｘ、ｙ）｜＜Ｔの状態を満たすＥにおける画素のカウントである。望ましくは、シグマフィルタのパラメータ（窓Ｅおよび閾値Ｔ）は、実験的に選択される。
【００５０】
シグマフィルタ２００は、ローパス画像ＩＬＰを生成する、そして、上述の通り、減算処理部２７０により原画像（入力画像）からローパス画像ＩＬＰを取り除くことにより、ハイパス画像ＩＨＰが得られる。シグマフィルタ２００は、鋭いエッジを保存する平滑化フィルタである。このため、シグマフィルタ２００によって生成されたローパス画像ＩＬＰは、わずかなディテールしか含んでいないが、鋭いエッジを含んでいる。そして、ハイパス画像ＩＨＰは、ディテール／ノイズ／偽信号を含んでいるが、わずかな鋭いエッジしか含んでいない。
【００５１】
肌色検出部２２０では、３Ｄルックアップテーブル（ＬＵＴ）を使用し、肌色尤度マップが生成される。ＬＵＴの三つの次元は、Ｒ、Ｇ、およびＢを示している。ＬＵＴの各要素は、色が肌色に属する確からしさを示す０〜１のスケールである。肌色が手動で区分されているトレーニングセットを使用すれば、ＬＵＴはトレーニングにより得ることができる。ＬＵＴによる肌色尤度値を、ローパス画像ＩＬＰのすべての画素に割り当てることにより全体の画像の肌色尤度マップａを生成することができる。
【００５２】
Ｒ、Ｇ、およびＢ入力が８ビットであると仮定して、３ＤＬＵＴのサイズは、２５６ｘ２５６ｘ２５６である。この２５６ｘ２５６ｘ２５６は直接高価なハードウェアで実装するには、コストがかかる。また、このサイズを有するＬＵＴも、トレーニングするためには冗長である。したがって、望ましくは、３３ｘ３３ｘ３３の３ＤＬＵＴが使用される。各次元の３３個のレベルは、０、８、１６、２４、３２、４０、４８、５６、６４、７２、８０、８８、９６、１０４、１１２、１２０、１２８、１３６、１４４、１５２、１６０、１６８、１７６、１８４、１９２、２００、２０８、２１６、２２４、２３２、２４０、２４８、２５５である。３直線内挿法などの３Ｄ内挿法アルゴリズムは、３Ｄ  ２５６ｘ２５６ｘ２５６グリッド内の、すべての失ったポイントを補間するのに使用される。図４に、３３ｘ３３ｘ３３ＬＵＴを示す。
【００５３】
肌色が非肌色に排他的に使用されず、非肌色が肌色に排他的に使用されないため、肌色と非肌色とは、かなり重複している。その結果、上記のＬＵＴによって生成された入力画像の肌色尤度マップが、誤りを含むことは避けがたい。
【００５４】
肌色尤度マップにおける誤り修正には、空間的な情報を用いることができる。具体的には、適切なアルゴリズムにおいて、肌色尤度マップへの画像に応じた非線形ローパスフィルタを適用することにより、空間的な情報を使用することができる。この非線形ローパスフィルタは、以下の（ａ）（ｂ）に基づいている。
【００５５】
（ａ）  空間的に近い画素は、互いに近似する肌色尤度値を有する可能性が高い。
【００５６】
（ｂ）  色空間において近似する画素は、互いに近似する肌色尤度値を有する可能性が高い。
【００５７】
数学的に、画像に応じた非線形ローパスフィルタは、次のように定義できる。
【００５８】
【数２】
2007208979.tif 000004
【００５９】
上の方程式で、Ｅは窓である。ａ（ｉ、ｊ）は、（ｉ、ｊ）における肌色尤度値である。Ｒ（ｉ、ｊ）、Ｇ（ｉ、ｊ）、およびＢ（ｉ、ｊ）は、（ｉ、ｊ）における色を定義する。空間的な近接性は、窓Ｅによって定義される。Ｅにおける画素は、（ｘ、ｙ）の画素に、空間的に近いとみなされる。色空間近接性は、閾値Ｔによって定義される。画素のＲ、Ｇ、およびＢの各値と、（ｘ、ｙ）における画素の値との差が、Ｔ未満である画素は、すべて色空間において近くにあると見なされる。Ｎ（ｘ、ｙ）は、空間的にも色的にも近い、窓Ｅ内の適切な画素の値と言える。
【００６０】
画像に応じて適応する非線形ローパスフィルタは、シグマフィルタの一形態である。この非線形ローパスフィルタの入力は、画像の肌色尤度マップであるが、平均化のための画素の選択は画像自体に基づいている。空間的に近く色的にも近い画素は、互いに近似の肌色尤度を有する傾向があり、画像の色ではなく、これらの尤度値が平均される。このフィルタによる処理のフローチャートを、図５に示す。
【００６１】
ローパス画像ＩＬＰ内の［Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）］によって定義された色を持つ各画素の強調処理は、肌色用、非肌色用の２つの異なったパラメータのセットを用いた画素を基準とした色強調アルゴリズムを用いて行われる。これらの２つの異なったパラメータセットを用いた色強調におり、［Ｒｓ（ｘ，ｙ），Ｇｓ（ｘ，ｙ），ＢＳ(ｘ，ｙ)］および[Ｒｎｓ（ｘ，ｙ），Ｇｎｓ（ｘ，ｙ），Ｂｎｓ（ｘ，ｙ）]は、各肌色尤度値ａＬＰ（ｘ、ｙ）に基づいて、[ＲＥＮ（ｘ，ｙ），ＧＥＮ（ｘ，ｙ），ＢＥＮ（ｘ，ｙ）]へと直線的に混合される。具体的には、混合方程式は以下のものでもよい：
REN(x,y)=aLP(x,y)Rs(x,y)+(1-aLP(x,y)) Rns(x,y)
GEN(x,y)=aLP(x,y)Gs(x,y)+(1-aLP(x,y)) Gns(x,y)
BEN(x,y)=aLP(x,y)Bs(x,y)+(1-aLP(x,y)) Bns(x,y)
図６は、肌色尤度マップを用いた色強調処理を示すブロック図である。ここでの色強調処理には、いかなる画素基準の色強調技術を用いてもよい。
【００６２】
ハイパス画像ＩＨＰは、ディテール、ノイズ、および偽信号を含んでいる。オプションとして、ハイパス画像ＩＨＰからノイズ、偽信号を減らすために、ハイパス画像ＩＨＰに対し、コアリング処理部２８０にてコアリング処理を施してもよい。このコアリング処理における入出力関係を、図７に示す。
【００６３】
好ましい実施の形態のユーザインタフェース３００の１例を図８に示している。インタフェース３００は、観察者が肌色（「肌のトーン彩度」）と非肌色（「肌以外のトーン彩度」）との彩度レベルを別々に調整できるように、肌色トーン彩度スライダ（第１調整機構、第１肌色調整機構）３１０と、非肌色トーン彩度スライダ（第２調整機構、第２非肌色調整機構）３２０との２つのスライダを備えている。これにより、観察者は、肌色の彩度（肌色彩度）と、非肌色の彩度（非肌色彩度）とを別々に独立して調整することができる。この例では、別々の彩度調整ができる構成を示しているが、好ましい実施形態では、また、色相および／または明るさなどの、他の別々のパラメータ調整ができる構成としてもよい。
【００６４】
色強調技術は、小さい色域から大きい色域まで画像データをマッピングするために、ガマットマッピング技術で使用できる。次世代液晶ディスプレイテレビは、ＮＴＳＣ全域などの大きい色域を特徴とすることができる。他方では、近い将来には、コンテンツは、まだ、ＸＹＺ色空間のＮＴＳＣ全域の７０％である、ＨＤＴＶ／ｓＲＧＢ形式であろう。狭いＨＤＴＶ／ｓＲＧＢ全域で定義されたＲＧＢ値を、直接広いＮＴＳＣ全域を有するテレビで表示すると、赤色の影や色の切り取りなどをもたらして、肌色がダメージを受けるであろう。
【００６５】
色強調技術として、色ガマットマッピングアルゴリズムにより、上記のシグマフィルタを用いて、入力画像をローパス画像ＩＬＰとハイパス画像ＩＨＰとに分解する。これにより、前述の肌色尤度マップが形成され、ガマットマッピングアルゴリズムにより処理される。色マッピング処理は、色強調アルゴリズムとしてローパス画像ＩＬＰのみに適用される。具体的には、まず、ローパス画像ＩＬＰ内で[Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）]によって定義された色を持つ画素が、二つのパラメータセットを使用してマッピングされる。一方のパラメータセットは、色を再現し、他方のパラメータセットは、広い色再現領域（ガマット）の付加的な領域に色を拡張するために用いられる。そして、これらの２つのパラメータセットによるマッピングの結果、［Ｒｓ（ｘ，ｙ），Ｇｓ（ｘ，ｙ），ＢＳ（ｘ，ｙ）］および［Ｒｎｓ（ｘ，ｙ），Ｇｎｓ（ｘ，ｙ），Ｂｎｓ（ｘ，ｙ）］が、肌色尤度値ａＬＰ（ｘ、ｙ）に基づいて、 ［ＲＥＮ（ｘ，ｙ），ＧＥＮ（ｘ，ｙ），ＢＥＮ（ｘ，ｙ）］へと直線的に結合される。
【００６６】
具体的には、混合方程式はまだ以下のとおりである：
REN(x,y)=aLP(x,y)Rs(x,y)+(1-aLP(x,y)) Rns(x,y)
GEN(x,y)=aLP(x,y)Gs(x,y)+(1-aLP(x,y)) Gns(x,y)
BEN(x,y)=aLP(x,y)Bs(x,y)+(1-aLP(x,y)) Bns(x,y) 
図９は、ローパス画像ＩＬＰの処理を示すブロック図である。
【００６７】
同図に示すように、最終段階で、ハイパス画像ＩＨＰが結合され、色ガマットマップイング処理が施された画像が生成される。
【００６８】
本願明細書中で使用した用語および表現は、本願明細書では制限のための用語ではなく説明のための用語として使用している。そのような用語および表現の使用は、ここで示し記述した特徴の均等物または部分を除外する意図するものではない。本発明の範囲は特許請求の範囲によってのみ定義され制限されるものと解釈されるべきである。
【図面の簡単な説明】
【００６９】
【図１】色強調処理後、色相−彩度色環で隣接する２つ色が、色強調処理後には、隣接しないケースを示す説明図である。
【図２】色環における実際の肌色領域と、画素基準の色強調方法による肌色領域を示す説明図である。
【図３】本発明の画像強調システムを示すブロック図である。
【図４】肌色ルックアップテーブルを示す説明図である。
【図５】非線形ローパスフィルタによる処理を示すのブロック図である。
【図６】肌色尤度マップを用いた色強調処理を示すフローチャートである。
【図７】コアリング処理における入出力の関係を示す説明図である。
【図８】本発明の色調整システムに用いるユーザインタフェースを示す説明図である。
【図９】本発明の色ガマットマッピング処理を示す説明図である。
【符号の説明】
【００７０】
２００    シーブ（シグマ）フィルタ（空間フィルタ）
２１０    強調パス
２２０    肌色検出部
２３０    非線形ローパスフィルタ
２４０    色強調部
２５０    ローパス強調画像
２６０    結合部
２７０    減算部
２８０    コアリング処理部
２９０    強調画像
３００    ユーザインタフェース
３１０    肌色トーン彩度スライダ（第１調整機構、第１肌色調整機構）
３２０    非肌色トーン彩度スライダ（第２調整機構、第２非肌色調整機構）
【図３】
2007208979.tif 000005
【図５】
2007208979.tif 000006
【図６】
2007208979.tif 000007
【図７】
2007208979.tif 000008
【図９】
2007208979.tif 000009
【図１】
2007208979.tif 000010
【図２】
2007208979.tif 000011
【図４】
2007208979.tif 000012
【図８】
2007208979.tif 000013
【外国語明細書】
[TITLE OF THE INVENTION]
COLOR ENHANCING METHOD, COLOR ENHANCING SYSTEM, COLOR ADJUSTING SYSTEM AND COLOR GAMUT MAPPING METHOD
[FIELD OF THE INVENTION]
The present invention relates to a color enhancement technique using skin color detection.
[BACKGROUND OF THE INVENTION]
The HSV (hue, saturation, value), or HSB (hue, saturation, brightness) model of the color space model facilitates a more intuitive modification of the colors of an image than changing the colors of an image based directly upon the modification of three primary colors model, i.e. R, G, and B.  The RGB color space has the shape of a cube while the HSV color space has the shape of a hexagonal cone. The HSV cone is a non-linear transformation of the RGB cube and at times it is referred to as a perceptual model. ‘Perceptual’ means the attributes that are more akin to the way in which human beings think of color.  
HSV model facilitates modification of the range or gamut of an RGB display device using the perceptually based variables, i.e. hue, saturation and value/brightness.  The HSV model is based on polar coordinates (r, e, z) rather than Cartesians coordinates used in the RGB model.  Hue, or tint or tone, is represented as an angle about the z axis, ranging from 0° through 360°.  Vertices of the hexagon are separated by 60° increment.  Red is at H=0°, Yellow at H=60°, Green at H=120°, and Cyan at H=180°.  Complementary colors are 180° spaced apart from each other.  Distance from the z axis represents saturation (S): the amount of color present. S varies from 0 to 1.  It is represented in this model as the ratio of the purity of a hue. S=1 represents maximum purity of this hue.  A hue is said to be one-quarter purity at S=0.25. At S=0, the gray scale is resulted.  V, value of HSV, varies from 0 at the apex of the hexagonal cone to 1 at the bottom of the hexagonal cone. V=0 represents blackness.  With V=1, color has his maximum intensity.  When V=1 and S=1, we have the pure hue. Whiteness is obtained at the location of V=1 and S=0.   
Most existing current color enhancement techniques typically boost saturation of colors while keeping the colors’ hue substantially unchanged.  In the hue-saturation color wheel such as the one shown in Figure 1, a typical color enhancement technique moves colors outward on the radial direction as shown by the arrows.  Essentially, the color enhancement algorithm increases the input images’ dynamic range by increasing the saturation of the pixels.  
The techniques used to enhance the color of an image are based upon modification of individual pixels.  When the color of a pixel is enhanced to a new color, the conversion from the old color to the new color for each pixel is a predetermined fixed adjustment for the entire image or for the entire video.  
By way of example, televisions have built-in color enhancement techniques to enhance unsaturated colors in certain content and let viewers set their color preferences.  Because the human eye is very sensitive to the skin color, it is important for a color enhancement technique to render skin colors properly.  It is also desirable for a color enhancement technique to separately adjust skin colors and non-skin colors using different characteristics.  
Some color enhancement techniques have the capability of protecting skin colors.  These techniques are typically are pixel-based.  When the color of a pixel is enhanced to a new color, the conversion from the old color to the new color is fixed, and is not affected by other pixels.  Because pixel-based color enhancement techniques with skin color protection cannot overcome the issue that the colors of skin and non-skin are highly overlapped, these techniques cannot effectively separately enhance skin and non-skin, and thus they can only protect all skin colors in the image not to be enhanced. 
The pixel-based algorithms do not work effectively.  Specifically, to avoid generating visible contouring artifacts in the areas of an image where skin and neighboring non-skin colors are mixed, both the skin color region in the color space and the gradual transition region between the skin color region and the non-skin color region have to be set very wide.  Typically, the skin color and transition regions cover nearly half of the color gamut, as illustrated in Figure 2. On the other hand, some true skin colors are missed in the skin color region and therefore remain unprotected. Consequently, many non-skin colors are improperly protected while many skin colors are improperly enhanced by the enhancement techniques. 
An observation was made that a typical pixel based color enhancement technique results in two similar colors before enhancement being modified to different values that are significantly less similar after enhancement.  Figure 1 illustrates two different situations.  Situation 1 illustrates the case when two colors are similar but have different hues, and situation 2 illustrates the case when two colors have the same hue and similar saturations.  
In both situations, the two colors are close to each other in the color wheel before color enhancement.  The two colors are spaced significantly apart from each other in the color wheel after color enhancement, indicating that the two enhanced colors are less similar after enhancement than they were before enhancement. 
Single pixel-based color enhancement techniques also enhance artifacts while it enhances colors.  The pixels in spatial flat areas of the non-enhanced image tend to have similar colors, and the differences among the similar colors are not very visible to the viewer.  Because the pixel-based color enhancement techniques enlarge the differences of similar colors, the resulting differences of the enhanced image may become very visible, and consequently a flat area of the image before enhancement may not be very flat anymore after enhancement.  Specifically, pixel-based color enhancement techniques are prone to amplifying noise that is otherwise generally unobservable in the flat area to become readily observable after color enhancement.  Also, the pixel-based color enhancement technique tends to amplify and generate quantization artifacts in the smooth regions before enhancement that become relatively rough after enhancement.  In addition, amplifying compression artifacts that are generally unobservable in the non-enhanced image become generally noticeable after enhancement.  The compression artifacts include, for example, contours, which are typically due to insufficient bit-depth, blocky artifacts, which are common for block-based compression schemes, and ringing artifacts, which are due to loss of high frequency caused by compression.  
[Non-Patent Document 1]
J.S. Lee, "Digital image enhancement and noise filtering by use of local statistics," in IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. PAMI-2, No. 2, pp. 165-168, March, 1980
[DISCLOSURE OF THE INVENTION]
[PROBLEMS TO BE SOLVED BY THE INVENTION]
Some color enhancement techniques have the capability of protecting skin colors.  These techniques are typically are pixel-based.  When the color of a pixel is enhanced to a new color, the conversion from the old color to the new color is fixed, and is not affected by other pixels.  Because pixel-based color enhancement techniques with skin color protection cannot overcome the issue that the colors of skin and non-skin are highly overlapped, these techniques cannot effectively separately enhance skin and non-skin, and thus they can only protect all skin colors in the image not to be enhanced. 
The pixel-based algorithms do not work effectively.  Specifically, to avoid generating visible contouring artifacts in the areas of an image where skin and neighboring non-skin colors are mixed, both the skin color region in the color space and the gradual transition region between the skin color region and the non-skin color region have to be set very wide.  Typically, the skin color and transition regions cover nearly half of the color gamut, as illustrated in Figure 2.  On the other hand, some true skin colors are missed in the skin color region and therefore remain unprotected. Consequently, many non-skin colors are improperly protected while many skin colors are improperly enhanced by the enhancement techniques. 
Single pixel-based color enhancement techniques also enhance artifacts while it enhances colors.  The pixels in spatial flat areas of the non-enhanced image tend to have similar colors, and the differences among the similar colors are not very visible to the viewer.  Because the pixel-based color enhancement techniques enlarge the differences of similar colors, the resulting differences of the enhanced image may become very visible, and consequently a flat area of the image before enhancement may not be very flat anymore after enhancement.  Specifically, pixel-based color enhancement techniques are prone to amplifying noise that is otherwise generally unobservable in the flat area to become readily observable after color enhancement.  Also, the pixel-based color enhancement technique tends to amplify and generate quantization artifacts in the smooth regions before enhancement that become relatively rough after enhancement.  In addition, amplifying compression artifacts that are generally unobservable in the non-enhanced image become generally noticeable after enhancement.  The compression artifacts include, for example, contours, which are typically due to insufficient bit-depth, blocky artifacts, which are common for block-based compression schemes, and ringing artifacts, which are due to loss of high frequency caused by compression.  
The present invention is achieved in view of the foregoing problems associated with the conventional image enhancement method, and accordingly, an object of the present invention is to provide an image enhancement method which realizes an enhanced image with reduced artifacts resulting from image enhancement.
[MEANS TO SOLVE THE PROBLEMS]
In order to solve the foregoing problems, the method for enhancing the color of an image to be displayed on a display is arranged so as to include the steps of:
(a) receiving an image having a plurality of pixels where each of the pixels has a plurality of color components;
(b) filtering the image with a spatial filter to define regions including generally skin-tones as the skin-tone regions; 
(c) enhancing the skin-tone regions in such a manner that the dynamic range of the skin tone regions is increased; and
(d) modifying the filtered image with the non-skin-tone regions of the image to obtain a modified image that includes the non-skin-tone regions and the filtered skin-tone regions.
According to the foregoing method, the image as received is filtered by the special filter to define the skin-tone regions, and the skin-tone regions are enhanced, and modifying (adding) the filtered image with (to) the non-skin regions of the image.  With this method, as the special information is used to define the skin-tone regions to be subjected to the enhancement process, artifacts in an overall modified image can be reduced.
The foregoing method preferably is arranged the special filter which defines the skin-tone regions is a spatial low pass filter.
The foregoing method preferably is arranged the resulting filtered image from the step (b) includes edges.
The foregoing method preferably is arranged the special filter which defines the skin-tone regions is a sigma filter.
The foregoing method preferably is arranged the image to be filtered by the special filter includes a region defined around a pixel of interest.
The foregoing method preferably is arranged the spatial filter determines pixels within the region that are sufficiently similar to the pixel of interest.
The foregoing method preferably is arranged in the step (b), a filtered skin color likelihood map by a nonlinear lowpass filter, which is generated using a 3D look-up table, is used to further define the skin-tone regions.
The foregoing method preferably is arranged in the step (b), the skin tone regions are defined by determining whether proximate pixels have skin-tones based on spatial characteristics.
The foregoing method preferably is arranged in the step (b), the skin tone regions are defined by determining whether proximate pixels have skin-tones based on color spatial characteristics.
The foregoing method preferably is arranged the image as inputted is separated into a base image and a residual image by the special filter, wherein the base image is the filtered image having low frequency components and the residual image includes high frequency components (higher frequency content) 
In order to achieve the foregoing problems, the method for enhancing the color of an image to be displayed on a display, is arranged so as to include the steps of:
(a) receiving an image having a plurality of pixels where each of the pixels has a plurality of color components; 
(b) filtering each of the plurality of color components with a sigma filter to obtain a base image primarily having low frequency components (lower frequency content);
(c) modifying the input image based upon the base image to obtain a residual image primarily having high frequency components (higher frequency content);
(d) filtering the base image with a filter to determine potential skin colors and use pixel-based color enhancement technique to obtain an enhanced base image in such a manner that the dynamic range of the base image is increased; and
(e)       modifying the enhanced base image based upon the residual image to obtain an enhanced image that includes the high frequency content of the image.  
According to the foregoing method, the image as received is divided into the base image primarily having low frequency components and the residual image primarily having high frequency components using the sigma filter, and the skin tone regions in the base image primary having low frequency components and having few details, noise, and artifacts are subjected to the enhancement process using the filter in such a manner that the dynamic range of the base image is increased.  The enhanced base image and the non-enhanced residual image are then combined back into a single image.
The foregoing method adopting the two-channel decomposition technique offers the effect of the enhancement of the noise and artifacts to be suppressed while enhancing colors.
The foregoing method preferably is arranged the residual image is further processed using a de-contouring technique.  
The foregoing method preferably is arranged the low frequency components include edges. 
The foregoing method preferably is arranged the higher frequency content includes high frequency details, noise, and artifacts.  
The foregoing method preferably is arranged the image to be filtered by the sigma filter includes a region defined around a pixel of interest, and compares all the pixels in the region with the pixel of interest, and averages those pixels whose value differences with the pixel of interest is within a threshold.
The foregoing method preferably is arranged the threshold is based upon the content of the image.  
In order to achieve the foregoing problems, the method for color gamut mapping the color of an image to be displayed on a display, characterized by comprising:  
(a) receiving an image having a plurality of pixels where each of the pixels has a plurality of color components;
(b) filtering the image with a spatial filter to define regions including generally skin-tones as the skin-tone regions; 
(c) enhancing the skin-tone regions in such a manner that the dynamic range of the skin tone regions is increased; and
(d) modifying the filtered image with the non-skin-tone regions of the image to obtain a modified image that includes the non-skin-tone regions and the filtered skin-tone regions.
According to the foregoing method, the image as received is divided into the base image primarily having low frequency components and the residual image primarily having high frequency components using the sigma filter, and the skin tone regions in the base image primary having low frequency components and few details, noise, and artifacts are subjected to the enhancement process using the filter .in such a manner that the dynamic range of the base image is increased.  The enhanced base image and the non-enhanced residual image are then combined back into a single image.
The foregoing method adopting the two-channel decomposition technique offers the effect of enhancing noise and artifacts to be reduced while enhancing colors.
In order to achieve the foregoing problems, the color adjusting system for adjusting the color of an image to be displayed on a display, adopting the foregoing method of the present invention is characterized by comprising:
a user interface presented on a computer screen that provides a first adjustment mechanism and a second adjustment mechanism,
wherein the first adjustment mechanism includes a first flesh tone adjustment mechanism that adjusts the saturation of flesh tones, and the second adjustment mechanism includes a second non-flesh tone adjustment mechanism that adjusts the saturation of non-flesh tones.  
In order to achieve the foregoing problems, the color enhancement system, is arranged so as to include the steps of:
a sigma filter for filtering an input image having a plurality of pixels where each of the pixels has a plurality of color components to obtain a base image primarily having low frequency components;
a subtraction section which subtracts the base image from the input image to obtain a residual image primarily having high frequency component;
an image-driven nonlinear low pass filter for filtering the base image to determine potential skin colors; 
a color enhancement section for enhancing the base image to obtain an enhanced image in such a manner that the dynamic range of the base image is increased; and
an addition section which combine the enhanced base image with the residual image containing the high frequency content.  
The foregoing color enhancement system is preferably arranged a coring section is further provided for coring the residual image to reduce details, noise, and artifacts in the higher frequency content. 
[DESCRIPTION OF THE PREFERRED EMBODIMENTS]
In order to reduce the artifacts resulting from image enhancement, the modified technique may incorporate spatial information with the color enhancement.     In addition, the spatial information may be obtained using multi-channel or two-channel decomposition of the image.  More specifically, the preferred technique may decomposes an image into a base image and a residual image.  The base image may incorporate a pixel-based color enhancement technique.  The color enhanced base image and the non-enhanced residual image are then combined back into a single image.
The color enhancement technique for the base image results in an increased dynamic range for an image, and as a result tends to increase the noise and artifacts that are in the image, which are generally not observable at the lower dynamic range.  Accordingly, it is desirable to reduce the generation of artifacts while enhancing the color of the image with an increased dynamic range.  While decreasing the generation of artifacts in the increased dynamic range image, the technique should also preserve image details which are generally high frequency in nature and akin to‘noise’.  
The overall block-diagram of the preferred color enhancement system in accordance with one embodiment of the present invention is explained with reference to the block diagram of Figure 3.  
The color enhancement system of the present invention adopts the two-channel decomposition technique to reduce enhancing noise and artifacts while enhancing colors.  As shown in Figure 3, the color enhancement system of the present embodiment includes a special filter 200, an enhancement path 210, a subtraction section 270, a coring section 280 and an addition section 260.  Specifically, the input image is first decomposed into lowpass image (e.g., base image) and highpass image IHP (e.g., residual image) by the special filter 200, preferably sigma filter.  The lowpass image, containing few details or artifacts, goes through the enhancement path 210. The enhancement path 210 has a skin color detection section 220, an image-driven non-linear lowpass filter 230, and a color enhancement section 240.  The highpass image IHPis formed by the subtraction section 270 where the lowpass image ILPis subtracted from the original image.  The highpass image IHP, containing details, noise, and artifacts, does not go through the enhancement path 210 and will be added back to the color enhanced lowpass image 250 to generate the enhanced image 290.  Therefore, the noise in the highpass image IHP is not enhanced in the same manner. In addition, the highpass image IHP can go through coring processing by the coring section 280 to reduce details, noise, and artifacts in the higher frequency content. The details of each component in the block-diagram are discussed as follows.
The sigma filter 200 decomposes the input image into the lowpass image ILPand highpass images IHP. A suitable sigma filter is published by the non-patent document 1 [Lee (J.S. Lee, “Digital image enhancement and noise filtering by use of local statistics,”in IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. PAMI-2, No. 2, pp. 165-168, March, 1980)]. The sigma filter utilizes a 1-D or 2-D rectangular window, where the current pixel (pixel of interest) I(x,y) is at the center of the window. The sigma filter 200 compares all the pixels I(i,j) in the window E with the central pixel I(x,y), and averages those pixels whose value differences with the central pixel I(x,y) is within a threshold T. Because this filter drops pixels that are not within the threshold T, one may refer to this as a sigma filter. The sigma filter is a nonlinear filter. Mathematically, the output of the sigma filter, ILP(x,y), is calculated: 
【数１】
2007208979.tif 000014
where E is the window; N(x,y) is the count of the pixels in E that satisfy the condition of |I(i,j)-I(x,y)|<T. The parameters of the sigma filter, the window E and the threshold T, are preferably chosen empirically. 
The sigma filter 200 generates the lowpass image ILP, and the highpass image IHP is obtained by subtraction 270. Because the sigma filter 200 is a smoothing filter preserving sharp edges, the lowpass image generated by the sigma filter 200 contains few details but contains sharp edges, and the highpass image IHP contains details/noises/artifacts but few sharp edges. 
The skin color detection 220 uses a 3D lookup table (LUT) to generate a skin color likelihood map. The three dimensions of the LUT are R, G and B. Each element of the LUT is a scale from 0 to 1 to indicate the likelihood that a color belongs to skin colors. The LUT is built by training, using training set where skin colors are manually segmented. Every pixel of the lowpass image can be given a skin color likelihood score by the LUT and the whole image forms a skin color likelihood map a.
Assuming that R, G and B inputs are 8 bits, the size of 3D LUT is 256x256x256, which is costly to implement directly in expensive hardware. A LUT with that size is also tedious to train. Therefore, 33x33x33 3D LUT is preferably used. The 33 levels of each dimension are 0, 8, 16, 24, 32, 40, 48, 56, 64, 72, 80, 88, 96, 104, 112, 120, 128, 136, 144, 152, 160, 168, 176, 184, 192, 200, 208, 216, 224, 232, 240, 248, 255. A 3D interpolation algorithm, such as tri-linear interpolation, is used to fill all the missing points in the 3D 256x256x256 grid.  The 33x33x33 LUT is illustrated in Figure 4.
The skin colors and non-skin colors are highly overlapped in the sense that any skin colors are not exclusively used by skins and non-skin colors are not exclusively used by non-skin objects either. Consequently, the skin color likelihood map of the input image generated by the above LUT can not avoid misses.
To correct some misses in the skin color likelihood map, one may use spatial information by applying an image-driven nonlinear lowpass filter to the skin color likelihood map in the preferred algorithm. The filter is motivated by the following two facts:
(a)   The pixels that are spatially close likely have similar skin color likelihood scores;
(b)   The pixels that are close in the color space likely have similar skin color likelihood scores.
Mathematically, the image-driven nonlinear lowpass filter may be defined as: 
【数２】
2007208979.tif 000015
In the above equation, E is the window; a(i, j) is the skin color likelihood score at (i, j). R(i, j), G(i, j), and B(i, j) define the colors at (i, j). The spatial proximity is defined by window E. The pixels in E are considered to be spatially close to the pixel at (x, y). The color-space proximity is defined by threshold T. The pixels’ R, G and B differences with the pixel at (x, y) are all below T are considered to be close in the color space. N(x,y) is the count of the qualified pixels in window E that are both spatially close and color-wisely close. 
The image-driven nonlinear lowpass filter is a variation of the sigma filter. The input of the filter is the skin color likelihood map of the image, but the selection of pixels for averaging is based on the image itself. The spatially close and color-wisely close pixels tend to have the similar skin color likelihood, and their likelihood scores, not there image colors, are averaged. The flow-chart of this filter is shown in Figure 5.
A pixel with colors defined by [R(x, y), G(x, y), B(x, y)] in the lowpass image is enhanced using a pixel-based color enhancement algorithm with two different sets of parameters, one set for skin colors, and the other for non-skin colors. Two enhanced results from two different parameter sets, [Rs(x, y), Gs(x, y), Bs(x, y)] and [Rns(x, y), Gns(x, y), Bns(x, y)] are mixed linearly according to its skin color likelihood score aLP(x, y) to [REN(x, y), GEN(x, y), BEN(x, y)]. Specifically, the mixing equations may be ：
REN(x,y)=aLP(x,y)Rs(x,y)+(1-aLP(x,y)) Rns(x,y)
GEN(x,y)=aLP(x,y)Gs(x,y)+(1-aLP(x,y)) Gns(x,y)
BEN(x,y)=aLP(x,y)Bs(x,y)+(1-aLP(x,y)) Bns(x,y)
The block-diagram is shown in Figure 6.  Any pixel-based technique can be used for color enhancement. 
The highpass image IHP contains details, noise and artifacts. As an option, the highpass image IHP can go through a coring process by the coring section 280 to reduce details, noise, and artifacts in the higher frequency content. The input-output relationship of a coring processing is shown in Figure 7.
One example of the user interface of the preferred embodiment is shown in Figure 8. The interface 300 has two sliders, i.e., the flesh tone saturation slider 310 (First Adjustment Mechanism, First Flesh Tone Adjustment Mechanism) and the second non-flesh tone saturation slider 320 (Second Adjustment Mechanism, Second Non-Flesh Tone Adjustment Mechanism) to let viewers separately adjust the saturation levels of the skin colors (“Flesh Tone Saturation”) and non-skin colors (“Non-flesh Tone Saturation”). 
The foregoing method of the present invention may be applied to the color adjusting system for adjusting the color of the image to be displayed on a display, and includes the user interface 300 presented on a computer screen that provides the flesh tone saturation slider 310 and the non-flesh tone saturation slider 320.  
Although this example only shows the separate saturation adjustments, the preferred embodiment allows other separate parameter adjustments as well, such as hue and/or brightness.  
The same idea in the color enhancement technique may be used in a color gamut mapping technique to map pictorial data from a small color gamut to a big color gamut.  Next-generation LCD TVs may feature a big color gamut such as the NTSC gamut.  On the other hand, in the foreseeable future, the contents will still be in the HDTV/sRGB format, which is 70% of the NTSC gamut in the XYZ color space.  Directly displaying the RGB values defined in the small HDTV/sRGB gamut on the TV with the big NTSC gamut will damage skin colors, resulting in red color shadows, color clipping, etc.
As the color enhancement technique, the color gamut mapping algorithm decomposes the input image into the lowpass image and the highpass image IHPusing the same sigma filter. The same skin color likelihood map is generated and processed in the color gamut mapping algorithm. The color mapping is only applied to the lowpass image as the color enhancement algorithm. Specifically, first, a pixel with colors defined by [R(x, y), G(x, y), B(x, y)] in the lowpass image is mapped  using two sets of parameters, one parameter set preserving colors, and the other parameter set expanding colors to the extra area of the big color gamut. Then, the two mapped results [Rs(x, y), Gs(x, y), Bs(x, y)] and [Rns(x, y), Gns(x, y), Bns(x, y)] are combined linearly according to its skin color likelihood score aLP(x, y) to [REN(x, y), GEN(x, y), BEN(x, y)]. 
Specifically, the mixing equations still are:  
REN(x,y)=aLP(x,y)Rs(x,y)+(1-aLP(x,y))Rns(x,y)
GEN(x,y)=aLP(x,y)Gs(x,y)+(1-aLP(x,y))Gns(x,y)
BEN(x,y)=aLP(x,y)Bs(x,y)+(1-aLP(x,y))Bns(x,y) .
The block-diagram of lowpass image processing is shown in Figure 9    Finally, the highpass image is added back to generate the color-gamut-mapped image.
The terms and expressions which have been employed in the foregoing specification are used therein as terms of description and not of limitation, and there is no intention, in the use of such terms and expressions, of excluding equivalents of the features shown and described or portions thereof, it being recognized that the scope of the invention is defined and limited only by the claims which follow.
[BRIEF DESCRIPTIONS OF THE DRAWINGS]
FIG. 1 illustrates two adjacent colors in the hue-saturation color wheel that are not adjacent in the wheel after color enhancement.  
FIG. 2 illustrates the actual skin color region and the skin region defined by a pixel based technique in a color wheel.
FIG. 3 illustrates a block diagram of the proposed technique.
FIG. 4 illustrates a look up table of skin color.  
FIG. 5 illustrates a block diagram of an image driven non-linear low pass filter.  
FIG. 6 illustrates a flow chart of color enhancement using skin color likelihood map.
FIG. 7 illustrates an input-output relationship of a coring process.  
FIG. 8 illustrates a user interface adopted in the color adjusting system of the present invention.  
FIG. 9 illustrates a color gamut mapping technique.  
[REFERENCE NUMERALS]
200 … Sieve (sigma) filter (Spatial Filter)
210 … Enhancement Path 
220 … Skin Color Detection Section
230 … Nonlinear Lowpass Filter
240 … Color Enhancement Section
250 … Enhanced lowpass image
270 … Subtraction Section
280 … Coring Section
290 … Enhanced Image
300 … User Interface
310 … Flesh Tone Saturation Slider (First Adjustment Mechanism, First Flesh Tone Adjustment Mechanism)
320 … Non-Flesh Tone Saturation Slider(Second Adjustment Mechanism, Second NON-Flesh Tone Adjustment Mechanism)
1. A method for enhancing the color of an image to be displayed on a display, characterized by comprising:
(a) receiving an image having a plurality of pixels where each of said pixels has a plurality of color components;
(b) filtering said image with a spatial filter to define regions including generally skin-tones as the skin-tone regions; 
(c) enhancing said skin-tone regions in such a manner that the dynamic range of said skin tone regions is increased; and
(d) modifying said filtered image with the non-skin-tone regions of said image to obtain a modified image that includes said non-skin-tone regions and said filtered skin-tone regions.
2. The method of claim 1, characterized in that:
said special filter which defines said skin-tone regions is a spatial low pass filter.
3. The method of claim 1, characterized in that:
a resulting filtered image from said step (b) includes edges.
4. The method of claim 1, characterized in that:
said special filter which defines said skin-tone regions is a sigma filter.
5. The method of claim 1, characterized in that:
said image to be filtered by said special filter includes a region defined around a pixel of interest.
6. The method of claim 5, characterized in that:
said spatial filter determines pixels within said region that are sufficiently similar to said pixel of interest.
7. The method of claim 1, characterized in that:
in said step (b), a filtered skin color likelihood map by a nonlinear lowpass filter, which is generated using a 3D look-up table, is used to further define said skin-tone regions.  
8. The method of claim 1, characterized in that:
in said step (b), said skin tone regions are defined by determining whether proximate pixels have skin-tones based on spatial characteristics.
9. The method of claim 1, characterized in that:
in said step (b), said skin tone regions are defined by determining whether proximate pixels have skin-tones based on color spatial characteristics.
10. The method of claim 1, characterized in that:
by said special filter, said image is separated into a base image and a residual image, wherein said base image is said filtered image having low frequency components and said residual image includes high frequency components.
11. A method for enhancing the color of an image to be displayed on a display, characterized by comprising:
(a) receiving an image having a plurality of pixels where each of said pixels has a plurality of color components; 
(b) filtering each of said plurality of color components with a sigma filter to obtain a base image primarily having low frequency components;
(c) modifying said input image based upon said base image to obtain a residual image primarily having high frequency components;
(d) filtering said base image with a filter to determine potential skin colors and use pixel-based color enhancement technique to obtain an enhanced base image in such a manner that the dynamic range of said base image is increased; and
(e) modifying said enhanced base image based upon said residual image to obtain an enhanced image that includes said high frequency components of said image.  
12. The method of claim 11 wherein said residual image is further processed using a de-contouring technique.  
13. The method of claim 11, characterized in that:
said low frequency contents include edges. 
14. The method of claim 11, characterized in that:
said high frequency components include high frequency details, noise, and artifacts.  
15. The method of claim 11, characterized in that:
said image to be filtered by said sigma filter includes a region defined around a pixel of interest, and compares all the pixels in the region with said pixel of interest, and averages those pixels whose value differences with the pixel of interest is within a threshold.
16. The method of claim 15, characterized in that:
said threshold is based upon the content of said image.  
17. A method for color gamut mapping the color of an image to be displayed on a display, characterized by comprising the steps of:  
(a) receiving an image having a plurality of pixels where each of said pixels has a plurality of color components;
(b) filtering said image with a spatial filter to define regions including generally skin-tones as the skin-tone regions; 
(c) enhancing said skin-tone regions in such a manner that the dynamic range of said skin tone regions is increased; and
(d) modifying said filtered image with the non-skin-tone regions of said image to obtain a modified image that includes said non-skin-tone regions and said filtered skin-tone regions.
18. A color adjusting system for adjusting the color of an image to be displayed on a display, characterized by comprising:
a user interface presented on a computer screen that provides a first adjustment mechanism and a second adjustment mechanism,
wherein said first adjustment mechanism includes a first flesh tone adjustment mechanism that adjusts the saturation of flesh tones, and said second adjustment mechanism includes a second non-flesh tone adjustment mechanism that adjusts the saturation of non-flesh tones.  
19. A color enhancement system, characterized by comprising:
a sigma filter for filtering an input image having a plurality of pixels where each of said pixels has a plurality of color components to obtain a base image primarily having low frequency components;
a subtraction section which subtracts said base image from said input image to obtain a residual image primarily having high frequency components;
an image-driven nonlinear low pass filter for filtering said base image to determine potential skin colors; 
a color enhancement section for enhancing said base image to obtain an enhanced image in such a manner that the dynamic range of said base image is increased; and
an addition section which combine said enhanced base image with said residual image containing said high frequency components.
20. The color enhancement system of claim 19, characterize by further comprising:
a coring section for coring said residual image to reduce details, noise, and artifacts in said high frequency components. 
A method for enhancing the color of an image to be displayed on a display includes receiving an image having a plurality of pixels where each of the pixels has a plurality of color components.  The image is filtered using a spatial filter in such a manner that the lower frequency contents of the image are enhanced in such a manner that the dynamic range of the lower frequency content is increased.  The filtered image is modified with the non-skin-tone regions of the image to obtain a modified image that includes the non-skin-tone regions and the filtered skin-tone regions.
【図１】
2007208979.tif 000016
【図２】
2007208979.tif 000017
【図３】
2007208979.tif 000018
【図４】
2007208979.tif 000019
【図５】
2007208979.tif 000020
【図６】
2007208979.tif 000021
【図７】
2007208979.tif 000022
【図８】
2007208979.tif 000023
【図９】
2007208979.tif 000024