(57)【特許請求の範囲】
【請求項１】
ディスプレイ上に表示する画像の色強調方法であって、
（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、
（ｂ）前記画像を、空間フィルタによって、低周波成分を含むフィルタ画像であるベース画像と、高周波成分を含む残像とに分類し、前記ベース画像を前記空間フィルタにかけて、主に肌色領域を含む領域を肌色領域と規定するステップと、
（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、
（ｄ）前記空間フィルタを通過したベース画像と、前記残像とを結合し、前記フィルタ画像の肌色領域と非肌色領域とからなる強調画像を得るステップとを含み、
前記高周波成分は、高周波数のディテールを含むことを特徴とする画像の色強調方法。
【請求項２】
前記肌色領域を規定する空間フィルタは、空間ローパスフィルタであることを特徴とする請求項１に記載の画像の色強調方法。
【請求項３】
前記空間フィルタを通過したフィルタ画像は、エッジを含むことを特徴とする請求項１に記載の画像の色強調方法。
【請求項４】
前記肌色領域を規定する空間フィルタは、シグマフィルタであることを特徴とする請求項１に記載の画像の色強調方法。
【請求項５】
前記空間フィルタを通過したフィルタ画像は、注目画素を中心とした領域を含むことを特徴とする請求項１に記載の画像の色強調方法。
【請求項６】
前記注目画素を中心とした領域内の画素のうち、該注目画素に近似した画素に基づいて前記肌色領域を規定することを特徴とする請求項５に記載の画像の色強調方法。
【請求項７】
前記ステップ（ｂ）において、非線形ローパスフィルタを通過し、３Ｄルックアップテーブルによって得られた肌色尤度マップを用いて前記肌色領域を規定することを特徴とする請求項１に記載の画像の色強調方法。
【請求項８】
前記ステップ（ｂ）において、各近接画素が肌色を有するかを空間特性に基づいて判断することによって前記肌色領域を規定することを特徴とする請求項１に記載の画像の色強調方法。
【請求項９】
前記ステップ（ｂ）において、各近接画素が肌色を有するかを色空間特性に基づいて判断することによって前記肌色領域を規定することを特徴とする請求項１に記載の画像の色強調方法。
【請求項１０】
ディスプレイ上に表示する画像の色のガマットマッピング方法であって、
（ａ）各々複数の色成分を有する複数の画素からなる受信画像を受信するステップと、
（ｂ）前記受信画像を、空間フィルタによって、低周波成分を含むフィルタ画像であるベース画像と、高周波成分を含む残像とに分類し、前記ベース画像を前記空間フィルタにかけて主に肌色領域を含む領域を肌色領域と規定するステップと、
（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、
（ｄ）前記空間フィルタを通過したベース画像と、前記残像とを結合し、前記フィルタ画像の肌色領域と非肌色領域からなる強調画像を得るステップとを含み、
前記高周波成分は、高周波数のディテールを含むことを特徴とするガマットマッピング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、肌色検出による色強調技術に関する。
【背景技術】
【０００２】
三原色（Ｒ、Ｇ、およびＢ）を直接修正することによって、画像の色を修正する方式に比べ、色空間モデルの色相 (Hue)、彩度 (Saturation)、明度 (Value of Brightness)の三要素で色を表すＨＳＶ方式または色相 (Hue)、彩度 (Saturation)、明度 (Brightness)の三つの要素で表現する方式は、人間の色に対する感覚を数値化しているため画像の色の直感的な修正が容易である。ＲＧＢ色空間は、立方体であり、ＨＳＶ色空間は、六角錐である。ＨＳＶコーンはＲＧＢ立方体の非線形変形であり、知覚モデルとしても知られている。ここで「知覚」とは、人間が色を知覚する方法と類似していることを意味している。
【０００３】
ＨＳＶモデルは、知覚ベースの変数、すなわち、色相、彩度、および明度を使用するＲＧＢディスプレイ装置の範囲または色再現領域（ガマット）の修正を容易にする。ＨＳＶモデルでは、ＲＧＢモデルで使用される直交座標系よりむしろ極座標系（ｒ、ｅ、ｚ）を用いている。色相、ティント、トーンは、０°から３６０°までのｚ軸に対する角度で表される。六角形の頂点は６０°ごとに分離されている。レッドがＨ＝０°、イエローがＨ＝６０°、グリーンがＨ＝１２０°シアンがＨ＝１８０°である。補色は、互いに１８０°離れている。ｚ軸からの距離（色彩的な量）は彩度（Ｓ）を表す。Ｓは０〜１になる。このモデルでは、それは色相の純度の比率として表される。Ｓ＝１はこの色相の最大の純度を表す。Ｓ＝０．２５のとき、色相は四分の一の純度であると言われる。Ｓ＝０では、グレイスケールとなる。Ｖ（ＨＳＶの明度）はhexconeの頂上における０からhexconeの底部の１までの値を取る。Ｖ＝０は黒を表す。Ｖ＝１では、色は、最大強度となる。Ｖ＝１かつＳ＝１のとき、純粋な色相となる。Ｖ＝１かつＳ＝０で、白色となる。
【０００４】
現在用いられている色強調技術としては、実質的な色の色相は変えずに、色の彩度を上げるものが一般的である。図１に示すような典型的な色強調技術は、色相・彩度環で、矢印で示すように半径方向外側に色を移動させる。本質的には、色強調アルゴリズムは、画素の彩度を増加させることによって、入力画像のダイナミックレンジを増加させている。
【０００５】
画像の色強調に使用される技術は、個々の画素の修正に基づいている。したがって、画素の色を新しい色に強調処理する際、各画素の古い色から新しい色への変換は、画像または映像全体で予め定められた固定調整となる。
【０００６】
一例として、テレビは、所定のコンテントにおける不安定な彩度を強調する技術を内蔵しており、観察者は、好みの色に設定することができる。ここで、人間の目は肌色に非常に敏感であるので、色強調技術にとり、肌色を適切に描写するのは重要となる。また、色強調技術にとり、肌色と非肌色とで、特性が異なる点に着目し、肌色と非肌色とを別々に調整することも望ましい。
【非特許文献１】J.S. Lee, "Digital image enhancement and noise filtering by use of local statistics," in IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. PAMI-2, No. 2, pp. 165-168, March, 1980
【発明の開示】
【発明が解決しようとする課題】
【０００７】
色強調技術には、肌色を保護する機能を備えたものもある。しかしながら、肌色保護機能を備えた色強調技術は、通常画素に基づくものである。これらの方法では、画素の色が新しい色に強調されるとき、古い色から新しい色への変換は、固定されていて、他の画素により影響を受けない。肌色保護機能を備えた画素を基準とした色強調技術は、肌色と非肌色とが重なり合っているといった問題の解決策を見出すことができない。このため、事実上、これらの色向上技術は、肌色と非肌色とを別々に強調処理することができず、色強調が施されない画像の肌色を保護できるにすぎない。
【０００８】
画素を基準としたアルゴリズムは有効ではない。特に、肌色領域と隣接している非肌色領域とが交じっている画像領域において視認し得る輪郭を描く偽信号が生成されるのを避けるために、色空間の肌色領域と、肌色領域と非肌色領域の間の段階的移行領域との両方を、非常に広く設定されなければならない。通常、これらの肌色領域と移行領域とは、図２に示すように、色域の約半分を占めている。この一方で、実際の肌色が、肌色領域で見逃されていて、その結果、多くの非肌色が不適切に保護されると共に、多くの肌色が不適切に強調されてしまう。
【０００９】
典型的な画素に基づいた色修正技術では、色修正の前には、近似していた２つの色が、色修正後に、明らかに近似が少ない異なった値に修正されることがある。図１は、２つの異なった状態を示す。状態１は、近似する２つの色が、異なる色相を有する場合を示している。一方、状態２は、２つの色が、同じ色相を有し、彩度も近似している場合を示している。
【００１０】
状態１、状態２共に、２つの色は、色強調処理前の色環では、近似している。しかしならが、色強調処理後は、２つの色は、色環でかなり離れている。これは、色強調処理後の２つの色が色強調処理前よりも近似していないことを示している。
【００１１】
画素基準の色向上技術では、色強調の際に、偽信号をも強調してしまう。画像中の強調処理の施されない平坦な領域の画素は、空間的に近似色を持っている傾向があり、また、観察者にとって、近似色間の差異は、視認し難い傾向にある。画素基準の色向上技術は、近似色の差を拡大するので、強調処理後の画像では、当該差異が視認できるようになってしまう可能性がある。この結果、強調処理前の画像の平坦な領域が、強調処理後は、それほど平坦でなくなっている可能性がある。特に、画素基準の色向上技術は、強調処理がされなければ平坦な領域で一般に視認不可能なノイズを、色強調処理後は、容易に視認可能となるように強調する傾向がある。また、画素基準の色向上技術は、色強調処理前には平坦だが、色強調処理後に比較的荒くなる領域において、量子化偽信号を増幅して生成する傾向がある。さらに、色強調処理が施されていない画像で一般に視認不可能なノイズが、圧縮偽信号が増幅されることによって、色強調処理後に目立つようになる傾向がある。
【００１２】
圧縮偽信号は、例えば輪郭（通常、不十分なビット深度(Bit Depth)に起因している）、ブロック状の偽信号（これはブロックベースの圧縮技術に共通するものである）、取り囲み偽信号（これは圧縮による高周波の損失に起因している）を含んでいる。
【００１３】
画素基準の色向上技術では、色強調の際に、偽信号をも強調してしまう。画像中の強調処理の施されない平坦な領域の画素は、空間的に近似色を持っている傾向があり、また、観察者にとって、近似色間の差異は、視認し難い傾向にある。画素基準の色向上技術は、近似色の差を拡大するので、強調処理後の画像では、当該差異が視認できるようになってしまう可能性がある。この結果、強調処理前の画像の平坦な領域が、強調処理後は、それほど平坦でなくなっている可能性がある。特に、画素基準の色向上技術は、強調処理がされなければ平坦な領域で一般に視認不可能なノイズを、色強調処理後は、容易に視認可能となるように強調する傾向がある。また、画素基準の色向上技術は、色強調処理前には平坦だが、色強調処理後に比較的荒くなる領域において、量子化偽信号を増幅して生成する傾向がある。さらに、色強調処理が施されていない画像で一般に視認不可能なノイズが、圧縮偽信号が増幅されることによって、色強調処理後に目立つようになる傾向がある。
【００１４】
圧縮偽信号は、例えば輪郭（これは、通常、不十分なビット深さのせいである）、ブロック状の偽信号（これはブロックベースの圧縮技術に共通する）、取り囲み偽信号（これは圧縮で引き起こされた高周波の損失のせいである）を含んでいる。
【００１５】
本発明は、上記従来の画像強調方法の問題点に鑑みてなされたものであり、その目的は、強調処理による儀信号の増幅を抑制することができるより適切な強調処理を可能にする画像強調方法を提供することにある。
【課題を解決するための手段】
【００１６】
本発明の画像強調方法は、上記の課題を解決するために、ディスプレイ上に表示する画像の色強調方法であって、（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、（ｂ）前記画像を空間フィルタにかけて、主に肌色領域を含む領域を肌色領域と規定するステップと、（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、（ｄ）前記空間フィルタを通過したフィルタ画像を、前記受信画像の非肌色領域を用いて強調し、該フィルタ画像の肌色領域と当該非肌色領域からなる強調画像を得るステップとを含むことを特徴としている。
【００１７】
上記の構成によれば、受信画像は、空間画像にかけられ、肌色領域が特定され、当該肌色領域が強調される。さらに、フィルタを通過したフィルタ画像は、受信画像の非肌色領域と合成して修正される。このように、空間情報を用いて肌色領域を特定し、当該特定された肌色領域を、修正画像全体で偽信号（artifacts）の発生を抑制することができる。
【００１８】
上記の構成において、前記肌色領域を規定する空間フィルタとしては、空間ローパスフィルタが望ましい。
【００１９】
上記の構成において、前記空間フィルタを通過したフィルタ画像は、エッジを含むことが望ましい。
【００２０】
上記の構成において、前記肌色領域を規定する空間フィルタは、シグマフィルタであることが望ましい。
【００２１】
上記の構成において、前記空間フィルタを通過したフィルタ画像は、注目画素を中心とした領域を含むことが望ましい。
【００２２】
上記の構成において、前記注目画素を中心とした領域内の画素のうち、該注目画素に近似した画素に基づいて前記肌色領域を規定することが望ましい。
【００２３】
上記の構成において、前記ステップ（ｂ）で、非線形ローパスフィルタと通過し、３Ｄルックアップテーブルによって得られた肌色尤度マップを用いて前記肌色領域を規定することが望ましい。
【００２４】
上記の構成において、前記ステップ（ｂ）で、各近接画素が肌色を有するかを空間特性に基づいて判断することによって前記肌色領域を規定することが望ましい。
【００２５】
上記の構成において、前記ステップ（ｂ）において、各近接画素が肌色を有するかを色空間特性に基づいて判断することによって前記肌色領域を規定することが望ましい。
【００２６】
上記の構成において、前記受信画像を、前記空間フィルタによって、低周波成分を含むフィルタ画像であるベース画像と、高周波成分を含む残像とに分類することが望ましい。
【００２７】
本発明の他の色強調方法は、ディスプレイ上に表示する画像の色強調方法であって、上記の課題を解決するために、（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、（ｂ）前記各色成分を、シグマフィルタにかけ、主に低周波数成分からなるベース画像を得るステップと、（ｃ）前記入力画像を前記ベース画像に基づいて変更し、主に高周波数成分からなる残像を得るステップと、（ｄ）前記ベース画像をフィルタにかけ、肌色候補領域を規定し、画素を基準とした色強調技術を用いて、前記ベース画像のダイナミックレンジを増加させて強調ベース画像を得るステップと、（ｅ）前記残像画像に基づいて、前記強調ベース画像を変更し、高周波成分を含む強調画像を得るステップとを含むことを特徴としている。
【００２８】
上記の構成によれば、受信画像をシグマフィルタにかけ、主に低周波数成分からなるベース画像と、主に高周波数成分からなる残像とに分けた上で、主に低周波数成分からなり、ディテール、ノイズ、偽信号等をほとんど含まないベース画像の肌色領域に対して、フィルタを用いてダイナミックレンジが増加するように色強調処理を施している。そして、当該色強調処理が施されたベース画像を、色強調処理が施されていない残像と結合さて、１つの画像に戻している。
【００２９】
このように、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。
【００３０】
上記の構成において、前記残像が、輪郭除去技術を使用してさらに処理されることが望ましい。
【００３１】
上記の構成において、前記低周波数成分は、エッジを含むことが望ましい。
【００３２】
前記高周波数成分は、例えば、高周波数のディテール、ノイズ、および偽信号を含むでいる。
【００３３】
上記の構成において、前記シグマフィルタを通過した前記フィルタ画像が、注目画素を中心とした領域を含み、該シグマフィルタは、当該領域内のすべての画素を、前記注目画素と比較し、該注目画素との差が閾値内である画素の平均をとることが望ましい。
【００３４】
上記の構成において、前記閾値が、前記受信画像の内容に基づいて設定されていることが望ましい。
【００３５】
本発明のガマットマッピング方法は、ディスプレイ上に表示する画像の色のガマットマッピング方法であって、上記の課題を解決するために、（ａ）各々複数の色成分を有する複数の画素からなる画像を受信するステップと、（ｂ）前記受信画像を、空間フィルタにかけて主に肌色領域を含む領域を肌色領域と規定するステップと、（ｃ）前記肌色領域のダイナミックレンジが増加するように前記肌色領域を強調するステップと、（ｄ）前記空間フィルタを通過したフィルタ画像を、前記受信画像の非肌色領域を用いて変更し、該フィルタ画像の肌色領域と当該非肌色領域からなる強調画像を得るステップとを含むことを特徴としている。
【００３６】
上記の構成によれば、受信画像をシグマフィルタにかけ、主に低周波数成分からなるベース画像と、主に高周波数成分からなる残像とに分けた上で、主に低周波数成分からなり、ディテール、ノイズ、偽信号等をほとんど含まないベース画像の肌色領域に対して、フィルタを用いてダイナミックレンジが増加するように色強調処理を施している。そして、当該色強調処理が施されたベース画像を、色強調処理が施されていない残像と結合さて、１つの画像に戻している。
【００３７】
このように、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。
【００３８】
本発明の色強調システムは、ディスプレイ上に表示する画像の色を強調する色強調システムであって、上記の課題を解決するために、コンピュータスクリーン上に第１調整機構および第２調整機構を提供するユーザインタフェースを備え、前記第１調整機構が、肌色トーンの彩度を調整する第１肌色調整機構を含み、前記第２調整機構が、非肌色トーンの彩度を調整する第２非肌色調整機構を含むことを特徴としている。
【００３９】
本発明の他の色強調システムは、上記の課題を解決するために、各々複数の色成分を有する複数の画素からなる入力画像に対しフィルタ処理し、低周波数成分からなるベース画像を得るためのシグマフィルタと、前記入力画像から前記ベース画像を減算し主に高周波数成分からなる残像を得るための減算処理部と、前記ベース画像をフィルタ処理し、肌色候補を規定するための、非線形ローパスフィルタと、ダイナミックレンジを増加させるように、前記ベース画像を強調し、強調画像を得るための色強調処理部と、前記強調ベース画像と、前記高周波数成分からなる残像とを結合する結合部とを含むことを特徴としている。
【００４０】
上記の構成において、さらに、前記残像に対しコアリング処理を施し、前記高周波成分のディテール、ノイズおよび偽信号を減少させるためのコアリング処理部を含むことが望ましい。
【発明の効果】
【００４１】
本発明の画像強調方法は、以上のように、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。
【発明を実施するための最良の形態】
【００４２】
〔実施の形態１〕
本発明の実施の一形態について図面を参照し説明すれば、以下の通りである。
【００４３】
画像強調処理から生じる偽信号を減らすために、本発明では、空間情報を用いて色の強調処理を施すように構成されている。さらに、画像を、マルチチャンネル（例えば、２チャンネル）分解することにより、空間的な情報を得ることができる。より詳細には、画像を、ベース画像と残像とに分解することが望ましい。ベース画像は、画素を基準とした色強調技術を取り入れてもよい。そして、色強調処理が施されたベース画像と、色強調処理が施されていない残りの画像とを結合して単一の画像に戻している。
【００４４】
ベース画像のための色強調技術は、ダイナミックレンジを増加させるものである。この結果、一般に、低いダイナミックレンジでは観察不可能な、画像に含まれるノイズ、偽信号とを増加させる傾向がある。従って、増加したダイナミックレンジの画像の色を強調するする際、偽信号の生成を減らすことが望ましい。また、増加したダイナミックレンジの画像における、偽信号の生成を減少させる際、本技術は、一般に周波数が高い「ノイズ」と同種である、画像のディテールは復元されることが望ましい。
【００４５】
本好ましい実施の形態にかかる画像強調システムを図３のブロック図を参照し以下説明する。
【００４６】
本画像強調システムでは、２つのチャンネル分解技術を用いることにより、ノイズ、偽信号の発生を抑制しつつ、色強調処理を施すことができる。図３に示すように、本画像強調システムは、空間フィルタ（好ましくはシグマフィルタ）２００、色強調パス２１０、減算処理部２７０、コアリング処理部２８０、結合部２６０を備えている。具体的には、受信画像（入力画像）は、まず、空間フィルタ２００によって、ローパス画像（例えば、ベース画像）ＩＬＰと、ハイパス画像（例えば、残像）ＩＨＰとに分解される。ディテール、偽信号等をほとんど含まないローパス画像ＩＬＰは、色強調パス２１０に送られる。色強調パス２１０には、肌色検出部２２０、非線形ローパスフィルタ２３０、色強調処理部２４０が設けられている。ハイパス画像ＩＨＰは、減算処理部２７０により、原画像からローパス画像ＩＬＰを取り除くことにより得られる。一方、ディテール、ノイズ、偽信号を含んだハイパス画像ＩＨＰは、色強調パス２１０へは送られず、色強調処理が施されたローパス画像２５０に結合され、単一の強調画像２９０が生成される。したがって、ハイパス画像ＩＨＰに含まれるノイズは増幅されない。さらに、ノイズおよび偽信号を抑制するためにハイパス画像ＩＨＰに対し、コアリング処理部２８０によりコアリング処理を施してもよい。コアリング処理とは、４ｂｉｔ信号で０〜１５の値が表現されるのであれば、微小の値、たとえば０，１，２を強制的に０にするなどのフィルタをかけるものである。次に、図３に示す各構成要素の詳細について説明する。
【００４７】
シグマフィルタ２００は、前述の通り、入力画像をローパス画像ＩＬＰとハイパス画像ＩＨＰとに分解するものである。本画像強調システムに好適なシグマフィルタ２００は、例えば、非特許文献１に開示されている。シグマフィルタ２００は、その中心に画素Ｉ（ｘ、ｙ）が位置する１−Ｄまたは２−Ｄ角窓を利用する。シグマフィルタ２００は、窓内のすべての画素Ｉ（ｉ、ｊ）を、注目画素Ｉ（ｘ、ｙ）と比較し、当該注目画素Ｉ（ｘ、ｙ）との差が、閾値Ｔ内である画素の平均を取るように構成されている。シグマフィルタ２００は閾値内に無い画素を省くので、シグマフィルタと呼ばれている。シグマフィルタ２００は非線形フィルタである。シグマフィルタ２００の出力ＩＬＰ（ｘ、ｙ）は：
【００４８】
【数１】
0004376912.tif 000002
【００４９】
により算出される。ここで、Ｅは窓である。Ｎ（ｘ、ｙ）は、｜Ｉ（ｉ、ｊ）−Ｉ（ｘ、ｙ）｜＜Ｔの状態を満たすＥにおける画素のカウントである。望ましくは、シグマフィルタのパラメータ（窓Ｅおよび閾値Ｔ）は、実験的に選択される。
【００５０】
シグマフィルタ２００は、ローパス画像ＩＬＰを生成する、そして、上述の通り、減算処理部２７０により原画像（入力画像）からローパス画像ＩＬＰを取り除くことにより、ハイパス画像ＩＨＰが得られる。シグマフィルタ２００は、鋭いエッジを保存する平滑化フィルタである。このため、シグマフィルタ２００によって生成されたローパス画像ＩＬＰは、わずかなディテールしか含んでいないが、鋭いエッジを含んでいる。そして、ハイパス画像ＩＨＰは、ディテール／ノイズ／偽信号を含んでいるが、わずかな鋭いエッジしか含んでいない。
【００５１】
肌色検出部２２０では、３Ｄルックアップテーブル（ＬＵＴ）を使用し、肌色尤度マップが生成される。ＬＵＴの三つの次元は、Ｒ、Ｇ、およびＢを示している。ＬＵＴの各要素は、色が肌色に属する確からしさを示す０〜１のスケールである。肌色が手動で区分されているトレーニングセットを使用すれば、ＬＵＴはトレーニングにより得ることができる。ＬＵＴによる肌色尤度値を、ローパス画像ＩＬＰのすべての画素に割り当てることにより全体の画像の肌色尤度マップａを生成することができる。
【００５２】
Ｒ、Ｇ、およびＢ入力が８ビットであると仮定して、３ＤＬＵＴのサイズは、２５６ｘ２５６ｘ２５６である。この２５６ｘ２５６ｘ２５６は直接高価なハードウェアで実装するには、コストがかかる。また、このサイズを有するＬＵＴも、トレーニングするためには冗長である。したがって、望ましくは、３３ｘ３３ｘ３３の３ＤＬＵＴが使用される。各次元の３３個のレベルは、０、８、１６、２４、３２、４０、４８、５６、６４、７２、８０、８８、９６、１０４、１１２、１２０、１２８、１３６、１４４、１５２、１６０、１６８、１７６、１８４、１９２、２００、２０８、２１６、２２４、２３２、２４０、２４８、２５５である。３直線内挿法などの３Ｄ内挿法アルゴリズムは、３Ｄ  ２５６ｘ２５６ｘ２５６グリッド内の、すべての失ったポイントを補間するのに使用される。図４に、３３ｘ３３ｘ３３ＬＵＴを示す。
【００５３】
肌色が非肌色に排他的に使用されず、非肌色が肌色に排他的に使用されないため、肌色と非肌色とは、かなり重複している。その結果、上記のＬＵＴによって生成された入力画像の肌色尤度マップが、誤りを含むことは避けがたい。
【００５４】
肌色尤度マップにおける誤り修正には、空間的な情報を用いることができる。具体的には、適切なアルゴリズムにおいて、肌色尤度マップへの画像に応じた非線形ローパスフィルタを適用することにより、空間的な情報を使用することができる。この非線形ローパスフィルタは、以下の（ａ）（ｂ）に基づいている。
【００５５】
（ａ）  空間的に近い画素は、互いに近似する肌色尤度値を有する可能性が高い。
【００５６】
（ｂ）  色空間において近似する画素は、互いに近似する肌色尤度値を有する可能性が高い。
【００５７】
数学的に、画像に応じた非線形ローパスフィルタは、次のように定義できる。
【００５８】
【数２】
0004376912.tif 000003
【００５９】
上の方程式で、Ｅは窓である。ａ（ｉ、ｊ）は、（ｉ、ｊ）における肌色尤度値である。Ｒ（ｉ、ｊ）、Ｇ（ｉ、ｊ）、およびＢ（ｉ、ｊ）は、（ｉ、ｊ）における色を定義する。空間的な近接性は、窓Ｅによって定義される。Ｅにおける画素は、（ｘ、ｙ）の画素に、空間的に近いとみなされる。色空間近接性は、閾値Ｔによって定義される。画素のＲ、Ｇ、およびＢの各値と、（ｘ、ｙ）における画素の値との差が、Ｔ未満である画素は、すべて色空間において近くにあると見なされる。Ｎ（ｘ、ｙ）は、空間的にも色的にも近い、窓Ｅ内の適切な画素の値と言える。
【００６０】
画像に応じて適応する非線形ローパスフィルタは、シグマフィルタの一形態である。この非線形ローパスフィルタの入力は、画像の肌色尤度マップであるが、平均化のための画素の選択は画像自体に基づいている。空間的に近く色的にも近い画素は、互いに近似の肌色尤度を有する傾向があり、画像の色ではなく、これらの尤度値が平均される。このフィルタによる処理のフローチャートを、図５に示す。
【００６１】
ローパス画像ＩＬＰ内の［Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）］によって定義された色を持つ各画素の強調処理は、肌色用、非肌色用の２つの異なったパラメータのセットを用いた画素を基準とした色強調アルゴリズムを用いて行われる。これらの２つの異なったパラメータセットを用いた色強調におり、［Ｒｓ（ｘ，ｙ），Ｇｓ（ｘ，ｙ），ＢＳ(ｘ，ｙ)］および[Ｒｎｓ（ｘ，ｙ），Ｇｎｓ（ｘ，ｙ），Ｂｎｓ（ｘ，ｙ）]は、各肌色尤度値ａＬＰ（ｘ、ｙ）に基づいて、[ＲＥＮ（ｘ，ｙ），ＧＥＮ（ｘ，ｙ），ＢＥＮ（ｘ，ｙ）]へと直線的に混合される。具体的には、混合方程式は以下のものでもよい：
REN(x,y)=aLP(x,y)Rs(x,y)+(1-aLP(x,y)) Rns(x,y)
GEN(x,y)=aLP(x,y)Gs(x,y)+(1-aLP(x,y)) Gns(x,y)
BEN(x,y)=aLP(x,y)Bs(x,y)+(1-aLP(x,y)) Bns(x,y)
図６は、肌色尤度マップを用いた色強調処理を示すブロック図である。ここでの色強調処理には、いかなる画素基準の色強調技術を用いてもよい。
【００６２】
ハイパス画像ＩＨＰは、ディテール、ノイズ、および偽信号を含んでいる。オプションとして、ハイパス画像ＩＨＰからノイズ、偽信号を減らすために、ハイパス画像ＩＨＰに対し、コアリング処理部２８０にてコアリング処理を施してもよい。このコアリング処理における入出力関係を、図７に示す。
【００６３】
好ましい実施の形態のユーザインタフェース３００の１例を図８に示している。インタフェース３００は、観察者が肌色（「肌のトーン彩度」）と非肌色（「肌以外のトーン彩度」）との彩度レベルを別々に調整できるように、肌色トーン彩度スライダ（第１調整機構、第１肌色調整機構）３１０と、非肌色トーン彩度スライダ（第２調整機構、第２非肌色調整機構）３２０との２つのスライダを備えている。これにより、観察者は、肌色の彩度（肌色彩度）と、非肌色の彩度（非肌色彩度）とを別々に独立して調整することができる。この例では、別々の彩度調整ができる構成を示しているが、好ましい実施形態では、また、色相および／または明るさなどの、他の別々のパラメータ調整ができる構成としてもよい。
【００６４】
色強調技術は、小さい色域から大きい色域まで画像データをマッピングするために、ガマットマッピング技術で使用できる。次世代液晶ディスプレイテレビは、ＮＴＳＣ全域などの大きい色域を特徴とすることができる。他方では、近い将来には、コンテンツは、まだ、ＸＹＺ色空間のＮＴＳＣ全域の７０％である、ＨＤＴＶ／ｓＲＧＢ形式であろう。狭いＨＤＴＶ／ｓＲＧＢ全域で定義されたＲＧＢ値を、直接広いＮＴＳＣ全域を有するテレビで表示すると、赤色の影や色の切り取りなどをもたらして、肌色がダメージを受けるであろう。
【００６５】
色強調技術として、色ガマットマッピングアルゴリズムにより、上記のシグマフィルタを用いて、入力画像をローパス画像ＩＬＰとハイパス画像ＩＨＰとに分解する。これにより、前述の肌色尤度マップが形成され、ガマットマッピングアルゴリズムにより処理される。色マッピング処理は、色強調アルゴリズムとしてローパス画像ＩＬＰのみに適用される。具体的には、まず、ローパス画像ＩＬＰ内で[Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）]によって定義された色を持つ画素が、二つのパラメータセットを使用してマッピングされる。一方のパラメータセットは、色を再現し、他方のパラメータセットは、広い色再現領域（ガマット）の付加的な領域に色を拡張するために用いられる。そして、これらの２つのパラメータセットによるマッピングの結果、［Ｒｓ（ｘ，ｙ），Ｇｓ（ｘ，ｙ），ＢＳ（ｘ，ｙ）］および［Ｒｎｓ（ｘ，ｙ），Ｇｎｓ（ｘ，ｙ），Ｂｎｓ（ｘ，ｙ）］が、肌色尤度値ａＬＰ（ｘ、ｙ）に基づいて、 ［ＲＥＮ（ｘ，ｙ），ＧＥＮ（ｘ，ｙ），ＢＥＮ（ｘ，ｙ）］へと直線的に結合される。
【００６６】
具体的には、混合方程式はまだ以下のとおりである：
REN(x,y)=aLP(x,y)Rs(x,y)+(1-aLP(x,y)) Rns(x,y)
GEN(x,y)=aLP(x,y)Gs(x,y)+(1-aLP(x,y)) Gns(x,y)
BEN(x,y)=aLP(x,y)Bs(x,y)+(1-aLP(x,y)) Bns(x,y) 
図９は、ローパス画像ＩＬＰの処理を示すブロック図である。
【００６７】
同図に示すように、最終段階で、ハイパス画像ＩＨＰが結合され、色ガマットマップイング処理が施された画像が生成される。
【００６８】
本願明細書中で使用した用語および表現は、本願明細書では制限のための用語ではなく説明のための用語として使用している。そのような用語および表現の使用は、ここで示し記述した特徴の均等物または部分を除外する意図するものではない。本発明の範囲は特許請求の範囲によってのみ定義され制限されるものと解釈されるべきである。以上のように本発明の画像の色強調方法は、ディスプレイ上に表示する画像の色強調方法であって、（ａ）各々複数の色成分を有する複数の画素からなる受信画像を受信するステップと、（ｂ）前記各色成分を、シグマフィルタにかけ、主に低周波数成分からなるベース画像を得るステップと、（ｃ）前記受信画像を前記ベース画像に基づいて変更し、主に高周波成分からなる残像を得るステップと、（ｄ）前記ベース画像をフィルタにかけ、肌色候補領域を規定し、画素を基準とした色強調技術を用いて、前記ベース画像のダイナミックレンジを増加させて強調ベース画像を得るステップと、（ｅ）前記残像に基づいて、前記強調ベース画像を変更し、高周波成分を含む強調画像を得るステップとを含むことを特徴としている。また、前記残像が、輪郭除去技術を使用してさらに処理されることが好ましい。
また、前記低周波成分は、エッジを含むことが好ましい。また、前記高周波成分は、高周波数のディテール、ノイズ、および偽信号を含むことが好ましい。また、前記シグマフィルタを通過したフィルタ画像は、注目画素を中心とした領域を含み、該シグマフィルタは、当該領域内のすべての画素を、前記注目画素と比較し、該注目画素との差が閾値内である画素の平均をとることが好ましい。また、前記閾値が、前記受信画像の内容に基づいて設定されていることが好ましい。
本発明の色強調システムは、各々複数の色成分を有する複数の画素からなる入力画像に対しフィルタ処理し、低周波成分からなるベース画像を得るためのシグマフィルタと、前記入力画像から前記ベース画像を減算し主に高周波成分からなる残像を得るための減算処理部と、前記ベース画像をフィルタ処理し、肌色候補を規定するための、非線形ローパスフィルタと、ダイナミックレンジを増加させるように、前記ベース画像を強調し、強調ベース画像を得るための色強調処理部と、前記強調ベース画像と、前記高周波成分からなる残像とを結合する結合部と、コンピュータスクリーン上に第１調整機構および第２調整機構を提供するユーザーインタフェースとを備え、前記第１調整機構が、肌色トーンの彩度を調整する第１肌色調整機構を含み、前記第２調整機構が、非肌色トーンの彩度を調整する第２非肌色調整機構を含むことを特徴としている。本発明の色強調システムは、各々複数の色成分を有する複数の画素からなる入力画像に対しフィルタ処理し、低周波成分からなるベース画像を得るためのシグマフィルタと、前記入力画像から前記ベース画像を減算し主に高周波成分からなる残像を得るための減算処理部と、前記ベース画像をフィルタ処理し、肌色候補を規定するための、非線形ローパスフィルタと、ダイナミックレンジを増加させるように、前記ベース画像を強調し、強調ベース画像を得るための色強調処理部と、前記強調ベース画像と、前記高周波成分からなる残像とを結合する結合部とを含むことを特徴としている。また、色強調システムは、前記残像に対しコアリング処理を施し、前記高周波成分のディテール、ノイズおよび偽信号を減少させるためのコアリング処理部を含むことを特徴としている。
【図面の簡単な説明】
【００６９】
【図１】色強調処理後、色相−彩度色環で隣接する２つ色が、色強調処理後には、隣接しないケースを示す説明図である。
【図２】色環における実際の肌色領域と、画素基準の色強調方法による肌色領域を示す説明図である。
【図３】本発明の画像強調システムを示すブロック図である。
【図４】肌色ルックアップテーブルを示す説明図である。
【図５】非線形ローパスフィルタによる処理を示すのブロック図である。
【図６】肌色尤度マップを用いた色強調処理を示すフローチャートである。
【図７】コアリング処理における入出力の関係を示す説明図である。
【図８】本発明の色調整システムに用いるユーザインタフェースを示す説明図である。
【図９】本発明の色ガマットマッピング処理を示す説明図である。
【符号の説明】
【００７０】
２００    シーブ（シグマ）フィルタ（空間フィルタ）
２１０    強調パス
２２０    肌色検出部
２３０    非線形ローパスフィルタ
２４０    色強調部
２５０    ローパス強調画像
２６０    結合部
２７０    減算部
２８０    コアリング処理部
２９０    強調画像
３００    ユーザインタフェース
３１０    肌色トーン彩度スライダ（第１調整機構、第１肌色調整機構）
３２０    非肌色トーン彩度スライダ（第２調整機構、第２非肌色調整機構）
【図３】
0004376912.tif 000004
【図５】
0004376912.tif 000005
【図６】
0004376912.tif 000006
【図７】
0004376912.tif 000007
【図９】
0004376912.tif 000008
【図１】
0004376912.tif 000009
【図２】
0004376912.tif 000010
【図４】
0004376912.tif 000011
【図８】
0004376912.tif 000012