(57)【要約】【課題】  ＴＶ画像等における人肌色の領域における補正処理において、補正後に不連続の存在がなく色むらが生じない人肌の色画像補正処理を行う。【解決手段】  人肌の色画像補正装置は、Ｃｒ／Ｃｂ直交座標系から、後述する色補正を行い易いように極座標系に変換する極座標系変換手段と、色相の角度方向の重み付けＷ（θ）演算手段と、色相の半径方向の重み付けＷ（ｒ）演算手段と、を備えて構成され、数式４に、色相の角度方向θの重み付け関数Ｗ（θ）を反映させた数式５を実行し、図２に示すエリアａｅｈｄａとエリアｆｂｃｇの色の消滅を避けることができ、色むらの解消ができる。【選択図】  図１
2006237798.tif 000002
【特許請求の範囲】
【請求項１】
肌色領域を理想の肌色近付の領域に領域を狭める補正を行う肌色補正画像処理装置であって、
直交座標系の色差信号Ｃｒ、Ｃｂを極座標系に変換する極座標系変換手段と、
前記極座標系による色相方向の補正を行う重み付け関数演算手段と、を備え、
前記色相方向の補正を行う重み付け関数演算手段により前記補正した領域における色相方向の境界付近の色むらを低減することを特徴とする肌色補正画像処理装置。
【請求項２】
さらに、前記極座標系による彩度方向の補正を行う重み付け関数演算手段を備え、
前記補正した領域において彩度方向の境界付近の色むらを低減することを特徴とする請求項１に記載の肌色補正画像処理装置。
【請求項３】
補正すべき領域において、前記色相方向の角度が非対称となる補正領域を補正の対象領域とすることより、人種の肌色や機器の特性に対して、より柔軟性の高い補正を行うことを特徴とする請求項１又は請求項２に記載の肌色補正画像処理装置。
【請求項４】
前記色相方向の補正を行う重み付け関数演算手段は、前記色相の角度において対称的な線形重み付け関数を用いたことを特徴とする請求項１に記載の肌色補正画像処理装置。
【請求項５】
前記色相方向の補正を行う重み付け関数演算手段は、前記色相の角度において非対称的な線形重み付け関数を用いたことを特徴とする請求項３に記載の肌色補正画像処理装置。
【請求項６】
前記色相方向の補正を行う重み付け関数演算手段は、前記色相の角度において非線形重み付け関数を用いたことを特徴とする請求項１又は請求項３に記載の肌色補正画像処理装置。
【請求項７】
前記色相方向の補正を行う重み付け関数演算手段は、色相の角度において任意の重み付け関数を実現できるＬＵＴを用いたことを特徴とする請求項１又は請求項３に記載の肌色補正画像処理装置。
【請求項８】
前記極座標系による彩度方向の補正を行う重み付け関数演算手段は、前記彩度における重み付け関数が逆台形型の関数を用いたことを特徴とする請求項２に記載の肌色補正画像処理装置。
【請求項９】
前記極座標系による彩度方向の補正を行う重み付け関数演算手段は、彩度において任意の重み付け関数を実現できるＬＵＴを用いたことを特徴とする請求項２に記載の肌色補正画像処理装置。
【請求項１０】
肌色領域を理想の肌色近付の領域に領域を狭める補正を行う肌色補正画像処理方法であって、
直交座標系の色差信号Ｃｒ、Ｃｂを極座標系に変換する極座標系変換ステップと、
前記極座標系による色相方向の補正を行う重み付け関数演算ステップと、を備え、
前記色相方向の補正を行う重み付け関数演算ステップにより前記補正した領域における色相方向の境界付近の色むらを低減することを特徴とする肌色補正画像処理方法。
【請求項１１】
さらに、前記極座標系による彩度方向の補正を行う重み付け関数演算ステップを備え、
前記補正した領域における彩度方向の境界付近の色むらを低減することを特徴とする請求項１０に記載の肌色補正画像処理方法。
【請求項１２】
さらに、前記極座標系による彩度方向の補正を行う重み付け関数演算手段を備え、
前記補正した領域において彩度方向の境界付近の色むらを低減することを特徴とする請求項１に記載の肌色補正画像処理装置。
補正すべき領域において、前記色相方向の角度が非対称となる補正領域を補正の対象領域とすることより、人種の肌色や機器の特性に対して、より柔軟性の高い補正を行うことを特徴とする請求項１０又は請求項１１に記載の肌色補正画像処理方法。
【請求項１３】
前記色相方向の補正を行う重み付け関数演算ステップは、前記色相の角度において対称的な線形重み付け関数を用いて演算することを特徴とする請求項１０に記載の肌色補正画像処理方法。
【請求項１４】
前記色相方向の補正を行う重み付け関数演算ステップは、前記色相の角度において非対称的な線形重み付け関数を用いて演算することを特徴とする請求項１２に記載の肌色補正画像処理方法。
【請求項１５】
前記色相方向の補正を行う重み付け関数演算ステップは、前記色相の角度において非線形重み付け関数を用いて演算することを特徴とする請求項１０又は請求項１２に記載の肌色補正画像処理方法。
【請求項１６】
前記色相方向の補正を行う重み付け関数演算ステップは、色相の角度において任意の重み付け関数を実現できるＬＵＴを用いることを特徴とする請求項１０又は請求項１２に記載の肌色補正画像処理方法。
【請求項１７】
前記極座標系による彩度方向の補正を行う重み付け関数演算ステップは、前記彩度における重み付け関数が逆台形型の関数を用いて演算することを特徴とする請求項１１に記載の肌色補正画像処理方法。
【請求項１８】
前記極座標系による彩度方向の補正を行う重み付け関数演算ステップは、彩度において任意の重み付け関数を実現できるＬＵＴを用いたことを特徴とする請求項１１に記載の肌色補正画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ、カメラ、ＤＶＤなどの映像機器に搭載し、人肌の色の領域を補正する画像処理に関する。
【背景技術】
【０００２】
ＩＴＵ−Ｒ  ＢＴ．６０１規格は輝度Ｙ、色差Ｃｒ／Ｃｂと赤Ｒ、緑Ｇ、青Ｂとの関係は、下記に示す数式１で定められているが、人肌の色は人種によって異なるが、通常は赤色Ｒと黄色Ｙｅとの間の領域に分布している。
【数１】
2006237798.tif 000003
【０００３】
上記肌色の領域について後述する肌色補正を行うと、例えば、ＴＶの映像に表示される人の顔や皮膚は健康できれいに表示される効果がある。また、後述する従来技術に示すように、上記肌色の領域を更に肌領域を狭めると、黄色人種であるアジア人等の肌色は、赤っぽく表示され、若々しく表示されるという効果があり、従来、肌色補正画像処理は、映像機器等に搭載されている。
【０００４】
従来の人肌の色領域の補正処理について以下に説明する。
【０００５】
デジタル画像においてＲＧＢは、それぞれ同じビット数で表している。このとき、色差ＣｒとＣｂの取り得る値の範囲が異なる。そのため、ＣｒとＣｂを同一範囲に収め、後述する極座標変換を容易にするために、上記数式１のＣｒＣｂにおける式について正規化処理を行い、下記に示す数式２を得る。
【数２】
2006237798.tif 000004
【０００６】
図８は、色差Ｃｂを横軸として、色差Ｃｒを縦軸とした直交座標系において、赤（Ｒ）、黄色（Ｙｅ）、緑色（Ｇ）、シアン（Ｃ）、青色（Ｂ）、マゼンタ（Ｍ）の色相を表す図である。
【０００７】
肌色補正を行うために、図８に示すＣｂ−Ｃｒ座標系を下記の数式３に示す極座標系に変える。ここで、θは色の特性を表す色相で、ｒはその色相に対する彩度である。
【０００８】
カメラの場合はＣＣＤの色再現性、テレビの場合はパネルの色再現性に差が存在し、商品に設定する人肌の色データは、メーカによって異なるが、一般性を失わせないため、人肌の色相をθ１とする。
【数３】
2006237798.tif 000005
【０００９】
図９は、デジタル画像処理において、従来の肌色補正の領域を示す図である。
【００１０】
肌色補正は、下記に示す数式４で行われる。補正エリアは、ｒ１＜ｒ＜ｒ２、θ１−Δθ１＜θ＜θ１＋Δθ１で定められた範囲である。
【数４】
2006237798.tif 000006
【００１１】
ここで、ｋは係数で、０から１までの範囲で設定できる。ｋは小さいほど、補正は強くなる。
【００１２】
図２は、肌色補正前のエリアと補正後のエリア変化を示す図である。
【００１３】
従来の補正の肌色がａｅｆｂｃｇｈｄａで囲まれたエリアに分布していたが、補正後の肌色はｅｆｇｈｅで囲まれたエリアに圧縮されている。補正後の肌色は、補正前より理想の肌色の色相θ１に集中したことが分かる。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、図２に示す「ａｅｈｄａ」で囲まれたエリアと「ｆｂｃｇｆ」で囲まれたエリアにある色は補正画像から無くなることから、補正後の画像にエリアの境目「ａｅｆｂ」と「ｄｈｇｃ」において、その境目の上と下に色の不連続が存在する。これらの原因で補正後の画像に色むらが生じるという問題点がある。
【００１５】
また、ＣＣＤやパネルの特性によって肌色理想位置θ１の両側に補正すべきエリアが対称でないことがあるので、θ１においてその両側に非対称エリアでの補正が望ましい。
【００１６】
また、人種によって同様に非対称エリアの補正も求められている。
【００１７】
本発明は、上記従来の問題点に鑑みてなされたものであって、人肌色の領域における補正処理において、補正後に不連続の存在がなく色むらが生じない人肌の色画像補正装置及びその方法を提供することを目的としている。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明に係る人肌の色画像補正装置及びその方法は、以下の特徴を備えている。
【００１９】
本発明に係る人肌の色画像補正装置は、肌色領域を理想の肌色の近付の領域に領域を狭める補正を行う肌色補正画像処理装置であって、直交座標系の色差信号Ｃｒ、Ｃｂを極座標系に変換する極座標系変換手段と、前記極座標系による色相方向の補正を行う重み付け関数演算手段と、を備え、前記色相方向の補正を行う重み付け関数演算手段により前記補正した領域における色相方向の境界付近の色むらを低減することを特徴とする。
【００２０】
また、本発明に係る人肌の色画像補正装置は、さらに、前記極座標系による彩度方向の補正を行う重み付け関数演算手段を備え、前記補正した領域において彩度方向の境界付近の色むらを低減することを特徴とする。
【００２１】
また、本発明に係る人肌の色画像補正装置は、補正すべき領域において、前記色相方向の角度が非対称となる補正領域を補正の対象領域とすることより、人種の肌色や機器の特性に対して、より柔軟性の高い補正を行うことを特徴とする。
【００２２】
また、本発明に係る人肌の色画像補正装置において、前記色相方向の補正を行う重み付け関数演算手段は、前記色相の角度において対称的な線形重み付け関数を用いたことを特徴とする。
【００２３】
また、本発明に係る人肌の色画像補正装置において、前記色相方向の補正を行う重み付け関数演算手段は、前記色相の角度において非対称的な線形重み付け関数を用いたことを特徴とする。
【００２４】
また、本発明に係る人肌の色画像補正装置において、前記色相方向の補正を行う重み付け関数演算手段は、前記色相の角度において非線形重み付け関数を用いたことを特徴とする。
【００２５】
また、本発明に係る人肌の色画像補正装置において、前記色相方向の補正を行う重み付け関数演算手段は、色相の角度において任意の重み付け関数を実現できるＬＵＴを用いたことを特徴とする。
【００２６】
また、本発明に係る人肌の色画像補正装置において、前記極座標系による彩度方向の補正を行う重み付け関数演算手段は、前記彩度における重み付け関数が逆台形型の関数を用いたことを特徴とする。
【００２７】
また、本発明に係る人肌の色画像補正装置において、前記極座標系による彩度方向の補正を行う重み付け関数演算手段は、彩度において任意の重み付け関数を実現できるＬＵＴを用いたことを特徴とする。
【００２８】
本発明に係る人肌の色画像補正方法は、肌色領域を理想の肌色の近付の領域に領域を狭める補正を行う肌色補正画像処理方法であって、直交座標系の色差信号Ｃｒ、Ｃｂを極座標系に変換する極座標系変換ステップと、前記極座標系による色相方向の補正を行う重み付け関数演算ステップと、を備え、前記色相方向の補正を行う重み付け関数演算ステップにより前記補正した領域における色相方向の境界付近の色むらを低減することを特徴とする。
【００２９】
また、本発明に係る人肌の色画像補正方法は、さらに、前記極座標系による彩度方向の補正を行う重み付け関数演算ステップを備え、前記補正した領域における彩度方向の境界付近の色むらを低減することを特徴とする。
【００３０】
また、本発明に係る人肌の色画像補正方法は、補正すべき領域において、前記色相方向の角度が非対称となる補正領域を補正の対象領域とすることより、人種の肌色や機器の特性に対して、より柔軟性の高い補正を行うことを特徴とする。
【００３１】
また、本発明に係る人肌の色画像補正方法において、前記色相方向の補正を行う重み付け関数演算ステップは、前記色相の角度において対称的な線形重み付け関数を用いて演算することを特徴とする。
【００３２】
また、本発明に係る人肌の色画像補正方法において、前記色相方向の補正を行う重み付け関数演算ステップは、前記色相の角度において非対称的な線形重み付け関数を用いて演算することを特徴とする。
【００３３】
また、本発明に係る人肌の色画像補正方法において、前記色相方向の補正を行う重み付け関数演算ステップは、前記色相の角度において非線形重み付け関数を用いて演算することを特徴とする。
【００３４】
また、本発明に係る人肌の色画像補正方法において、前記色相方向の補正を行う重み付け関数演算ステップは、色相の角度において任意の重み付け関数を実現できるＬＵＴを用いることを特徴とする。
【００３５】
また、本発明に係る人肌の色画像補正方法において、前記極座標系による彩度方向の補正を行う重み付け関数演算ステップは、前記彩度における重み付け関数が逆台形型の関数を用いて演算することを特徴とする。
【００３６】
また、本発明に係る人肌の色画像補正方法において、前記極座標系による彩度方向の補正を行う重み付け関数演算ステップは、彩度において任意の重み付け関数を実現できるＬＵＴを用いたことを特徴とする。
【発明の効果】
【００３７】
以上説明したように、本発明に係る人肌の色画像補正装置及びその方法によれば、θとｒにおける重み付け関数を設けて、色の消失や不連続性を無くすことができる。
【００３８】
また、本発明に係る人肌の色画像補正装置及びその方法によれば、理想肌色の色相において非対称の補正エリアを使うことにより、人種や機器の特性の違いを考慮した補正を行うことができる。
【００３９】
また、本発明に係る人肌の色画像補正装置及びその方法によれば、ソフトウエアにより実現を図る他、ハードウエアの実現に柔軟性を持たせるために、複雑な非線形型重み付け関数等を生成するにあたって、ルックアップテーブル（「ＬＵＴ」）を用いて、補正処理を短時間で処理することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明に係る人肌の色画像補正装置の一実施形態について、図面を参照して詳細に説明する。
【００４１】
なお、この実施形態の説明では、本発明に係る人肌の色画像補正装置について詳述するが、本発明に係る人肌の色画像補正方法については、本発明に係る人肌の色画像補正装置が採用している方法であることから、当該本発明に係る人肌の色画像補正方法については、以下の説明に含まれる。
【００４２】
図１は、本発明に係る人肌の色画像補正装置の第１の実施形態を示すブロック構成図である。
【００４３】
同図において、人肌の色画像補正装置は、クロマ信号Ｃｒ／Ｃｂを受けて、図８に示すＣｒ／Ｃｂ直交座標系から、後述する色補正を行い易いように極座標系に変換する極座標系変換手段１０と、肌色補正領域を定めるために、図９に示すように理想的な肌色の中心の色相θ１を記憶する記憶手段１１と、色相の角度方向の重み付けＷ（θ）演算手段１２と、色相の半径方向の重み付けＷ（ｒ）演算手段１３と、色相の角度方向の重み付けＷ（θ）演算手段１２及び色相の半径方向の重み付けＷ（ｒ）演算手段１３に対して、入力する一定係数値ｋを記憶する記憶手段と、を備えて構成されている。
【００４４】
次に、上記に示した構成を備える人肌の色画像補正装置の色むらを解消させる動作を以下に説明する。
【００４５】
上述した数式４に、色相の角度方向θの重み付け関数Ｗ（θ）を反映させて、下記に示す数式５が得られる。この関数Ｗ（θ）の関数値を演算する手段が、重み付けＷ（θ）演算手段１２である。
【数５】
2006237798.tif 000007
【００４６】
上記に示す数式５を実行し、補正した画像は、図２に示すエリアａｅｈｄａとエリアｆｂｃｇの色の消滅を避けることができ、色むらの解消ができる。
【００４７】
ここで、図３は、θにおける重み付け関数の例を示した図であり、演算が簡易であるリニア関数を示したものである。
【００４８】
また、数式４に、彩度方向ｒの重み付け関数を反映させて、下記に示す数式６が得られる。この関数Ｗ（ｒ）の関数値を演算する手段が、重み付けＷ（ｒ）演算手段１３である。
【数６】
2006237798.tif 000008
【００４９】
上記に示す数式６を実行し、補正した画像は、図２に示す境目ａｅｆｂと境目ｄｈｇｃの上下にある色の連続性を保つことができるので、色むらの低減が可能となる。
【００５０】
ここで、図４は、ｒにおける重み付け関数の例を示した図である。図４に示すように、Δｒ１とΔｒ２は０から（ｒ２−ｒ１）／２の間にある正数である。
【００５１】
さらに、数式５と数式６を同じ式に纏めて、θとｒの両方の重み付け関数を反映させて下記に示す数式７が得られる。
【数７】
2006237798.tif 000009
【００５２】
このように、θとｒにおける２つの重み関数を設け、これらの関数を組み込んだ上記数式７を実行し、補正した画像は、θとｒの両方向における色の消滅と色の不連続より生じた色むらを改善することができる。
【００５３】
次に、θ１に関して非対称補正エリアの場合における補正処理について説明する。
【００５４】
図５は、θ１の両側に異なるΔθ１とΔθ２を有する非対称補正エリアを示す図である。
【００５５】
図５に示す非対称補正エリアは、下記の数式８で表される。
【数８】
2006237798.tif 000010
【００５６】
図５に示す非対称補正エリアにおける重み付け関数Ｗ（ｒ）は変らないが、θにおける重み付け関数Ｗ（θ）は、例えば、図３に対して図７に示すような関数に変る。重み付け関数Ｗ（ｒ）及びＷ（θ）を数式８に反映させて、下記に示す数式９が得られる。
【数９】
2006237798.tif 000011
【００５７】
ＲＧＢは０−２５５（８ビット）の場合に、数式２から得た輝度信号Ｙの範囲は、０−２５５で、色差信号Ｃｒ／Ｃｂの範囲は、−１２８〜＋１２７になる。また、数式３から得たθの範囲は０−３６０で、ｒの範囲は０−１８０となる。ここで、簡略のために演算範囲は、正数としている。
【００５８】
肌色の理想色相は、θ１＝１２３°であるが、アジア人種の肌に黄色が多いのでΔθ２をΔθ１より広く設定している。
【００５９】
ここで、数式７又は数式９に、代入するその他のパラメータを数式１０に纏めている。
【数１０】
2006237798.tif 000012
【００６０】
次に、非対称補正エリアにおいて補正する場合の具体的な重み付け関数Ｗ（θ）、Ｗ（ｒ）の形状について以下に説明する。
【００６１】
図６に示したθにおける重み付け関数Ｗ（θ）は、下記に示す数式１１で表すことができる。
【数１１】
2006237798.tif 000013
【００６２】
また、図４のｒにおける重み付け関数Ｗ（ｒ）は、下記に示す数式１２で表すことができる。
【数１２】
2006237798.tif 000014
【００６３】
なお、上記示したθにおける重み付け関数は、線形関数を使用しているが、非線形関数を使用しても一般性が失わない。例えば、θにおける、余弦関数を使った非線形重み付け関数は、下記に示す数式１３のように表すことができる。この場合の重み付け関数は、図７に示す形状になる。
【数１３】
2006237798.tif 000015
【００６４】
数式１０の関連パラメータ値を数式１１及び数式１２に代入して、夫々、具体的な重み付け関数を得ることができる。このようにして得た重み付け係数Ｗ（θ）及びＷ（ｒ）と、同様に、数式１０の関連パラメータを数式９に代入して、具体的な肌色補正を実現する数式を得ることができる。
【００６５】
以上説明したように、ＩＴＵ−Ｒ  ＢＴ．６０１のＣｒ，Ｃｂ座標系を使って肌色補正方法を述べているが、他の座標系（例えば、ＩＱ座標系、ＩＴＵ−Ｒ  ＢＴ．７０９のＣｒＣｂ座標系）においても一般性が失わない。
【００６６】
また、θにおける重み関数は、解析式で表せない複雑な非線形重み付け関数やハードウエアで計算できない関数が必要な場合がある。このような場合には、ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）を使って重み付け関数を実現すれば、この問題を解決できる。例えば、１２８要素を有するＬＵＴを使って、数式１３を実現する場合は、まずθ１−Δθ１とθ１＋Δθ２の間の（Δθ１＋Δθ２）を１２８等分し、１等分をΔθで表す。このＬＵＴをＬθ（ｉ）と記すれば、ｉは０−１２７正数である。ｉΔθにおけるＷ（θ）の値をＬθ（ｉ）に記憶しておけば、ＬＵＴの作成が完了する。ＬＵＴを参照する時には、ｉΔθのｉを持ってＬθ（ｉ）を利用すればよい。
【００６７】
これと同様に、彩度（ｒ方向）における重み付け関数もＬＵＴ化することができる。
【図面の簡単な説明】
【００６８】
【図１】本発明に係る人肌の色画像補正装置の第１の実施形態を示すブロック構成図である。
【図２】肌色補正前のエリアと補正後のエリア変化を示す図である。
【図３】θにおける重み付け関数の例であり、演算が簡易であるリニア関数を示した図である。
【図４】ｒにおける重み付け関数の例を示した図である。
【図５】θ１の両側に異なるΔθ１とΔθ２を有する非対称補正エリアを示す図である。
【図６】非対称補正エリアにおいて補正する場合の重み付け関数Ｗ（θ）を示す図である。
【図７】非対称補正エリアにおいて補正する場合の非線形関数である余弦関数を使った重み付け関数Ｗ（θ）を示す図である。
【図８】色差Ｃｂを横軸として、色差Ｃｒを縦軸とした直交座標系において、赤（Ｒ）、黄色（Ｙｅ）、緑色（Ｇ）、シアン（Ｃ）、青色（Ｂ）、マゼンタ（Ｍ）の色相を表す図である。
【図９】従来の肌色補正の領域を示す図である。
【符号の説明】
【００６９】
１０  極座標変換手段
１１  理想的な肌色の中心の色相θ１を記憶する記憶手段
１２  色相の方向の重み付けＷ（θ）演算手段
１３  彩度の方向の重み付けＷ（ｒ）演算手段
１４  一定係数値ｋを記憶する記憶手段
【図１】
2006237798.tif 000016
【図２】
2006237798.tif 000017
【図３】
2006237798.tif 000018
【図４】
2006237798.tif 000019
【図５】
2006237798.tif 000020
【図６】
2006237798.tif 000021
【図７】
2006237798.tif 000022
【図８】
2006237798.tif 000023
【図９】
2006237798.tif 000024