(57)【要約】  【課題】色相を保存しつつ、非線形変換による不自然な彩度上昇を抑えることができ、さらに、偽着色を低減することができる画像処理装置を提供する。  【解決手段】画像信号入力部１０１は、ＲＧＢ３原色の画素信号を入力する。代表値算出部１０２は、注目画素付近の代表値算出範囲の画素信号を代表する値として、代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値Xを算出する。変換係数算出部１０３は、最大レベル代表値に応じた係数変化が異なる輝度変換係数特性と彩度変換係数特性に従って、非線形変換処理に使用する輝度変換係数kYと彩度変換係数kCを算出する。信号レベル変換部１０４は、輝度変換係数kYと彩度変換係数kCに応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行って、色相の変化を伴わずに輝度と彩度を別々の変化率で変換する。【選択図】  図１
2008042392.tif 000002
【特許請求の範囲】
【請求項１】
ＲＧＢ３原色の画素信号を入力する画像信号入力手段と、
注目画素付近の代表値算出範囲の画素信号を代表する値として、前記代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値を算出する代表値算出手段と、
前記最大レベル代表値に応じた係数変化が異なる輝度変換係数特性と彩度変換係数特性に従って、非線形変換処理に使用する輝度変換係数と彩度変換係数を算出する変換係数算出手段と、
前記輝度変換係数と前記彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行う信号レベル変換手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記輝度変換係数特性と前記彩度変換係数特性では、前記最大レベル代表値の低域側での前記輝度変換係数特性の傾き増大による立ち上がりと比較して前記彩度変換係数の立ち上がりが縮小して設定されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記代表値算出手段は、前記代表値算出範囲内に互いにずらして設定された複数の最大値選出範囲からそれぞれ得られる複数の最大画素値の平均を求めて、前記最大レベル代表値とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記信号レベル変換手段は、非線形変換後のＲＧＢ各々の画素信号を、輝度値を前記輝度変換係数で変換した変換輝度と、画素値と輝度値の色差を前記彩度変換係数で変換した変換色差との和にする非線形変換処理を行うことを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
注目画素付近の最大値検出範囲から最大画素値を求めるとともに、注目画素付近の輝度値算出範囲の画素信号から輝度値を算出する最大値輝度値算出手段と、
前記最大画素値、前記輝度値および前記輝度変換係数から、非線形変換後の信号値が所定の上限信号値以下になる上限彩度変換係数を求め、前記上限彩度変換係数以下へと前記彩度変換係数を補正する彩度変換係数補正手段と、
を備えたことを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
ＲＧＢ３原色の画素信号を入力する画像信号入力ステップと、
注目画素付近の代表値算出範囲の画素信号を代表する値として、前記代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値を算出する代表値算出ステップと、
前記最大レベル代表値に応じた係数変化が異なる輝度変換係数特性と彩度変換係数特性に従って、非線形変換処理に使用する輝度変換係数と彩度変換係数を算出する変換係数算出ステップと、
前記輝度変換係数と前記彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行う信号レベル変換ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
注目画素付近の最大値検出範囲から最大画素値を求めるとともに、注目画素付近の輝度値算出範囲の画素信号から輝度値を算出する最大値輝度値算出ステップと、
前記最大画素値、前記輝度値および前記輝度変換係数から、非線形変換後の信号値が所定の上限信号値以下になる上限彩度変換係数を求め、前記上限彩度変換係数以下へと前記彩度変換係数を補正する彩度変換係数補正ステップと、
を有することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
ＲＧＢ３原色の画素信号を入力する画像信号入力ステップと、
注目画素付近の代表値算出範囲の画素信号を代表する値として、前記代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値を算出する代表値算出ステップと、
前記最大レベル代表値に応じた係数変化が異なる輝度変換係数特性と彩度変換係数特性に従って、非線形変換処理に使用する輝度変換係数と彩度変換係数を算出する変換係数算出ステップと、
前記輝度変換係数と前記彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行う信号レベル変換ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、R,G,B原色画像信号処理に関し、特に、信号レベルの非線形変換処理に関する。
【背景技術】
【０００２】
従来周知のように、カメラ信号処理では、一般的にガンマ処理と呼ばれる画像信号の非線形変換処理が行われる。ガンマ処理は、受像機の信号に対する映像レベルの非線形性を、撮像側で予め補償しておくためのものである。さらに、ガンマ処理の目的はこれだけに留まらず、例えばガンマの非線形変換特性をＳ字状にして、特定の階調を圧縮したり伸張したりすることで、ノイズ感の低減や階調感の向上を図ることができる。
【０００３】
R,G,Bの３原色を使用する原色信号処理では、R,G,B信号それぞれの信号に対して非線形信号処理を行うと、R,G,B信号の比率が変わってしまい色相の変化を起こしてしまう。そこで、従来の非線形処理では、注目画素付近のR,G,B信号から代表値Xを算出し、代表値Xに対する非線形変換値Gamma(X)を求め、さらにGamma(X)を代表値Xで割ったものを非線形変換係数として、この非線形変換係数をR,G,B信号それぞれに積算する。つまり、非線形変換処理は、以下の（式１）のように表すことができる。
Gamma（R）＝  R × Gamma(X)/X
Gamma（G）＝  G × Gamma(X)/X
Gamma（B）＝  B × Gamma(X)/X     （式１）
【０００４】
このようにして、R,G,Bの信号比率を保つことができ、色相の変化を伴わずに非線形変換処理を行うことができる。
【０００５】
ただし、上記の処理では、ＲＧＢの何れかの画素信号が変換前の信号よりも大きくなって所定の上限値を超えてしまったときに、その信号にのみ上限クリップがかかり、R,G,B信号の比率が狂ってしまい、色相が変化する可能性がある。色相変化を回避する技術としては、例えば、下記の技術が知られている。
【０００６】
特許文献１の画像処理装置は、第１段階の処理にて、輝度を代表値Xとして、前述の（式１）の処理を行い、さらに、その後段の第２段階の処理にて、下記の（式２）で示される処理を行う。
Ro ＝ Wi ＋ Kc ×（Ri − Wi）
Go ＝ Wi ＋ Kc ×（Gi − Wi）
Bo ＝ Wi ＋ Kc ×（Bi − Wi）    （式２）
Wi：輝度信号
Kc：彩度を変換する係数
【０００７】
上記の（式２）では、色差信号のみをKc倍することで、輝度および色相に変化なく彩度のみをKc倍している。従来技術は、これら２つの処理を組み合わせており、第１段階で輝度Wのレベルに対して圧縮を行い、第２段階で最も高いレベルの信号が規格に収まるまで彩度を絞るように構成されている。
【特許文献１】特開平９−３３１５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の非線形処理においては、以下の問題がある。既に説明したように、非線形処理では、特定の階調を伸張することで階調感を改善するために、Gamma(X)の傾きを大きくすることが有効である。しかし、従来技術でこの処理を行うと、特定の階調部分でR,G,B信号それぞれに大きな非線形変換係数が掛けられることになり、その階調部分の彩度が強調されすぎるという問題が生じる得る。このような彩度強調の問題は、（式２）で示した特許文献１の従来技術においても考慮されていない。
【０００９】
また、（式２）で示した従来技術のように代表値として輝度値を用いる構成では、以下の問題が生じ得る。電子カメラとしては３板カメラと単板カメラが知られている。３板カメラのように同一光学中心の画素にR,G,B３色の信号が存在する場合には、R,G,B信号から生成した輝度信号を代表値として非線形変換係数を求めても問題は生じない。しかし、単板カメラでは、各々の光学中心の画素にR,G,Bのいずれかの信号しか存在せず、隣接する複数の画素のR,G,B信号から輝度を生成することになる。その場合、画像の信号レベル変動の激しい部分では、隣接する画素間の輝度差が激しく、そのため、輝度を基に非線形変換係数を算出すると、R,G,B信号それぞれにかけられる非線形変換係数の差が大きくなり、その結果、R,G,Bの信号比が崩れ、偽着色が発生するという問題が存在する。
【００１０】
本発明は、従来の問題を解決するためになされたもので、その目的は、色相を保存しつつ、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑えることができ、さらに、画像の信号レベル変動の激しい部分の偽着色を低減することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、ＲＧＢ３原色の画素信号を入力する画像信号入力手段と、注目画素付近の代表値算出範囲の画素信号を代表する値として、前記代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値を算出する代表値算出手段と、前記最大レベル代表値に応じた係数変化が異なる輝度変換係数特性と彩度変換係数特性に従って、非線形変換処理に使用する輝度変換係数と彩度変換係数を算出する変換係数算出手段と、前記輝度変換係数と前記彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行う信号レベル変換手段とを備えている。
【００１２】
この構成により、輝度変換係数と彩度変換係数に異なる特性が与えられ、異なる特性に従った輝度変換係数と彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理が行われる。これにより、色相の変化を伴わずに輝度と彩度を別々の変化率で変換でき、彩度の変化率を独立して制御でき、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑えられる。また、注目画素付近の代表値算出範囲の画素信号を代表する値として、代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値を算出し、この最大レベル代表値から輝度変換係数と彩度変換係数を求めるので、画像の信号レベル変動の激しい部分の偽着色を低減することができる。
【００１３】
また、本発明の画像処理装置において、前記輝度変換係数特性と前記彩度変換係数特性では、前記最大レベル代表値の低域側での前記輝度変換係数特性の傾き増大による立ち上がりと比較して前記彩度変換係数の立ち上がりが縮小して設定されている。
【００１４】
この構成により、最大レベル代表値の低域側にて、輝度変換係数特性の立ち上がりと比較して彩度変換係数が小さく立ち上がる。最大レベル代表値の低域部分は、画像の暗い部分に相当し、非線形変換特性の傾きを大きくすることが効果的であり、いわゆる黒つぶれを回避し、階調感を改善できる領域である。この領域にて、上記のように立ち上がり量を異ならせることにより、輝度変換係数特性の傾きを大きくしつつも、彩度変換係数の傾きが大きくなり過ぎるのを防ぎ、不自然な彩度上昇を抑えることができる。
【００１５】
また、本発明の画像処理装置において、前記代表値算出手段は、前記代表値算出範囲内に互いにずらして設定された複数の最大値選出範囲からそれぞれ得られる複数の最大画素値の平均を求めて、前記最大レベル代表値とする。
【００１６】
この構成により、代表値算出範囲に含まれるＲＧＢ信号の最大レベルを表す最大レベル代表値を適切に算出し、これにより、画像の信号レベル変動の激しい部分の偽着色を低減することができる。
【００１７】
また、本発明の画像処理装置において、前記信号レベル変換手段は、非線形変換後のＲＧＢ各々の画素信号を、輝度値を前記輝度変換係数で変換した変換輝度と、画素値と輝度値の色差を前記彩度変換係数で変換した変換色差との和にする非線形変換処理を行う。
【００１８】
この構成により、色相の変化を伴わずに輝度と彩度を独立した別々の変化率で変換する非線形変換を行って、彩度を適切に調整でき、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑えられる。
【００１９】
また、本発明の画像処理装置は、注目画素付近の最大値検出範囲から最大画素値を求めるとともに、注目画素付近の輝度値算出範囲の画素信号から輝度値を算出する最大値輝度値算出手段と、前記最大画素値、前記輝度値および前記輝度変換係数から、非線形変換後の信号値が所定の上限信号値以下になる上限彩度変換係数を求め、前記上限彩度変換係数以下へと前記彩度変換係数を補正する彩度変換係数補正手段とを備えている。
【００２０】
この構成により、非線形変換後の信号値が所定の上限信号値以下になる上限彩度変換係数を求め、上限彩度変換係数以下へと彩度変換係数を補正する。したがって、変換後の信号レベルを所定の上限値以下に抑えつつ、色相変化を伴わずに、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑え、さらに、画像の信号レベル変動の激しい部分の偽着色を低減することができる。
【００２１】
また、本発明の別の態様は画像処理方法であり、ＲＧＢ３原色の画素信号を入力する画像信号入力ステップと、注目画素付近の代表値算出範囲の画素信号を代表する値として、前記代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値を算出する代表値算出ステップと、前記最大レベル代表値に応じた係数変化が異なる輝度変換係数特性と彩度変換係数特性に従って、非線形変換処理に使用する輝度変換係数と彩度変換係数を算出する変換係数算出ステップと、前記輝度変換係数と前記彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行う信号レベル変換ステップとを有する。この態様によっても上述した本発明の利点が得られる。
【００２２】
本発明の画像処理方法は、注目画素付近の最大値検出範囲から最大画素値を求めるとともに、注目画素付近の輝度値算出範囲の画素信号から輝度値を算出する最大値輝度値算出ステップと、前記最大画素値、前記輝度値および前記輝度変換係数から、非線形変換後の信号値が所定の上限信号値以下になる上限彩度変換係数を求め、前記上限彩度変換係数以下へと前記彩度変換係数を補正する彩度変換係数補正ステップとを有する。この方法によっても上述した本発明の利点が得られる。
【００２３】
また、本発明の別の態様は画像処理プログラムであり、ＲＧＢ３原色の画素信号を入力する画像信号入力ステップと、注目画素付近の代表値算出範囲の画素信号を代表する値として、前記代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値を算出する代表値算出ステップと、前記最大レベル代表値に応じた係数変化が異なる輝度変換係数特性と彩度変換係数特性に従って、非線形変換処理に使用する輝度変換係数と彩度変換係数を算出する変換係数算出ステップと、前記輝度変換係数と前記彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行う信号レベル変換ステップとをコンピュータに実行させる。この態様によっても上述した本発明の利点が得られる。
【発明の効果】
【００２４】
本発明は、上述のように最大レベル代表値から求めた輝度変換係数と彩度変換係数を用いて非線形変換処理を行うことにより、色相を保存しつつ、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑えることができ、さらに、画像の信号レベル変動の激しい部分の偽着色を低減することができるという効果を有する画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態に係る画像処理装置について、図面を用いて説明する。
【００２６】
本発明の第１の実施の形態に係る画像処理装置を図１に示す。この画像処理装置は、例えば、デジタルカメラおよびビデオカメラ等の撮像装置に備えられる。図１において、画像処理装置は、画像信号入力部１０１と、注目画素付近のR,G,B信号から代表値を算出する代表値算出部１０２と、代表値から非線形変換処理に使用する輝度変換係および彩度変換係数を算出する変換係数算出部１０３と、輝度変換係数および彩度変換係数を基にR,G,B信号を非線形変換する信号レベル変換部１０４とを備える。
【００２７】
図１の各部の構成は、回路によって実現されてもよく、プログラムによってソフトウエア的に実現されてもよい。後者の場合、図１の各要素を実現するプログラムが記憶されており、演算装置によって実行される。
【００２８】
画像信号入力部１０１は、R,G,B,３原色の画素信号を入力する構成である。画像信号入力部１０１は、被写体の光学像を電気信号に変換する撮像素子を備えてよい。本実施の形態では、撮像素子が単板カメラタイプであり、モザイク状に色フィルタが配置されており、各画素にはR,G,Bのいずれかの信号が存在する。画像信号入力部１０１は、ラインメモリを用いて、注目画素付近のR,G,B信号を同期させて入力する。
【００２９】
なお、本発明の範囲で、画像信号入力部１０１は上記構成に限定されない。画像信号入力部１０１は、過去に撮影されて記録された画像データを入力する構成でもよい。
【００３０】
代表値算出部１０２は、注目画素付近のR,G,B信号から、非線形処理の変換係数を決める代表値を算出する構成である。代表値算出部１０２は、注目画素付近に設定された所定の代表値算出範囲の画素信号を代表する値を算出する。そして、本実施の形態では、代表値算出部１０２が、代表値として、代表値算出範囲に含まれる画素信号の最大レベルを表す値を算出するように構成されている。この代表値を、本実施の形態では、「最大レベル代表値」と呼ぶ。また、以下の説明では、最大レベル代表値を表す記号としてXを用いる。
【００３１】
図２は、代表値算出処理を示している。図２の例において、代表値算出範囲２０１は、注目画素２０２と上下左右斜めの画素からなる３×３画素の範囲であり、すなわち、注目画素を中心とした９個の画素の範囲である。代表値算出範囲内には、４つの最大値選出範囲２０３〜２０６が互いにずらして設定されている。各々の最大値選出範囲２０３〜２０６は、注目画素２０２を含む２×２画素の範囲である。４つの最大値選出範囲２０３〜２０６では、注目画素が右下、左下、左上、右上にそれぞれ位置する。代表値算出処理では、各々の最大値選出範囲２０３〜２０６から最大画素値（４つの画素値の最大値）が選出される。これにより４つの最大値が選出される。そして、４つの最大値の平均が、最大レベル代表値Xとして算出される。
【００３２】
このようにして、本実施の形態では、代表値算出部１０２は、代表値算出範囲２０１内に互いにずらして設定された複数の最大値選出範囲２０３〜２０６からそれぞれ得られる複数の最大画素値の平均を求めて、最大レベル代表値Xとするように構成されている。算出された最大レベル代表値Xは、変換係数算出部１０３に供給される。
【００３３】
なお、代表値算出処理は上記に限定されない。例えば、代表値算出処理は、単純に、代表値算出範囲の９つの画素値の最大値を求める処理でもよい。
【００３４】
変換係数算出部１０３は、輝度変換係数算出部１０５と彩度変換係数算出部１０６で構成されており、輝度変換係数算出部１０５および彩度変換係数算出部１０６がそれぞれ輝度変換係数および彩度変換係数を算出する。以下、輝度変換係数をkY、彩度変換係数をkCと表記する。
【００３５】
輝度変換係数算出部１０５は、下記のように、代表値算出部１０２で算出された最大レベル代表値から輝度変換係数kYを算出する。
【００３６】
図３は、輝度に関する非線形変換のX−Gamma(X) 特性の例である。横軸は最大レベル代表値Xであり、縦軸は変換後の値Gamma(X)である。
【００３７】
図４は、図３のようにX−Gamma(X) 特性が設定された場合の、輝度変換係数特性である。図４において、横軸は、最大レベル代表値Xであり、縦軸は輝度変換係数kYである。輝度変換係数kYは、Gamma(X) / Xであり、すなわち、Gamma(X)を最大レベル代表値Xで割った値である。
【００３８】
図４に示されるように、輝度変換係数特性においては、全体としては、最大レベル代表値Xが大きくなる程、輝度変換係数kYが小さくなっている。最大レベル代表値Xの高域側（画像が明るい領域）では、輝度変換係数特性の傾きが小さく、輝度変換係数kYはなだらかに変化する。これに対して、最大レベル代表値Xの低域側（画像が暗い領域）では、輝度変換係数特性の傾きが大きく、特性曲線が立ち上がり、輝度変換係数ｋＹが大きく変化する。この立上り領域は、画像が暗い領域であり、非線形特性の傾きを大きくすることで階調感を効果的に改善できる領域である。したがって、図４の特性により画質を改善できる。
【００３９】
輝度変換係数算出部１０５は、最大レベル代表値Xに応じて設定された図４の輝度変換係数特性に従って輝度変換係数を算出する。図４に相当する最大レベル代表値Xと輝度変換係数kYのテーブルがＲＯＭ等に記憶されていてよい。輝度変換係数算出部１０５は、代表値算出部１０２で算出された最大レベル代表値Xを取得し、そして、最大レベル代表値Xに対応する輝度変換係数kYをテーブルから求めてよい。
【００４０】
また、例えば、図４の輝度変換係数特性ライン上の複数の代表点の値が記憶されていてよい。代表点間の値は、補間処理によって算出されてよい。
【００４１】
輝度変換係数算出部１０５は、上述のようにして求めた輝度変換係数kYを、信号レベル変換部１０４へと供給する。
【００４２】
次に、彩度変換係数算出部１０６による彩度変換係数kCの算出処理について説明する。図５は、彩度変換係数特性を輝度変換係数特性と共に示している。図４と同様、図５においても、横軸は最大レベル代表値Xであり、縦軸は変換係数である。彩度変換係数特性と輝度変換係数特性は以下に説明するように異なって設定されている。
【００４３】
彩度変換係数特性も、輝度変換係数特性と同様、全体としては、最大レベル代表値Xが大きくなる程、彩度変換係数kCが小さくなっている。また、輝度変換係数特性と同様、最大レベル代表値Xの高域側（画像が明るい領域）では、彩度変換係数特性の傾きが小さい。輝度変換係数特性との相違点としては、最大レベル代表値Xの低域側（画像が暗い領域）において、輝度変換係数特性の立ち上がりと比較して前記彩度変換係数の立ち上がりが縮小して設定されており、これにより、輝度変換係数特性の傾きと比較して彩度変換係数の傾きが小さく設定されている。
【００４４】
このように、輝度変換係数特性と彩度変換係数特性を比較すると、最大レベル代表値Xが低い側の輝度変換係数特性が持ち上がる領域において、彩度変換係数特性は、輝度変換係数特性に合わせて持ち上がるが、輝度変換係数特性と比べて抑えられたある程度のレベルで持ち上がる。
【００４５】
彩度変換係数算出部１０６は、図５の彩度変換係数特性に従って彩度変換係数kCを算出する。図５に相当する最大レベル代表値Xと彩度変換係数kCのテーブルがＲＯＭ等に記憶されていてよい。彩度変換係数算出部１０６は、代表値算出部１０２で算出された最大レベル代表値Xを取得し、そして、最大レベル代表値Xに対応する彩度変換係数kCをテーブルから求めてよい。
【００４６】
また、例えば、図５の彩度変換係数特性ライン上の複数の代表点の値が記憶されていてよい。代表点間の値は、補間処理によって算出されてよい。
【００４７】
上記の処理では、彩度変換係数特性が輝度変換係数特性と別に記憶されており、彩度変換係数kCを輝度変換係数kYとは全く独立に代表値から求められる。別の例では、以下に説明するように、輝度変換係数kYから彩度変換係数kCが算出されてよい。彩度変換係数算出部１０６は例えば下記の（式３）によって輝度変換係数kYから彩度変換係数kCを算出する。この算出処理も、図５の彩度変換係数特性に従って彩度変換係数kCを求める処理に該当する。
ｋC ＝( n×kY ＋ m ) ／ (n＋m)      （式３）
【００４８】
ここで、n=1、m=0であれば、kY=kC となり、輝度変換係数kYと彩度変換係数kCは等しくなる。また、n=0、m=1であれば、彩度変換係数kCは常に１となり、彩度は変化しない。n、mは、図５のような両特性の関係が得られるように設定される。n=1、m=3程度に設定すると、輝度変換係数kYと彩度変換係数kCの関係が図５のようになり、輝度が持ち上がる部分は彩度もそれに合わせてある程度持ち上がる。
【００４９】
また、上記の処理では、輝度変換係数kYから彩度変換係数kCが算出されるが、その前に輝度変換係数kCが最大レベル代表値Xから算出されている。したがって、この場合も、彩度変換係数算出部１０６は、最大レベル代表値Xから彩度変換係数kCを算出しているといえる。
【００５０】
彩度変換係数算出部１０６は、上述のようにして求めた彩度変換係数kCを、信号レベル変換部１０４へと供給する。
【００５１】
信号レベル変換部１０４は、輝度変換係数算出部１０５および彩度変換係数算出部１０６から供給される輝度変換係数kYと彩度変換係数kCを基にRGBの画素信号の非線形変換を行う。信号レベル変換部１０４は、以下に説明するように、輝度変換係数と前記彩度変換係数に応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理を行い、これにより、色相の変化を伴わずに輝度と彩度を別々の変化率で変換する。
【００５２】
信号レベル変換部１０４は、具体的には、下記の（式４）で表される処理を行う。
Gamma(R) ＝(0.3kY＋0.7kC)×R＋(kY−kC)×0.6G＋(kY−kC)×0.1B
Gamma(G) ＝(kY―kC)×0.3R＋(0.6kY＋0.4kC)×G＋(kY−kC)×0.1B
Gamma(B) ＝(kY−kC)×0.3R＋(kY−kC)×0.6G＋(0.1kY＋0.9kC)×B    (式４)
Gamma(R)、Gamma(G)、Gamma(B)は、それぞれ、変換後のR,G,Bの値である。
【００５３】
ここで、Gamma(R)は以下のように変形できる。
Gamma(R) ＝(0.3kY＋0.7kC)×R+ (kY−kC)×0.6G＋(kY−kC)×0.1B
= kC×R＋(kY−kC)×(0.3R＋0.6G＋0.1B)
= kC×R＋(kY−kC)×Y
= kY×Y + kC(R−Y)
同様に、Gamma(G)、Gamma(B)も以下のように変形できる。
Gamma(G) ＝kY×Y + kC(G−Y)
Gamma(B) ＝kY×Y + kC(B−Y)
【００５４】
すなわち、変換後の画素値は、変換輝度と変換色差の和になるといえる。変換輝度は、輝度値Yを輝度変換係数kYで変換した値であり、具体的には積である。また、変換色差は、画素値R,G,Bと輝度値Yの差を彩度変換係数kCで変換した値であり、具体的には積である。
【００５５】
上記より、変換後の値は、明らかに、輝度をkY倍、色差をkC倍した値となる。したがって、（式４）の非線形変換処理により、色相の変化を伴わずに、輝度と彩度を独立した別々の変化率（倍率）で変換することができる。
【００５６】
なお、本実施の形態において、独立した変化率とは、上述のように、輝度と色差が異なる変換係数で変換されることを意味している。この点に関して説明を補足すると、（式３）に示されるように、彩度変換係数kCは輝度変換係数kYから算出されてよく、この場合は２つの変換係数kY、kCは連動する。しかし、２つの変換係数kY、kCが連動したとしても、それら２つの変換係数kY、kCは、図５の異なる特性に従った異なる係数であり、これら異なる係数が（式４）の非線形変換に使われる。したがって、この係数連動制御の場合でも、輝度と彩度は独立した変化率で変換されるといえる。
【００５７】
このような輝度と彩度の独立した変換率の実現は、以下の点で有利である。輝度と彩度の変化率は、図５に示す輝度変換係数特性と彩度変換係数特性に応じた値になる。図５において、輝度変換係数特性は、最大レベル代表値Xの低域側で大きく立ち上がっている。最大レベル代表値Xの低域部分は、画像の暗い部分に相当する。したがって、図５の輝度変換係数特性によれば、画像が暗い領域において輝度変換率の傾きが大きくなり、いわゆる黒つぶれを回避でき、階調感を効果的に改善できる。
【００５８】
しかし、輝度と同じ変換係数を彩度にもかけると、暗い部分が不自然に鮮やかになりすぎたり、色ノイズ成分が強調されてしまう可能性がある。本実施の形態ではこの点を考慮して図５のように彩度変換係数特性が設定されており、彩度変換係数特性は、最大レベル代表値Xの低域側で輝度変換係数特性に合わせて持ち上がるが、輝度変換係数特性と比較して立ち上がり量が小さく、特性の傾きも小さい。したがって、輝度変換率が大きい部分で、彩度変換率が大きくなりすぎるのを回避し、彩度が強調され過ぎるのを回避できる。
【００５９】
図６は、本実施の形態の画像処理装置の動作を示すフローチャートであり、本実施の形態の画像処理方法に相当する。図６の画像処理方法は、代表値算出ステップ（Ｓ６０１）、輝度変換係数算出ステップ（Ｓ６０２）、彩度変換係数算出ステップ（Ｓ６０３）、信号レベル変換処理ステップ（Ｓ６０４）を有する。
【００６０】
代表値算出ステップ（Ｓ６０１）では、R,G,B信号から代表値を求める。ここでは、単板カメラにおける原色ベイヤ配列のRGB信号から代表値が算出される。このとき、図２を用いて説明したように、着目画素を含み上下左右に位置する４つの２×２画素領域の各々から最大値が選ばれ、４つの最大値が平均されて、最大レベル代表値Xが算出される。
【００６１】
輝度変換係数算出ステップ（Ｓ６０２）および彩度変換係数算出ステップ（Ｓ６０３）では、図２〜図５を用いて説明したようにして、最大レベル代表値Xから輝度変換係数ｋＹと彩度変換係数kCが算出される。彩度変換係数kCは彩度変換係数特性のテーブルから求めてもよく、あるいは、（式３）によって輝度変換係数kYから算出されてもよい。
【００６２】
信号レベル変換処理ステップ（Ｓ６０４）では、（式４）の計算式により、非線形変換処理を行う。単板カメラのように、各画素がR,G,Bいずれかの信号しか持たない場合は、（式４）の３つの変換式のうちで、該当画素信号の色に対応した変換式のみを実行すればよい。
【００６３】
以上に本発明の第１の実施の形態に係る画像処理装置について説明した。本実施の形態によれば、図５および（式４）を用いて説明したように、輝度変換係数kYと彩度変換係数kCに異なる特性が与えられ、そのような異なる特性に従った輝度変換係数kYと彩度変換係数kCに応じて輝度と彩度がそれぞれ変換されるように画素信号の非線形変換処理が行われる。これにより、色相の変化を伴わずに輝度と彩度を別々の変化率で変換でき、彩度の変化率を独立して制御でき、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑えられる。
【００６４】
また、本実施の形態によれば、注目画素付近の代表値算出範囲の画素信号を代表する値として、代表値算出範囲に含まれる画素信号の最大レベルを表す最大レベル代表値Xが算出される。そして、この最大レベル代表値Xから輝度変換係数kYと彩度変換係数kCが求められる。これにより、画像の信号レベル変動の激しい部分の偽着色を低減することができる。
【００６５】
この点に関し、従来技術では、輝度が代表値として用いられていた。この場合、画像の信号レベル変動の激しい部分では、隣接する画素間の差が激しくなり、代表値も大きく異なる。このような代表値を基に非線形変換係数を算出すると、R,G,B信号それぞれにかけられる非線形変換係数の差が大きくなり、その結果、R,G,Bの信号比が崩れ、偽着色が発生する可能性あがる。本実施の形態は、上記のような最大レベル代表値Xを用いるので、偽着色を低減することができる。
【００６６】
以上より、本実施の形態によれば、色相を保存しつつ、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑えることができ、さらに、画像の信号レベル変動の激しい部分の偽着色を低減することができ、これらによって高画質な画像を得ることができる。
【００６７】
また、本実施の形態によれば、輝度変換係数特性と彩度変換係数特性では、最大レベル代表値Xの低域側での輝度変換係数特性の傾き増大による立ち上がりと比較して彩度変換係数の立ち上がりが縮小して設定されている。これにより、最大レベル代表値Xの低域側にて、輝度変換係数特性の立ち上がりと比較して彩度変換係数が小さく立ち上がる。最大レベル代表値Xの低域部分は、画像の暗い部分に相当し、非線形変換特性の傾きを大きくすることが効果的であり、いわゆる黒つぶれを回避し、階調感を改善できる領域である。この領域にて、上記のように立ち上がり量を異ならせることにより、輝度変換係数特性の傾きを大きくしつつも、彩度変換係数の傾きが大きくなり過ぎるのを防ぎ、不自然な彩度上昇を抑えることができる。
【００６８】
また、本実施の形態によれば、代表値算出部１０２は、代表値算出範囲内に互いにずらして設定された複数の最大値選出範囲からそれぞれ得られる複数の最大画素値の平均を求めるように構成されている。これにより、代表値算出範囲に含まれるＲＧＢ信号の最大レベルを表す最大レベル代表値Xを適切に算出し、画像の信号レベル変動の激しい部分の偽着色を低減することができる。
【００６９】
また、本実施の形態によれば、信号レベル変換部１０４は、（式４）とその変形式に示されたように、非線形変換後のＲＧＢ各々の画素信号を、輝度値を前記輝度変換係数で変換した変換輝度と、画素値と輝度値の色差を前記彩度変換係数で変換した変換色差との和にするように構成されている。これにより、色相の変化を伴わずに輝度と彩度を独立した別々の変化率で変換する非線形変換を行って、彩度を適切に調整でき、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑えられる。
【００７０】
次に、本発明の第２の実施の形態に係る画像処理装置について説明する。
【００７１】
図７は、本実施の形態に係る画像処理装置を示している。図７の画像処理装置は、図１の画像処理装置の構成に加えて、最大値輝度値算出部７０１と彩度変換係数補正部７０２を有しており、この点で第２の実施の形態は第１の実施の形態と異なっている。その他の構成は第１の実施の形態と同様である。以下、第１の実施の形態との共通部分の説明を省略し、第１の実施の形態と相違する部分について説明する。
【００７２】
最大値輝度値算出部７０１は、注目画素付近の最大値検出範囲から最大画素値を求める。最大値検出範囲は、例えば、注目画素２０２と上下左右斜めの画素の範囲であり、すなわち、注目画素を中心とした９画素（３×３画素）の範囲である。最大画素値は、最大値検出範囲の９画素のR,G,B信号のうちで信号レベルが最大の信号である。
【００７３】
また、最大値輝度値算出部７０１は、注目画素付近の輝度値算出範囲の画素信号から輝度値を算出する。本実施の形態の例では、輝度値算出範囲が最大値検出範囲と同じく、注目画素を含む３×３画素の範囲に設定されている。最大値輝度値算出部７０１は、輝度値算出範囲のR,G,B信号を３：６：１の比で加算して、輝度値の算出を行う。
【００７４】
なお、上記の最大画素値は、９つの画素値の最大値である。これに対して、第１の実施の形態で変換係数の決定の基礎になった最大レベル代表値Xは、４つの２×２画素領域から得られた４つの最大値の平均である。したがって、最大画素値は前述の最大レベル代表値とは異なっている。
【００７５】
ただし、第１の実施の形態で説明したように、最大レベル代表値が、単純に注目画素付近の画素値の最大値でもよい。この場合、最大レベル代表値が上記の最大画素値と一致する。そこで、１つの構成が、最大レベル代表値と最大画素値の算出に兼用されてよい。
【００７６】
彩度変換係数補正部７０２には、最大値輝度値算出部７０１から上記の最大画素値と輝度値が供給される。また、彩度変換係数補正部７０２には、変換係数算出部１０４の彩度変換係数算出部１０６から彩度変換係数kCが供給される。さらに、彩度変換係数補正部７０２には、輝度変換係数算出部１０５で算出された輝度変換係数kYが供給される。彩度変換係数補正部７０２は、最大画素値、輝度値および輝度変換係数kYを用いて、以下のようにして、彩度変換係数kCを補正する。
【００７７】
彩度変換係数補正部７０２は、最大画素値、輝度値および輝度変換係数kCから、非線形変換後の信号値が所定の上限信号値以下になる上限彩度変換係数を求める。所定の上限信号値は、RGB画素値の許容される上限値である。そして、彩度変換係数補正部７０２は、上限彩度変換係数以下になるように彩度変換係数kCを補正する。ここでは、彩度変換係数算出部１０６で算出された彩度変換係数kCが上限彩度変換係数と比較され、上限彩度変換係数への上限クリップ処理が行われる。
【００７８】
上限彩度変換係数は以下のようにして算出される。この処理では、上限信号値に対応する彩度変換係数が、最大画素値、輝度値および輝度変換係数kYを用いて逆算により求められる。
【００７９】
まず、最大値輝度値算出部７０１で求めた最大画素値が、R信号であったとする。この場合、非線形変換後のR信号を上限信号値以下にしようとすると、彩度変換係数が以下の式で表される。
【００８０】
上限信号値≧Gamma(R)
＝(0.3kY＋0.7kC)×R＋(kY−kC)×0.6G＋(kY−kC)×0.1B
≧ kY×Ｙ＋kC×(R−Y）
kC ≦（上限信号値−kY×Y）／（R−Y）
【００８１】
最大画素値がG、B信号であった場合も、同様にして、非線形変換後の信号を上限信号値以下にしようとすると、彩度変換係数が以下の式で表される。
kC ≦（上限信号値−kY×Y）／（G−Y）
kC ≦（上限信号値−kY×Y）／（B−Y）
【００８２】
結局、上限彩度変換係数は以下の（式５）で表される。
上限彩度変換係数＝（上限信号値−kY×輝度値）／（最大画素値−輝度値）    （式５）
【００８３】
彩度変換係数補正部７０２は、（式５）により上限彩度変換係数を算出し、上限彩度変換係数にて彩度変換係数kCをクリップする補正処理を行う。補正後の彩度変換係数kCが信号レベル変換部１０４に供給され、非線形処理に使用される。これにより、変換後の信号を上限信号値以下に抑えることができる。
【００８４】
図８は、本実施の形態の画像処理装置の動作を示すフローチャートであり、本実施の形態の画像処理方法に相当する。図８の画像処理方法において、代表値算出ステップ（Ｓ８０１）、輝度変換係数算出ステップ（Ｓ８０４）、彩度変換係数算出ステップ（Ｓ８０５）、信号レベル変換処理ステップ（Ｓ８０９）は、図６の代表値算出ステップ（Ｓ６０１）、輝度変換係数算出ステップ（Ｓ６０２）、彩度変換係数算出ステップ（Ｓ６０３）、信号レベル変換処理ステップ（Ｓ６０４）と同様である。図８では、輝度値算出ステップ（Ｓ８０２）、最大値算出ステップ（Ｓ８０３）、上限彩度変換係数算出ステップ（Ｓ８０６）、彩度変換係数比較ステップ（Ｓ８０７）、彩度変換係数クリップ処理ステップ（Ｓ８０８）が追加されている。
【００８５】
輝度値算出ステップ（Ｓ８０２）および最大値算出ステップ（Ｓ８０３）では、上述したように、最大値輝度値算出部７０１により、注目画素付近の輝度値と最大画素値が算出される。
【００８６】
上限彩度値算出ステップ（Ｓ８０６）では、彩度変換係数補正部７０２により、上限彩度変換係数が算出される。上限彩度変換係数は、輝度値および最大画素値と、輝度変換係数算出ステップ（Ｓ８０４）で輝度変換係数算出部１０５により算出された輝度変換係数kYと、所定の上限信号値から、（式５）を用いて算出される。
【００８７】
彩度変換係数比較ステップ（Ｓ８０７）では、彩度変換係数補正部７０２により、上限彩度変換係数が、彩度変換係数算出ステップ（Ｓ８０５）にて彩度変換係数算出部１０６により算出された彩度変換係数kCと比較される。彩度変換係数kCが上限彩度変換係数より大きければ（Ｓ８０７、Ｎｏ）、彩度変換係数クリップ処理ステップ（Ｓ８０８）にて上限クリップが行われる。そして、補正後の彩度変換係数kCが信号レベル変換処理ステップ（Ｓ８０９）で使われる。彩度変換係数kCが上限彩度変換係数以下であれば（Ｓ８０７、Ｙｅｓ）、彩度変換係数kCが、補正されことなく非線形処理に使われる。
【００８８】
以上に本発明の第２の実施の形態に係る画像処理装置について説明した。本実施の形態によれば、注目画素付近の最大画素値と輝度値が算出される。そして、最大画素値、輝度値および輝度変換係数kYから、非線形変換後の信号値が所定の上限信号値以下になる上限彩度変換係数が求められる。そして、上限彩度変換係数以下へと彩度変換係数kCが補正される。したがって、変換後の信号レベルを所定の上限値以下に抑えつつ、色相変化を伴わずに、非線形変換特性の傾きを大きくした部分での不自然な彩度上昇を抑え、さらに、画像の信号レベル変動の激しい部分の偽着色を低減することができる。
【００８９】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００９０】
以上のように、本発明にかかる画像処理装置は、色相を保存しつつ、非線形変換による不自然な彩度上昇を抑えることができ、さらに、偽着色を低減することができるという効果を有し、撮像装置用の画像処理装置等として有用である。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図
【図２】最大レベル代表値の算出処理を示す図
【図３】非線形変換における輝度変換特性の例を示す図
【図４】輝度変換特性を入力信号で割った非線形変換係数特性である輝度変換係数特性を示す図
【図５】彩度変換係数特性を輝度変換係数特性と共に示す図
【図６】第１の実施の形態における画像処理装置の動作を示すフロー図
【図７】本発明の第２の実施の形態における画像処理装置のブロック図
【図８】第２の実施の形態における画像処理装置の動作を示すフロー図
【符号の説明】
【００９２】
１０１  画像信号入力部
１０２  代表値算出部
１０３  変換係数算出部
１０４  信号レベル変換部
１０５  輝度変換係数算出部
１０６  彩度変換係数算出部
７０１  最大値輝度値算出部
７０２  彩度変換係数補正部
【図１】
2008042392.tif 000003
【図２】
2008042392.tif 000004
【図３】
2008042392.tif 000005
【図４】
2008042392.tif 000006
【図５】
2008042392.tif 000007
【図６】
2008042392.tif 000008
【図７】
2008042392.tif 000009
【図８】
2008042392.tif 000010