(57)【要約】  【課題】色相を変えることなく輝度と彩度を独立して非線形変換でき、かつ、比較的暗い画像の非線形変換を行う場合の画質を向上できる画像処理装置を提供する。  【解決手段】変換係数算出部７は、画像信号における処理対象の画素である各々の注目画素の非線形変換処理に使用する輝度変換係数および彩度変換係数を算出する。信号レベル変換部９は、輝度変換係数および彩度変換係数を基に注目画素の画素信号を非線形変換する。信号レベル変換部９は、輝度変換係数および彩度変換係数に応じて輝度および彩度をそれぞれ変化させる。これにより色相を変えずに輝度および彩度が独立して変換される。彩度変換係数としては、輝度変換係数に応じた値であって、輝度変換係数より小さい値が求められる。したがって、非線形変換処理を暗い画像に対して行う場合でも、輝度変換だけでなく彩度変換も行われる。【選択図】  図１
2011023774.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を入力する画像信号入力部と、
前記画像信号における処理対象の画素である各々の注目画素の非線形変換処理に使用する輝度変換係数および彩度変換係数を算出する変換係数算出部と、
前記輝度変換係数および前記彩度変換係数を基に前記注目画素の画素信号を非線形変換し、前記画像信号の色相を変えずに前記輝度変換係数および前記彩度変換係数に応じて輝度および彩度をそれぞれ変化させる信号レベル変換部とを備え、
前記変換係数算出部は、前記彩度変換係数として、前記輝度変換係数に応じた値であって、前記輝度変換係数より小さい値を求めるように構成されていることを特徴とする画像処理装置。
【請求項２】
前記注目画素の代表値を算出する代表値算出部を備え、
前記変換係数算出部は、前記代表値から前記輝度変換係数および前記彩度変換係数を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の最大値特定範囲が互いにずれて設定されており、前記複数の最大値特定範囲の各々が前記注目画素を含んでおり、前記代表値算出部は、前記複数の最大値特定範囲からそれぞれ特定される複数の最大値の平均を算出して前記代表値とすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記注目画素の輝度値を算出する輝度値算出部と、
前記輝度値算出部により算出される輝度値に基づいて、前記信号レベル変換部の処理において前記注目画素の画素値を所定の上限レベルにクリップするために前記彩度変換係数を補正する彩度変換係数補正部と、
を備えることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
画像信号を入力する画像信号入力ステップと、
前記画像信号における処理対象の画素である各々の注目画素の非線形変換処理に使用する輝度変換係数および彩度変換係数を算出する変換係数算出ステップと、
前記輝度変換係数および前記彩度変換係数を基に前記注目画素の画素信号を非線形変換し、前記画像信号の色相を変えずに前記輝度変換係数および前記彩度変換係数に応じて輝度および彩度をそれぞれ変化させる信号レベル変換ステップと、
を有し、前記変換係数算出ステップは、前記彩度変換係数を、前記輝度変換係数に応じた値であって、前記輝度変換係数より小さい値とすることを特徴とする画像処理方法。
【請求項６】
前記注目画素の輝度値を算出する輝度値算出ステップと、
前記輝度値算出ステップにて算出される輝度値に基づいて、前記信号レベル変換ステップの処理において前記注目画素の画素値を所定の上限レベルにクリップするために前記彩度変換係数を補正する彩度変換係数補正ステップと、
を有することを特徴とする請求項５に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に対して非線形変換処理を施す画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置は、カメラ信号処理を行う画像処理装置を備えている。この種の画像処理装置は、画像信号の非線形変換処理を行うように構成されている。非線形変換処理は、一般には画像にガンマ処理を施すために行われる。ガンマ処理は、受像機の信号に対する映像レベルの非線形性を、撮像側で予め補償しておくためのものである。しかし、非線形変換処理の目的は、上記のガンマ処理だけに留まらない。例えば、ガンマの非線形変換特性がＳ字状に設定され、特定の階調が圧縮されたり伸張され、ノイズ感の低減や階調感の向上が図られる。
【０００３】
Ｒ，Ｇ，Ｂの３原色を使用する原色信号に非線形変換処理を施す場合、Ｒ，Ｇ，Ｂ信号それぞれの信号に対して非線形信号処理を行うと、Ｒ，Ｇ，Ｂ信号の比率が変わってしまい、色相の変化が起きてしまう。
【０００４】
そこで、色相の変化を避けるために、注目画素付近のＲ，Ｇ，Ｂ信号から代表値Ｘが算出され、代表値Ｘに対する非線形変換値  Gamma(X)が求められる。さらに、非線形変換値  Gamma(X)を代表値Ｘで割った値が、非線形変換係数として求められる。そして、非線形変換係数がＲ，Ｇ，Ｂ信号それぞれに積算される。上記の非線形変換処理は、（式１）のように表される。
Gamma(R) ＝ R × Gamma(X)／X
Gamma(G) ＝ G × Gamma(X)／X
Gamma(B) ＝ B × Gamma(X)／X      （式１）
【０００５】
これにより、明らかにＲ，Ｇ，Ｂの信号比率が保たれた状態で、非線形変換処理が行われる。
【０００６】
上記の非線形変換処理においては、代表値ＸとしてＲ，Ｇ，Ｂの最大値が用いられ、かつ、Gamma(X)の傾きが常に１以下であれば、下記の（式２）が成立する。
Gamma(R) ≦ R
Gamma(G) ≦ G
Gamma(R) ≦ B      （式２）
【０００７】
すなわち、上記条件が満たされれば、非線形変換後の信号が元の信号より小さくなる。しかし、それ以外の場合には、非線形変換後の信号が元の信号よりも大きくなり得る。信号が非線形変換により大きくなって、所望の上限レベル以上になったとする。このとき、所望の上限レベル以上の信号のみに上限クリップをかけてしまうと、Ｒ，Ｇ，Ｂ信号の比率が狂ってしまい、このことが色相変化を招く。
【０００８】
このような事態を避けるため、従来、特許文献１では、以下のような技術が提案されている。
【０００９】
この従来技術では、輝度が上限レベルをオーバーしている場合に、輝度変換演算が行われる。輝度変換演算は、輝度Ｗを代表値Ｘとして用いて、上述した式（１）の処理を行う。これにより、色相および彩度を変化させることなく、輝度のみが変換され、上限レベル以下になる。図８は、上記の輝度変換演算を実現する回路を示している。図において、Ｒｉ、Ｇｉ、Ｂｉは変換前の信号であり、Ｒｏ、Ｇｏ、Ｂｏは変換後の信号である。Ｒ，Ｇ，Ｂの各チャネルは、変換前の信号に変換係数を乗算する乗算器を有している。
【００１０】
Ｒ，Ｇ，Ｂ信号は、輝度Ｗの上下に分布している。すなわち、Ｒ，Ｇ，Ｂ信号の少なくとも１つのチャネルが輝度Ｗより大きく、少なくとも１つのチャネルが輝度Ｗより小さい。したがって、上記の輝度変換が行われても、Ｒ，Ｇ，Ｂ信号のうちの１つまたは２つのチャネルが、上限レベルをオーバーしている場合がある。そこで、特許文献１の従来技術は、輝度変換後に上限レベルをオーバーしている信号がある場合に、彩度変換演算として、下記の（式３）の処理を行う。
Ro ＝ Wi ＋ Kc × ( Ri−Wi )
Go ＝ Wi ＋ Kc × ( Gi−Wi )
Bo ＝ Wi ＋ Kc × ( Bi−Wi )
Wi：輝度信号
Kc：彩度変換係数        （式３）
【００１１】
この彩度変換演算は、色差信号をのみをＫｃ倍することで、輝度および色相を変化させることなく彩度のみをＫｃ倍する。この彩度変換は、Ｒ，Ｇ，Ｂのうちの最も高い信号が上限レベル以下になるように行われる。図９は、上記の輝度変換演算を実現する回路を示している。Ｒ，Ｇ，Ｂの各チャネルは、変換前の信号から輝度Ｗｉを減算する減算器と、減算結果に輝度変換係数Ｋｃを乗算する乗算器と、乗算結果に輝度信号Ｗｉを加算する加算器とを有している。
【００１２】
このように、特許文献１の技術は、色相を変えることなく、輝度変換と彩度変換を独立して行える。このことを利用し、第１段階として、輝度変換によって輝度レベルを上限以下に抑える。そして、輝度変換後にまだ上限をオーバしているチャネル（Ｒ，Ｇ，Ｂ）がある場合、第２段階として、最も高いレベルのチャネルが上限以下に収まるように彩度が変換される。これらの２段階の処理を通じて、色相を変えることなく、全チャネルの信号が上限レベル以下になるように、非線形処理が行われる。
【特許文献１】特開平９−３３１５３９号公報（第８−１２ページ、図６）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１に記載される従来の画像処理装置は、色相を変えることなく輝度と彩度を変換することにより、信号値が上限レベルをオーバーするような明るすぎる画像に対しては非線形変換を好適に行えるものの、比較的暗い画像の非線形変換を行う場合に画質を低下させることがあるという問題がある。この点について以下にてさらに説明する。
【００１４】
特許文献１の技術では、画像が明るすぎる場合に、まず、輝度変換により輝度が上限レベル以下に変換される。輝度変換を行ってもまだ信号値が上限レベルをオーバーしていれば、彩度変換が行われる。つまり、輝度変換後のＲ，Ｇ，Ｂの全信号が上限レベル以下であれば、彩度変換は行われない。
【００１５】
ここで、暗い画像の輝度を非線形変換によって増大する場合を考える。この場合、輝度変換後の画像において、Ｒ，Ｇ，Ｂ信号のいずれかが上限レベルをオーバーしていないことが多いと考えられる。上限レベルをオーバーする信号がなければ、特許文献１の技術では彩度変換は行われない。このように、特許文献１による非線形変換では、画像は明るくなるが彩度は変わらないといった現象が生じ得る。このような変換が行われると、画像の色が薄くなってしまい、画質が低下することがある。
【００１６】
本発明は、従来の問題を解決するためになされたものであり、その目的は、色相を変えることなく輝度と彩度を独立して非線形変換でき、かつ、比較的暗い画像の非線形変換を行う場合の画質を向上できる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１７】
本発明の画像処理装置は、画像信号を入力する画像信号入力部と、前記画像信号における処理対象の画素である各々の注目画素の非線形変換処理に使用する輝度変換係数および彩度変換係数を算出する変換係数算出部と、前記輝度変換係数および前記彩度変換係数を基に前記注目画素の画素信号を非線形変換し、前記画像信号の色相を変えずに前記輝度変換係数および前記彩度変換係数に応じて輝度および彩度をそれぞれ変化させる信号レベル変換部とを備え、前記変換係数算出部は、前記彩度変換係数として、前記輝度変換係数に応じた値であって、前記輝度変換係数より小さい値を求めるように構成されている。
【００１８】
この構成により、彩度変換係数として、輝度変換係数に応じた値であって、輝度変換係数より小さい値が求められる。非線形変換では、これら輝度変換係数および彩度変換係数を用いて、色相を変えることなく、輝度と彩度が独立して変換される。したがって、本発明では、非線形変換処理を暗い画像に対して行う場合でも、輝度変換だけでなく彩度変換も行われる。これにより、彩度が変換されないために画質が低下するといった事態を回避できる。しかも、彩度変換係数が輝度変換係数より小さい値に設定されているので、輝度の増大に伴って彩度が適度に調整される。このようにして、色相を変えることなく輝度と彩度を独立して非線形変換でき、かつ、暗い画像の非線形変換を行う場合に画質を向上できる画像処理装置を提供することができる。
【００１９】
また、本発明の画像処理装置は、前記注目画素の代表値を算出する代表値算出部を備え、前記変換係数算出部は、前記代表値から前記輝度変換係数および前記彩度変換係数を算出する。注目画素を含む所定の代表値算出範囲の画素値を代表する値が算出されてよい。この構成により、代表値を用いることで輝度変換係数および彩度変換係数を好適に算出できる。代表値は例えばＲ，Ｇ，Ｂ信号の最大値であり、また例えばＲ，Ｇ，Ｂ信号から算出される輝度値である。代表値は好ましくは下記の値である。
【００２０】
また、本発明の画像処理装置では、複数の最大値特定範囲が互いにずれて設定されており、前記複数の最大値特定範囲の各々が前記注目画素を含んでおり、前記代表値算出部は、前記複数の最大値特定範囲からそれぞれ特定される複数の最大値の平均を算出して前記代表値とする。この構成により、注目画素を１つずつずらしていったときに、代表値が急に変化するのを防ぐことができる。代表値がなめらかに変化するので、非線形変換係数もなめらかに変化する。したがって変換後の画像における画素値の急変化を防ぐことができ、偽着色を抑えて、画質を向上できる。
【００２１】
本発明の画像処理装置は、前記注目画素の輝度値を算出する輝度値算出部と、前記輝度値算出部により算出される輝度値に基づいて、前記信号レベル変換部の処理において前記注目画素の画素値を所定の上限レベルにクリップするために前記彩度変換係数を補正する彩度変換係数補正部と、を備える。注目画素を含む所定の輝度値算出範囲の画素値から輝度値が算出されてよい。この構成により、信号レベルを所望の上限レベル以下に抑えつつ、暗い画像の非線形変換を行う場合に画質を向上することができる。
【００２２】
また、本発明の画像処理方法は、画像信号を入力する画像信号入力ステップと、前記画像信号における処理対象の画素である各々の注目画素の非線形変換処理に使用する輝度変換係数および彩度変換係数を算出する変換係数算出ステップと、前記輝度変換係数および前記彩度変換係数を基に前記注目画素の画素信号を非線形変換し、前記画像信号の色相を変えずに前記輝度変換係数および前記彩度変換係数に応じて輝度および彩度をそれぞれ変化させる信号レベル変換ステップと、を有し、前記変換係数算出ステップは、前記彩度変換係数を、前記輝度変換係数に応じた値であって、前記輝度変換係数より小さい値とする。この方法によっても上述した本発明の利点が得られる。
【００２３】
また、本発明の画像処理方法は、前記注目画素の輝度値を算出する輝度値算出ステップと、前記輝度値算出ステップにて算出される輝度値に基づいて、前記信号レベル変換ステップの処理において前記注目画素の画素値を所定の上限レベルにクリップするために前記彩度変換係数を補正する彩度変換係数補正ステップと、を有する。この方法によっても上述した本発明の利点が得られる。
【発明の効果】
【００２４】
上記のように、本発明は、彩度変換係数として、輝度変換係数に応じた値であって、輝度変換係数より小さい値を求め、これら輝度変換係数および彩度変換係数を用いて非線形変換を行う構成を設けることにより、色相を変えることなく輝度と彩度を独立して非線形変換でき、かつ、暗い画像の非線形変換を行う場合に画質を向上できるという効果を有する画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態に係る画像処理装置について、図面を用いて説明する。
【００２６】
本発明の第１の実施の形態に係る画像処理装置を図１に示す。画像処理装置１は、ビデオカメラ、デジタルカメラ等の撮像装置に備えられる。また、撮像装置は例えば監視カメラである。図１において、画像処理装置１は、画像信号を入力する画像信号入力部３と、画像信号における各注目画素の代表値を算出する代表値算出部５と、注目画素の非線形変換処理に使用する輝度変換係数および彩度変換係数を算出する変換係数算出部７と、輝度変換係数および彩度変換係数を基に注目画素の画素信号を非線形変換する信号レベル変換部９とを備える。変換係数算出部７は、輝度変換係数および彩度変換係数をそれぞれ算出する輝度変換係数算出部１１および彩度変換係数算出部１３を有する。
【００２７】
画像信号入力部３は画像信号を入力する構成である。前述したように、本実施の形態では画像処理装置１が撮像装置に備えられる。この場合、画像信号が撮像素子で生成され、画像信号入力部３により入力される。画像信号としては、Ｒ，Ｇ，Ｂ３原色の画素信号が入力される。また、画像信号は、ＡＤ変換を経たデジタル信号である。
【００２８】
本実施の形態の画像処理装置１は、いわゆる３板カメラに備えられてもよく、単板カメラに備えられてもよい。３板カメラの場合、３つの撮像素子がＲ，Ｇ，Ｂの各信号を生成する。そして、光学中心が同じＲ，Ｇ，Ｂ信号が並列に入力される。単板カメラの場合、Ｒ，Ｇ，Ｂの色フィルタが撮像素子にモザイク状に配置されて、１枚の撮像素子によりＲ，Ｇ，Ｂ信号が生成される。そして、画像信号入力部３は、ラインメモリ（図示せず）を用いて注目画素付近のＲ，Ｇ，Ｂ信号を同期させて入力する。
【００２９】
代表値算出部５は、画像信号入力部３により入力されたＲ，Ｇ，Ｂ３信号から代表値を求める。画像処理装置１では、各画素が、順次注目画素に設定され、注目画素の処理が行われる。そして、代表値の算出も注目画素ごとに行われる。
【００３０】
単板カメラの場合、代表値算出部５は、注目画素付近の複数の画素信号から、これら複数の画素信号を代表する代表値を算出してよい。この処理では、注目画素を含む代表値算出範囲が予め設定されており、代表値算出範囲に含まれる複数の画素信号から代表値が算出される。代表値算出範囲は、例えば、注目画素を中心とする３×３画素の領域である。代表値は、例えば、代表値算出範囲内のＲ，Ｇ，Ｂ信号の最大値である。また例えば、代表値は、代表値算出範囲のＲ，Ｇ，Ｂ信号から算出される輝度値である。
【００３１】
より好ましくは、代表値算出部５は、以下のようにして代表値を算出する。この処理では、互いにずれた所定の複数の最大値特定範囲が用いられる。各最大値特定範囲は、代表値算出範囲の一部であって、注目画素を含み、かつ、Ｒ，Ｇ，Ｂの全画素を含むように設定される。これら最大値特定範囲は、好ましくは、注目画素を中心に１周するように設けられる。より詳細には、後述する例のように、注目画素を上下左右の隅にそれぞれ含むように注目画素に対して異なる方向（左上、右上、左下、右下）に偏って複数の最大値特定範囲が設定されてよい。代表値算出部５は、これら複数の最大値特定範囲の各々からＲ，Ｇ，Ｂ信号の最大値を特定する。そして、代表値算出部５は、複数の最大値特定範囲からそれぞれ特定される複数の最大値の平均値を代表値とする。
【００３２】
具体例として、代表値算出範囲が、注目画素を中心とする３×３画素の範囲であったとする。最大値特定範囲としては、２×２画素の範囲が適している。すなわち、４つの最大値特定範囲（２×２画素）が、それぞれ、注目画素を右下、左下、右上および左上に含むように設定される。これらの最大値特定範囲の各々から最大値が特定され、特定された複数の最大値の平均が求められる。
【００３３】
このような代表値算出処理は、単板カメラなどで有利である。単板カメラのように光学中心の異なる複数個の信号からＲ，Ｇ，Ｂ信号を得る場合、Ｒ、Ｇ、Ｂの信号が順次配列されている。典型的な画素配列としては、原色ベイヤ配列が知られている。上記の処理によれば、各々の最大値特定範囲は、Ｒ，Ｇ，Ｂの各々を少なくとも１つ含む（ベイヤ配列においては、２×２画素には、赤が１つ、青が１つ、緑が２つ含まれる）。したがって、各最大値特定範囲の最大値は、必ず、隣接するＲ，Ｇ，Ｂ信号から選ばれた値になる。そして、これら複数の最大値の平均が求められる。このような処理が行われるので、一つの注目画素の代表値と、その隣の注目画素の代表値が、大きく異ならない。すなわち、本実施の形態によれば、注目画素を１つずつずらしていったときに、代表値が急に変化するのを防ぐことができる。これにより、代表値がなめらかに変化するので、非線形変換係数もなめらかに変化する。したがって後述する非線形変換後の画像における画素値の急変化を防ぐことができ、偽着色を抑えられる。
【００３４】
一方、３板カメラのように各々の注目画素がＲ，Ｇ，Ｂの全部の信号を持っている場合、上記の代表値算出範囲および最大値特定範囲は用いられなくてよい。複数の最大値の平均処理も行われなくてよい。各注目画素のＲ，Ｇ，Ｂ信号から、最大値または輝度値等の適当な代表値が求められてよい。
【００３５】
変換係数算出部７において、輝度変換係数算出部１１および彩度変換係数算出部１３は、代表値から輝度変換係数および彩度変換係数を算出する。このうち、輝度変換係数算出部１１は、代表値算出部５により算出された代表値から、注目画素の非線形変換処理に使用されるべき輝度変換係数を算出する。
【００３６】
図２は、非線形変換の X−Gamma(X) 特性の例を示している。Ｘは代表値であり、Gamma(X)は、変換値（変換後の値）である。この場合、代表値Ｘに対する輝度変換係数ｋＹは、式４により得られる。
kY ＝ Gamma(X)／X      （式４）
【００３７】
図３は、代表値Ｘと輝度変換係数ｋＹの関係を示している。この例では、代表値Ｘが小さい領域で輝度変換係数ｋＹが大きい。したがって、図３の輝度変換係数ｋＹを用いると、画像の暗い部分の輝度が持ち上げられることになる。
【００３８】
具体的な算出処理の構成としては、輝度変換係数算出部１１は、図２の輝度変換係数特性から輝度変換係数ｋＹを算出してよい。あるいは、図３に相当する輝度変換係数テーブルが、ＲＯＭ等の記憶部に記憶されていてよい。このテーブルは、代表値Ｘと輝度変換係数ｋＹとのテーブルである。そして、輝度変換係数算出部１１は、この輝度変換係数テーブルから、代表値Ｘに対応する輝度変換係数ｋＹを読み出す。
【００３９】
あるいは、画像処理装置１は、互いに離れた複数の代表値Ｘに対応する輝度変換係数ｋＹだけを記憶していてよい。そして、記憶されていない代表値Ｘに対応する輝度変換係数ｋＹは、記憶された値から補間処理によって求められてよい。
【００４０】
彩度変換係数算出部１３は、代表値から彩度変換係数を算出する。本実施の形態では、彩度変換係数算出部１３が、彩度変換係数として、輝度変換係数に応じた値であって、輝度変換係数より小さい値を求めるように構成されている。
【００４１】
具体的には、例えば、彩度変換係数算出部１３は、下記の式５によって、輝度変換係数ｋＹから彩度変換係数ｋＣを算出する。
ｋC ＝ ( n×kY ＋ m )／( n＋m )     （式５）
【００４２】
ここで、ｎ＝１、ｍ＝０とすれば、ｋＹ＝ｋＣとなり、輝度の変換係数と彩度の変換係数は等しくなる。また、ｎ＝０，ｍ＝１であれば、ｋＣは常に１となり、彩度は変化しない。ｎ＝１、ｍ＝３程度に設定すると、輝度変換係数ｋＹと彩度変換係数ｋＣの関係は、図４に示されるようになる。図４の係数設定に従って変換が行われると、輝度が持ち上がる部分では、輝度の増大に合わせて彩度もある程度持ち上がる。特に、画像が暗い部分で、輝度の持ち上がりに伴って彩度も適度に持ち上がる。これにより、輝度が高くなって明るくなったのに彩度が変わらないといった事態を回避でき、非線形変換で画像が不自然に薄くなるのを防ぐことができ、自然で良好な画像が得られる。
【００４３】
上記の例では、輝度変換係数ｋＹから彩度変換係数ｋＣが算出された。しかし、彩度変換係数ｋＣは、輝度変換係数ｋＹとは全く独立に代表値から算出されてよい。たたし、この場合でも、計算結果において、彩度変換係数ｋＣは、輝度変換係数ｋＹに応じた値であって、輝度変換係数ｋＹより小さい値でなければならない。
【００４４】
独立した処理の具体例としては、図２の輝度変換特性が輝度変換係数の算出に用いられるのと同様に、予め定められた彩度変換特性を用いて彩度変換係数を算出してよい。また、図４に相当する彩度変換係数テーブルが、ＲＯＭ等の記憶部に記憶されていてよい。このテーブルは、代表値Ｘと彩度変換係数ｋＣとのテーブルである。そして、彩度変換係数算出部１３は、この彩度変換係数テーブルから、代表値Ｘに対応する彩度変換係数ｋＣを読み出す。この彩度変換係数テーブルは、前述した輝度変換係数テーブルと一体化されてもよい（この場合でも、ｋＹ、ｋＣをそれぞれ読み出すので、２つの係数算出処理は独立している）。
【００４５】
また、輝度変換係数算出処理に関して説明したのと同様に、画像処理装置１は、互いに離れた複数の代表値Ｘに対応する彩度変換係数ｋＣだけを記憶していてよい。そして、記憶されていない代表値Ｘに対応する彩度変換係数ｋＣは、記憶された値から補間処理によって求められてよい。
【００４６】
信号レベル変換部９は、上記のようにして輝度変換係数算出部１１および彩度変換係数算出部１３により算出された輝度変換係数ｋＹおよび彩度変換係数ｋＣを基に、注目画素の信号（Ｒ，Ｇ，Ｂ信号）の非線形変換を行う。信号レベル変換部９は、輝度変換係数ｋＹおよび彩度変換係数ｋＣに応じて輝度および彩度をそれぞれ変化させる。この処理において、信号レベル変換部９は、色相を変えることなく（すなわち色相を一定にしたまま）、輝度変換係数に応じて輝度のみを変換し、かつ、彩度変換係数に応じて彩度のみを変換する。したがって、色相を変えずに、輝度と彩度が独立して変換される。
【００４７】
具体的な処理としては、信号レベル変換部９は、下記の式６の計算を行うように構成されている。
Gamma(R) ＝ (0.3kY＋0.7kC)×R ＋ (kY−kC)×0.6G ＋ (kY−kC)×0.1B
Gamma(G) ＝ (kY−kC)×0.3R ＋ (0.6kY＋0.4kC)×G ＋ (kY−kC)×0.1B
Gamma(B) ＝ (kY−kC)×0.3R ＋ (kY−kC)*0.6G ＋ (0.1kY＋0.9kC)×B   (式６)
【００４８】
ここで、輝度Ｙは式７で表される。
Ｙ ＝ 0.3R+0.6G+0.1B    （式７）
【００４９】
輝度Ｙを用いることにより、Gamma(R)は、下記のようにして変形される。
Gamma(R) ＝ (0.3kY＋0.7kC)×R ＋ (kY−kC)×0.6G ＋ (kY−kC)×0.1B
＝ kC×R ＋ (kY−kC)×(0.3R+0.6G+0.1B)
＝ kC×R ＋ (kY−kC)×Y
＝ kY×Y ＋ kC×(R−Y)    （式８）
【００５０】
同様に、Gamma(G)、Gamma(B)も下記のように変形される。
Gamma(G) ＝ kY×Y ＋ kC×(G−Y)
Gamma(B) ＝ kY×Y ＋ kC×(B−Y)    （式９）
【００５１】
これらの式８、式９では、明らかに、輝度がｋＹ倍、色差がｋＣ倍されている。すなわち、式７の非線形変換により、色相を変化させることなく、輝度と彩度の非線形変換を独立の倍率で行うことができる。
【００５２】
以上に、本実施の形態に係る画像処理装置１の構成を、各構成要素により行われる処理と共に説明した。次に、図５を参照し、上記の画像処理装置１の動作について説明する。
【００５３】
図５に示されるように、画像信号入力部３により画像信号が入力されると、代表値算出部５が、画像信号における注目画素付近のＲ，Ｇ，Ｂ信号から代表値を算出する（Ｓ１）。既に詳細に説明したように、好ましい処理では、注目画素を含む左上、右上、左下、右下の４つの領域の各々において最大値が特定され、これにより得られる４つの最大値の平均が算出される。各領域は例えば２×２画素である。
【００５４】
次に、輝度変換係数算出部１１が輝度変換係数ｋＹを算出し（Ｓ３）、彩度変換係数算出部１３が彩度変換係数ｋＣを算出する（Ｓ５）。輝度変換係数ｋＹは代表値から求められる（図３）。彩度変換係数ｋＣとしては、図４に示すように、輝度変換係数ｋＹに応じた値であって、輝度変換係数ｋＹより小さい値が求められる。彩度変換係数ｋＣは、輝度変換係数ｋＹから計算されてもよく、あるいは、代表値から直接求められてもよい。前者の場合、彩度変換係数ｋＣは、代表値から輝度変換係数ｋＹを介して間接的に算出される。これら輝度変換係数算出ステップおよび彩度変換係数算出ステップは、本発明の変換係数算出ステップに相当する。
【００５５】
次に、信号レベル変換部９が、輝度変換係数ｋＹおよび彩度変換係数ｋＣを用いて非線形変換処理を行う（Ｓ７）。ここでは、前述の（式６）の処理が行われる。単板カメラでは、各注目画素がＲ、Ｇ，Ｂのいずれかの信号しか持たない。このような場合は、信号レベル変換部９は、各注目画素の処理として、（式６）の３つの式のうちで、注目画素の画素信号の色に対応した変換式のみを実行する。この非線形変換処理により、輝度に輝度変換係数がかけられ、彩度に彩度変換係数がかけられる。したがって、色相を変えずに、輝度と彩度を独立の倍率で変換することができる。
【００５６】
ここで、図４に示したように、本実施の形態では、彩度変換係数ｋＣが、輝度変換係数ｋＹに応じた値であって、輝度変換係数ｋＹより小さい値である。輝度変換係数ｋＹの増減に伴って、彩度変換係数ｋＣも増減する。したがって、輝度が変換されると、輝度の変換より小さいレベルで彩度も変換される。輝度が大きくなったのに彩度が変わらないといった事態を避けることができる。図４の例では、画像の暗い部分の輝度が大きく持ち上がる。このとき、画像の暗い部分の彩度も適度に持ち上がる。したがって、画像が明るくなったのに彩度が変わらないために色が薄くなる、といった事態を避けられ、画質を向上できる。
【００５７】
以上に、本発明の第１の実施の形態に係る画像処理装置１について説明した。本実施の形態によれば、彩度変換係数ｋＣとして、輝度変換係数ｋＹに応じた値であって、輝度変換係数ｋＹより小さい値が求められる。非線形変換では、これら輝度変換係数ｋＹおよび彩度変換係数ｋＣを用いて、色相を変えることなく、輝度と彩度が独立して変換される。したがって、非線形変換処理を暗い画像に対して行う場合でも、輝度変換だけでなく彩度変換も行われる。これにより、彩度が変換されないために画質が低下するといった事態を回避できる。しかも、彩度変換係数ｋＣが輝度変換係数ｋＹより小さい値に設定されているので、輝度の増大に伴って彩度が適度に調整される。このようにして、色相を変えることなく輝度と彩度を独立して非線形変換でき、かつ、暗い画像の非線形変換を行う場合に画質を向上できる画像処理装置を提供することができる。
【００５８】
また、本実施の形態によれば、注目画素の代表値が算出され、そして、代表値から輝度変換係数および彩度変換係数が算出される。代表値を用いることで、輝度変換係数および彩度変換係数を好適に算出できる。
【００５９】
また、本実施の形態では、複数の最大値特定範囲が互いにずれて設定されており、複数の最大値特定範囲の各々が注目画素を含んでいる。そして、代表値は、複数の最大値特定範囲からそれぞれ特定される複数の最大値の平均である。このようにして代表値を算出することにより、注目画素を１つずつずらしていったときに、代表値が急に変化するのを防ぐことができる。代表値がなめらかに変化するので、非線形変換係数もなめらかに変化する。したがって変換後の画像における画素値の急変化を防ぐことができ、偽着色を抑えて、画質を向上できる。
【００６０】
次に、本発明の第２の実施の形態に係る画像処理装置について説明する。図６は、本実施の形態の画像処理装置２１を示している。以下では、第１の実施の形態と共通する事項の説明を省略し、第１の実施の形態との相違点を主として説明する。
【００６１】
図６に示されるように、本実施の形態の画像処理装置２１は、第１の実施の形態の画像処理装置１の構成に加えて、最大値輝度値算出部２３および彩度変換係数補正部２５を有している。
【００６２】
最大値輝度値算出部２３は、注目画素の信号の最大値と輝度値を算出する。最大値算出処理においては、注目画素を含む最大値選択範囲に含まれるＲ，Ｇ，Ｂ信号から、信号レベルが最大の信号が選択される。また、輝度値算出処理においては、注目画素を含む輝度値算出範囲のＲ，Ｇ，Ｂ信号が、３：６：１の比率で加算される。最大値選択範囲および輝度値算出範囲は同じでよい。また、最大値選択範囲および輝度値算出範囲の一方または両方が、前述の代表値算出範囲と同じでよい。最大値選択範囲および輝度値算出範囲は、例えば、注目画素を含む３×３画素の範囲である。
【００６３】
また、３板カメラのように各々の注目画素がＲ，Ｇ，Ｂの全部の信号を持っている場合、上記の最大値選択範囲および輝度値算出範囲は用いられなくてよい。各注目画素のＲ，Ｇ，Ｂ信号の最大値が選択され、各注目画素のＲ，Ｇ，Ｂ信号から輝度値が算出される。
【００６４】
彩度変換係数補正部２５は、上記最大値および輝度値と、予め設定された所定の上限信号値とから、上限彩度変換係数を算出する。彩度変換係数補正部２５は、彩度変換係数算出部１３で算出される彩度変換係数ｋＣを上限彩度変換係数と比較する。そして、彩度変換係数ｋＣに対して、上限彩度変換係数への上限クリップ処理を行う。すなわち、彩度変換係数ｋＣが上限彩度変換係数を超える場合に、彩度変換係数ｋＣが上限彩度変換係数に補正される。これにより、彩度変換係数ｋＣを用いた信号レベル変換部９の非線形変換処理においても、注目画素の画素値が上限レベルにクリップされることになる。
【００６５】
上限彩度変換係数は、変換後の画素値が所定の上限信号値（上限レベル）を超えることのないように求められる。上限彩度変換係数ｋＣは、最大値輝度値算出部２３により得られた最大値および輝度値と、輝度変換係数算出部１１により算出された輝度変換係数ｋＹと、予め設定された所定の上限信号値とから算出される。算出処理を以下に説明する。
【００６６】
仮に、最大値輝度値算出部２５で求めたＲ，Ｇ，Ｂ信号の最大値が、Ｒ信号であったとすると、下記の式１０が成り立つ必要がある。
上限信号値 ≧ Gamma(R)
≧ (0.3kY＋0.7kC)×R ＋ (kY−kC)×0.6G ＋ (kY−kC)×0.1B
≧ kY×Y ＋ kC×(R−Y)                  （式１０）
【００６７】
式１０を変形すると、式１１が得られる。
kC ≦ (上限信号値 − kY×Ｙ)／(R−Y)    （式１１）
【００６８】
Ｂ、Ｇ信号についても同様に、下記の式（１２）が得られる。
kC ≦ (上限信号値 − kY×Ｙ)／(B−Y)
kC ≦ (上限信号値 − kY×Ｙ)／(G−Y)    （式１２）
【００６９】
これらの式のｋＣが、上限彩度係数に相当する。結局、上限彩度係数は下記のように表される。
上限彩度変換係数 ＝ (上限信号値−kY×輝度値)／(最大値−輝度値）  （式１３）
【００７０】
この上限彩度変換係数にて彩度変換係数ｋＣをクリップすることで、非線形変換における画素値も上限信号値にクリップされる。したがって、色相変化を起こすことなく、輝度、彩度を独立した特性で非線形変換し、変換後の信号を所望の上限信号値以下に抑えることができる。
【００７１】
図７は、本実施の形態に係る画像処理装置２１の動作を示している。ここでも、第１の実施の形態との相違点を主として説明する。図７に示すように、本実施の形態では、代表値算出部５による代表値算出（Ｓ１）に加えて、最大値輝度値算出部２３により輝度値および最大値が算出される（Ｓ１１、Ｓ１３）。また、輝度変換係数算出部１１および彩度変換係数算出部１３による輝度変換係数ｋＹおよび彩度変換係数ｋＣの算出（Ｓ３、Ｓ５）に加えて、彩度変換係数補正部２５により上限彩度変換係数が算出される（Ｓ１５）。そして、彩度変換係数補正部２５は、彩度変換係数ｋＣを上限彩度変換係数と比較し、彩度変換係数ｋＣが上限彩度変換係数以下か否かを判定する（Ｓ１７）。Ｓ１７の判定がＹｅｓであれば、彩度変換係数ｋＣがそのまま使用されて、信号レベル変換処理が信号レベル変換部９により行われる（Ｓ７）。Ｓ１７の判定がＮｏであれば、彩度変換係数ｋＣが上限彩度変換係数にクリップされる（Ｓ１９）。そして、上限彩度変換係数を用いて、信号レベル変換処理が行われる（Ｓ７）。これにより、変換後の信号を所望の上限信号値以下に抑えることができる。
【００７２】
以上に、本発明の第２の実施の形態に係る画像処理装置２１について説明した。本実施の形態によれば、注目画素の輝度値が算出される。そして、輝度値に基づいて、信号レベル変換部の処理において注目画素の画素値を所定の上限レベルにクリップするために彩度変換係数が補正される。具体的には、変換後の信号が上限レベル以下になる上限彩度変換係数が算出され、彩度変換係数が上限彩度変換係数以下にクリップされる。これにより、信号レベルを所望の上限レベル以下に抑えることができる。したがって、色相変化を起こさずに、輝度と彩度を独立の倍率で非線形変換を行って、暗い画像の変換後の画質を向上でき、かつ、変換後の信号を所望の信号最大値以下に抑えることが出来る。
【００７３】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００７４】
以上のように、本発明にかかる画像処理装置は、色相を変えることなく輝度と彩度を独立して非線形変換でき、かつ、比較的暗い画像の非線形変換を行う場合の画質を向上できるという効果を有し、撮像装置用の画像処理装置等として有用である。
【図面の簡単な説明】
【００７５】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図
【図２】非線形特性として輝度変換特性を示す図
【図３】輝度変換係数を入力信号で割った非線形変換係数の図
【図４】輝度変換係数と彩度変換係数の関係を示す図
【図５】第１の実施の形態における画像処理装置の動作を示す図
【図６】本発明の第２の実施の形態における画像処理装置のブロック図
【図７】第２の実施の形態における画像処理装置の動作を示す図
【図８】従来技術における輝度変換演算器を示すブロック図
【図９】従来技術における彩度変換演算器を示すブロック図
【符号の説明】
【００７６】
１  画像処理装置
３  画像信号入力部
５  代表値算出部
７  変換係数算出部
９  信号レベル変換部
１１  輝度変換係数算出部
１３  彩度変換係数算出部
【図１】
2011023774.tif 000003
【図２】
2011023774.tif 000004
【図３】
2011023774.tif 000005
【図４】
2011023774.tif 000006
【図５】
2011023774.tif 000007
【図６】
2011023774.tif 000008
【図７】
2011023774.tif 000009
【図８】
2011023774.tif 000010
【図９】
2011023774.tif 000011