(57)【要約】【課題】色曲りや擬似階調を目立ち難くすることを課題とする。【解決手段】画像処理装置は、画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理手段（１０２）と、画像信号の階調変換処理に用いるゲイン値を決定し、拡張処理がなされた後の画像信号に対してゲイン値によるゲインをかけて階調変換処理を行う階調変換手段（１０３）と、を有し、階調変換手段（１０３）は、拡張処理に関する情報を基に、階調変換処理で使用するゲイン値を算出することを特徴とする。【選択図】図１
2020080506.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理手段と、
画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換手段と、を有し、
前記階調変換手段は、前記拡張処理に関する情報を基に、前記階調変換処理で使用するゲイン値を算出することを特徴とする画像処理装置。
【請求項２】
前記階調変換手段は、前記拡張処理に関する情報を基に、前記拡張処理によって色相に変化が発生しているか否か判定し、前記色相に変化が発生していると判定した画素位置に対して前記階調変換処理でかかるゲインが小さくなるようなゲイン値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記階調変換手段は、前記拡張処理に関する情報を基に、前記拡張処理によって色相に変化が発生しているか否か判定し、前記色相に変化が発生していると判定した画素位置に対して前記階調変換処理で画像の色差にかかるゲインが小さくなるようなゲイン値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記階調変換手段は、
前記拡張処理に関する情報を基に、前記拡張処理によって擬似階調が発生しているか否か判定し、
前記擬似階調が発生していると判定した場合には、前記擬似階調が発生していると判定された画素位置について、前記階調変換処理でコントラストをさげるゲイン値を算出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記階調変換手段は、
前記拡張処理された後の画像信号からそれぞれ周波数域が異なる複数の階層画像を生成する階層画像生成手段と、
前記階層画像の画素位置ごとにゲイン値を算出して配置した複数の階層ゲインマップを生成するゲイン変換手段と、
前記複数の階層ゲインマップを合成する合成手段と、を有し、
前記合成したゲインマップの各ゲイン値を、前記画像信号の階調変換処理に用いる前記ゲイン値として決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記階調変換手段は、
前記拡張処理に関する情報を基に、前記拡張処理によって擬似階調が発生しているか否か判定し、
前記擬似階調が発生していると判定した場合には、前記擬似階調が発生していると判定された画素位置について、前記画像信号に対応した階層ゲインマップのゲイン値を優先して使用するようにして前記階調変換処理に用いる前記ゲイン値を決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理手段と、
画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換手段と、を有し、
前記階調変換手段は、前記ゲイン値によるゲインをかけた後の画像信号に対し、前記拡張処理に関する情報と前記階調変換処理で使用したゲイン値とに基づく補正処理を行うことを特徴とする画像処理装置。
【請求項８】
前記階調変換手段は、前記拡張処理に関する情報を基に、前記拡張処理によって色相に変化が発生しているか否か判定し、前記色相に変化が発生していると判定した画素の色を白色に近づける前記補正処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記階調変換手段は、前記拡張処理に関する情報を基に、前記拡張処理によって擬似階調が発生しているか否か判定し、前記擬似階調が発生していると判定した場合には、前記ゲインをかけた画素のコントラストを下げる前記補正処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記拡張処理に関する情報は、前記拡張処理で前記信号値を補正する際の補正量の値を含むことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記階調変換手段は、着目画素について、前記対象色の補正量の値が大きく、前記他色の補正量が小さい場合、前記拡張処理によって色相に変化が発生していると判定することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記拡張処理に関する情報は、前記拡張処理の前後の画素値の差分値を含むことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記階調変換手段は、着目画素について、前記拡張処理の前後の画素値の差分値が所定の閾値以上である場合、前記拡張処理によって色相に変化が発生していると判定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記拡張処理に関する情報は、前記拡張処理で前記信号値を補正する際の補正量の勾配値を含むことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記階調変換手段は、着目画素について、前記補正量の勾配値が大きく、前記着目画素に対する周辺画素の補正量が小さい場合、擬似階調が発生していると判定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記拡張処理手段は、ホワイトバランスを調整した後の前記画像信号に対して、前記拡張処理を行うことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
【請求項１７】
画像処理装置が実行する画像処理方法であって、
画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理工程と、
画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換工程と、を有し、
前記階調変換工程では、前記拡張処理に関する情報を基に、前記階調変換処理で使用するゲイン値を算出することを特徴とする画像処理方法。
【請求項１８】
画像処理装置が実行する画像処理方法であって、
画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理工程と、
画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換工程と、を有し、
前記階調変換工程では、前記ゲイン値によるゲインをかけた後の画像信号に対し、前記拡張処理に関する情報と前記階調変換処理で使用したゲイン値とに基づく補正処理を行うことを特徴とする画像処理方法。
【請求項１９】
コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により取得された画像の階調等を処理する技術に関する。
【背景技術】
【０００２】
特許文献１には、撮像装置で撮影した画像に対し、色に応じて異なるゲインをかけてカラーバランスを調整するホワイトバランス調整を行い、その調整後の色信号を色毎の飽和レベルに応じて補正することで高輝度領域の階調を拡張する技術が開示されている。なお、拡張処理では、Ｒ，Ｇ，Ｂの色信号毎の飽和レベルに応じて補正処理を行うため、非飽和画素の信号値の大きさや補正結果によっては、被写体の持っている色相が変化する現象、すなわちいわゆる色曲りと呼ばれる現象が発生することがある。また、拡張処理では、画素単位での処理が行われるため、画像内において補正を行う部分と行わない部分とで階調の不連続が発生し、同一被写体内に擬似的な階調段差が生ずることがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１５６６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、前述のような拡張処理を行った信号に対して、焼きこみ処理すなわち高輝度域に対してゲインダウンする階調変換処理を行えば、飽和レベルが所定以上となる飽和領域の信号をより視認し易くすることができる。しかしながら、拡張処理を行った信号に対し、焼きこみ処理として高輝度域にゲインダウンを行った場合、いわゆる色曲りの発生部分や擬似階調の発生部分の輝度値が下がることになり、それら色曲りや擬似階調がより目立つようになってしまう。
【０００５】
そこで、本発明は、色曲りや擬似階調を目立ち難くすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理手段と、画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換手段と、を有し、前記階調変換手段は、前記拡張処理に関する情報を基に、前記階調変換処理で使用するゲイン値を算出することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、色曲りや擬似階調を目立ち難くすることができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理装置の概略構成を示す図である。
【図２】第１の実施形態に係る画像処理のフローチャートである。
【図３】拡張処理の説明図である。
【図４】階調変換部の構成例を示す図である。
【図５】第１の実施形態に係るゲイン値算出処理のフローチャートである。
【図６】階層画像から算出したゲインを合成する処理の概念説明図である。
【図７】階調変換処理の説明図である。
【図８】拡張処理に関する情報に基づくゲイン値調整処理のフローチャートである。
【図９】拡張処理に関する情報に基づく判定処理の説明図である。
【図１０】補正量の差分値とゲインの関係を示す図である。
【図１１】第２の実施形態の画像処理装置の概略構成を示す図である。
【図１２】第２の実施形態に係る画像処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
本実施形態の画像処理装置は、撮像画像信号の各画素に対してホワイトバランスを調整する処理を行い、その処理後の色信号を色毎の飽和レベルに応じて補正することで高輝度領域の階調を拡張する処理を行った後、ゲイン処理による階調変換処理を行う。ここで、本実施形態の画像処理装置は、拡張処理後の色信号に対するゲイン処理に使用するゲイン値を、拡張処理に関する情報に基づいて制御可能となされている。なお本実施形態の画像処理装置ではデジタル化された画像信号（画像データ）を扱うが、以下の説明では特に明示する場合を除き、画像信号を単に画像と表記するものとする。また以下、ホワイトバランスをＷＢと表記することにする。
【００１０】
＜第１の実施形態＞
図１は第１の実施形態の画像処理装置の概略構成を示すブロック図である。
図１において、画像取得部１０１は、入力画像として、不図示の撮像部から撮像画像を取得、あるいは、外部の撮像装置や記録装置、ネットワーク等から撮像画像を取得する。撮像画像は例えばいわゆるＲＡＷ画像であるとする。
【００１１】
拡張処理部１０２は、画像取得部１０１が取得した撮像画像に対し、Ｒ，Ｇ，Ｂ等の複数の色信号に対するＷＢゲイン処理を行い、そのＷＢゲイン処理によるＷＢ補正後の各色のうち、対象色の信号値を他色の信号値を基に拡張する処理を行う。本実施形態の場合、拡張処理部１０２は、ＷＢ補正後の色信号を色毎の飽和レベルに応じて補正することで、高輝度領域の階調を残すような拡張処理を行う。
【００１２】
階調変換部１０３は、拡張処理部１０２による拡張処理後の画像信号に対してゲインをかけることによる階調変換処理を行う。階調変換部１０３は、ゲイン算出部１１１とゲイン処理部１１２とを有して構成されている。
【００１３】
ゲイン算出部１１１は、拡張処理部１０２による拡張処理後の画像に対して階調変換処理を施す際のゲイン値を、拡張処理部１０２の拡張処理に関する情報を基に算出する。詳細は後述するが、本実施形態の場合、ゲイン算出部１１１は、画像の輝度値とゲイン値との対応関係を表すゲインテーブルを用い、画像の輝度値に応じたゲイン値を取得するようなゲイン取得処理を行う。そして、そのゲイン値と、拡張処理部１０２による拡張処理後の画像とは、ゲイン処理部１１２に送られる。
【００１４】
ゲイン処理部１１２は、ゲイン算出部１１１により得られたゲイン値を基に、拡張処理後の画像に対してゲインをかけるゲイン処理を行うことによる階調変換処理を実行する。この階調変換処理後の画像つまりゲイン処理後の画像は、信号処理部１０４に送られる。
信号処理部１０４は、ゲイン処理部１１２でゲイン処理された画像に対して現像処理などの各種信号処理を行って出力画像を生成する。
【００１５】
図２は本実施形態の画像処理装置にて行われる画像処理の流れを示すフローチャートである。以下の説明では、図２のフローチャートの各処理のステップＳ２０１〜ステップＳ２０６をＳ２０１〜Ｓ２０６と略記する。このことは後述する他のフローチャートでも同様とする。以下、本実施形態に係る画像処理の詳細を図２および図３〜図１０を用いて説明する。
【００１６】
先ずＳ２０１の処理として、画像取得部１０１は、本実施形態の画像処理装置において使用する撮像画像を取得する。
次にＳ２０２の処理として、拡張処理部１０２は、画像取得部１０１にて取得された撮像画像に対して、ＷＢゲインをかけるＷＢ補正処理を行う。ここで、入力された撮像画像の画素のＲ，Ｇ，Ｂの各信号値をそれぞれ信号Ｒ(x,y)，Ｇ(x,y)，Ｂ(x,y)とすると、ＷＢゲイン処理によるＷＢ補正後の信号Ｒｗ(x,y)，Ｇｗ(x,y)，Ｂｗ(x,y)は、下記の式（１）で算出される。式（１）のＷＢ＿Ｒ，ＷＢ＿Ｇ，ＷＢ＿Ｂは、Ｒ，Ｇ，Ｂの各信号値に対するＷＢゲインの係数である。
【００１７】
Ｒｗ(x,y)＝ＷＢ＿Ｒ×Ｒ(x,y)
Ｇｗ(x,y)＝ＷＢ＿Ｇ×Ｇ(x,y)            式（１）
Ｂｗ(x,y)＝ＷＢ＿Ｂ×Ｂ(x,y)
【００１８】
次にＳ２０３の処理として、拡張処理部１０２は、拡張処理に使用する補正量を算出し、その算出した補正量を用いて、ＷＢ補正後のＲ，Ｇ，Ｂの信号値に対する拡張処理を行う。
以下、図３を用いて、拡張処理部１０２にて行われる拡張処理について説明する。
図３（ａ）のグラフ３０１は、着目画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値およびＷＢ補正後の各信号値と、拡張処理後の各信号値とを表している。
【００１９】
拡張処理部１０２は、先ずＲとＢのＷＢ補正後の信号値を用いて、それらＲとＢの信号値のいずれを拡張するかを決定し、その決定した信号値を拡張するための補正量を算出する。本実施形態において、拡張処理が行われる信号は、ＲとＢのうち信号値の小さい方となされる。例えば、ＷＢ補正後のＲの信号Ｒｗ(x,y)よりもＢの信号Ｂｗ(x,y)が小さい場合には、Ｂの信号値を拡張する処理が行われる。逆に、ＷＢ補正後のＢの信号Ｂｗ(x,y)の方がＲの信号Ｒｗ(x,y)より大きい場合には、Ｒの信号値を拡張する処理が行われる。
【００２０】
ＲとＢのうち拡張する信号を決めると、拡張処理部１０２は、当該拡張する信号について式（２）を用いた拡張処理を行い、その拡張処理における補正量を式（３）により算出する。なお式（２）のＤｗ(x,y)は拡張すると決定された方の信号値であり、Ｎｗ(x,y)は拡張されない方の信号値である。また、式（２）のＤ'(x,y)は拡張すると決定された方の信号Ｄｗ(x,y)を拡張処理した場合の信号値を表している。一方、Ｎ'(x,y)は拡張されない方の信号Ｎｗ(x,y)における拡張処理後の信号値を表しており、実際には拡張されないため信号Ｎ'(x,y)と信号Ｎｗ(x,y)の値は等しくなる。さらに、式（２）のαは予め決められた加重加算の係数であり０．０〜１．０の値となされている。また式（３）のＣ(x,y)は着目画素における補正量の値であり、Ｄｗ(x,y)とＤ'(x,y)は式（２）で用いた信号値である。つまり、拡張処理部１０２は、拡張処理における補正量を式（３）により算出する。
【００２１】
Ｄ'(x,y)＝（１．０−α）×Ｎｗ(x,y)＋α×Ｄｗ(x,y)
Ｎ'(x,y)＝Ｎｗ(x,y)                                      式（２）
【００２２】
Ｃ(x,y)＝Ｄ'(x,y)／Ｄｗ(x,y)        式（３）
【００２３】
図３（ｂ）のグラフ３０２は、Ｒの信号Ｒｗ(x,y)よりもＢの信号Ｂｗ(x,y)の値が小さい場合を例に挙げており、ＷＢ補正後（つまり拡張処理前）のＲとＢの信号値、および式（２）による拡張処理を行った場合のＲとＢの信号値を表している。図３（ｂ）のグラフ３０２の例の場合、式（２）と式（３）のＤｗ(x,y)はＷＢ補正後のＢの信号Ｂｗ(x,y)であり、式（２）のＮｗ(x,y)はＷＢ補正後のＲの信号Ｒｗ(x,y)である。また、式（２）と式（３）のＤ'(x,y)はＢにおける拡張処理後の信号Ｂ'(x,y)となり、式（２）のＮ'(x,y)はＲにおける拡張処理後の信号Ｒ'(x,y)となる。一方、Ｒにおける拡張処理後の信号Ｒ'(x,y)は拡張処理前の信号Ｒｗ(x,y)と同じ値であり、拡張されないことになる。すなわち、グラフ３０２の例のように、Ｒの信号Ｒｗ(x,y)よりもＢの信号Ｂｗ(x,y)の値が小さい場合、拡張処理部１０２は、Ｂの信号値の拡張処理における補正量Ｃ(x,y)を算出する。このように、図３（ｂ）の例の場合、ＷＢ補正後のＢの信号値が拡張されることになる。
【００２４】
さらに拡張処理部１０２は、ＲとＢの拡張されない方のＷＢ補正後の信号値と、ＧのＷＢ補正後の信号値とを比較して、それらのいずれを拡張するかを決定し、その決定した信号値を拡張するとともに、その拡張処理における補正量を前述同様にして算出する。例えば、ＲとＢの拡張されない方の信号値よりもＧの信号値が小さい場合、拡張処理部１０２は、Ｇの信号値を拡張するとともに、その拡張処理における補正量を算出する。
【００２５】
図３（ｃ）のグラフ３０３は、グラフ３０２の例で拡張されないＲのＷＢ補正後の信号値およびＧのＷＢ補正後の信号値と、拡張処理後のＲとＧの各信号値を表している。この図３（ｃ）の場合、ＷＢ補正後の信号Ｒｗ(x,y)よりＧのＷＢ補正後の信号Ｇｗ(x,y)の値が小さい例を挙げている。なお、グラフ３０３の例の場合、前述した式（２）のＤｗ(x,y)はＧｗ(x,y)であり、Ｎｗ(x,y)はＲｗ(x,y)、Ｄ'(x,y)はＧ'(x,y)、Ｎ'(x,y)はＲ'(x,y)となる。すなわちグラフ３０２のように拡張されないＲのＷＢ補正後の信号Ｒｗ(x,y)よりもＧのＷＢ補正後の信号Ｇｗ(x,y)の値が小さい場合、拡張処理部１０２は、Ｇの信号値を拡張するとともに、その拡張処理における補正量Ｃ(x,y)を算出する。このように図３（ｃ）の例の場合、ＷＢ補正後のＧの信号値が拡張されることになる。
【００２６】
前述したように、Ｓ２０３の処理として拡張処理部１０２の拡張処理が実行された後、階調変換部１０３は、Ｓ２０４の処理として階調変換処理に用いるゲイン値を算出し、さらにＳ２０５の処理として階調変換処理を行う。
Ｓ２０４において、階調変換部１０３のゲイン算出部１１１は、拡張処理部１０２の拡張処理に関する情報を基に、階調変換処理で用いるゲイン値、つまりゲイン処理部１１２のゲイン処理で使用するゲイン値を算出する。
【００２７】
ここで、本実施形態において、拡張処理に関する情報は、拡張処理で使用する補正量の値と、補正量の勾配値と、拡張処理前後の画像の画素差分値とで構成される。
拡張処理で使用する補正量の値は前述した式（３）により算出された値である。補正量の勾配値としては、着目画素における補正量とその周辺画素における補正量との差分値が用いられる。また、拡張処理前後の画素差分値としては、着目画素の画素位置について拡張処理前の画素値と拡張処理後の画素値との差分の絶対値が用いられる。なお本実施形態において、これら補正量の値、補正量の勾配値、拡張処理前後の画像の画素差分値は、拡張処理部１０２が算出して保持しているものとする。
【００２８】
以下、図４から図１０を用いて、ゲイン算出部１１１におけるゲイン値の算出処理について説明する。
図４は、階調変換部１０３の構成、特に、ゲイン算出部１１１の詳細な構成例を示した図である。ゲイン算出部１１１は、階層画像生成部４０１、ゲイン変換部４０２、階層ゲイン合成部４０３、調整部４０４を有して構成されている。
【００２９】
階層画像生成部４０１は、画像取得部１０１にて取得されて拡張処理部１０２でＷＢ補正および拡張処理が施された後の撮像画像から、それぞれ周波数域が異なる複数の低周波画像を生成する。本実施形態では、拡張処理後の撮像画像を上階層画像とし、それぞれ生成された低周波画像を下階層画像と呼ぶ。つまり階層画像生成部４０１は、周波数域が最も高い画像である拡張処理後の撮像画像を上階層画像とし、その上階層画像と、それぞれ生成された複数の低周波画像である下階層画像とからなる、階層画像を生成する。
【００３０】
ゲイン変換部４０２は、階層画像生成部４０１にて生成された各階層画像の画素毎に、所定の階調特性を基にゲイン値を算出し、それら各画素のゲイン値を各階層の画素位置毎に配列した階層ゲインマップを生成する。階層画像と階層ゲインマップの詳細は後述する。
階層ゲイン合成部４０３は、ゲイン変換部４０２で生成した各階層ゲインマップを合成して、拡張処理後の撮像画像に対する階調変換処理に用いる各ゲイン値からなる合成ゲインマップを生成する。
【００３１】
調整部４０４は、後述するように、拡張処理によって色曲りや擬似階調が発生しているかどうかを判定し、色曲りや擬似階調が発生している場合、それら色曲りや擬似階調を抑制するための調整処理を行う。なお、色曲りとは、撮像画像の被写体等の色相が、拡張処理が行われたことで大きく変化してしまう現象である。擬似階調とは、擬似的な階調段差が生じる現象である。色曲りや擬似階調を抑制するための調整処理の詳細については後述する。
【００３２】
図５は、図４に示したゲイン算出部１１１で行われるゲイン値算出処理のフローチャートである。また図６は、図４のゲイン算出部１１１における階層画像の生成処理、ゲイン変換処理、階層ゲイン合成処理の様子を概念的に示す図である。
【００３３】
先ずＳ５０１の処理として、階層画像生成部４０１は、拡張処理後の撮像画像つまり上階層画像から、それぞれ周波数域が異なる複数の低周波画像を生成して、それら上階層画像と各下階層画像（各低周波画像）とからなる階層画像を生成する。図６には、撮像画像から、上階層画像６００と、この上階層画像６００よりも低周波数域の第１の下階層画像６０１と、第１の下階層画像６０１よりさらに低周波数域の第２の下階層画像６０２が生成された例を挙げている。上階層画像６００と第１の下階層画像６０１と第２の下階層画像６０２とはそれぞれ画像サイズが異なり、第１の下階層画像６０１は上階層画像６００を縮小処理して生成される画像である。さらに、第２の下階層画像６０２は第１の下階層画像６０１をさらに縮小処理して生成される画像である。なお、画像の縮小処理の方法については、特に限定しないが、例えばバイリニア法を用いた縮小処理等の各種の方法を用いることができる。
【００３４】
次にＳ５０２の処理として、ゲイン変換部４０２は、階層画像生成部４０１により生成された各階層画像について、所定の階調特性を用いて画素毎にゲイン値を算出し、それら各画素のゲイン値を画素位置毎に配列した階層ゲインマップを生成する。図６の例の場合、上階層画像６００からは上階層ゲインマップ６２０が生成され、第１の下階層画像６０１からは第１の下階層ゲインマップ６２１が生成され、第２の下階層画像６０２からは第２の下階層ゲインマップ６２２が生成される。
【００３５】
以下、図７を参照して、各階層画像からそれぞれ階層ゲインマップを生成するゲイン変換処理について詳細に説明する。なお、図７の説明では、階層画像のうち撮像画像である上階層画像を例に挙げるが、下階層画像についても同様にしてそれぞれ階層ゲインマップが生成される。
【００３６】
図７（ａ）は撮像画像である上階層画像７００の一例を示した図である。図７（ｂ）はゲイン変換部４０２で行われるゲイン変換処理で用いる階調特性を表した図であり、ゲイン値と階層画像の輝度値（Ｙ）との対応関係を表したゲインテーブルのグラフ７０１を示している。図７（ｃ）は、図７（ｂ）のグラフ７０１に示したゲインテーブルを用いて、上階層画像７００の画素毎に取得した各ゲイン値を、それぞれ画素座標の位置に対応して配置した上階層ゲインマップ７２０を示した図である。
【００３７】
先ずゲイン変換部４０２は、上階層画像７００（撮像画像）のベイヤー画像信号を基に、下記の式（４）を用いて画素毎の入力輝度Ｙを算出する。なお本実施形態では、入力輝度Ｙを算出する際に式（４）を使用する例を挙げたが、これに限定されるものではなく、他の方式を使用してもよい。
【００３８】
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ        式（４）
【００３９】
次に、ゲイン変換部４０２は、図７（ｂ）のグラフ７０１で示したゲインテーブルを用い、式（４）にて算出した入力輝度Ｙに対応したゲイン値を取得する。ここで、図７（ｂ）のグラフ７０１に示したゲインテーブルは、横軸が入力輝度Ｙの値、縦軸がゲイン値となされたテーブルである。ゲイン変換部４０２は、式（４）で算出した入力輝度Ｙの値に対応するゲイン値を、図７（ｂ）のゲインテーブルから取得する。そして、ゲイン変換部４０２は、上階層画像７００の画素毎に取得したゲイン値を、それぞれの画素座標の位置に対応して配置することにより、図７（ｃ）に示すような上階層ゲインマップ７２０を生成する。なお、図７（ｃ）の例では上階層画像７００に対応した上階層ゲインマップ７２０のみ示しているが、ゲイン変換部４０２は、各下階層画像についても前述同様にしてそれぞれ下階層ゲインマップを生成する。そして、ゲイン変換部４０２は、Ｓ５０２で前述のようにして各階層画像に対応して生成した各階層ゲインマップを、階層ゲイン合成部４０３に出力する。
【００４０】
次にＳ５０３の処理として、階層ゲイン合成部４０３は、各階層ゲインマップを合成することにより、撮像画像の各画素位置に対応して各ゲイン値が配列された合成ゲインマップを生成する。図６の例の場合、先ず階層ゲイン合成部４０３は、合成処理６３１として、第２の下階層ゲインマップ６２２を第１の下階層ゲインマップ６２１に合わせるように拡大処理し、その拡大処理後の階層ゲインマップを第１の下階層ゲインマップ６２１と合成する。次に階層ゲイン合成部４０３は、合成処理６３０として、合成処理６３１で合成された階層ゲインマップを上階層ゲインマップ６２０に合わせるように拡大処理し、その拡大処理した階層ゲインマップを上階層ゲインマップ６２０と合成する。これにより合成ゲインマップが生成される。
【００４１】
またＳ５０３において、調整部４０４は、拡張処理部１０２から拡張処理に関する情報を取得し、その拡張処理に関する情報を基に、合成ゲインマップの各ゲイン値の調整、もしくは階層ゲインマップの合成処理時の合成パラメータの調整を行う。これら合成ゲインマップの各ゲイン値の調整処理、階層ゲインマップ合成時の合成パラメータの調整処理の詳細については後述する。このように拡張処理に関する情報に基づく調整処理がなされて生成された合成ゲインマップは、階調変換処理で最終的に使用する各ゲイン値からなる最終ゲインマップとして、ゲイン処理部１１２に送られる。
【００４２】
図８は、図４のゲイン算出部１１１の調整部４０４における調整処理のフローチャートである。
先ずＳ８０１の処理として、調整部４０４は、拡張処理部１０２から拡張処理に関する情報すなわち、前述した拡張処理で使用する補正量の値、補正量の勾配値、拡張処理前後の画像の差分値の各値を取得する。
【００４３】
次にＳ８０２の処理として、調整部４０４は、拡張処理に関する情報を基に、着目画素において拡張処理による色曲りが発生しているどうかを判定する。
以下、図９を用いて、着目画素において拡張処理による色曲りが発生しているか否かの判定処理の詳細を説明する。
図９（ａ）のグラフ９０１は、着目画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値、ＷＢ補正後の各信号値、拡張処理後の各信号値を表している。このグラフ９０１では、前述の図３の例と同様、ＷＢ補正後のＲとＢのうち信号値が小さいのはＢであるためＷＢ補正後のＢの信号値が拡張され、さらに拡張されていないＲと、ＷＢ補正後のＧとの比較の結果、ＷＢ補正後のＧの信号値が拡張された例を挙げている。つまりこの例の場合、拡張処理に関する情報の補正量としては、着目画素のＧとＢにおける補正量が取得されている。
【００４４】
図９（ａ）の例の場合、調整部４０４は、着目画素における拡張処理の際の、Ｇの信号値に対する補正量とＢの信号値に対する補正量とを比較することにより、色曲りが発生しているか否かを判定する。具体的には、調整部４０４は、先ず以下の式（５）を用いた補正量の比較処理を行う。なお、式（５）において、Ｄif(x,y)は拡張処理で使用する補正量間の差分値、ＣB(x,y)はＢにおける補正量、ＣG(x,y)はＧにおける補正量である。
【００４５】
Ｄif(x,y)＝｜ＣB(x,y)−ＣG(x,y)｜        式（５）
【００４６】
次に調整部４０４は、式（５）で算出される補正量間の差分値Ｄif(x,y)が、所定の閾値Ｔｈ以上である場合、着目画素において拡張処理により信号の色相が変化した色曲りが発生していると判定する。そして調整部４０４は、Ｓ８０２において、色曲りが発生していると判定した場合にはＳ８０３に処理を進め、一方、色曲りが発生していないと判定した場合にはＳ８０４に処理を進める。
【００４７】
なお、本実施形態では、補正量間の差分値Ｄif(x,y)を算出して色曲りの発生判定を行ったが、拡張処理前後の画素の差分値を使用して色曲りの発生判定を行っても良い。具体的には、調整部４０４は、着目画素において各色信号の拡張処理前後の画素値の差分値が所定の閾値以上の場合、色相が変化して色曲りが発生していると判定する。
【００４８】
そして、着目画素において色曲りが発生していると判定してＳ８０３に進むと、調整部４０４は、合成ゲインマップの着目画素位置について彩度を弱めるようなゲイン値を算出する。つまり調整部４０４は、着目画素において色曲りが発生している場合、合成ゲインマップの着目画素位置のゲイン値を、後段のゲイン処理部１１２でゲインを小さく（弱める）したゲイン処理が行われるようなゲイン値に調整する。
【００４９】
以下、着目画素位置の彩度を弱めるゲイン値の調整処理について、図１０を参照しながら説明する。図１０は補正量間の差分値Ｄifとゲイン値との対応関係を表した図である。図１０（ａ）のグラフ１００１と図１０（ｂ）のグラフ１００２は、補正量間の差分値Ｄifが値閾値Ｔｈ以上になった場合に、その差分値Ｄifに応じてゲイン値を等倍のゲイン値に変更するような特性曲線となされている。
【００５０】
ここで図１０（ａ）のグラフ１００１は、補正量間の差分値Ｄifが値閾値Ｔｈ以上で色曲りが発生している場合に、色曲りが視認され難くなるように速やかにゲイン値を等倍に近づけるように変更する特性曲線となされている。また、図１０（ｂ）のグラフ１００２は、色曲りを視認し難くするよりも、焼きこみの効果を優先すること、つまり高輝度域をゲインダウンするような効果を優先させてゲイン値を等倍に変更するような特性曲線となされている。すなわち調整部４０４は、差分値Ｄifが閾値Ｔｈ以上で色曲りが発生している場合において、着目画素位置のゲイン値がゲインダウンする値であるときには、これらグラフ１００１やグラフ１００２の特性曲線を基にゲイン値を等倍に変更する。なお、グラフ１００１とグラフ１００２の特性曲線のいずれを用いるかは、ユーザーが選択してもよいし、予め選択されていてもよい。
【００５１】
ゲイン算出部１１１からは、前述のように拡張処理に関する情報に基づいて色曲りを抑制するようにゲイン値を調整した後の合成ゲインマップが、最終ゲインマップとしてゲイン処理部１１２に送られる。したがって、ゲイン処理部１１２では、拡張処理後の撮像画像に対し、最終ゲインマップの各ゲイン値を用いた階調変換処理が行われることになる。
なお本実施形態では、拡張処理後の撮像画像における各色の全ての信号値に対してかけるゲイン値の算出を行う例を挙げたが、拡張処理後の撮像画像の色差情報にかけるゲイン値のみを調節しても良い。
【００５２】
またＳ８０２で色曲りが発生していないと判定してＳ８０４に進むと、調整部４０４は、拡張処理に関する情報を基に、拡張処理により擬似階調が発生しているかどうかを判定する。
以下、拡張処理によって擬似階調が発生しているか否かの判定処理に関して図９を参照しながら説明する。
【００５３】
図９（ｂ）のグラフ９０２は、着目画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値、ＷＢ補正後の各信号値、拡張処理が行われた場合の各信号値を表している。このグラフ９０２の例では、着目画素について、ＷＢ補正後のＲとＢのうち信号値が小さいのはＲであるためＷＢ補正後のＲの信号値が拡張され、さらに拡張されていないＢと、ＷＢ補正後のＧとの比較の結果、ＷＢ補正後のＧの信号値が拡張される例を挙げている。つまりこの例の場合、着目画素について、拡張処理に関する情報の補正量としては、着目画素のＧとＲにおける補正量が取得される。
【００５４】
図９（ｃ）のグラフ９０３は、着目画素の周辺画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値、ＷＢ補正後の各信号値、拡張処理が行われた場合の各信号値を表している。このグラフ９０３の例では、周辺画素について、ＷＢ補正後のＲとＢの信号値が同じ値であるためいずれも拡張されず、さらにＲおよびＢのいずれも拡張されていないため、ＷＢ補正後のＧについても拡張されていない例を挙げている。つまりこの例の場合、周辺画素について、拡張処理に関する情報として補正量の値はゼロまたは取得されないことになる。
【００５５】
Ｓ８０４において、調整部４０４は、先ず拡張処理に関する情報を基に、着目画素について拡張処理が行われているかどうかを判定する。図９（ｂ）の例の場合、着目画素についての拡張処理に関する情報として補正量が取得されており、調整部４０４は、拡張処理が行われていると判定する。
また調整部４０４は、拡張処理に関する情報から補正量の勾配値を取得して、着目画素の信号値と周辺画素の信号値との差分が大きいかどうかを判定する。なお、拡張処理が行われていないと判定した場合、調整部４０４は、この図８のフローチャートの処理を終了する。
【００５６】
ここで、補正量の勾配値が所定の閾値以上である場合、階調の不連続による擬似的な階調段差が発生していて、擬似階調が発生している可能性が高い。また、着目画素の周辺画素について拡張処理が行われない場合、あるいは周辺画素における拡張処理の補正量が所定の閾値未満である場合、それら着目画素と周辺画素の拡張処理後の画素値に差が生じて階調が不連続となり、擬似階調が目立ち易くなる。なお、着目画素の周辺画素について拡張処理が行われていない場合は、周辺画素における拡張処理の補正量が所定の閾値未満である場合に含まれる。このため、調整部４０４は、補正量の勾配値が所定の閾値以上である場合、あるいは、周辺画素について拡張処理の補正量が所定の閾値未満である場合、着目画素において擬似階調が発生していると判定して、Ｓ８０５に処理を進める。
【００５７】
Ｓ８０５に進むと、調整部４０４は、合成ゲインマップの着目画素位置についてコントラストを弱めるようなゲイン値を算出する。つまり調整部４０４は、着目画素において擬似階調が発生している場合、合成ゲインマップの着目画素位置のゲイン値を、後段のゲイン処理部１１２でのゲイン処理（階調変換処理）でコントラストを弱めた画像が生成されるようなゲイン値に調整する。具体的には、調整部４０４は、後段のゲイン処理でコントラストを弱めた画像を生成するために、前述した各階層ゲインマップの合成処理で用いる合成パラメータについて、上階層ゲインマップのゲイン値の割合が大きくなるような重みを設定する。つまり調整部４０４は、前述した図６の合成処理６３０において上階層ゲインマップ６２０と、合成処理６３１で合成されたゲインマップとの合成時に、上階層ゲインマップ６２０のゲイン値を優先した合成処理が行われるように合成パラメータに重み付けを行う。このように、上階層ゲインマップ６２０のゲイン値つまり、上階層画像から生成したゲイン値を優先する理由としては、画像の細かいディティールに対するゲインの敏感度を上げることで、コントラストを弱めることができるためである。
【００５８】
このような上階層ゲインマップのゲイン値を優先させる合成パラメータの重み設定を行う際、調整部４０４は、先ず拡張処理に関する情報から画像内の最大補正量と着目画素の補正量とを取得する。次に調整部４０４は、それら画像内の最大補正量と着目画素の補正量とを用い、下記の式（６）により合成パラメータに重みを設定する。なお式（６）のＷ(x,y)は予め設定された所定の合成パラメータであり、Ｃ(x,y)は着目画素の補正量、Ｃmax(x,y)は画像内の最大補正量である。そしてＷ'(x,y)が重みを設定した合成パラメータ（０≦Ｗ'(x,y)≦１）であり、この合成パラメータが合成ゲインマップ生成の際に最終的に使用される最終合成パラメータとなされる。
【００５９】
Ｗ'(x,y)＝Ｗ(x,y)×Ｃ(x,y)／Ｃmax(x,y)      式（６）
【００６０】
調整部４０４は、前述のようにして重みが設定された最終合成パラメータを、階層ゲイン合成部４０３に送る。これにより階層ゲイン合成部４０３では、図６の合成処理６３０の際に、最終合成パラメータによって上階層ゲインマップ６２０のゲイン値を優先した合成処理が行われて最終ゲインマップが生成される。この最終ゲインマップの合成処理は、以下の式（７）を用いて行われる。式（７）において、ＧＶimg(x,y)は上階層ゲインマップの画素位置座標（ｘ，ｙ）で算出されたゲイン値であり、ＧＶmix(x,y)は画素位置座標（ｘ，ｙ）における下階層のゲイン値であり、ＧＶ(x,y)が最終的に使用されるゲイン値である。
【００６１】
ＧＶ(x,y)＝Ｗ'(x,y)×ＧＶimg(x,y)＋（１−Ｗ'(x,y)）×ＧＶmix(x,y)  式（７）
【００６２】
前述のようにＳ２０４において生成された最終ゲインマップは、図４のゲイン処理部１１２に送られ、図２のフローチャートはＳ２０５に進む。
Ｓ２０５に進むと、図４のゲイン処理部１１２は、前述した拡張処理後の撮像画像の各画素について、ゲイン算出部１１１から送られてきた最終ゲインマップの対応した画素位置のゲイン値を用いたゲイン処理（階調変換処理）を行う。ゲイン処理部１１２におけるゲイン処理は、下記の式（８）を用いて行われる。なお、式（８）のｉｎ(x,y)は拡張処理後の撮像画像の画素座標（ｘ，ｙ）の画素の信号値、ｏｕｔ(x,y)は該当画素座標（ｘ，ｙ）の画素に対するゲイン処理後の出力信号値である。
【００６３】
ｏｕｔ(x,y)＝ＧＶ(x,y)×ｉｎ(x,y)      式（８）
【００６４】
その後、Ｓ２０６の処理に進むと、信号処理部１０４は、ゲイン処理後の信号に対し現像処理などの各種信号処理を行い、その信号処理後の画像を出力する。
以上説明したように、第１の実施形態の画像処理装置は、拡張処理で色曲りや擬似階調が生じた画素を判定し、その判定結果を基に、色曲りや擬似階調が生じた画素にかける階調変換処理のゲイン値を適応的に算出している。これにより、第１の実施形態の画像処理装置は、色曲りや擬似階調を目立ち難く抑制した画像を得ることができる。
【００６５】
＜第２の実施形態＞
次に第２の実施形態について説明する。
第２の実施形態では、ＷＢ補正後の色信号の高輝度領域の階調を残す拡張処理と、階調変換処理を施した色信号に対して、拡張処理に関する情報とゲイン値の情報とに基づく補正処理を行う。
【００６６】
以下、第２の実施形態について、図１１と図１２を用いて説明する。図１１は第２の実施形態に係る画像処理装置の概略構成を示すブロック図であり、図１２は第２の実施形態に係る画像処理のフローチャートである。図１１の構成において、第１の実施形態の図１に示した構成との差異は、階調変換部１１０３において行われる処理である。第２の実施形態の画像処理装置は、階調変換部１１０３内に補正部１１０４が設けられており、補正部１１０４はゲイン処理部１１２の後段に設けられている。図１１の画像取得部１１０１、拡張処理部１１０２、信号処理部１１０５は、それぞれ図１の対応した各構成要素（１０１，１０２，１０４）と同様であるため、それらの説明は省略する。
【００６７】
第２の実施形態の場合、階調変換部１１０３のゲイン算出部１１１１は、前述した図４のゲイン算出部１１１とは異なり、階層画像の生成、階層毎のゲインマップの生成、階層ゲインマップの合成、およびゲイン調整等を行わない構成となされている。第２の実施形態のゲイン算出部１１１１では、例えば図７で説明したようにして拡張処理後の撮像画像のみからゲインマップを生成する。なお、第２の実施形態でも、図４のゲイン算出部１１１と同様に、階層画像の生成、階層毎のゲインマップの生成、階層ゲインマップの合成等を行っても良いが、前述した調整部４０４によるゲイン調整は行われない。
【００６８】
第２の実施形態において、補正部１１０４は、ゲイン処理部１１１２によるゲイン処理後の画像に対し、拡張処理に関する情報とゲイン処理で用いたゲイン値の情報とを基にした補正処理を施す。
【００６９】
以下、第２の実施形態の画像処理について図１２のフローチャートを参照しながら説明する。なお、図１２のＳ１２０１、Ｓ１２０２、Ｓ１２０３、Ｓ１２０５、Ｓ１２０７の処理は、図２の対応した処理ステップ（Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０５、Ｓ２０６）と概ね同様であるため、それらの説明は省略する。図１２のフローチャートの場合、Ｓ１２０５の処理後にＳ１２０６の処理に進み、Ｓ１２０６の処理後にＳ１２０７の処理に進む。
【００７０】
図１２のフローチャートにおいて、図２のフローチャートとの主な差異は、Ｓ１２０４におけるゲイン値算出処理と、ＳＳ１２０６における補正処理とである。
Ｓ１２０４では、Ｓ２０４で説明したような階層画像の生成、階層毎のゲインマップの生成、階層ゲインマップの合成、ゲイン調整等の処理は行われず、拡張処理後の撮像画像からゲインマップを生成する処理のみが行われる。
【００７１】
またＳ１２０６に進むと、補正部１１０４は、拡張処理に関する情報とゲイン処理で用いたゲイン値の情報とを基に、ゲイン処理後の画像に対して補正処理を行う。補正部１１０４が用いる拡張処理に関する情報は、前述の第１の実施形態で説明したのと同様の補正量、補正量の勾配、拡張処理前後の画素差分値である。
【００７２】
Ｓ１２０６において、補正部１１０４は、先ず拡張処理に関する情報を基に、第１の実施形態のＳ８０２と同様の処理により、色曲りが発生しているかどうかを判定する。次に補正部１１０４は、色曲りが発生していると判定した場合には、ゲイン処理で用いたゲイン値の情報を基に、着目画素がゲインダウンされる領域かどうかを判定する。そして、補正部１１０４は、ゲインダウンされる領域であると判定した場合、ゲイン処理後の画像に対して、着目画素の色を白色に近づけるような補正処理を行う。より具体的に説明すると、補正部１１０４は、着目画素のＲ，Ｇ，Ｂの画素値の最大値を判定し、基準となる画素値以外の画素を最大値の画素に置き換えるような処理を行う。
【００７３】
その後、補正部１１０４は、第１の実施形態のＳ８０３と同様の処理により、擬似階調が発生しているのかどうかを判定する。さらに、補正部１１０４は、擬似階調が発生していると判定した場合、ゲイン処理で用いたゲイン値の情報を基に、着目画素がゲインダウンされる領域かどうかを判定する。そして、補正部１１０４は、ゲインダウンされる領域であると判定した場合、コントラストを下げるために、ゲイン処理後の画像に対してローパスフィルター等を用いたフィルタ処理を行う。
【００７４】
このように第２の実施形態の画像処理装置は、階調変換処理において、拡張処理で色曲りや擬似階調が生じた画素を判定し、その判定結果を基に、色曲りや擬似階調が生じた領域について色曲りや擬似階調を目立ち難く抑制する補正処理を行う。これにより第２の実施形態においても色曲りや擬似階調を抑制した画像を得ることができる。
【００７５】
前述した各実施形態の各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
【００７６】
また前述の実施形態の画像処理装置で扱う撮像画像は、例えばデジタルカメラ、スマートフォン、タブレット端末、監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどにより撮像された画像のいずれであってもよい。
【００７７】
本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７８】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７９】
１０１，１１０１：画像取得部、１０２，１１０２：拡張処理部、１０３，１１０３：階調変換部、１０４，１１０４：信号処理部、１１１，１１１１：ゲイン算出部、１１２、１１１２：ゲイン処理部、１１０４：補正部
【図１】
2020080506.tif 000003
【図２】
2020080506.tif 000004
【図３】
2020080506.tif 000005
【図４】
2020080506.tif 000006
【図５】
2020080506.tif 000007
【図６】
2020080506.tif 000008
【図７】
2020080506.tif 000009
【図８】
2020080506.tif 000010
【図９】
2020080506.tif 000011
【図１０】
2020080506.tif 000012
【図１１】
2020080506.tif 000013
【図１２】
2020080506.tif 000014