(57)【要約】【課題】  画像のダイナミックレンジを圧縮する際に、低輝度領域と高輝度領域のホワイトバランスのずれが補正された、違和感のないダイナミックレンジ圧縮画像を得る。【解決手段】  圧縮比算出処理部３１により入力画像信号Ｒin，Ｇin，Ｂinについてダイナミックレンジを圧縮するための圧縮比ｇyを算出し、ホワイトバランス補正部３２により上記圧縮比ｇyに応じて入力画像信号Ｒin，Ｇin，Ｂinのホワイトバランスを補正し、ホワイトバランスが補正された入力画像信号Ｒwb，Ｇwb，Ｂwbに圧縮処理部３３により上記圧縮比ｇyを乗じてダイナミックレンジを圧縮する。【選択図】        図２
2006157469.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号についてダイナミックレンジを圧縮するための圧縮比を算出する圧縮比算出手段と、
上記圧縮比算出手段により算出された圧縮比に応じて入力画像信号のホワイトバランスを変化させるホワイトバランス補正手段と、
上記ホワイトバランス補正手段によりホワイトバランスが補正された入力画像信号に上記圧縮比算出手段により算出された圧縮比を乗じてダイナミックレンジを圧縮する圧縮処理手段とを備えることを特徴とする画像処理装置。
【請求項２】
入力画像信号についてダイナミックレンジを圧縮するための圧縮比を算出し、
算出された圧縮比に応じて入力画像信号のホワイトバランスを補正し、
ホワイトバランスが補正された入力画像信号に上記圧縮比を乗じてダイナミックレンジを圧縮することを特徴とする画像処理方法。
【請求項３】
撮像手段と、
上記撮像手段により被写体を撮像して得られた画像信号についてダイナミックレンジを圧縮するための圧縮比を算出する圧縮比算出手段と、
上記圧縮比算出手段により算出された圧縮比に応じて入力画像信号のホワイトバランスを変化させるホワイトバランス補正手段と、
上記ホワイトバランス補正手段によりホワイトバランスが補正された入力画像信号に上記圧縮比算出手段により算出された圧縮比を乗じてダイナミックレンジを圧縮する圧縮処理手段と
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び撮像装置に関し、例えばビデオカメラ、電子スチルカメラ等における撮像結果の処理、記録、液晶表示装置等における画像表示、パーソナルコンピュータ等による画像処理、画像合成、さらにはこれらによる画像の伝送に適用される。
【背景技術】
【０００２】
従来、撮像装置等の種々の画像処理回路においては、画像のダイナミックレンジを圧縮して記録、再生等の種々の処理を実行するようになされている。
【０００３】
このようなダイナミックレンジを圧縮する処理としては、画像全体の階調を補正する方法と、画像の低周波数成分についてのみ階調を補正する方法とがあり、前者においては、ガンマ補正、ニー補正、さらにはいわゆるヒストグラム等価等により階調を補正してダイナミックレンジを圧縮するようになされている。これに対して後者においては、ガンマ補正、ニー補正等によりダイナミックレンジを圧縮するようになされている。
【０００４】
ダイナミックレンジを圧縮する必要のある画像というのは、多くの場合、被写体に２つ以上の照明が当たっており、それらの照明間に極端な強度差があるケースである。このような場合でも画像のダイナミックレンジを効果的に圧縮する手法として、画像のエッジ部分は保存したまま、エッジ以外の部分を平滑化し、その平滑化されたレベルに応じてダイナミックレンジの圧縮比を決め、その比に応じて画像全体のダイナミックレンジを圧縮する手法がある（例えば、特許文献１参照）。
【０００５】
この手法では、平滑化された画像を制御信号としているため、画像の細かい振幅成分は圧縮されずに保たれ、視認性の良いダイナミックレンジ圧縮画像を得ることができる。
【０００６】
【特許文献１】特開２００１−２７５０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された手法では、画像の極端な輝度差は効果的に圧縮されるものの、被写体に２つ以上の照明が当たっている場合は、通常それらの照明間でホワイトバランスも異なっているため、ダイナミックレンジを圧縮された画も、高輝度部のホワイトバランスがずれた画になってしまっていた。
【０００８】
これはニー圧縮など従来の他のダイナミックレンジ圧縮手法でも同様に生じる問題ではあるものの、従来の圧縮手法では、輝度と同時に細かい振幅成分や彩度などがすべて一様に圧縮されてしまうため、視覚的な圧縮効果が低く、このホワイトバランスのずれが目立つことが少なかった。しかし、上述の如き従来の手法により効果的な輝度の圧縮を行った場合には、このホワイトバランスのずれが目立つ傾向にあった。
【０００９】
また、特許文献１に開示された手法では、ニー圧縮などの他の従来のダイナミックレンジ圧縮手法と比較すると、高輝度部の彩度が圧縮されにくくなるため、従来の方式によってダイナミックレンジを圧縮された画と比較すると、高輝度部の彩度が高すぎる印象の画になることがあった。
【００１０】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、画像のダイナミックレンジを圧縮する際に、低輝度領域と高輝度領域のホワイトバランスのずれが補正された、違和感のないダイナミックレンジ圧縮画像を得ることにある。
【００１１】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１２】
本発明に係る画像処理装置は、入力画像信号についてダイナミックレンジを圧縮するための圧縮比を算出する圧縮比算出手段と、この圧縮比算出手段により算出された圧縮比に応じて入力画像信号のホワイトバランスを変化させるホワイトバランス補正手段とを備え、上記ホワイトバランス補正手段によりホワイトバランスが補正された入力画像信号に上記圧縮比算出手段により算出された圧縮比を乗じてダイナミックレンジを圧縮する圧縮処理手段とを備えることを特徴とする。
【００１３】
また、本発明に係る画像処理方法、入力画像信号についてダイナミックレンジを圧縮するための圧縮比を算出し、算出された圧縮比に応じて入力画像信号のホワイトバランスを補正し、ホワイトバランスが補正された入力画像信号に上記圧縮比を乗じてダイナミックレンジを圧縮することを特徴とする。
【００１４】
さらに、本発明に係る撮像装置は、撮像手段と、上記撮像手段により被写体を撮像して得られた画像信号についてダイナミックレンジを圧縮するための圧縮比を算出する圧縮比算出手段と、上記圧縮比算出手段により算出された圧縮比に応じて入力画像信号のホワイトバランスを変化させるホワイトバランス補正手段と、上記ホワイトバランス補正手段によりホワイトバランスが補正された入力画像信号に上記圧縮比算出手段により算出された圧縮比を乗じてダイナミックレンジを圧縮する圧縮処理手段とを備えることを特徴とする画像処理装置。
【発明の効果】
【００１５】
本発明では、画像のダイナミックレンジを圧縮する際に、低輝度領域と高輝度領域のホワイトバランスのずれが補正された、違和感のないダイナミックレンジ圧縮画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００１７】
本発明は、例えば図１に示すような構成の撮像装置１００に適用される。
【００１８】
この撮像装置１００は、ＣＣＤ（Charge Coupled Device ）イメージセンサ等の固体撮像素子により被写体を撮像する撮像部１０、この撮像部１０により撮像出力信号として得られた画像信号が供給される補正処理部２０、この補正処理部２０によりシェーディング成分などの補正処理が施された画像信号が供給されるダイナミックレンジ圧縮処理部３０、このダイナミックレンジ圧縮処理部３０によりダイナミックレンジが圧縮された画像信号が供給されるカメラ信号処理部４０、このカメラ信号処理部４０によりガンマ補正などのカメラ信号処理を施した画像信号をＶＴＲ等の記録系や表示系５０等に供給するようになっている。
【００１９】
上記ダイナミックレンジ圧縮処理部３０は、その具体的な構成例を図２のブロック図に示すように、上記補正処理部２０から入力画像信号Ｒin，Ｇin，Ｂinが供給される圧縮比算出処理部３１及びホワイトバランス補正部３２と、このホワイトバランス補正部３２によりホワイトバランスが補正された画像信号Ｒwb，Ｇwb，Ｂwbが供給される圧縮処理部３３と、この圧縮処理部３３によりダイナミックレンジを圧縮された画像信号Ｒdc，Ｇdc，Ｂdcが供給される彩度補正部３４からなる。
【００２０】
上記圧縮比算出処理部３１は、エッジ保存平滑化処理部３１１と圧縮比算出部３１２からなる。
【００２１】
上記圧縮比算出処理部３１のエッジ保存平滑化処理部３１１では、上記補正処理部２０から供給される入力画像信号Ｒin，Ｇin，Ｂinを１チャンネル例えば輝度信号Ｙにマージした後、水平方向のエッジ保存平滑化フィルタを通させ、水平方向の画素を垂直方向に並べ替え、その垂直方向に並べ替えられた信号を垂直方向のエッジ保存平滑化フィルタに通し、再び画素を垂直方向の画素を水平に並べ替えて、もう一度水平方向のエッジ保存平滑化フィルタを通すことで、水平、垂直両方向のエッジを保存しつつ平滑化を行う。
【００２２】
例えば図３に示すように、上記エッジ保存平滑化処理部３１１は、縦続接続されたＲＧＢ合成部３１１Ａ、水平方向平滑化部３１１Ｂ、フレームメモリ３１１Ｃ、垂直方向平滑化部３１１Ｄ、フレームメモリ３１１Ｅにより、入力画像信号Ｒin，Ｇin，Ｂinのエッジを保存したまま上記入力画像信号Ｒin，Ｇin，Ｂinを水平及び垂直方向に非線形平滑化するように構成されている。
【００２３】
このエッジ保存平滑化処理部３１１では、入力画像信号Ｒin，Ｇin，ＢinがＲＧＢ合成部３１１Ａで混合され１チャンネルの輝度信号Ｙとされ、輝度信号Ｙは水平方向平滑化部３１１Ｂで非線形フィルタによりエッジが保存されたまま水平方向に平滑化されてフレームメモリ３１１Ｃに蓄えられる。このフレームメモリ３１１Ｃに蓄えられた信号Ｓhは該フレームメモリ３１１Ｃから垂直方向に読み出され、垂直方向平滑化部３１１Ｄで水平方向と同様の非線形フィルタによりエッジが保存されたまま垂直方向に平滑化されてフレームメモリ３１１Ｅに蓄えられ、このフレームメモリ３１１Ｅに蓄えられた信号Ｓhvが、該フレームメモリ３１１Ｅからは水平方向に読み出されて、上記水平及び垂直方向に非線形平滑化された画像信号Ｓとして上記圧縮比算出処理部３１に供給される。
【００２４】
そして、上記圧縮比算出処理部３１の圧縮比算出部３１２では、上記エッジ保存平滑化処理部３１１によりエッジ保存平滑化された信号Ｓをルックアップテーブを通して圧縮し、ルックアップテーブルを通っていない元の信号とルックアップテーブルを通り圧縮された信号との比ｇyを出力する。
【００２５】
このようにして上記圧縮比算出処理部３１により求められた圧縮比ｇyは、ホワイトバランス補正部３２、圧縮処理部３３及び彩度補正部３４に供給される。
【００２６】
上記ホワイトバランス補正部３２は、３チャンネルのホワイトバランス調整ゲイン生成部３２１Ｒ，３２１Ｇ，３２１Ｂとホワイトバランス調整用乗算器３２２Ｒ，３２２Ｇ，３２２Ｂからなり、上記圧縮比算出処理部３１により算出された圧縮比ｇyから上記ホワイトバランス調整ゲイン生成部３２１Ｒ，３２１Ｇ，３２１Ｂによりホワイトバランス調整ゲインｇr，ｇg，ｇbを生成し、生成したホワイトバランス調整ゲインｇr，ｇg，ｇbを入力画像信号Ｒin，Ｇin，Ｂinに乗算する。これにより、上記ホワイトバランス補正部３２では、上記圧縮比算出処理部３１により算出された圧縮比ｇyに応じて入力画像信号Ｒin，Ｇin，Ｂinのホワイトバランスを変化させる。
【００２７】
また、上記圧縮処理部３３は、３チャンネルのダイナミックレンジ圧縮用乗算器３３１Ｒ，３３１Ｇ，３３１Ｂからなり、上記３チャンネルのダイナミックレンジ圧縮用乗算器３３１Ｒ，３３１Ｇ，３３１Ｂにより、上記ホワイトバランス補正部３２によりホワイトバランスが補正された入力画像信号Ｒwb，Ｇwb，Ｂwbに上記圧縮比算出処理部３１により算出された圧縮比ｇyを乗じてダイナミックレンジを圧縮する処理を行う。
【００２８】
このとき、この輝度に対する圧縮比ｇyは、圧縮される割合が高いほど、すなわち、ｇyの値が小さいほど高輝度の照明が被写体に寄与している割合が高いと考えられることから、この圧縮比ｇyに従って画像のホワイトバランスを補正することによって、より自然なダイナミックレンジ圧縮画像を得ることができる。すなわち、ｇyの値が１．０（すなわち圧縮なし）のうちは、ホワイトバランスを低輝度の照明に合うようにしておき、ｇyの値が小さくなるに従って高輝度の照明のホワイトバランスに近づくように制御すれば、低輝度エリアは低輝度の照明のホワイトバランスが、高輝度のエリアは高輝度の照明のホワイトバランスが適用されるようになる。
【００２９】
すなわち、
ｇy：ダイナミックレンジ圧縮ゲイン（０≦ｇy≦１）
ｒh：Ｒチャンネルの高輝度部のホワイトバランスゲイン
ｇh：Ｇチャンネルの高輝度部のホワイトバランスゲイン
ｂh：Ｂチャンネルの高輝度部のホワイトバランスゲイン
ｒl：Ｒチャンネルの低輝度部のホワイトバランスゲイン
ｇl：Ｇチャンネルの低輝度部のホワイトバランスゲイン
ｂl：Ｂチャンネルの低輝度部のホワイトバランスゲイン
ｇr：ｇyに応じて制御されたＲチャンネルのホワイトバランスゲイン
ｇg：ｇyに応じて制御されたＧチャンネルのホワイトバランスゲイン
ｇb：ｇyに応じて制御されたＢチャンネルのホワイトバランスゲイン
とすると、Ｒ，Ｇ，Ｂ各チャンネルのホワイトバランス調整用のゲインｇr，ｇg，ｇbは、
ｇr = (１−ｇy )×ｒh＋ｇy×ｒl       （１−１）式
ｇg = (１−ｇy )×ｇh＋ｇy×ｇl       （１−２）式
ｇb = (１−ｇy )×ｂh＋ｇy×ｂl       （１−３）式
とする。
【００３０】
なお、低輝度部のホワイトバランス調整用ゲインｒl，ｇl，ｂl及び高輝度部のホワイトバランス調整用ゲインｒh，ｇh，ｂhは、図４に示すように、Ｒ，Ｇ，Ｂの各チャンネルに閾値付きの積分器３２３Ｒ，３２３Ｇ，３２３Ｂを備えることによって検出することができ、システムコントローラ６０を介して各チャンネルのホワイトバランス調整ゲイン生成部３２１Ｒ，３２１Ｇ，３２１Ｂに与えられる。閾値との判定に用いる信号には、エッジ保存平滑化された信号Ｓやエッジ保存平滑化前のＹin＝ｆ(Ｒin,Ｇin,Ｂin )を使用することができ、これらの信号が設定した閾値より下であれば低輝度部のホワイトバランスが、閾値より上であれば高輝度部のホワイトバランスが検出できる。低輝度部のホワイトバランス調整用ゲインｒl，ｇl，ｂl及び高輝度部のホワイトバランス調整用ゲインｒh，ｇh，ｂhは、これらの積分値が各チャンネルで偏りがなくなるように設定される。
【００３１】
各チャンネルの画像信号Ｒin，Ｇin，Ｂinは、このゲインに従ってホワイトバランスを調整する。
【００３２】
ここで、
Ｒwb：ホワイトバランス調整後のＲチャンネル画像信号
Ｇwb：ホワイトバランス調整後のＧチャンネル画像信号
Ｂwb：ホワイトバランス調整後のＢチャンネル画像信号
Ｒdc：ダイナミックレンジ圧縮後のＲチャンネル画像信号
Ｇdc：ダイナミックレンジ圧縮後のＧチャンネル画像信号
Ｂdc：ダイナミックレンジ圧縮後のＢチャンネル画像信号
とすると、ホワイトバランス調整後の各チャンネルの画像信号Ｒwb，Ｇwb，Ｂwbは次の（２−１）式〜（２−３）式にて示され、
Ｒwb＝ｇr×Ｒin         （２−１）式
Ｇwb＝ｇg×Ｇin         （２−２）式
Ｂwb＝ｇb×Ｂin         （２−３）式
これら各チャンネルの画像信号Ｒwb，Ｇwb，Ｂwbにダイナミックレンジ圧縮ゲインｇyを乗じることにより、次の（２−４）式〜（２−５）式にて示されるホワイトバランスが調整されたダイナミックレンジ圧縮画像信号Ｒdc，Ｇdc，Ｂdcが得られる。
【００３３】
Ｒdc＝ｇy×Ｒwb         （２−４）式
Ｇdc＝ｇy×Ｇwb         （２−５）式
Ｂdc＝ｇy×Ｂwb         （２−６）式
このように、上記ダイナミックレンジ圧縮処理部３０では、上記圧縮比算出処理部３１により入力画像信号Ｒin，Ｇin，Ｂinについてダイナミックレンジを圧縮するための圧縮比ｇyを算出し、上記ホワイトバランス補正部３２により上記圧縮比ｇyに応じて入力画像信号Ｒin，Ｇin，Ｂinのホワイトバランスを補正し、ホワイトバランスが補正された入力画像信号Ｒwb，Ｇwb，Ｂwbに上記圧縮処理部３３により上記圧縮比ｇyを乗じてダイナミックレンジを圧縮する。
【００３４】
さらに、上記彩度補正部３４は、上記圧縮処理部３３によりダイナミックレンジを圧縮された画像信号Ｒdc，Ｇdc，Ｂdcに上記圧縮比ｇyに応じて彩度を変化させる彩度補正処理を施す。
【００３５】
このようにｇyを用いて画像の彩度調整を行うことで、ニー圧縮など従来のダイナミックレンジ圧縮手法と比較しても、彩度が残り過ぎず違和感の少ないダイナミックレンジ圧縮画像を得ることができる。
【００３６】
すなわち、
ｓh：高輝度部の彩度の設定
ｇs：彩度調整用ゲイン
Ｙdc：ダイナミックレンジ圧縮処理後のＲdc，Ｇdc，Ｂdc から作成した輝度信号
Ｒout：ホワイトバランス調整、ダイナミックレンジ圧縮、彩度調整後のＲチャンネルビデオ
Ｇout：ホワイトバランス調整、ダイナミックレンジ圧縮、彩度調整後のＧチャンネルビデオ
Ｂout：ホワイトバランス調整、ダイナミックレンジ圧縮、彩度調整後のＢチャンネルビデオ
としたとき、
ｇs＝ (１．０−ｇy )×ｓh＋ｇy×１．０         （３−１）式
Ｒout＝ (Ｒdc−Ｙdc )×ｇs＋Ｙdc               （３−２）式
Ｇout＝ (Ｇdc−Ｙdc )×ｇs＋Ｙdc               （３−３）式
Ｂout＝ (Ｂdc−Ｙdc )×ｇs＋Ｙdc               （３−４）式
とすることによって、ダイナミックレンジの圧縮比に応じて彩度も圧縮され、従来のダイナミックレンジ圧縮手法と比較して違和感の少ないダイナミックレンジ圧縮画像が得られる。
【００３７】
このように、上記ダイナミックレンジ圧縮処理部３０では、上記圧縮比算出処理部３１により入力画像信号Ｒin，Ｇin，Ｂinについてダイナミックレンジを圧縮するための圧縮比ｇyを算出し、上記ホワイトバランス補正部３２により上記圧縮比ｇyに応じて入力画像信号Ｒin，Ｇin，Ｂinのホワイトバランスを補正し、ホワイトバランスが補正された入力画像信号Ｒwb，Ｇwb，Ｂwbに上記圧縮処理部３３により上記圧縮比ｇyを乗じてダイナミックレンジを圧縮する。そして、上記ダイナミックレンジを圧縮された画像信号Ｒdc，Ｇdc，Ｂdcに上記圧縮比ｇyに応じて彩度を変化させる彩度補正処理を上記彩度補正部３４により施す。
【００３８】
この撮像装置１００では、上記ダイナミックレンジ圧縮処理部３０において、画像のダイナミックレンジを圧縮する際に、高輝度部の輝度を圧縮するのと同時に、高輝度部のホワイトバランスの補正を行うことによって、自然で違和感のないダイナミックレンジ圧縮画像を得ることができる。さらに、必要に応じて彩度の調整も行うことによって、より自然で違和感のないダイナミックレンジ圧縮画像が得られる。
【図面の簡単な説明】
【００３９】
【図１】本発明を適用した撮像装置の構成を示すブロック図である。
【図２】上記撮像装置におけるダイナミックレンジ圧縮処理部の構成を示すブロック図である。
【図３】上記ダイナミックレンジ圧縮処理部を構成するエッジ保存平滑化処理部の構成例を示すブロック図である。
【図４】上記ダイナミックレンジ圧縮処理部の構成を示すブロック図である。
【符号の説明】
【００４０】
１０  撮像部、２０  補正処理部、３０  ダイナミックレンジ圧縮処理部、３１  圧縮比算出処理部、３２  ホワイトバランス補正部、３３  圧縮処理部、３４  彩度補正部、４０  カメラ信号処理部、５０  表示系、６０  システムコントローラ、１００  撮像装置、３１１  エッジ保存平滑化処理部、３１１Ａ  ＲＧＢ合成部、３１１Ｂ  水平方向平滑化部、３１１Ｃ  フレームメモリ、３１１Ｄ  垂直方向平滑化部、３１１Ｅ  フレームメモリ、３１２  圧縮比算出部、３２１Ｒ，３２１Ｇ，３２１Ｂ  ホワイトバランス調整ゲイン生成部、３２２Ｒ，３２２Ｇ，３２２Ｂ  ホワイトバランス調整用乗算器、３２３Ｒ，３２３Ｇ，３２３Ｂ  閾値付きの積分器、３３１Ｒ，３３１Ｇ，３３１Ｂ  ダイナミックレンジ圧縮用乗算器
【図１】
2006157469.tif 000003
【図２】
2006157469.tif 000004
【図３】
2006157469.tif 000005
【図４】
2006157469.tif 000006