(57)【特許請求の範囲】
【請求項１】
画像信号を取得する取得手段と、
前記画像信号に対して、信号レベルを下げるゲインをかける画像処理手段と、
前記画像処理手段によって処理された前記画像信号にホワイトバランス処理を行うホワイトバランス処理手段と、
前記ホワイトバランス処理手段によってホワイトバランス処理が行われた画像信号に、前記画像処理手段で前記画像信号にかけられたゲインに応じた、信号レベルを上げるゲインをかける補正を行う補正手段と、
前記補正手段の出力に基づいて色差信号の生成を行い、前記ホワイトバランス処理手段の出力であり、前記補正手段による補正が行われていない画像信号に基づいて輝度信号の生成を行う色空間変換手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記補正手段によって前記画像信号にかけられるゲインは、前記画像処理手段で前記画像信号にかけられたゲインの逆数のゲインであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像信号はＲＧＢ信号であり、前記画像処理手段及び前記補正手段によって前記画像信号にかけられるゲインは、Ｒゲイン、Ｇゲイン、Ｂゲインであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記色空間変換手段からの色差信号の出力に対して、前記補正手段によって前記画像信号にかけられたゲインによって高くなった彩度を相殺するための色差ゲインをかける色差ゲイン補正手段を有することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記画像信号の画像の中央部に比べて周辺の方に、より信号レベルを下げるゲインをかけることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
画像信号を取得する取得ステップと、
前記画像信号に対して、信号レベルを下げるゲインをかける画像処理ステップと、
前記画像処理ステップで処理された前記画像信号にホワイトバランス処理を行うホワイトバランス処理ステップと、
前記ホワイトバランス処理が行われた画像信号に、前記画像処理ステップで前記画像信号にかけられたゲインに応じた、信号レベルを上げるゲインをかける補正を行う補正ステップと、
前記補正ステップの後の出力に基づいて色差信号の生成を行い、前記ホワイトバランス処理ステップの後の出力であり、前記補正ステップでの補正が行われていない画像信号に基づいて輝度信号の生成を行う色空間変換ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項７】
請求項６に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項８】
請求項７に記載の画像処理装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項９】
ＲＧＢ画像信号に対して画像の周辺部分の光量を落とす周辺光量落とし処理とホワイトバランス補正処理を順に行った上でＹＵＶ画像信号に色空間変換する画像処理装置において、
前記ＹＵＶ画像信号の色差信号については、前記ホワイトバランス補正処理により前記周辺部分に発生した色付きを補正する補正処理を行ったＲＧＢ画像信号を用いて生成することを特徴とする画像処理装置。
【請求項１０】
前記ＹＵＶ画像信号の輝度信号については、前記補正処理が行われていない前記ホワイトバランス補正処理済みのＲＧＢ画像信号を用いて生成することを特徴とする請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置における画像データの画像処理に関するものである。
【背景技術】
【０００２】
カメラ、ビデオカメラ等の撮像装置によって撮影された画像には、撮像レンズと撮像素子によって周辺光量が落ちてしまい、画面中心に対して周辺の明るさが低下する、いわゆる周辺光量落ちが起きる。この周辺光量落ちを補正するための技術としては、例えば特許文献１のように、周辺光量の落ち具合を画面の水平方向と垂直方向の位置情報から補正係数を発生させ画素ごとにゲインを調整する技術がある。
【０００３】
また、撮像装置の信号処理において、撮影するシーンごとにユーザの好みに合った画質を提供するために、画像中心部よりも画像周辺部の輝度を落とすなどして、わざと周辺の光量が落ちているかのような画質補正を行う技術もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３３９７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明では、画像効果として、周辺光量が落ちているかのような処理を施す際に、良好な画像が得られる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための手段として、本発明の画像処理装置は、請求項１に記載のとおり、画像信号を取得する取得手段と、前記画像信号に対して、信号レベルを下げるゲインをかける画像処理手段と、前記画像処理手段によって処理された前記画像信号にホワイトバランス処理を行うホワイトバランス処理手段と、前記ホワイトバランス処理手段によってホワイトバランス処理が行われた画像信号に、前記画像処理手段で前記画像信号にかけられたゲインに応じた、信号レベルを上げるゲインをかける補正を行う補正手段と、前記補正手段の出力に基づいて色差信号の生成を行い、前記ホワイトバランス処理手段の出力であり、前記補正手段による補正が行われていない画像信号に基づいて輝度信号の生成を行う色空間変換手段と、を有することを特徴とする。
【０００７】
また、本発明の画像処理装置の制御方法は、請求項５に記載のとおり、画像信号を取得する取得ステップと、前記画像信号に対して、信号レベルを下げるゲインをかける画像処理ステップと、前記画像処理ステップで処理された前記画像信号にホワイトバランス処理を行うホワイトバランス処理ステップと、前記ホワイトバランス処理が行われた画像信号に、前記画像処理ステップで前記画像信号にかけられたゲインに応じた、信号レベルを上げるゲインをかける補正を行う補正ステップと、前記補正ステップ後の出力に基づいて色差信号の生成を行い、前記ホワイトバランス処理ステップ後の出力であり、前記補正ステップでの補正が行われていない画像信号に基づいて輝度信号の生成を行う色空間変換ステップと、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画質効果として、画像の中心付近に対して周辺の光量が落ちているかのような処理を施す際に、良好な画像が得られる画像処理装置を提供することを目的とする。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置の第１の実施形態の構成を示す概略構成図である。
【図２】本発明の撮像装置の第１の実施形態の周辺光量落としモードの処理を示すフローチャートである。
【図３】本発明の撮像装置の画面周辺部の光量を落とした映像を示す説明図である。
【図４】従来の撮像装置の画面周辺部における色付き現象の発生原理を示す説明図である。
【図５】本発明の撮像装置の画面周辺部における高輝度被写体のホワイトバランスを示す説明図である。
【図６】本発明の撮像装置の第２の実施形態の周辺光量を落とす補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、本実施形態の構成を示す概略構成図である。
１０１はレンズであり、レンズ１０１の後方には絞り１０２が配置されている。レンズ１０１、絞り１０２を介した光は、イメージセンサー１０５の結像面上に被写体像として結像される。イメージセンサー１０５において、結像された被写体像は光信号から映像信号（画像信号）に変換される。イメージセンサー１０５により取得された映像信号は、信号処理部１１０に送られる。映像信号は信号処理部１１０において、周辺光量落ち補正部１０７により画面中央から画面周辺部にかけて徐々に明るさを落とす効果をかけられ、ホワイトバランス補正部１１２によりホワイトバランス補正処理を施される。その後、色系の処理と輝度系の処理のパスを分け、色系のために第１のＲＧＢゲイン補正部１０８によりＲＧＢゲイン補正処理を施し、輝度系のために第２のＲＧＢゲイン補正部１１９によりＲＧＢゲイン補正処理を施す。ここで、ＲＧＢゲイン補正とは、カラーバランスを整える処理であり、Ｒ、Ｇ、Ｂの各信号にＲゲイン、Ｇゲイン、Ｂゲインをかけることで行われる。補正後の各信号はその後色空間変換部１１９でＲＧＢ信号からＹＵＶ信号へと変換される。このとき、第１のＲＧＢゲイン補正部１０８からの出力はＵＶ信号の生成すなわち色差信号の生成に用いて、第２のＲＧＢゲイン補正部１１９からの出力はＹ信号の生成すなわち輝度信号の生成に用いる。さらに色空間変換部１１９からの信号は色差ゲイン補正部１０９により色差ゲイン補正処理を施される。周辺光量落ち補正部１０７、ホワイトバランス補正部１１２、第１のＲＧＢゲイン補正部１０８、色差ゲイン補正部１０９における補正処理については、後で詳しく述べる。また、信号処理部１１０における周辺光量落ち補正処理、ホワイトバランス補正処理、ＲＧＢゲイン補正処理、色差ゲイン補正処理以外の処理については、ここでは図示しない。信号処理部１１０において上記の信号処理を施されたのち、ディスプレイ１１６に出力されるか、あるいは、磁気テープ１１５、あるいはＤＶＤディスク１１７、あるいはメモリカード１１８に記録される。
【００１１】
さらに、カメラマイコン１１１は、イメージセンサー制御部１０６を通じて、イメージセンサー１０５の蓄積、読み出しなどの制御を行う。また、レンズ制御部１０３を通じて、レンズ１０１のフォーカス、ズームなどの制御を行う。また、イメージセンサー１０５から得られる画像データから求められる被写体の輝度情報を用いて、絞り制御部１０４を通じて、絞り１０２の制御を行い、また、イメージセンサー制御部１０６を通じて、シャッタースピードの制御を行うことで、露出制御を行う。また、レンズ制御部１０３を通じてレンズ１０１を駆動するか、あるいは、信号処理部１１０を制御することで、使用者の撮影時の手ぶれを補正する。
【００１２】
次に本実施形態の特徴的な処理である周辺光量が落ちているかのような画像処理について説明する。周辺光量が落ちているかのような画像処理は、グラデーションマスクなどと言われ、具体的には、画像の周辺部の輝度を画像の中心の輝度に対して徐々に落としていき、画像の周辺部をあえて暗くする。本実施形態では、周辺光量落ち補正部１０７にて、画像中の各画素に図３（ａ）のような中心からの像高に応じたゲインがかかるように設定されたテーブルあるいは関数を用いて、画素ごとにゲインを掛ける。
【００１３】
しかし、高輝度の被写体を含む画像について単純に上記の画像処理を行うと、画面周辺部でホワイトバランスが崩れてしまい、白い部分に色が付いてしまうことがあった。図３（ｂ）は、従来の方法で画面周辺部の光量が落ちているかのような効果（１４１）を出した画像である。ちなみにここでは、像高に応じたゲインの分布をアスペクト比に対応させて変形させている。画面周辺部に高輝度の被写体１４２があり、高輝度部分１４２において、ホワイトバランスの崩れに伴う色付きが発生してしまっている（斜線部１４３）。
【００１４】
前記、色付きの発生原理について、図４を用いて詳細に説明する。図４（ａ）は、画面内の適正輝度の白色被写体に対してホワイトバランス補正を施す前と、施した後の信号レベルを示している。図４（ａ）では、信号レベルに対して、信号処理が飽和してしまうレベル（信号処理飽和レベル）やセンサーが飽和してしまうレベル（センサー飽和レベル）が十分に高い（１５０）。この白色被写体に対して、適正なホワイトバランス（ＷＢ）ゲインをＲ、Ｇ、Ｂ各信号にかけることで、Ｒ、Ｇ、Ｂのレベルが、１：１：１にそろっている（１５１）。図４（ｂ）は、画面中央部分の高輝度被写体のホワイトバランスを示している。信号レベルが、センサー飽和レベルを超えているため、センサー入力の時点で、Ｒ、Ｇ、Ｂのレベルが、１：１：１になっている（１５４）。このＲ、Ｇ、Ｂに対して、図４（ａ）と同様のホワイトバランスゲインがかかるため、ホワイトバランス補正後のＲ、Ｇ、Ｂのレベルは、１：１：１ではなくなる。しかし、ホワイトバランス補正後の信号レベルも信号処理飽和レベルを超えているため、結果として、Ｒ、Ｇ、Ｂのレベルが、１：１：１にそろったままになる（１５５）。一方、図４（ｃ）は、画面周辺部の高輝度被写体の各信号値のホワイトバランス補正の前後の信号レベルを示している。センサー飽和レベルを超えた信号に対して周辺光量落ち補正部１０７によりレベルを落とされているため、ホワイトバランス補正前の時点で、Ｒ、Ｇ、Ｂのレベルが、信号処理飽和レベルより小さいレベルで１：１：１になっている（１５８）。このＲ、Ｇ、Ｂに対して、図４（ａ）と同様のホワイトバランスゲインがかかるため、ホワイトバランス処理後のＲ、Ｇ、Ｂのレベルは、１：１：１ではなくなる。結果として、Ｒ、Ｇ、Ｂのレベルはそのまま１：１：１ではない状態となり（１５９）、画面周辺部の高輝度被写体に色が付いてしまうことになる。
【００１５】
そこで、本実施形態では、画面周辺部における周辺光量落とし処理の補正量に応じて、画面周辺部の高輝度被写体においてホワイトバランスの崩れに伴う色付きが発生しないように、色系の信号処理に用いる信号に対してＲＧＢゲイン値を補正する。
【００１６】
周辺光量落としモードの際のＲＧＢゲイン補正処理について図５を参照しながら説明する。
図５（ａ）、（ｂ）は、図４（ｃ）と同様に、画面周辺部の高輝度被写体のＲＧＢ信号レベルのホワイトバランス前後の様子を示したものである。適正露出の白色被写体のホワイトバランスを示している。信号レベルがセンサー飽和レベルを超えていたのが、周辺光量落とし処理によって、Ｒ、Ｇ、Ｂのレベルが、１：１：１になっている（１５８）。このＲ、Ｇ、Ｂに対して、図４（ａ）と同様のホワイトバランスゲインがかかるため、ホワイトバランス補正後のＲ、Ｇ、Ｂのレベルは、１：１：１ではなくなる。ここで、図４（ｂ）とは異なり、ホワイトバランス補正後の信号レベルが信号処理飽和を超えていないため、Ｒ、Ｇ、Ｂのレベルはそのまま、１：１：１ではない状態となる（１５９）。これが、ホワイトバランスの崩れに伴う色付きを発生させてしまう。そこで、色付きが発生しないように、色系の処理に用いるＲＧＢ信号を補正する第１のＲＧＢゲイン補正部のＲＧＢゲイン１０８でＲＧＢゲインの補正処理を施す。結果としてＲ、Ｇ、Ｂのレベルが、１：１：１にそろうことになり（１６１）、画面周辺部の高輝度被写体における色付きを防ぐことができる。ここで、ＲＧＢゲイン補正処理に用いるＲＧＢゲイン値は、画面周辺部における光量落ち補正値の逆数の比率分、基準となるＲＧＢゲイン値に対して大きくすればよい。
【００１７】
本実施形態の撮像装置におけるカメラマイコン１１１による、周辺光量落とし処理、ホワイトバランス補正処理、ＲＧＢゲイン補正処理、色差ゲイン補正処理について、図２のフローチャートを参照しながら説明する。
【００１８】
図３は、本実施形態の周辺光量を落とすかのような画像処理を含む一連の画像処理を示すフローチャートである。電源が投入されると（Ｓ１０１）、周辺光量落としモードかどうかを判定する（Ｓ１０３）。周辺光量落としモードの場合、カメラマイコン１１１は、周辺光量落ち補正部１０７により、映像の画面中央から画面周辺部にかけて徐々に明るさを落とす、上述の周辺光量落とし処理をかける（Ｓ１０５）。次に、画面周辺部における周辺光量落とし処理の補正量に応じて、第１のＲＧＢゲイン補正部１０８にて、ホワイトバランスの崩れに伴う色付きが発生しないように（信号レベル比が１：１：１）ＲＧＢゲイン値を算出し、補正値を更新する（Ｓ１０７）。すなわち、ＲＧＢゲイン補正処理に用いるＲＧＢゲイン値は、画面周辺部における光量落とし補正値の逆数の比率分、基準となるＲＧＢゲイン値に対して大きくすればよい。ここで、後段の色空間変換部１１９における色系の信号は第１のＲＧＢゲイン補正部１０８の出力を参照し、輝度系の信号は上述する補正値の更新を行わない第２のＲＧＢゲイン補正部１１９の出力を参照する。これによって、色付きを防止するための上述の補正によって輝度情報が損なわれることがないので、輝度情報を用いた自動露出、エッジ検出等の他の処理に影響を及ぼさなくてすむ。さらに、カメラマイコン１１１は、ＲＧＢゲインを上げることで映像信号の彩度が高くなった分を相殺するように、色差ゲイン値を算出し、補正値を更新する（Ｓ１０８）。
【００１９】
そして、カメラマイコン１１１は、ホワイトバランス補正部１１２により、ホワイトバランス補正処理を施し（Ｓ１０９）、さらにＲＧＢゲイン補正部１０８により、Ｓ１０７で更新したＲＧＢゲイン値に基づきＲＧＢゲイン補正処理を施す（Ｓ１１０）。さらに色差ゲイン補正部１０９により、Ｓ１０８で更新した色差ゲイン値に基づき色差ゲイン補正処理を施す（Ｓ１１２）。周辺光量落としモードの際のＲＧＢゲイン補正処理については、後で、詳しく述べる。
【００２０】
一方、周辺光量落としモードでない場合には、カメラマイコン１１１は、通常通り、周辺光量落ち補正部１０７を用いて周辺光量落ち補正の処理を施す。周辺光量落ち補正の処理は周辺光量落とし処理とは逆の処理で、撮像光学系、撮像素子に応じた周辺光量の落ち具合に応じたゲインアップを像高毎に行う。次にホワイトバランス補正部１１２により、ホワイトバランス補正処理を施す（Ｓ１０９）。そして、第１のＲＧＢゲイン補正部１０８及び第２のＲＧＢゲイン補正部１１９により、基準となるＲＧＢゲイン値に基づきＲＧＢゲイン補正処理を施す（Ｓ１１０）。その後、第１のＲＧＢゲイン補正部１０８及び第２のＲＧＢゲイン補正部１１９からの出力を参照してＲＧＢ色空間をＹＵＶの色空間に変換する（Ｓ１１１）。さらに色差ゲイン補正部１０９により、基準となる色差ゲイン値に基づき色差ゲイン補正処理を施す（Ｓ１１２）。
【００２１】
以上の処理を行った後、撮影が継続されているかどうかの判定を行い（Ｓ１１４）、電源が切断されて制御が終了するまで、周辺光量落としモード判別（Ｓ１０３）からの処理を繰り返す。電源が切断されると、終了する（Ｓ１１６）。
【００２２】
以上述べたように、本実施形態では、画面周辺部の光量を落とす際に、画面周辺部における光量落ち補正の補正量に応じて色系の処理に用いるＲＧＢ信号のゲインを上げるとともに色差ゲインを変化させる。これにより、画面周辺の高輝度部において局所的に発生する色付きを防ぐとともにカラーバランス、彩度を一定に保つことが可能となる。
【００２３】
また、本実施形態では、周辺光量を落とす処理を行う処理部を通常の撮影モードにおける周辺光量落ちを補正する周辺光量落ち補正部１０７で兼用することによって、余計な回路構成を増やさずに本発明の処理を実現している。
【００２４】
また、本実施形態では、ホワイトバランス処理、ＲＧＢゲイン補正、色差ゲイン補正等の色処理の前に周辺光量落とし処理を施しているので、上記の色補正後に周辺光量落とし処理を施すのに比べて、階調飛び等の劣化が少ない。
【００２５】
（第２の実施形態）
本実施形態では、第１の実施形態に比べて、第１のＲＧＢゲイン補正部１０８及び色差ゲイン補正部１０９によるゲイン補正を領域毎に設定する点が異なる。具体的には、輝度低下に沿って像高が高くなるにつれてＲＧＢゲイン及び色差ゲインを変更する。
【００２６】
図６は、本実施形態における周辺光量を落とすかのような画像処理を含む一連の画像処理を示すフローチャートである。第１の実施形態と異なる処理を行うのはステップＳ２０１〜Ｓ２０４のＲＧＢゲイン補正、色差ゲイン補正に係わる処理である。ステップＳ２０１において、カメラマイコン１１１は、画面内の各領域における周辺光量落とし処理の補正量に応じて、領域ごとに異なるＲＧＢゲイン値を算出し、各領域の補正値を更新する。すなわち、周辺光量落とし処理に対応させて、画像の中央に比べて周辺部の方がＲＧＢゲイン値が大きくなるように補正値を更新する。さらに、ステップＳ２０２において、カメラマイコン１１１は、ＲＧＢゲインを上げることで映像信号の彩度が高くなった分を相殺するように、領域ごとに異なる色差ゲイン値を算出し、各領域の補正値を更新する。
【００２７】
また、ステップＳ２０３において、カメラマイコン１１１は、ＲＧＢゲイン補正部１０８により、Ｓ２０１で更新したＲＧＢゲイン値に基づき領域ごとにＲＧＢゲイン補正処理を施す。ステップＳ２０４において、色差ゲイン補正部１０９により、Ｓ２０２で更新した色差ゲイン値に基づき領域ごとに色差ゲイン補正処理を施す。ここで、領域ごとに適したＲＧＢゲイン値に基づいてＲＧＢゲイン補正処理を行うため、各領域のノイズ増加を最小限に抑えることができる。
【００２８】
以上述べたように、画面内で、領域ごとに光量落ち補正の補正量を変化させる際、各領域の補正量に応じて、領域毎に色系の処理に用いるＲＧＢゲインおよび色差ゲインを変化させる。これにより、画面周辺の高輝度部において局所的に発生する色付きを防ぐとともに、各領域のノイズ増加を最小限に抑え、かつ、カラーバランス、彩度を一定に保つことが可能となる。
【００２９】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００３０】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００３１】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００３２】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００３３】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００３４】
１０１  レンズ
１０３  レンズ制御部
１０５  イメージセンサー
１０６  イメージセンサー制御部
１０７  周辺光量落ち補正部
１１０  信号処理部
１１１  カメラマイコン
１１２  ホワイトバランス補正部
１２０  撮像装置本体
１２１  レンズ部
【図１】
0005709498.tif 000002
【図２】
0005709498.tif 000003
【図３】
0005709498.tif 000004
【図４】
0005709498.tif 000005
【図５】
0005709498.tif 000006
【図６】
0005709498.tif 000007