(57)【特許請求の範囲】
【請求項１】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、
前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定する補正判定部と、
前記補正判定部によって補正を行うと判定されると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正する補正部と、
を備え、
前記補正判定部は、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の閾値以上であれば、前記差分値を累積加算し、前記差分値を累積加算した値が前記第１の閾値よりも大きい第２の閾値以上の場合に、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うと判定する、
ことを特徴とする撮像装置。
【請求項２】
前記差分値は、前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値の平均値で除算して得られる相対差分値である、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、
前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定する補正判定部と、
前記補正判定部によって補正を行うと判定されると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正する補正部と、
を備え、
前記補正部は、処理対象画素であるＧｒ画素の周辺に位置するＧｂ画素の画素値に基づいて、前記処理対象画素であるＧｒ画素の画素値を補正するとともに、処理対象画素であるＧｂ画素の周辺に位置するＧｒ画素の画素値に基づいて、前記処理対象画素であるＧｂ画素の画素値を補正する、
ことを特徴とする撮像装置。
【請求項４】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、
前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出する補正量算出部と、
前記画像領域ごとに、前記補正量算出部で算出された補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正する補正部と、
を備え、
前記補正量算出部は、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の所定値より小さい場合には補正量を０とし、前記差分値が前記第１の所定値より大きい第２の所定値以上の場合には補正量を最大補正量とし、前記差分値が前記第１の所定値以上であって、かつ、前記第２の所定値より小さい場合には、前記差分値が大きくなるほど、０から最大補正量までの間で単調増加的に補正量を大きくする、
ことを特徴とする撮像装置。
【請求項５】
前記差分値は、前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値の平均値で除算して得られる相対差分値である、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、
前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出する補正量算出部と、
前記画像領域ごとに、前記補正量算出部で算出された補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正する補正部と、
を備え、
前記補正量算出部で算出される補正量は、補正係数であって、
前記補正部は、処理対象画素がＧｒ画素である場合に、前記Ｇｒ画素の画素値および前記Ｇｒ画素の周辺に位置するＧｂ画素の画素値を前記補正係数に基づいて加重平均加算するとともに、処理対象画素がＧｂ画素である場合に、前記Ｇｂ画素の画素値および前記Ｇｂ画素の周辺に位置するＧｒ画素の画素値を前記補正係数に基づいて加重平均加算することによって、前記Ｇｒ画素およびＧｂ画素の画素値を補正する、
ことを特徴とする撮像装置。
【請求項７】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、
前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定するステップと、
前記補正を行うと判定すると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するステップと、
を備え、
前記補正を行うか否かを判定するステップでは、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の閾値以上であれば、前記差分値を累積加算し、前記差分値を累積加算した値が前記第１の閾値よりも大きい第２の閾値以上の場合に、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うと判定する、
ことを特徴とする撮像方法。
【請求項８】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、
前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定するステップと、
前記補正を行うと判定すると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するステップと、
を備え、
前記補正するステップでは、処理対象画素であるＧｒ画素の周辺に位置するＧｂ画素の画素値に基づいて、前記処理対象画素であるＧｒ画素の画素値を補正するとともに、処理対象画素であるＧｂ画素の周辺に位置するＧｒ画素の画素値に基づいて、前記処理対象画素であるＧｂ画素の画素値を補正する、
ことを特徴とする撮像方法。
【請求項９】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、
前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出するステップと、
前記画像領域ごとに、前記補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正するステップと、
を備え、
前記補正量を算出するステップでは、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の所定値より小さい場合には補正量を０とし、前記差分値が前記第１の所定値より大きい第２の所定値以上の場合には補正量を最大補正量とし、前記差分値が前記第１の所定値以上であって、かつ、前記第２の所定値より小さい場合には、前記差分値が大きくなるほど、０から最大補正量までの間で単調増加的に補正量を大きくする、
ことを特徴とする撮像方法。
【請求項１０】
水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、
前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、
前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出するステップと、
前記画像領域ごとに、前記補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正するステップと、
を備え、
前記補正量は、補正係数であって、
前記補正するステップでは、処理対象画素がＧｒ画素である場合に、前記Ｇｒ画素の画素値および前記Ｇｒ画素の周辺に位置するＧｂ画素の画素値を前記補正係数に基づいて加重平均加算するとともに、処理対象画素がＧｂ画素である場合に、前記Ｇｂ画素の画素値および前記Ｇｂ画素の周辺に位置するＧｒ画素の画素値を前記補正係数に基づいて加重平均加算することによって、前記Ｇｒ画素およびＧｂ画素の画素値を補正する、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベイヤ配列による固体撮像素子の出力から得られる画像データについて、ゴースト光などにより生じる、Ｇｒ画素の画素値とＧｂ画素の画素値との差を補正する技術に関する。
【背景技術】
【０００２】
ベイヤ配列の固体撮像素子によって、明るさと色成分が一様な被写体を撮影した場合、Ｒ列の緑色フィルタの画素（Ｇｒ）の信号であるＧｒ信号と、Ｂ列の緑色フィルタの画素（Ｇｂ）の信号であるＧｂ信号とは同じになるはずである。しかし、Ｒ列の緑色フィルタとＢ列の緑色フィルタの分光特性の違いや、ゴースト光等の斜入射光の影響により、Ｇｒ信号とＧｂ信号との間に信号差（段差）が生じることがある。この信号差を残したままカラー画像を生成すると、一様な被写体の上に格子状のノイズが発生してしまう。
【０００３】
特許文献１には、周囲の緑色フィルタの画素の信号に基づいて、処理対象である緑色フィルタの画素の信号を補正する技術が開示されている。また、特許文献２には、注目画素がエッジ部分に位置しているか否かに基づいて、Ｇｒ信号とＧｂ信号との間の信号差を補正する際の特性を変更する技術が開示されている。さらに、特許文献３には、撮像画像の画素データと基準パターンとを比較することによって、Ｇｒ信号とＧｂ信号との間の信号差を検出して、信号差を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２１８０７３号公報
【特許文献２】特開２００５−３１１９６２号公報
【特許文献３】特開２００５−３３３２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されている技術では、一様に緑色フィルタの画素の信号を補正するので、細かいエッジ部分の解像度が低下するという問題が生じる。また、特許文献２に記載されている技術では、ゴースト光などにより生じる強い信号差を、画像上の非常に細かいエッジの被写体により生じる信号差と区別することができない。また、特許文献３に記載されている技術では、画像上の非常に細かいエッジの被写体も、ゴースト光などにより生じる強い信号差と誤判定して、信号値が補正されてしまうという問題が生じる。
【０００６】
本発明は、ゴースト光などにより生じる強い信号差と、非常に細かいエッジの被写体により生じる信号差とを区別して検出して、ゴースト光などにより生じる強い信号差を補正する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る撮像装置は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定する補正判定部と、前記補正判定部によって補正を行うと判定されると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正する補正部と、を備え、前記補正判定部は、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の閾値以上であれば、前記差分値を累積加算し、前記差分値を累積加算した値が前記第１の閾値よりも大きい第２の閾値以上の場合に、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うと判定する。
また、本発明の別の態様に係る撮像装置は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定する補正判定部と、前記補正判定部によって補正を行うと判定されると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正する補正部と、を備え、前記補正部は、処理対象画素であるＧｒ画素の周辺に位置するＧｂ画素の画素値に基づいて、前記処理対象画素であるＧｒ画素の画素値を補正するとともに、処理対象画素であるＧｂ画素の周辺に位置するＧｒ画素の画素値に基づいて、前記処理対象画素であるＧｂ画素の画素値を補正する。
【０００８】
本発明のさらに別の態様に係る撮像装置は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出する補正量算出部と、前記画像領域ごとに、前記補正量算出部で算出された補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正する補正部と、を備え、前記補正量算出部は、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の所定値より小さい場合には補正量を０とし、前記差分値が前記第１の所定値より大きい第２の所定値以上の場合には補正量を最大補正量とし、前記差分値が前記第１の所定値以上であって、かつ、前記第２の所定値より小さい場合には、前記差分値が大きくなるほど、０から最大補正量までの間で単調増加的に補正量を大きくする。
また、本発明のさらに別の態様に係る撮像装置は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求める平均画素値算出部と、前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出する補正量算出部と、前記画像領域ごとに、前記補正量算出部で算出された補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正する補正部と、を備え、前記補正量算出部で算出される補正量は、補正係数であって、前記補正部は、処理対象画素がＧｒ画素である場合に、前記Ｇｒ画素の画素値および前記Ｇｒ画素の周辺に位置するＧｂ画素の画素値を前記補正係数に基づいて加重平均加算するとともに、処理対象画素がＧｂ画素である場合に、前記Ｇｂ画素の画素値および前記Ｇｂ画素の周辺に位置するＧｒ画素の画素値を前記補正係数に基づいて加重平均加算することによって、前記Ｇｒ画素およびＧｂ画素の画素値を補正する。
【０００９】
本発明のさらに別の態様に係る撮像方法は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定するステップと、前記補正を行うと判定すると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するステップと、を備え、前記補正を行うか否かを判定するステップでは、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の閾値以上であれば、前記差分値を累積加算し、前記差分値を累積加算した値が前記第１の閾値よりも大きい第２の閾値以上の場合に、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うと判定する。
また、本発明のさらに別の態様に係る撮像方法は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値の補正を行うか否かを判定するステップと、前記補正を行うと判定すると、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するステップと、を備え、前記補正するステップでは、処理対象画素であるＧｒ画素の周辺に位置するＧｂ画素の画素値に基づいて、前記処理対象画素であるＧｒ画素の画素値を補正するとともに、処理対象画素であるＧｂ画素の周辺に位置するＧｒ画素の画素値に基づいて、前記処理対象画素であるＧｂ画素の画素値を補正する。
【００１０】
本発明のさらに別の態様に係る撮像方法は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出するステップと、前記画像領域ごとに、前記補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正するステップと、を備え、前記補正量を算出するステップでは、前記画像領域ごとに前記Ｇｒ平均画素値と前記Ｇｂ平均画素値との差分値を算出し、算出した差分値が第１の所定値より小さい場合には補正量を０とし、前記差分値が前記第１の所定値より大きい第２の所定値以上の場合には補正量を最大補正量とし、前記差分値が前記第１の所定値以上であって、かつ、前記第２の所定値より小さい場合には、前記差分値が大きくなるほど、０から最大補正量までの間で単調増加的に補正量を大きくする。
また、本発明のさらに別の態様に係る撮像方法は、水平方向にＲ画素およびＧｒ画素が交互に配列されたラインと、水平方向にＢ画素およびＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置を用いた撮像方法であって、前記固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、前記画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、前記画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求めるステップと、前記画像領域ごとに、前記Ｇｒ平均画素値および前記Ｇｂ平均画素値に基づいて、前記Ｇｒ画素の画素値および前記Ｇｂ画素の画素値を補正するための補正量を算出するステップと、前記画像領域ごとに、前記補正量に基づいて、前記画像領域内のＧｒ画素およびＧｂ画素の画素値を補正するステップと、を備え、前記補正量は、補正係数であって、前記補正するステップでは、処理対象画素がＧｒ画素である場合に、前記Ｇｒ画素の画素値および前記Ｇｒ画素の周辺に位置するＧｂ画素の画素値を前記補正係数に基づいて加重平均加算するとともに、処理対象画素がＧｂ画素である場合に、前記Ｇｂ画素の画素値および前記Ｇｂ画素の周辺に位置するＧｒ画素の画素値を前記補正係数に基づいて加重平均加算することによって、前記Ｇｒ画素およびＧｂ画素の画素値を補正する。
【発明の効果】
【００１１】
本発明によれば、Ｇｒ画素の画素値とＧｂ画素の画素値との間の段差のうち、ゴースト光などにより生じる不要な段差を補正することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における撮像装置であるデジタルスチルカメラの構成を示すブロック図である。
【図２】画像処理部の詳細な構成を示す図である。
【図３】画像処理部によって行われる処理の流れを示すフローチャートである。
【図４】所定の大きさの領域である４０画素×４０画素の領域内で、Ｇｒ画素の平均化と、Ｇｂ画素の平均化を行う方法を説明するための図である。
【図５】所定の大きさの領域である４０画素×４０画素の領域内で、Ｇｒ平均化フィルタ処理およびＧｂ平均化フィルタ処理を行って、求めたＧｒ平均画素値およびＧｂ平均画素値を縮小画像メモリに記憶させる処理を示す図である。
【図６】段差検出部１０５３で行われる段差検出処理の詳細な内容を示すフローチャートである。
【図７】図７（ａ）は、処理対象画素であるＧｂ画素の周囲に位置する４つのＧｒ画素の画素値に基づいて、処理対象画素であるＧｂ画素の画素値を補正する方法を説明するための図であり、図７（ｂ）は、処理対象画素であるＧｒ画素の周囲に位置する４つのＧｂ画素の画素値に基づいて、処理対象画素であるＧｒ画素の画素値を補正する方法を説明するための図である。
【図８】ゴースト光が発生した場合のＧｒ信号値およびＧｂ信号値を説明するための図である。
【図９】画像内に非常に細かいエッジが存在する場合のＧｒ信号値およびＧｂ信号値を説明するための図である。
【図１０】第２の実施形態における撮像装置の画像処理部の詳細な構成を示し図である。
【図１１】第２の実施形態における画像処理部によって行われる処理の流れを示すフローチャートである。
【図１２】補正係数マップを作成する処理の詳細を示すフローチャートである。
【図１３】相対差分値Ｄと補正係数αとの関係を示す図である。
【図１４】図１４（ａ）は、非常に細かいエッジが存在する被写体と、ゴースト光が存在する画像の一例を示す図であり、図１４（ｂ）は、図１４（ａ）に示す画像に基づいて作成された補正係数マップを示す図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
図１は、第１の実施形態における撮像装置であるデジタルスチルカメラの構成を示すブロック図である。
【００１４】
レンズ１０１は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１は、単焦点レンズであってもよいし、ズームレンズであってもよい。
【００１５】
レンズ駆動制御回路１１２は、後述するマイクロコンピュータ１０７によって算出された合焦評価値に基づいて、レンズ１０１を駆動させる指令をレンズ駆動部１１１に出す。レンズ駆動部１１１は、レンズ駆動制御回路１１２からの指示に基づいて、レンズ１０１を駆動させて、焦点距離やフォーカス位置の変更を行う。
【００１６】
撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤ配列のカラーフィルタが配置された撮像素子である。ベイヤ配列は、水平方向に赤色フィルタと緑色フィルタが交互に配置されたラインと、緑色フィルタと青色フィルタが交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。本明細書では、赤色（Ｒｅｄ）フィルタの画素をＲ画素、緑色（Ｇｒｅｅｎ）フィルタの画素のうち、水平方向にＲ画素と隣り合う画素をＧｒ画素、青色（Ｂｌｕｅ）フィルタの画素をＢ画素、緑色フィルタの画素のうち、水平方向にＢ画素と隣り合う画素をＧｂ画素と呼ぶ。この撮像素子１０２は、レンズ１０１により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量として撮像回路１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。
【００１７】
撮像回路１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、撮像回路１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。
【００１８】
バス１９９は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１９９は、Ａ/Ｄ変換部１０４と、画像処理部１０５と、ＪＰＥＧ処理部１０６と、マイクロコンピュータ１０７と、ＳＤＲＡＭ１０８と、メモリＩ/Ｆ１０９と、ＬＣＤドライバ１１０に接続されている。
【００１９】
Ａ/Ｄ変換部１０４から出力される画像データは、バス１９９を介して一旦ＳＤＲＡＭ１０８に記憶される。ＳＤＲＡＭ１０８は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０５、ＪＰＥＧ処理部１０６において処理された画像データ等の各種データが一時的に記憶される記憶部である。
【００２０】
画像処理部１０５は、ＳＤＲＡＭ１０８から読み出した画像データに対して、オプティカルブラック減算処理、ホワイトバランス補正処理、同時化処理、ガンマ補正処理、および、色再現処理などの様々な画像処理を施す。画像処理部１０５はまた、Ｇｒ画素の信号値およびＧｂ画素の信号値間の不要な信号差（段差）を補正する。
【００２１】
ＪＰＥＧ処理部１０６は、画像データの記録時には、ＳＤＲＡＭ１０８から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０８に一旦記憶する。マイクロコンピュータ１０７は、ＳＤＲＡＭ１０８に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１０９を介して記録媒体１１５に記録する。記録媒体１１５は、例えばカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。
【００２２】
ＬＣＤドライバ１１０は、ＬＣＤ１１６に画像を表示させる。画像の表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体１１５に記録されたＪＰＥＧファイルの再生表示、および、ライブビュー画像（スルー画像とも呼ばれる）等の動画の表示が含まれる。また、記録媒体１１５に記録されたＪＰＥＧファイルを再生する場合、ＪＰＥＧ処理部１０６は、記録媒体１１５に記録されているＪＰＥＧファイルを読み出して伸張処理を施した上で、伸張した画像データを一旦ＳＤＲＡＭ１０８に記憶させる。ＬＣＤドライバ１１０は、伸張された画像データをＳＤＲＡＭ１０８から読み出し、読み出した画像データを映像信号へ変換した後でＬＣＤ１１６へ出力して、画像の表示を行う。
【００２３】
制御部としての機能を有するマイクロコンピュータ１０７は、デジタルカメラ本体の各種シーケンスを統括的に制御する。マイクロコンピュータ１０７には、レンズ駆動制御回路１１２、操作部１１３およびＦｌａｓｈメモリ１１４が接続されている。
【００２４】
操作部１１３は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１３の何れかの操作部材が操作されることにより、マイクロコンピュータ１０７は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイクロコンピュータ１０７は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１０７は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１０７は、撮影シーケンスを実行して撮影を行う。
【００２５】
Ｆｌａｓｈメモリ１１４は、ホワイトバランスモードに応じたホワイトバランスゲインやローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータなどを記憶している。また、Ｆｌａｓｈメモリ１１４は、マイクロコンピュータ１０７にて実行する各種プログラムも記憶している。マイクロコンピュータ１０７は、Ｆｌａｓｈメモリ１１４に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１４から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
【００２６】
図２は、画像処理部１０５の詳細な構成を示す図である。画像処理部１０５は、ローパスフィルタ部１０５１（以下では、ＬＰＦ部１０５１と呼ぶ）と、縮小画像メモリ１０５２と、段差検出部１０５３と、制御部１０５４と、段差補正部１０５５と、合成部１０５６とを備える。
【００２７】
ＬＰＦ部１０５１は、ＳＤＲＡＭ１０８から画像データを読み出して、読み出した画像データの所定の大きさの領域ごとに、Ｇｒ画素およびＧｂ画素の画素値をそれぞれ平均化する。ここでは、平均化処理によって求められたＧｒ画素およびＧｂ画素の画素値をそれぞれ、Ｇｒ平均画素値およびＧｂ平均画素値と呼ぶ。Ｇｒ平均画素値およびＧｂ平均画素値は、縮小画像メモリ１０５２に記憶する。
【００２８】
段差検出部１０５３は、縮小画像メモリ１０５２に記録されているＧｒ平均画素値およびＧｂ平均画素値に基づいて、Ｇｒ画素の信号（以下、Ｇｒ信号と呼ぶ）とＧｂ画素の信号（以下、Ｇｂ信号と呼ぶ）との間の段差（信号差）を検出する。
【００２９】
制御部１０５４は、段差検出部１０５３による段差検出結果に基づいて、Ｇｒ信号とＧｂ信号との間の段差の補正の有無を段差補正部１０５５に指示する。
【００３０】
段差補正部１０５５は、制御部１０５４からの補正指示に基づいて、ＳＤＲＡＭ１０８から読み出した画像データのＧｒ画素およびＧｂ画素の画素値を補正する。ただし、制御部１０５４から、補正無しの指示を受けると、段差補正部１０５５は、ＳＤＲＡＭ１０８から読み出した画像データをそのまま合成部１０５６に出力する。
【００３１】
合成部１０５６は、ベイヤ配列による画像データ（ベイヤ画像データ）から、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データを生成するデモザイキング処理を行う。
【００３２】
図３は、画像処理部１０５によって行われる処理の流れを示すフローチャートである。ステップＳ１０において、ＬＰＦ部１０５１は、Ａ/Ｄ変換部１０４から出力されて、ＳＤＲＡＭ１０８に一時的に格納されている画像データ（ベイヤ画像データ）を、ＳＤＲＡＭ１０８から読み込む。
【００３３】
ステップＳ２０において、ＬＰＦ部１０５１は、ＳＤＲＡＭ１０８から読み出した画像データの所定の大きさの領域ごとに、Ｇｒ画素およびＧｂ画素の画素値を平均化して、Ｇｒ平均画素値およびＧｂ平均画素値を求め、縮小画像メモリ１０５２に記憶させる。所定の大きさの領域とは、画像中に現れるゴースト光の大きさを超えない範囲であって、かつ、平均化によって細かいエッジの構造が十分に見えなくなるくらいの大きさであり、例えば、４０画素×４０画素の領域である。
【００３４】
図４は、所定の大きさの領域である４０画素×４０画素の領域内で、Ｇｒ画素の平均化と、Ｇｂ画素の平均化を行う方法を説明するための図である。図４に示すように、４０画素×４０画素内のＧｒ画素を全て読み出して、読み出した全てのＧｒ画素の画素値の平均を求めるＧｒ平均化フィルタ処理と、４０画素×４０画素内のＧｂ画素を全て読み出して、読み出した全てのＧｂ画素の画素値の平均を求めるＧｂ平均化フィルタ処理とを行う。
【００３５】
図５は、所定の大きさの領域である４０画素×４０画素の領域内で、Ｇｒ平均化フィルタ処理およびＧｂ平均化フィルタ処理を行って、求めたＧｒ平均画素値およびＧｂ平均画素値を縮小画像メモリ１０５２に記憶させる処理を示す図である。Ｇｒ平均化フィルタ処理で求められたＧｒ平均画素値およびＧｂ平均化フィルタ処理で求められたＧｂ平均画素値はそれぞれ、縮小画像メモリ１０５２に記憶される。
【００３６】
ステップＳ３０において、段差検出部１０５３は、ゴースト光などに起因する、Ｇｒ信号とＧｂ信号との間の段差の有無を検出する。段差検出部１０５３で行われる段差検出処理を、図６に示すフローチャートを用いて説明する。
【００３７】
図６に示すフローチャートのステップＳ１００では、縮小画像メモリ１０５２に記憶されている、所定の大きさの領域ごとのＧｒ平均画素値およびＧｂ平均画素値のうち、最初の領域（最初の処理対象領域）に対応するＧｒ平均画素値およびＧｂ平均画素値を読み出す。
【００３８】
ステップＳ１１０では、次式（１）より、Ｇｒ平均画素値およびＧｂ平均画素値に基づいて、相対差分値Ｄを算出する。次式（１）に示すように、相対差分値Ｄは、Ｇｒ平均画素値とＧｂ平均画素値の差分値を、Ｇｒ平均画素値とＧｂ平均画素値の平均値で除算して得られる値である。
【００３９】
Ｄ＝２×（Ｇｒ−Ｇｂ）／（Ｇｒ＋Ｇｂ）                  （１）
ステップＳ１２０では、ステップＳ１１０で算出した相対差分値Ｄが第１の閾値Ｄ１以上であるか否かを判定する。第１の閾値Ｄ１は、ノイズを除去するための閾値である。相対差分値Ｄが第１の閾値Ｄ１以上であると判定するとステップＳ１３０に進み、第１の閾値Ｄ１未満であると判定すると、ステップＳ１４０に進む。
【００４０】
ステップＳ１３０では、ステップＳ１１０で算出した相対差分値Ｄを段差カウンタに加算する。なお、段差カウンタは、段差検出部１０５３の内部に設けられているカウンタであり、図６に示すフローチャートの処理が開始される際に、初期値である０にリセットされる。
【００４１】
ステップＳ１４０では、画像データの全領域に対して、ステップＳ１１０からステップＳ１３０までの処理を行ったか否かを判定する。画像データの全領域に対する処理が終了していないと判定すると、ステップＳ１５０に進む。
【００４２】
ステップＳ１５０では、縮小画像メモリ１０５２から、次の処理対象領域に対応するＧｒ平均画素値およびＧｂ平均画素値を読み出して、ステップＳ１１０に進み、ステップＳ１１０からステップＳ１３０までの処理を行う。これにより、段差カウンタには、所定の大きさの領域ごとに算出される相対差分値Ｄの値が累積加算される。
【００４３】
一方、ステップＳ１４０において、画像データの全領域に対する処理が終了したと判定すると、ステップＳ１６０に進む。ステップＳ１６０では、段差カウンタに加算された相対差分値Ｄの累積値（以下では、累積相対差分と呼ぶ）が第２の閾値Ｄ２以上であるか否かを判定する。第２の閾値Ｄ２は、ゴースト光などに起因するＧｒ信号とＧｂ信号との間の段差が存在するか否かを判定するための閾値であり、第１の閾値Ｄ１よりも大きい値である。累積相対差分が第２の閾値Ｄ２以上であると判定するとステップＳ１７０に進み、第２の閾値Ｄ２未満であると判定すると、ステップＳ１８０に進む。
【００４４】
ステップＳ１７０では、ゴースト光などに起因するＧｒ信号とＧｂ信号との間の段差が存在すると判定する。一方、ステップＳ１８０では、ゴースト光などに起因するＧｒ信号とＧｂ信号との間の段差は存在しないと判定する。
【００４５】
図３に示すフローチャートに戻って説明を続ける。ステップＳ４０において、制御部１０５４は、段差検出部１０５３による段差検出処理の結果に基づいて、ゴースト光などに起因するＧｒ信号とＧｂ信号との間の段差があるか否かを判定する。制御部１０５４は、段差ありと判定すると、補正指示を段差補正部１０５５に出してステップＳ５０に進み、段差無しと判定すると、補正無しの指示を段差補正部１０５５に出してステップＳ６０に進む。
【００４６】
ステップＳ５０において、段差補正部１０５５は、制御部１０５４からの補正指示に基づいて、ＳＤＲＡＭ１０８からベイヤ画像データを読み出して、Ｇｒ画素およびＧｂ画素の画素値を補正する。
【００４７】
図７（ａ）は、処理対象画素であるＧｂ画素の周囲に位置する４つのＧｒ画素の画素値に基づいて、処理対象画素であるＧｂ画素の画素値を補正する方法を説明するための図である。補正後のＧｂ画素の画素値は、次式（２）により表される。式（２）において、補正後Ｇｂは、補正後のＧｂ画素の画素値を、補正前Ｇｂは、補正前のＧｂ画素の画素値を、周辺Ｇｒ１〜Ｇｒ４は、処理対象画素であるＧｂ画素の周囲に位置する４つのＧｒ画素の画素値をそれぞれ表している。
【００４８】
補正後Ｇｂ＝補正前Ｇｂ×（１／２）＋（周辺Ｇｒ１＋周辺Ｇｒ２＋周辺Ｇｒ３＋周辺Ｇｒ４）×（１／８）                          （２）
図７（ｂ）は、処理対象画素であるＧｒ画素の周囲に位置する４つのＧｂ画素の画素値に基づいて、処理対象画素であるＧｒ画素の画素値を補正する方法を説明するための図である。補正後のＧｒ画素の画素値は、次式（３）により表される。式（３）において、補正後Ｇｒは、補正後のＧｒ画素の画素値を、補正前Ｇｒは、補正前のＧｒ画素の画素値を、周辺Ｇｂ１〜Ｇｂ４は、処理対象画素であるＧｒ画素の周囲に位置する４つのＧｂ画素の画素値をそれぞれ表している。
【００４９】
補正後Ｇｒ＝補正前Ｇｒ×（１／２）＋（周辺Ｇｂ１＋周辺Ｇｂ２＋周辺Ｇｂ３＋周辺Ｇｂ４）×（１／８）                          （３）
Ｇｒ画素およびＧｂ画素の画素値を補正は、ベイヤ画像データ内の全てのＧｒ画素およびＧｂ画素を対象として行う。
【００５０】
ステップＳ６０において、合成部１０５６は、ベイヤ画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データを生成するデモザイキング処理を行う。
【００５１】
図８は、ゴースト光が発生した場合のＧｒ信号値およびＧｂ信号値を説明するための図である。図８（ａ）は、画像上でゴースト光が発生している領域８０および所定の大きさの領域である４０画素×４０画素の領域８１を示す図である。また、図８（ｂ）は、所定の大きさの領域８１内におけるＧｒ信号値（Ｇｒ画素の画素値）とＧｂ信号値（Ｇｂ画素の画素値）を示す図である。
【００５２】
図８（ｂ）に示すように、ゴースト光が発生している領域内では、Ｇｒ信号値とＧｂ信号値との間に段差が生じる。この場合、Ｇｒ平均画素値およびＧｂ平均画素値の差は大きいので、上述した累積相対差分は第２の閾値Ｄ２以上となり、ゴースト光などに起因するＧｒ信号とＧｂ信号との間の段差が存在すると判定される。従って、ベイヤ画像データ内の全てのＧｒ画素およびＧｂ画素を対象として、上述した画素値の補正が行われる。
【００５３】
図９は、画像内に、非常に細かいエッジを有する被写体が存在する場合のＧｒ信号値およびＧｂ信号値を説明するための図である。図９（ａ）は、所定の大きさの領域である４０画素×４０画素の領域９１内に、非常に細かいエッジを有する被写体９２が存在する画像の一例を示す図である。また、図９（ｂ）は、所定の大きさの領域９１内におけるＧｒ信号値とＧｂ信号値を示す図である。この場合、エッジの構造によって、Ｇｒ信号値がＧｂ信号値より大きい部分と、Ｇｂ信号値がＧｒ信号値より大きい部分とが存在するので、Ｇｒ平均画素値とＧｂ平均画素値はほぼ等しくなる。従って、上述した累積相対差分は、第２の閾値Ｄ２未満となり、ゴースト光などに起因するＧｒ信号とＧｂ信号との間の段差は存在しないと判定される。すなわち、ベイヤ画像データ内のＧｒ画素およびＧｂ画素の画素値の補正は行われない。
【００５４】
以上、第１の実施形態における撮像装置によれば、固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、画像領域に含まれるＧｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、画像領域に含まれるＧｂ画素の画素値の平均値であるＧｂ平均画素値を求め、求めたＧｒ平均画素値およびＧｂ平均画素値に基づいて、Ｇｒ画素の画素値およびＧｂ画素の画素値の補正を行うか否かを判定する。そして、補正を行うと判定すると、Ｇｒ画素の画素値およびＧｂ画素の画素値を補正するので、ゴースト光などにより生じる強い段差と、非常に細かいエッジの被写体により生じる段差とを区別して検出して、ゴースト光などにより生じる強い段差が存在する場合に、段差の補正を行うことができる。すなわち、ゴースト光が発生しておらず、非常に細かいエッジの被写体が存在する画像データに対して、Ｇｒ画素およびＧｂ画素の画素値の補正が誤って行われるのを防ぐことができる。
【００５５】
特に、画像領域ごとにＧｒ平均画素値とＧｂ平均画素値との差分値を算出し、算出した差分値が第１の閾値以上であれば、差分値を累積加算し、差分値を累積加算した値が第１の閾値よりも大きい第２の閾値以上の場合に、Ｇｒ画素の画素値およびＧｂ画素の画素値の補正を行うと判定する。これにより、ゴースト光などにより生じる強い段差を、非常に細かいエッジの被写体により生じる段差と確実に区別して検出することができる。
【００５６】
また、処理対象画素のＧｒ画素の周辺に位置するＧｂ画素の画素値に基づいて、処理対象画素のＧｒ画素の画素値を補正するとともに、処理対象画素のＧｂ画素の周辺に位置するＧｒ画素の画素値に基づいて、処理対象画素のＧｂ画素の画素値を補正するので、効果的に段差を補正することができる。
【００５７】
＜第２の実施形態＞
図１０は、第２の実施形態における撮像装置の画像処理部１０５Ａの詳細な構成を示す図である。図１０に示す画像処理部１０５Ａの構成のうち、図２に示す画像処理部１０５の構成と同じ構成については、同じ符号を付して詳しい説明は省略する。
【００５８】
第２の実施形態における画像処理部１０５Ａは、第１の実施形態における画像処理部１０５に対して、制御部１０５４が削除され、かつ、補正係数マップメモリ１０５７が追加されている。また、内部で行う処理が第１の実施形態と異なるため、段差検出部および段差補正部の符号をそれぞれ、１０５３Ａ、１０５５Ａとしている。
【００５９】
補正係数マップメモリ１０５７は、所定の大きさの領域ごとに、Ｇｒ画素およびＧｂ画素の画素値を補正するための補正係数を記憶する。
【００６０】
図１１は、第２の実施形態における画像処理部１０５Ａによって行われる処理の流れを示すフローチャートである。図３に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。
【００６１】
ステップＳ２０に続くステップＳ１１００において、段差検出部１０５３Ａは、補正係数マップを作成する。補正係数マップを作成する処理の詳細を、図１２に示すフローチャートを用いて説明する。
【００６２】
図１２に示すフローチャートのステップＳ１２００では、縮小画像メモリ１０５２に記憶されている、所定の大きさの領域ごとのＧｒ平均画素値およびＧｂ平均画素値のうち、最初の領域（最初の処理対象領域）に対応するＧｒ平均画素値およびＧｂ平均画素値を読み出す。
【００６３】
ステップＳ１２１０では、上式（１）より、Ｇｒ平均画素値およびＧｂ平均画素値に基づいて、相対差分値Ｄを算出する。
【００６４】
ステップＳ１２２０では、ステップＳ１２１０で算出した相対差分値Ｄに基づいて、Ｇｒ画素およびＧｂ画素を補正するための補正係数αを算出する。
【００６５】
図１３は、相対差分値Ｄと補正係数αとの関係を示す図である。相対差分値Ｄが閾値Ｄ１１未満の場合、補正係数αは最小値の０であり、相対差分値Ｄが閾値Ｄ１２（Ｄ１１＜Ｄ１２）以上の場合、補正係数αは最大値の１／８である。また、相対差分値Ｄが閾値Ｄ１１以上であって、かつ、閾値Ｄ１２未満の場合、補正係数αは、図１３に示すように、相対差分値Ｄが大きくなるほど、０から１／８の間で単調増加的に大きくなる値となる。
【００６６】
段差検出部１０５３Ａは、内部のメモリに、図１３に示すような相対差分値Ｄと補正係数αとの関係を定めたテーブルデータを有しており、ステップＳ１２１０で算出した相対差分値Ｄに基づいて、上記テーブルデータを参照することによって、補正係数αを算出する。
【００６７】
ステップＳ１２３０では、ステップＳ１２２０で算出した補正係数αを補正係数マップメモリ１０５７に格納する。
【００６８】
ステップＳ１２４０では、画像データの全領域に対して、ステップＳ１２１０からステップＳ１２３０までの処理を行ったか否かを判定する。画像データの全領域に対する処理が終了していないと判定すると、ステップＳ１２５０に進む。
【００６９】
ステップＳ１２５０では、縮小画像メモリ１０５２から、次の処理対象領域に対応するＧｒ平均画素値およびＧｂ平均画素値を読み出して、ステップＳ１２１０に進み、ステップ１２１０からステップＳ１２３０までの処理を行う。これにより、所定の大きさの領域ごとに補正係数αが算出され、算出された補正係数αが補正係数マップメモリ１０５７に格納される。
【００７０】
一方、ステップＳ１２４０において、画像データの全領域に対する処理が終了したと判定すると、図１２に示すフローチャートの処理を終了する。なお、以下の説明では、補正係数マップメモリ１０５７に格納されている複数の補正係数αをまとめて、補正係数マップと呼ぶ。
【００７１】
図１１に示すフローチャートに戻って説明を続ける。ステップＳ１１１０において、段差補正部１０５５Ａは、ＳＤＲＡＭ１０８からベイヤ画像データを読み出して、ステップＳ１１００で作成された補正係数マップに基づいて、ベイヤ画像データのＧｂ画素およびＧｒ画素の画素値を補正する。具体的には、次式（４）より、補正後のＧｂ画素の画素値を求めるとともに、次式（５）より、補正後のＧｒ画素の画素値を求める。
【００７２】
補正後Ｇｂ＝補正前Ｇｂ×（１−４α）＋（周辺Ｇｒ１＋周辺Ｇｒ２＋周辺Ｇｒ３＋周辺Ｇｒ４）×α                              （４）
補正後Ｇｒ＝補正前Ｇｒ×（１−４α）＋（周辺Ｇｂ１＋周辺Ｇｂ２＋周辺Ｇｂ３＋周辺Ｇｂ４）×α                              （５）
図１４（ａ）は、非常に細かいエッジが存在する被写体１４０とゴースト光１４１が存在する画像の一例を示す図である。図１４（ａ）では、また、所定の大きさの領域１４２、１４３も示している。図１４（ｂ）は、図１４（ａ）に示す画像に基づいて作成された補正係数マップ１４５を示す図である。図１４（ｂ）では、説明を容易にするために、補正係数αが最小値の０に近くなるほど黒く、また、補正係数αが最大値の１／８に近くなるほど白くなるように表現している。
【００７３】
図１４（ａ）および図１４（ｂ）から分かるように、画像上でゴースト光１４１が存在する領域の補正係数αは最大値である１／８、または、１／８に近い値となっている。また、細かいエッジが存在する領域１４０の補正係数は、最小値である０または０に近い値であることが分かる。
【００７４】
このように、第２の実施形態では、画像の領域ごとに、Ｇｒ平均画素値およびＧｂ平均画素値に基づいて補正係数αを定めて、Ｇｒ画素およびＧｂ画素の補正を行う。これにより、画像データのうち、ゴースト光が存在する領域のＧｒ画素およびＧｂ画素に対して、信号差を抑制するための補正を行うことができる。従って、図１４（ａ）に示すように、ゴースト光とともに、細かいエッジを有する被写体が存在する場合でも、細かいエッジの先鋭性が失われることはない。
【００７５】
以上、第２の実施形態における撮像装置によれば、固体撮像素子の出力から得られる画像データについて、所定数の画素から構成される画像領域ごとに、Ｇｒ画素の画素値の平均値であるＧｒ平均画素値を求めるとともに、Ｇｂ画素の画素値の平均値であるＧｂ平均画素値を求め、求めたＧｒ平均画素値およびＧｂ平均画素値に基づいて、画像領域ごとに、Ｇｒ画素の画素値およびＧｂ画素の画素値を補正するための補正量を算出する。そして、算出した補正量に基づいて、画像領域ごとに、Ｇｒ画素およびＧｂ画素の画素値を補正するので、画像の領域ごとに、Ｇｒ画素およびＧｂ画素の信号差を抑制する補正を行うことができる。これにより、ゴースト光が存在する領域に対しては、信号差を抑制するための補正を効果的に行うことができ、また、細かいエッジを有する被写体領域に対しては、信号差を抑制するための補正を行わないので、エッジの先鋭性が失われるのを防ぐことができる。
【００７６】
また、画像領域ごとにＧｒ平均画素値とＧｂ平均画素値との差分値を算出し、算出した差分値が第１の所定値Ｄ１１より小さい場合には補正量を０とし、差分値が第１の所定値Ｄ１１より大きい第２の所定値Ｄ１２以上の場合には補正量を最大補正量とし、差分値が第１の所定値Ｄ１１以上であって、かつ、第２の所定値Ｄ１２より小さい場合には、差分値が大きくなるほど、０から最大補正量までの間で単調増加的に補正量を大きくする。これにより、Ｇｒ画素およびＧｂ画素の信号差の大きさに応じて、信号差を抑制するための補正を効果的に行うことができる。
【００７７】
特に、第２の実施形態における撮像装置では、上記補正量は補正係数であって、処理対象画素がＧｒ画素である場合に、Ｇｒ画素の画素値およびＧｒ画素の周辺に位置するＧｂ画素の画素値を補正係数を用いて加重平均加算するとともに、処理対象画素がＧｂ画素である場合に、Ｇｂ画素の画素値およびＧｂ画素の周辺に位置するＧｒ画素の画素値を補正係数を用いて加重平均加算することによって、Ｇｒ画素およびＧｂ画素の画素値を補正する。これにより、画像の先鋭性の低下を抑制しつつ、Ｇｒ画素およびＧｂ画素の信号差の大きさに応じて、信号差を抑制するための補正を効果的に行うことができる。
【００７８】
なお、上述した第１〜第２の実施形態の説明では、画像処理部１０５が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理部（画像処理装置）は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部１０５と同様の処理を実現させる。
【００７９】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００８０】
本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、Ｇｒ平均画素値およびＧｂ平均画素値の差分値として、式（１）に示す相対差分値Ｄを算出したが、これに限定されることはない。
【００８１】
また、Ｇｒ画素の画素値およびＧｂ画素の画素値を補正する方法は、式（２）および式（３）、または、式（４）および式（５）に示す方法に限定されることはない。
【符号の説明】
【００８２】
１０２…撮像素子
１０５、１０５Ａ…画像処理部
１０８…ＳＤＲＡＭ
１０５１…ＬＰＦ部
１０５２…縮小画像メモリ
１０５３、１０５３Ａ…段差検出部
１０５４…制御部
１０５５、１０５５Ａ…段差補正部
１０５６…合成部
１０５７…補正係数マップメモリ
【図２】
0005523213.tif 000002
【図７】
0005523213.tif 000003
【図８】
0005523213.tif 000004
【図９】
0005523213.tif 000005
【図１０】
0005523213.tif 000006
【図１１】
0005523213.tif 000007
【図１３】
0005523213.tif 000008
【図１】
0005523213.tif 000009
【図３】
0005523213.tif 000010
【図４】
0005523213.tif 000011
【図５】
0005523213.tif 000012
【図６】
0005523213.tif 000013
【図１２】
0005523213.tif 000014
【図１４】
0005523213.tif 000015