(57)【特許請求の範囲】
【請求項１】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備え、
前記間引きパターン決定手段は、前記撮影光学系の撮影時のＦ値及び光学ズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する撮像装置。
【請求項２】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備え、
前記間引きパターン決定手段は、環境光の色温度を検出する色温度検出手段を含み、該色温度検出手段により検出された環境光の色温度に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する撮像装置。
【請求項３】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備え、
前記間引きパターン決定手段は、混色が多い撮影条件かを判定し、混色が多い撮影条件下では前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、混色が少ない撮影条件下では前記３原色のカラーフィルタに対応する画素数の比率がより均等なラインを選択する間引きパターンを決定する撮像装置。
【請求項４】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
撮影感度を設定する感度設定手段と、を備え、
前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定する撮像装置。
【請求項５】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
撮影感度を設定する感度設定手段を備え、
前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定する撮像装置。
【請求項６】
撮影感度を設定する感度設定手段を備え、
前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定する請求項１から３のいずれか１項に記載の撮像装置。
【請求項７】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
撮影感度を設定する感度設定手段と、
演算速度を重視するか否かを判別する判別手段と、を備え、
前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視する場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視しない場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定する撮像装置。
【請求項８】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段と、を備え、
前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出し、
前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、
前記算出手段は、前記アンプを共有する各画素の該アンプに対する位置毎のオフセット値を算出する第１の算出手段と、前記間引きパターン決定手段により決定された間引きパターンにおける各画素の前記アンプに対する位置と、前記第１の算出手段により算出された前記アンプに対する位置毎のオフセット値とに基づいて色信号毎のオフセット値を算出する第２の算出手段と、を含む撮像装置。
【請求項９】
前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、
前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記複数の間引きパターンは、６ライン毎に１ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含む請求項１０に記載の撮像装置。
【請求項１２】
前記複数の間引きパターンは、６ライン毎に２ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含む請求項１０又は１１に記載の撮像装置。
【請求項１３】
前記複数の間引きパターンは、６ライン毎に３ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が５：８：５のラインを読み出す間引きパターンとを含む請求項１０から１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記複数の間引きパターンは、６ライン毎に４ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：２：１のラインを読み出す間引きパターンとを含む請求項１０から１３のいずれか１項に記載の撮像装置。
【請求項１５】
撮影光学系と、
前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
を備えた撮像装置。
【請求項１６】
前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、
前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項１５に記載の撮像装置。
【請求項１７】
前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段を備え、
前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出する請求項１５に記載の撮像装置。
【請求項１８】
前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１５に記載の撮像装置。
【請求項１９】
撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有するモザイク画像を取得する画像取得工程と、
前記撮像素子の複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、
を含む画像処理方法。
【請求項２０】
撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の複数のラインの各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有するモザイク画像を取得する画像取得工程と、
複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定工程と、
前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定工程により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含み、
前記間引きパターン決定工程は、前記撮影光学系の撮影時のＦ値及び光学ズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び画像処理方法に係り、特にホワイトバランスゲインを高速かつ精度よく算出する技術に関する。
【背景技術】
【０００２】
特許文献１には、撮像素子の全領域の画像から間引き（抽出）した画像に基づいてホワイトバランスゲイン（ＷＢゲイン）を算出するとともに、電子ズームにより撮像素子の一部の領域の画像を本撮像し、前記算出したＷＢゲインによりホワイトバランス補正を行う撮像装置が記載されている。これにより、本撮影される領域に比べて白が存在する確率の高い領域の画像から色温度を検出することにより、ＷＢゲインを精度よく算出できるようにしている。【０００３】
また、特許文献２には、固体撮像素子から画素の信号を間引き読み出しし、又は垂直方向の同色のラインにおける複数の画素の信号を加算して読み出し、その読み出した信号を検波（色別レベルの積分処理）することによりＷＢゲインを算出する記載がある。【０００４】
ところで、上記特許文献１、２に記載の撮像装置に適用されている撮像素子は、ベイヤ配列のカラーフィルタ配列を有している（特許文献１の段落［００２３］、図４、特許文献２の図３）。【０００５】
ベイヤ配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。【０００６】
このような問題を解決するために、撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献３）。【０００７】
また、特許文献４には、Ｒフィルタ、Ｂフィルタに比べてＧフィルタの割合を多くし、同じ割合の色フィルタを格子構造に配置した場合に比べて、色の水平方向及び垂直方向の解像度をアップするとともに、輝度信号における色モアレを低減することができる撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２９５３００号公報
【特許文献２】特開２００３−１１６１４３号公報
【特許文献３】特開２０００−３０８０８０号公報
【特許文献４】特開平８−２３５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
モザイク状のカラーフィルタ配列を有する撮像素子では、隣接する画素からの光の漏れ込みによる混色が発生する。混色の程度は、撮影レンズの焦点距離、絞りのＦ値等の撮影条件に依存する。【００１０】
混色の多いＲＧＢの色信号に基づいてＷＢゲインを算出すると、精度よくＷＢゲインを算出することができないという問題がある。【００１１】
特許文献１、２に記載のベイヤ配列を有する撮像素子の場合、ＲＧｒＲＧｒの順に繰り返すラインと、ＧｂＢＧｂの順に繰り返すラインとが交互に配列されており、１つのライン上にはＲＧＢの画素が存在せず、また、ＷＢゲインの算出時にラインの間引き読み出しを適宜変更しても、混色の影響を受けにくい間引き読み出し、混色の影響を受けやすい間引き読み出し等を行うことができない。【００１２】
一方、特許文献３に記載の３色ランダム配列としたカラー撮像素子の場合、１つのライン上にＲＧＢの画素が存在するが、ＲＧＢのフィルタがランダム配置されているため、ＷＢゲインの算出時にいずれのラインを間引き読み出ししても、同程度の混色の影響を受けた色信号が取得されることになり、混色の影響を低減させた精度の高いＷＢゲインを算出することができない。【００１３】
また、特許文献４に記載のカラーフィルタ配列は、水平、垂直方向のいずれのラインもＧフィルタが多く配置されているため、いずれのラインを間引き読み出ししてもＲＧＢの画素の個数の比率は不均等なものとなる。ＷＢゲインを求める際には、ＲＧＢの色信号毎の積算平均値を求めるが、平均する画素数が異なるため、特に高速化のために間引き率を高くすると、ＲＧＢの積算平均値の精度にバラツキが発生しやすく、ＷＢゲインを精度よく算出することができないという問題がある。【００１４】
本発明はこのような事情に鑑みてなされたもので、ノイズの影響及び隣接画素間の混色の影響を考慮した精度の高いホワイトバランスゲインを高速に算出することができ、精度の高いホワイトバランス補正を迅速に行うことができる撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記目的を達成するために本発明の一の態様に係る撮像装置は、撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、前記複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備えている。【００１６】
本発明の一の態様によれば、３原色のカラーフィルタの個数の比率がラインにより異なる特別なカラーフィルタ配列を有する撮像素子を使用し、３原色のカラーフィルタの個数の比率がより均等なラインの色信号に基づいてホワイトバランスゲインを算出するようにしている。これにより、ノイズ成分による３原色の検出精度（積算平均値）のバラツキが小さくなり、精度の高いホワイトバランスゲインを算出することができるようにしている。【００１７】
本発明の他の態様に係る撮像装置は、撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備えている。【００１８】
３原色のカラーフィルタの個数の比率が不均等なラインは、隣接画素から異なる色の光の漏れ込みによる混色が、均等なラインに比べて低い。そこで、混色が多くなる撮影条件下では、混色の少ないライン（３原色のカラーフィルタの個数の比率が不均等なライン）を選択する間引きパターンを決定し、その決定した間引きパターンにしたがって間引き読み出しした色信号に基づいてホワイトバランスゲインを算出し、混色の影響が低減された、精度の高いホワイトバランスゲインを算出するようにしている。【００１９】
一方、混色が少ない撮影条件下では、ノイズの影響の少ないライン（３原色のカラーフィルタの個数の比率がより均等なライン）を選択する間引きパターンを決定し、決定した間引きパターンにしたがって間引き読み出しした所定のラインの色信号に基づいてホワイトバランスゲインを算出するようにしている。【００２０】
混色が少ない撮影条件下では、３原色の色信号の個数の比率がより均等な方が、各色信号のノイズ成分による検出精度のバラツキが小さくなり、精度の高いホワイトバランスゲインを算出することができる。そこで、混色が少ない撮影条件下では、３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、その決定した間引きパターンにしたがって間引き読み出しした色信号に基づいて精度の高いホワイトバランスゲインを算出するようにしている。【００２１】
本発明の他の態様に係る撮像装置において、前記間引きパターン決定手段は、前記撮影光学系の撮影時のＦ値及びズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定することが好ましい。【００２２】
撮影光学系のＦ値が開放Ｆ値に近づく程、混色が多くなる。また、一般に撮像素子の各光電変換素子上には、集光用のマイクロレンズが配設されているが、これらのマイクロレンズは、光束の入射角補正のために撮像素子の中心からの距離に応じて光電変換素子に対してわずかにシフトして配設されている（スケーリングされている）。ズーム倍率によりマイクロレンズへの入射角が予め想定されている入射角から外れると、混色が多くなる。そこで、本発明の他の態様では、撮影時のＦ値及びズーム倍率の少なくとも一方に基づいて混色が多い撮影条件か否かを判別するようにしている。【００２３】
本発明の更に他の態様に係る撮像装置において、前記間引きパターン決定手段は、環境光の色温度を検出する色温度検出手段を含み、該色温度検出手段により検出された環境光の色温度に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定することが好ましい。環境光の色温度が、３原色の各色信号のレベルがほぼ等しくなるような中間色温度の場合、混色によるホワイトバランスゲインの算出精度への影響は少ないが、低色温度又は高色温度の場合、混色成分がホワイトバランスゲインの算出精度に大きく影響する。そこで、本発明の更に他の態様では、環境光の色温度に基づいて適切な間引パターンを選択するようにしている。【００２４】
本発明の更に他の態様に係る撮像装置において、前記間引きパターン決定手段は、混色が多い撮影条件かを判定し、混色が多い撮影条件下では前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、混色が少ない撮影条件下では前記３原色のカラーフィルタに対応する画素数の比率がより均等なラインを選択する間引きパターンを決定することが好ましい。【００２５】
本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段を備え、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定することが好ましい。【００２６】
撮影感度が低い場合、ノイズによる影響が小さいため、混色の少ないラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。一方、撮影感度が高い場合、ノイズによる影響が大きいため、各色信号の積算平均値を求める場合に、３原色のカラーフィルタの個数の比率がより均等なラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。そこで、本発明の更に他の態様では、撮影感度に基づいて間引きパターンを選択するようにしている。【００２７】
本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段を備え、前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定することが好ましい。【００２８】
撮影感度が低感度の場合には、ノイズ成分の影響が少ないため、間引き率を高くすることにより演算速度の高速化を図り、一方、撮影感度が高感度の場合には、間引き率を低くすることにより、演算速度の高速化よりもノイズ成分の影響を低減し、精度の高いホワイトバランスゲインを算出することを優先するようにしている。【００２９】
本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段と、演算速度を重視するか否かを判別する判別手段と、を備え、前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視する場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視しない場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定することが好ましい。【００３０】
撮影感度が高い場合でも、ホワイトバランスゲインの算出精度へのノイズの影響を少なくすることができれば、混色の少ないラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。そこで、本発明の更に他の態様では、撮影感度が高い場合でも、演算速度を重視しない場合には、間引き率が低く、かつ混色の少ないラインを間引き読み出しする間引きパターンを決定するようにしている。この場合、間引き率が低い間引きパターンを使用することにより、より多くの色信号の積算平均値を算出することになるため、ホワイトバランスゲインの算出精度へのノイズの影響を少なくすることができる。【００３１】
本発明の更に他の態様に係る撮像装置において、前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段を備え、前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出することが好ましい。色信号毎にオフセットの補正を行うことにより、ホワイトバランスゲインの算出精度を向上させることができる。【００３２】
本発明の更に他の態様に係る撮像装置において、前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、前記算出手段は、前記アンプを共有する各画素の該アンプに対する位置毎のオフセット値を算出する第１の算出手段と、前記間引きパターン決定手段により決定された間引きパターンにおける各画素の前記アンプに対する位置と、前記第１の算出手段により算出された前記アンプに対する位置毎のオフセット値とに基づいて色信号毎のオフセット値を算出する第２の算出手段と、を含んでいる。共有アンプを含む下地の素子構造により発生するオフセット成分の段差を考慮した、前記色信号毎のオフセット値を算出することができ、このオフセット値により各色信号の積算平均値を補正することにより、ホワイトバランスゲインの算出精度を向上させることができる。【００３３】
本発明の更に他の態様に係る撮像装置において、前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいことが好ましい。【００３４】
これによれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に１つ以上配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができ、また、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。更に、前記カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、ランダム配列に比べて後段の処理を簡略化することができる。
【００３５】
本発明の更に他の態様に係る撮像装置において、前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。【００３６】
上記カラーフィルタ配列は、輝度信号を得るために最も寄与するＧ信号に対応するＧフィルタを、水平、垂直、斜め右上、斜め右下方向の各ライン内に１つ以上配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができ、また、Ｒ信号、Ｂ信号に対応するＲ，Ｂフィルタについても水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。【００３７】
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に１ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含んでいる。この間引きパターンは、１／６間引きとなり、間引き率が最も高く、ホワイトバランスゲインの算出時の演算量が最も少なく高速化が可能である。【００３８】
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に２ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含んでいる。【００３９】
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に３ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が５：８：５のラインを読み出す間引きパターンとを含んでいる。【００４０】
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に４ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：２：１のラインを読み出す間引きパターンとを含んでいる。この間引きパターンは、４／６間引きとなり、間引き率が低く、ホワイトバランスゲインの算出時の演算量が多くなるが、ノイズの影響の少ないホワイトバランスゲインを算出することができる。【００４１】
本発明の更に他の態様に係る画像処理方法は、撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、前記撮像素子の複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含んでいる。【００４２】
本発明の更に他の態様に係る画像処理方法は、撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の複数のラインの各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定工程と、前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定工程により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含んでいる。
【発明の効果】
【００４３】
本発明によれば、３原色のカラーフィルタの個数の比率がラインにより異なる特別なカラーフィルタ配列を有する撮像素子を使用するが、前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するようにしたため、ノイズ成分の影響が少なく精度の高いホワイトバランスゲインを算出することができる。また、混色が多い撮影条件下では混色の少ないライン（３原色のカラーフィルタの個数の比率が不均等なライン）の色信号に基づいてホワイトバランスゲインを算出し、一方、混色が少ない撮影条件下ではノイズの影響が少ないライン（３原色のカラーフィルタの個数の比率がより均等なライン）の色信号に基づいてホワイトバランスゲインを算出するようにしたため、精度の高いホワイトバランスゲインを算出することができ、精度の高いホワイトバランス補正を迅速に行うことができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る撮像装置に適用される撮像素子の実施形態を示す図
【図２】本発明に係る撮像装置の実施形態を示すブロック図
【図３】１／６間引きする場合の２つの間引きパターンを示す図
【図４】２／６間引きする場合の３つの間引きパターンを示す図
【図５】３／６間引きする場合の３つの間引きパターンを示す図
【図６】４／６間引きする場合の３つの間引きパターンを示す図
【図７】図３から図６に示した１／６間引きから４／６間引きにおける間引き読み出するラインの組み合わせ（間引きパターン）と、各間引きパターンにおけるＲＧＢの画素数の比率をまとめた図表
【図８】図２に示したデジタル信号処理部の内部構成を示す要部ブロック図
【図９】ＷＢゲインの算出方法の第１の実施形態を示すフローチャート
【図１０】ＷＢゲインの算出方法の第２の実施形態を示すフローチャート
【図１１】色温度毎のＲＧＢの信号レベルの一例を示す図
【図１２】ＷＢゲインの算出方法の第３の実施形態を示すフローチャート
【図１３】ＷＢゲインの算出方法の第４の実施形態を示すフローチャート
【図１４】ＲＧＢの各色でオフセットに段差（黒レベル段差）が生じている場合を示す図
【図１５】２×２の４画素が１つのアンプを共有している撮像素子の一例を示す図
【図１６】共有アンプに対する画素の位置１〜４でオフセットに段差（黒レベル段差）が生じている場合を示す図
【図１７】基本配列パターンにおける各色の画素と、共有アンプに対する画素の位置１〜４との関係を示す図
【図１８】２／６間引きされるラインａ，ｄの各色の画素と共有アンプに対する画素の位置１〜４との関係を示す図
【図１９】本発明に係る撮像装置に適用される撮像素子の他の実施形態を示す図
【図２０】本発明に係る撮像装置に適用される撮像素子の更に他の実施形態を示す図
【発明を実施するための形態】
【００４５】
以下、添付図面にしたがって本発明に係る撮像装置及び画像処理方法の好ましい実施の形態について詳説する。
【００４６】
［撮像素子］
図１は本発明に係る撮像装置に適用される撮像素子の実施形態を示す図であり、特に撮像素子１の受光面上に配置されている新規のカラーフィルタ配列に関して示している。
【００４７】
この撮像素子１のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子１から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
【００４８】
図１に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向の各ライン内に配置されている。
【００４９】
輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向のライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
【００５０】
また、このカラーフィルタ配列は、上記Ｇの色以外のＲ，Ｂの色に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【００５１】
Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
【００５２】
図１に示した６×６画素の基本配列パターンを３×３画素に４分割すると、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっている。
【００５３】
Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【００５４】
また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
【００５５】
［撮像装置］
図２は本発明に係る撮像装置の実施形態を示すブロック図である。
【００５６】
この撮像装置１０は、図１に示した撮像素子１が配設され、静止画や動画の撮影が可能なデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００５７】
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示用の液晶モニタ３０の表示制御などを行う。
【００５８】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、撮影モード、人物、風景、夜景等のシーンポジション、動画モード等を選択する選択手段である。
【００５９】
再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００６０】
撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して撮像素子１の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、Ｆ値としてＦ1.4〜Ｆ11まで１ＡＶ刻みで７段階に絞り制御される。
【００６１】
また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介して撮像素子１での電荷蓄積時間（シャッタ速度）や、撮像素子１からの画像信号の読み出し制御等を行う。
【００６２】
撮像素子１に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００６３】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ＹＣ処理（画像データの輝度データ及び色差データの生成処理）、シャープネス補正等の所定の信号処理を行う。
【００６４】
図２において、４６は、カメラ制御プログラム、画像処理等に使用する各種のパラメータやテーブル等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。
【００６５】
また、デジタル信号処理部２４は、ホワイトバランス補正に使用するホワイトバランスゲイン（以下「ＷＢゲイン」という）等を算出する処理部を含むが、ＷＢゲイン算出の詳細については後述する。
【００６６】
デジタル信号処理部２４で処理された画像データはＶＲＡＭ５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている画像表示用の液晶モニタ３０に出力され、これにより被写体像（ライブビュー画像）が液晶モニタ３０の表示画面上に表示される。
【００６７】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像素子１は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００６８】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り値（Ｆ値）及び撮像素子１の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。
【００６９】
ここで、プログラム線図とは、被写体の明るさに対応して、Ｆ値とシャッタ速度の組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものであり、プログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。
【００７０】
ＣＰＵ４０は、上記プログラム線図にしたがって決定したＦ値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部３２を介して撮像素子１での電荷蓄積時間を制御する。
【００７１】
ＡＦ処理部４２は、コントラストＡＦ処理を行う部分であり、例えば、画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００７２】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
【００７３】
メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出される。デジタル信号処理部２４は、読み出したデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行い、ＹＣ処理したＹＣデータを、再びメモリ４８に記憶させる。
【００７４】
メモリ４８に記憶されたＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ここでJPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、Exifファイルが生成され、メディア・コントローラ５２を介してメモリカード５４に記録される。
【００７５】
［間引きパターン］
オートホワイトバランス（ＡＷＢ）補正などに用いるＲＧＢの各色信号は、速度を重視するため（演算量を少なくするため）、撮像素子１から得られる各ラインのうち、所定の間引きパターンにしたがって間引き読み出ししたラインの色信号を使用する。
【００７６】
以下、撮像素子１から得られるモザイク画像の各ラインに対し、間引き読み出しするラインに対応する複数の間引きパターンについて説明する。
【００７７】
＜１／６間引き＞
図１に示したように６×６画素の基本配列パターンが水平方向及び垂直方向に繰り返し配置されているカラーフィルタ配列の場合、６種類のラインａ〜ｆの繰り返しになる。
【００７８】
これらのラインａ〜ｆのうち、ラインａとラインｃ、ラインｄとラインｆは同じフィルタ配列となっており、ラインａ、ｃと、ラインｄ、ｆとは、位相が３画素分ずれているが、同じフィルタ配列になっている。また、ラインｂとラインｅは、位相が３画素分ずれているが、同じフィルタ配列になっている。
【００７９】
図３に示すように、６ライン毎に１ラインを間引き読み出し（１／６間引き）する場合、ラインａ，ｃ，ｄ，ｆからいずれか１つのラインを読み出す間引きパターンＰ１１（図３の（ａ）部分）と、ラインｂ，ｅからいずれか１つのラインを読み出す間引きパターンＰ１２（図３の（ｂ）部分）とがある。
【００８０】
間引きパターンＰ１１と間引きパターンＰ１２とは、ＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ１１の場合には、Ｒ：Ｇ：Ｂ＝１：４：１となり、間引きパターンＰ１２の場合には、Ｒ：Ｇ：Ｂ＝２：２：２＝１：１：１となる。
【００８１】
即ち、間引きパターンＰ１１の場合には、ＲＧＢの個数の比率が不均等であり、Ｇの比率がＲＢに比べて高く（４倍）、一方、間引きパターンＰ１２の場合には、間引きパターンＰ１１に対しＲ、Ｂの比率が高くＲＧＢの個数の比率が均等になっている。
【００８２】
ＷＢゲインを求める際には、まず、ＲＧＢの各色信号（ＲＧＢの色毎の画素の画素値）の平均値を求めるが、平均する画素数が多い程、精度の高い平均値を求めることができる。
【００８３】
撮影時の環境光の色温度が低色温度の場合、色毎の平均値は、Ｒ＞Ｇ＞Ｂの関係になり、高色温度の場合、色毎の平均値は、Ｒ＜Ｇ＜Ｂの関係になる。このように出力が小さい色が含まれる色温度（低色温度、又は高色温度）の場合、Ｂ画素，又はＲ画素の精度が低くなるため、平均する画素数を増やすことが好ましい。
【００８４】
即ち、出力が小さい色が含まれる色温度の場合、ＲＢ画素の個数が少ない間引きパターンＰ１１よりも、ＲＢ画素の個数が多い（ＲＧＢの画素が均等な）間引きパターンＰ１２の方が好ましい。
【００８５】
一方、間引きパターンＰ１２の場合、Ｇ画素は左右方向にＲ画素、又はＢ画素が隣接しており（Ｒ画素、又はＢ画素に挟まっており）、隣接画素からの光の漏れ込み（混色）の影響を受けやすく、間引きパターンＰ１１の場合、隣接画素から異なる色の光の漏れ込みによる混色が、間引きパターンＰ１２よりも少なく、混色の影響を受けにくい。したがって、混色が発生しやすい撮影条件では、間引きパターンＰ１１の方が好ましい。
【００８６】
本発明では、ＲＧＢの個数の比率が異なる複数の間引きパターンＰ１１、Ｐ１２から撮影条件に応じて最適な間引きパターンを決定し、その決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しし、ＲＧＢの色毎の平均値を求め、求めた平均値に基づいてＷＢゲインを算出するようにしている。尚、間引きパターンの選択、及びＷＢゲインの算出の詳細については後述する。
【００８７】
＜２／６間引き＞
図４は、６ライン毎に２ラインを間引き読み出し（２／６間引き）する場合の３つの間引きパターンＰ２１、Ｐ２２、Ｐ２３に関して示している。
【００８８】
図４の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆから２ラインを読み出す間引きパターンＰ２１を示し、図４の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから１ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ２２を示し、図４の（ｃ）部分は、ラインｂ、ｅの２ラインを読み出す間引きパターンＰ２３を示している。
【００８９】
上記３つの間引きパターンＰ２１、Ｐ２２，Ｐ２３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ２１の場合には、Ｒ：Ｇ：Ｂ＝２：８：２＝１：４：１となり、間引きパターンＰ２２の場合には、Ｒ：Ｇ：Ｂ＝３：６：３＝１：２：１となり、間引きパターンＰ２３の場合には、Ｒ：Ｇ：Ｂ＝４：４：４＝１：１：１となる。
【００９０】
＜３／６間引き＞
図５は、６ライン毎に３ラインを間引き読み出し（３／６間引き）する場合の３つの間引きパターンＰ３１、Ｐ３２、Ｐ３３に関して示している。
【００９１】
図５の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆから３ラインを読み出す間引きパターンＰ３１を示し、図５の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから２ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ２１を示し、図５の（ｃ）部分は、ラインａ，ｃ，ｄ，ｆから１ライン，ラインｂ、ｅの２ラインを読み出す間引きパターンＰ３３を示している。
【００９２】
上記３つの間引きパターンＰ３１、Ｐ３２，Ｐ３３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ３１の場合には、Ｒ：Ｇ：Ｂ＝３：１２：３＝１：４：１となり、間引きパターンＰ３２の場合には、Ｒ：Ｇ：Ｂ＝４：１０：４＝２：５：２となり、間引きパターンＰ３３の場合には、Ｒ：Ｇ：Ｂ＝５：８：５となる。
【００９３】
＜４／６間引き＞
図６は、６ライン毎に４ラインを間引き読み出し（４／６間引き）する場合の３つの間引きパターンＰ４１、Ｐ４２、Ｐ４３に関して示している。
【００９４】
図６の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆの４ラインを読み出す間引きパターンＰ４１を示し、図６の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから３ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ４２を示し、図６の（ｃ）部分は、ラインａ，ｃ，ｄ，ｆから２ライン，ラインｂ、ｅの２ラインを読み出す間引きパターンＰ４３を示している。
【００９５】
上記３つの間引きパターンＰ４１、Ｐ４２，Ｐ４３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ４１の場合には、Ｒ：Ｇ：Ｂ＝４：１６：４＝１：４：１となり、間引きパターンＰ４２の場合には、Ｒ：Ｇ：Ｂ＝５：１４：５となり、間引きパターンＰ４３の場合には、Ｒ：Ｇ：Ｂ＝６：１２：６＝１：２：１となる。
【００９６】
図７は、上記図３から図６に示した１／６間引きから４／６間引きにおける間引き読み出するラインの組み合わせ（間引きパターン）と、各間引きパターンにおけるＲＧＢの画素数の比率をまとめた図表である。
【００９７】
上記１／６間引きから４／６間引きのうち、１／６間引きは最も間引き率が高く（読み出すライン数が少なく）、計算量も少なくなるが、ノイズに対して精度が低くなり、４／６間引きは最も間引き率が低く（読み出すライン数が多く）、計算量も多くなるが、ノイズに対して精度が高くなる。
【００９８】
［デジタル信号処理］
図８は図２に示したデジタル信号処理部２４の内部構成を示す要部ブロック図である。
【００９９】
図８に示すように、デジタル信号処理部２４は、主として混色補正部２４１、ホワイトバランス補正部２４２、及び信号処理部２４３からなる第１の信号処理系統と、間引きパターン決定部２４４、間引き読出部２４５、ＲＧＢ積算部２４６、及びＷＢゲイン算出部２４７からなる第２の信号処理系統とから構成されている。
【０１００】
前述したように撮影時に撮像素子１から出力されたカラーフィルタ配列のままのＲＡＷデータ（モザイク画像）は、一旦メモリ４８に格納されるが、デジタル信号処理部２４は、メモリ４８からモザイク画像を読み出し、表示用及び記録用の画像を生成する。
【０１０１】
デジタル信号処理部２４の前記第１の信号処理系統及び第２の信号処理系統は、それぞれメモリ４８からモザイク画像（ＲＧＢの色信号）を適宜読み出し、高速化のために並列処理を行っている。
【０１０２】
混色補正部２４１は、隣接画素からの光の漏れ込み（混色）の影響を低減させる処理を行う部分であり、隣接画素からの漏れ込みの割合に応じてＲＧＢの色信号の信号成分を減算して混色を低減させる。隣接画素からの漏れ込みの割合は、各画素への光束の入射角等により変化するため、予め光束の入射角を変化させながら複数の入射角で混色の割合を測定し、その測定した混色の割合（補正パラメータ）を使用する必要がある。
【０１０３】
混色補正部２４１により混色補正されたＲＧＢの色信号は、ホワイトバランス補正部２４２に加えられる。ホワイトバランス補正部２４２の他の入力には、ＷＢゲイン算出部２４７からＲＧＢ毎のＷＢゲインが加えられており、ホワイトバランス補正部２４２は、ＲＧＢの色信号とＲＧＢ毎のＷＢゲインとを乗算することによりホワイトバランス補正を行う。
【０１０４】
ホワイトバランス補正されたＲＧＢの色信号は、信号処理部２４３に加えられ、ここで、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の他の信号処理が行われる。ＹＣ処理したＹＣデータは、再びメモリ４８に記憶される。メモリ４８に記憶されたＹＣデータは、ビデオ・エンコーダ２８により液晶モニタ３０での画像表示用の信号に変換され、ポストビュー画像として液晶モニタ３０に表示され、また、圧縮伸長処理部２６により所定の圧縮処理が実行されたのち、Exifファイルが生成され、メディア・コントローラ５２を介してメモリカード５４に記録される。
【０１０５】
一方、第２の信号処理系統側の間引きパターン決定部２４４は、図３から図６に示した複数の間引きパターンの中から撮影条件等に基づいて１つの間引きパターンを決定する。例えば、混色が多くなる撮影条件下では、ラインａ，ｃ，ｄ，ｆが主として選択される間引きパターンを決定し、混色が少ない撮影条件下では、ラインｂ，ｅが主として選択される間引きパターンを決定する。尚、間引きパターン決定部２４４の動作の詳細については後述する。
【０１０６】
間引き読出部２４５は、メモリ４８に記憶されたＲＡＷデータ（モザイク画像）のうち、間引きパターン決定部２４４により決定された間引きパターンにしたがって所定のラインの色信号を間引いて読み出し、読み出したＲＧＢの各色信号をＲＧＢ積算部２４６に出力する。
【０１０７】
ＲＧＢ積算部２４６は、１画面を８×８又は１６×１６に分割した分割エリア毎に、ＲＧＢの色信号毎の積算平均値を算出し、ＲＧＢ毎の積算平均値の比（Ｒ／Ｇ，Ｂ／Ｇ）からなる色情報を算出する。例えば、１画面を１６×１６の２５６の分割エリアに分割する場合には、２５６個の色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
【０１０８】
ＷＢゲイン算出部２４７は、ＲＧＢ積算部２４６から入力する分割エリア毎の色情報（Ｒ／Ｇ，Ｂ／Ｇ）に基づいてＷＢゲインを算出する。具体的には、２５６個の分割エリア毎の色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。尚、色温度の替わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし（特開２００７−５３４９９参照）、また、推定した光源種から色温度を推定してもよい。
【０１０９】
ＷＢゲイン算出部２４７には、予め環境光の色温度又は光源種に対応して、適正なホワイトバランス補正を行うためのＲＧＢ毎、又はＲＢ毎のＷＢゲインが用意されており、ＷＢゲイン算出部２４７は、前記推定した環境光の色温度又は光源種に基づいて対応するＲＧＢ毎、又はＲＢ毎のＷＢゲインを読み出し、この読み出したＷＢゲインをホワイトバランス補正部２４２に出力する。
【０１１０】
上記のように第１の信号処理系統によるモザイク画像の信号処理と並行して、第２の信号処理系統によりＷＢゲインの算出を行うようにしたため、信号処理の高速化を図ることができ、特にオリジナル画像の全画素のデータを使用せずに間引き読出したラインの色信号に基づいてＷＢゲインを算出するため、ＷＢゲインを高速に算出することができる。これにより、撮影した画像を確認するためのポストビュー画像を早く見ることができる。
【０１１１】
また、第２の信号処理系統側では、計算量が多くなる混色補正を行っていないが、混色が発生しやすい撮影条件下では、混色の影響を受けにくいラインの色信号を間引き読み出しするため、精度の高いＷＢゲインを算出することができる。
【０１１２】
［ＷＢゲイン算出の実施形態］
＜第１の実施形態＞
図９はＷＢゲインの算出方法の第１の実施形態を示すフローチャートである。
【０１１３】
図９において、まず、シャッタボタンの第２段階の押下（全押し）があると、静止画の本撮影が行われ、その本撮影により撮像素子１から取得されるＲＡＷデータがメモリ４８に格納される（ステップＳ１０）。
【０１１４】
続いて、本撮影時の撮影光学系１２（ズームレンズ）のズームポジション及びレンズＦ値を取得し、取得したズームポジション及びレンズＦ値に対応する閾値を選択する（ステップＳ１２）。
【０１１５】
即ち、レンズＦ値が開放Ｆ値に近づくほど程、混色が多くなるため、Ｆ値に基づいて混色が発生しやすいか否かを判別するための閾値を設定する。また、ズームレンズのズームポジション（ズーム倍率）により撮像素子上のマイクロレンズへの入射角が変化（隣接画素からの光の漏れ込みが変化）し、混色量が異なるため、ズームポジションによって前記閾値を変えるようにしている。具体的には、Ｆ値とズームポジションをパラメータとする閾値のテーブルを予め準備しておき、本撮影時のＦ値とズームポジションから対応する閾値をテーブルから読み出す。
【０１１６】
次に、本撮影時のＦ値が前記選択された閾値以下か否かを判別する（ステップＳ１４）。本撮影時のＦ値が閾値以下の場合（「Yes」の場合）、混色が発生しやすいと判断し、混色の影響の少ない（ＲＢの画素の少ない）ラインの間引き読出しに対応する間引きパターンを決定する。そして、決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しする（ステップＳ１６）。例えば、１／６間引きの場合には、図４の（ａ）部分に示した間引きパターンＰ１１を決定し、その選択した間引きパターンＰ１１に対応するラインの色信号を読み出す。
【０１１７】
一方、本撮影時のＦ値が閾値を越える場合（「No」の場合）、混色の影響が少ないと判断し、混色の影響の少ないラインに比べてＲＢの画素が多いラインの間引き読出しに対応する間引きパターンを決定する。そして、決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しする（ステップＳ１８）。例えば、１／６間引きの場合には、図４の（ｂ）部分に示した間引きパターンＰ１２を決定し、その選択した間引きパターンＰ１２に対応するラインの色信号を読み出す。
【０１１８】
上記ステップＳ１６、又はＳ１８により読み出したＲＧＢの色信号からＲＧＢ毎の積算平均値を算出し、その積算平均値に基づいてＷＢゲインを算出する（ステップＳ２０）。
【０１１９】
上記のように混色が発生しやすい撮影条件下では、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、混色の影響が少ない撮影条件下では、混色の影響の少ないラインに比べてＲＢの画素が多いライン（ＲＧＢの画素の比がより均等なライン）の色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
【０１２０】
尚、この第１の実施形態では、本撮影時のズームポジションとＦ値に基づいて閾値を選択し、混色が多くなる撮影条件か否かを判別するようにしたが、これに限らず、ズームポジション、又はＦ値のいずれか一方に基づいて混色が多い撮影条件か否かを判別し、その判別結果に基づいて間引きパターンを決定するようにしてもよい。
【０１２１】
＜第２の実施形態＞
図１０はＷＢゲインの算出方法の第２の実施形態を示すフローチャートである。尚、図９に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【０１２２】
図１０に示すように、本撮影前に環境光の色温度を算出する（ステップＳ３０）。例えば、ライブビュー画像の画像データ、又はシャッタボタンの半押し時に取得した画像データのＲＧＢの色信号に基づいて色毎の積算平均値を算出し、算出した色毎の積算平均値から環境光の色温度を算出する。
【０１２３】
そして、本撮影後、ステップＳ３０で算出した色温度が、予め設定された中間色温度の範囲外か否かを判別する（ステップＳ３２）。
【０１２４】
低色温度時のＲＧＢの色毎の積算平均値は、図１１の（ａ）部分に示すように、Ｒ＞Ｇ＞Ｂの関係になり、高色温度時のＲＧＢの色毎の積算平均値は、図１１の（ｃ）部分に示すように、Ｒ＜Ｇ＜Ｂの関係になる。
【０１２５】
このように出力が小さい色が含まれる色温度（低色温度、又は高色温度）の場合、出力が小さい画素（Ｂ画素，又はＲ画素）は、隣接画素からの光の漏れ込みの影響を受けやすく、ＷＢゲインの算出精度が悪くなりやすい。
【０１２６】
そこで、ステップＳ３２では、ステップＳ３０で算出した色温度が、ＲＧＢの色毎の積算平均値がほぼ均等になる所定の中間色温度（図１１の（ｂ）部分）の範囲外となる色温度の場合（「Yes」の場合）には、混色が発生しやすいと判断し、ステップＳ１６に遷移させ、中間色温度範囲内（「No」の場合）には、混色の影響が少ないと判断し、ＲＢの画素が多いラインの間引き読出しを行うステップＳ１８に遷移させる。
【０１２７】
上記のように混色が発生しやすい色温度の場合には、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、混色の影響が少ない色温度の場合には、ＲＢの画素が多いラインの色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
【０１２８】
＜第３の実施形態＞
図１２はＷＢゲインの算出方法の第３の実施形態を示すフローチャートである。尚、図９に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【０１２９】
ＣＰＵ４０は、シャッタボタンの半押し時にＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいてＦ値、シャッタ速度、及び撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件を決定し、本撮影時に前記決定した露出条件にしたがって露出制御を行う。
【０１３０】
被写体の明るさが明るい場合には、撮影感度を低く設定し、Ｆ値及びシャッタ速度により露出制御するが、被写体の明るさが暗く、Ｆ値及びシャッタ速度のみでは充分な信号量が得られない場合には、撮影感度（ゲイン）を上げるようにする。したがって、撮影感度が高い場合には、ノイズも増幅されノイズが大きくなる欠点がある。
【０１３１】
図１２において、本撮影時の撮影感度が所定の閾値以下か否か（即ち、ノイズの少ない画像か否か）を判別する（ステップＳ４０）。撮影感度が所定の閾値以下の場合（「Yes」の場合）には、ノイズの少ない画像であるため、混色の影響を受けにくいラインの間引き読み出しを優先し、ステップＳ１６に遷移させる。一方、撮影感度が所定の閾値を越える場合（「No」の場合）には、ノイズの多い画像であるため、ノイズの影響を受けにくいＲＢ画素の多いラインの間引き読み出しを優先し、ステップＳ１８に遷移させる。
【０１３２】
上記のようにノイズの少ない画像の場合には、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、ノイズの多い画像の場合には、ＲＢの画素が多いラインの色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
【０１３３】
＜第４の実施形態＞
図１３はＷＢゲインの算出方法の第４の実施形態を示すフローチャートであり、図１２に示した第３の実施形態の変形例を示している。尚、図１２に示した第３の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【０１３４】
図１３に示す第４の実施形態は、撮影感度が所定の閾値を越えている（ステップＳ４０の「No」）と判別された後の処理が、第３の実施形態と相違している。
【０１３５】
即ち、ステップＳ４０において、撮影感度が所定の閾値を越えていると判別されると（（「No」の場合）、続いて、演算速度を重視するか否かを判別する（ステップＳ５０）。
【０１３６】
例えば、撮影モードとして連写モードが設定され、連写される各画像を高速で処理する必要がある場合には、演算速度を重視すると判別する。
【０１３７】
ステップＳ５０で速度を重視すると判別されると（「Yes」の場合）、ステップＳ５２に遷移させる。ステップＳ５２では、ＲＢ画素の多いラインの色信号を間引き読み出しする間引きパターンを決定するが、速度を重視するため、間引き率の高い間引きパターンを決定する。例えば、図４の（ａ）部分に示したように、１／６間引きの間引きパターンＰ１１を決定する。
【０１３８】
一方、ステップＳ５０で速度を重視しないと判別されると（「No」の場合）、ステップＳ５４に遷移させる。ステップＳ５４では、間引き率の低い間引きパターンであって、混色の影響の少ないラインの間引き読出しに対応する間引きパターンを決定する。例えば、図６の（ｃ）部分に示す４／６間引きの間引きパターンＰ４３を決定する。この場合、Ｇ画素の画素に比べてＲＢ画素の画素数の比率が小さいが、間引き率が低いため、ＲＢ画素の画素数も十分に多くなり、ＲＢの画素にノイズが多く含まれていても精度の高い積算平均値を求めることができる。
【０１３９】
［色情報算出の実施形態］
＜第１の実施形態＞
撮像素子１から出力されるＲＧＢの色信号には、入射光の強度に対応する信号成分の他に、暗電流等に起因するオフセット成分が重畳されており、高感度や高温時、長時間露光時には、画素の暗電流成分によりオフセット成分に段差が生じやすい。
【０１４０】
図１４は、ＲＧＢの各色でオフセットに段差（黒レベル段差）が生じている場合に関して示している。
【０１４１】
そこで、このオフセット段差を考慮して色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出することで、精度の高いＷＢゲインを算出するようにしている。
【０１４２】
即ち、図８に示したＲＧＢ積算部２４６は、ＲＧＢの色毎にオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出する。これらオフセット値Ｒoffset,Ｇoffset,Ｂoffsetの算出は、撮像素子１の周辺部の遮光領域（オプティカルブラック部：ＯＢ部）の信号であって、ＲＧＢに対応する画素毎の信号を積算し、その平均値を求めることにより算出する。
【０１４３】
続いて、間引き読出部２４５から間引き読み出しされたＲＧＢの色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataを算出し、前記算出したオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを使用して、次式により、オフセット補正した色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
【０１４４】
［数１］
Ｒ／Ｇ＝（Ｒdata−Ｒoffset）／（Ｇdata−Ｇoffset）
Ｂ／Ｇ＝（Ｂdata−Ｂoffset）／（Ｇdata−Ｇoffset）
このように色毎にオフセット補正することにより、精度の高い色情報を算出することができ、その結果、精度の高いＷＢゲインを算出することができる。
【０１４５】
＜第２の実施形態＞
ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型の撮像素子には、ＣＭＯＳの下地に画素共有アンプが埋め込まれ、図１５に示すように２×２の４画素が１つのアンプを共有しているものがある。このような撮像素子の素子構造により、共有アンプに対する画素の位置１〜４（アンプに対して左上、右上、左下、右下の位置）により出力レベルに差が生じる。
【０１４６】
図１６は、共有アンプに対する画素の位置１〜４でオフセットに段差（黒レベル段差）が生じている場合に関して示している。
【０１４７】
そこで、このオフセット段差を考慮して色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出することで、精度の高いＷＢゲインを算出するようにしている。
【０１４８】
即ち、図８に示したＲＧＢ積算部２４６は、共有アンプに対する画素の位置１〜４毎にオフセット値Off1,Off2,Off3,Off4を算出する。これらのオフセット値Off1,Off2,Off3,Off4の算出は、撮像素子１のＯＢ部の信号を、共有アンプに対する画素の位置１〜４毎に積算し、その平均値を求めることにより算出する。
【０１４９】
続いて、間引き読出部２４５から間引き読み出しされたＲＧＢの色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataを算出し、前記算出したオフセット値Off1,Off2,Off3,Off4を使用して、色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataのオフセット補正を行う。
【０１５０】
いま、基本配列パターンにおける各色の画素と、共有アンプに対する画素の位置１〜４とが、図１７に示す関係になっている場合において、２／６間引きによりラインａ，ｄを間引き読み出すると、ラインａ，ｄの各色の画素と共有アンプに対する画素の位置１〜４とは、図１８に示す関係になる。
【０１５１】
即ち、基本配列パターン内のラインａ，ｄにおけるＲＧＢの共有アンプに対する画素の位置１〜４は、Ｒ画素は、位置１、４にそれぞれ１画素ずつ存在し、Ｇ画素は、位置１〜４にそれぞれ２画素ずつ存在し、Ｂ画素は、位置２、３にそれぞれ１画素ずつ存在している。
【０１５２】
したがって、間引きラインａ，ｄにおけるＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetは、共有アンプに対する画素の位置１〜４毎のオフセット値Off1,Off2,Off3,Off4に基づいて、次式により算出することができる。
【０１５３】
［数２］
Ｒoffset＝(Off1＋Off4）／２
Ｇoffset＝(Off1＋Off2＋Off3＋Off4）／４
Ｂoffset＝(Off2＋Off3）／２
上記［数２］式により算出したＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを使用して、前記［数１］式により、オフセット補正した色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
【０１５４】
このように共有アンプに対する画素の位置１〜４毎のオフセット値Off1,Off2,Off3,Off4に基づいてＲＧＢの色毎にオフセット値を算出し、算出したオフセット値によりＲＧＢ毎の積算平均値を補正することにより、精度の高い色情報を算出することができ、その結果、精度の高いＷＢゲインを算出することができる。
【０１５５】
尚、上記［数２］式は、間引きラインａ，ｄにおけるＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出するための計算式であるが、オフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出する計算式は、間引き読み出しする１又は複数ラインの組み合わせにより異なる。したがって、間引きパターン決定部２４４により決定される間引きパターン（図３〜図６参照）に応じて、ＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出するための計算式を準備しておく必要がある。
【０１５６】
［その他］
図１９及び２０はそれぞれ本発明に係る撮像装置に適用される撮像素子の他の実施形態を示す図である。
【０１５７】
図１９に示す実施形態の撮像素子のカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
【０１５８】
このカラーフィルタ配列は、図１に示した実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１５９】
また、ＧフィルタがＲ，Ｂフィルタよりも多く、かつラインによりＲＧＢのカラーフィルタの個数の比率が異なり、Ｒ：Ｇ：Ｂ＝２：３：２のラインと、Ｒ：Ｇ：Ｂ＝２：４：１、又はＲ：Ｇ：Ｂ＝１：４：２のラインがある。
【０１６０】
図２０に示す実施形態の撮像素子のカラーフィルタ配列は、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
【０１６１】
このカラーフィルタ配列は、図１に示した実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１６２】
また、ＧフィルタがＲ，Ｂフィルタよりも多く、かつラインによりＲＧＢのカラーフィルタの個数の比率が異なり、Ｒ：Ｇ：Ｂ＝３：２：３のラインと、Ｒ：Ｇ：Ｂ＝１：６：１のラインがある。
【０１６３】
図１９及び図２０に示すカラーフィルタ配列は、図１に示した６×６画素の基本配列パターンと同様、輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向のライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。また、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
【０１６４】
このように本発明は、図１に示した６×６画素の基本配列パターンを有する撮像素子に限らず、他のカラーフィルタ配列を有する撮像素子にも適用でき、要は各ラインに３原色のカラーフィルタが配列され、かつ３原色のカラーフィルタの個数の比率がラインにより異なるカラーフィルタ配列を有する撮像素子であれば、いかなる撮像素子にも適用できる。
【０１６５】
また、撮像素子のカラーフィルタ配列はＲＧＢの３原色に限らず、黄色やエメラルドを含んでいてもよい。
【０１６６】
更に、この実施形態では、１画面を複数のエリアに分割した分割エリア毎に色情報（Ｒ／Ｇ，Ｂ／Ｇ）を取得し、複数の分割エリアの色情報に基づいてＷＢゲインを算出するようにしたが、ＷＢゲインの算出方法は、この実施形態に限定されず、３原色の色信号に基づいてＷＢゲインを算出する方法であれば、いかなる方法でもよい。
【０１６７】
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１６８】
１…撮像素子、１０…撮像装置、１２…撮影光学系、１４…絞り、２４…デジタル信号処理部、３０…液晶モニタ、３８…操作部、４０…中央処理装置（ＣＰＵ）、４６…ＲＯＭ、４８…メモリ、５４…メモリカード、２４２…ホワイトバランス補正部、２４４…間引きパターン決定部、２４５…間引き読出部、２４６…ＲＧＢ積算部、２４７…ＷＢゲイン算出部
【図１】
0005603506.tif 000002
【図２】
0005603506.tif 000003
【図３】
0005603506.tif 000004
【図４】
0005603506.tif 000005
【図５】
0005603506.tif 000006
【図６】
0005603506.tif 000007
【図７】
0005603506.tif 000008
【図８】
0005603506.tif 000009
【図９】
0005603506.tif 000010
【図１０】
0005603506.tif 000011
【図１１】
0005603506.tif 000012
【図１２】
0005603506.tif 000013
【図１３】
0005603506.tif 000014
【図１４】
0005603506.tif 000015
【図１５】
0005603506.tif 000016
【図１６】
0005603506.tif 000017
【図１７】
0005603506.tif 000018
【図１８】
0005603506.tif 000019
【図１９】
0005603506.tif 000020
【図２０】
0005603506.tif 000021