(57)【特許請求の範囲】
【請求項１】
撮像画像を複数のブロックに分割するブロック分割部と、
前記ブロック毎に画素値の統計をとることでブロック統計値を算出する統計値算出部と、
複数の光源にそれぞれ対応する複数のシェーディング推定係数を含む第１のシェーディング推定係数群を記憶する推定係数群記憶部と、
前記統計値算出部によって算出された前記ブロック統計値と、前記推定係数群記憶部によって記憶された前記第１のシェーディング推定係数群とに基づいてシェーディングを推定するシェーディング推定部と、
を備え、
前記シェーディング推定部は、前記撮像画像の画像平坦度、被写体明度、被写体色温度の少なくとも１つに応じて、前記記憶された第１のシェーディング推定係数群の中から前記撮像画像に適切な少なくとも１つのシェーディング推定係数を含む第２のシェーディング推定係数群を選択し、
前記選択された第２のシェーディング推定係数群に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するシェーディング補正部を更に備える画像処理装置。
【請求項２】
前記シェーディング推定部は、前記撮像画像の周辺部から中央部に連続する前記ブロックの画素値差分を積算することによって、前記画像平坦度を求める、
請求項１に記載の画像処理装置。
【請求項３】
前記シェーディング推定部は、前記画像平坦度に基づいて前記撮像画像が平坦ではないと判定した場合、前記第１のシェーディング推定係数群の中から前記第２のシェーディング推定係数群を選択する、
請求項１または２に記載の画像処理装置。
【請求項４】
前記シェーディング推定部は、
前記画像平坦度に基づいて前記撮像画像が平坦であると判定した場合、前記被写体色温度に基づいて、前記第１のシェーディング推定係数群の中から前記第２のシェーディング推定係数群を選択し、
前記画像平坦度に基づいて前記撮像画像が平坦ではないと判定した場合、前記被写体明度に基づいて、前記第１のシェーディング推定係数群の中から前記第２のシェーディング推定係数群を選択する、
請求項１または２に記載の画像処理装置。
【請求項５】
前記シェーディング推定部は、前記被写体明度に基づいて前記撮像画像が屋内の画像であると判定した場合、前記被写体色温度に基づいて、前記第１のシェーディング推定係数群の中から前記第２のシェーディング推定係数群を選択する、
請求項１または２に記載の画像処理装置。
【請求項６】
撮像画像を複数のブロックに分割するブロック分割部と、
前記ブロック毎に色別の画素値の統計をとることで第１のブロック統計値を算出する統計値算出部と、
補正強度の異なる複数のシェーディング推定係数を記憶する推定係数記憶部と、
前記算出された第１のブロック統計値を評価するブロック色評価値を算出するブロック色評価値算出部と、
前記算出されたブロック色評価値のヒストグラムに基づいてシェーディング推定のための評価対象ブロックを選択するブロック評価値算出部と、
前記選択された評価対象ブロックに基づいて、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択するシェーディング推定係数選択部と、
前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するシェーディング補正部と、
を備える画像処理装置。
【請求項７】
前記ブロック色評価値算出部は、前記第１のブロック統計値に、最も補正強度が弱いシェーディング推定係数の係数値と正規化ゲインとを乗算して第２のブロック統計値とし、前記第２のブロック統計値に基づいて前記ブロック色評価値を算出する、
請求項６に記載の画像処理装置。
【請求項８】
前記ブロック色評価値算出部は、全ブロック分のＲＧＢ画素値を積算し、前記積算したＧ画素値を前記積算したＲ画素値で割った値をＲの前記正規化ゲインとし、また、前記積算したＧ画素値を前記積算したＢ画素値で割った値をＢの前記正規化ゲインとする、
請求項７に記載の画像処理装置。
【請求項９】
前記ブロック色評価値算出部は、前記第２のブロック統計値のＲの比率、Ｇの比率、Ｂの比率のうち少なくとも１つに基づいて前記ブロック色評価値を求める、
請求項７または８に記載の画像処理装置。
【請求項１０】
前記Ｒの比率は、全ＲＧＢに対するＲの比率、または、全ＲＧＢに対するＲの比率の３倍である、
請求項９に記載の画像処理装置。
【請求項１１】
前記ブロック評価値算出部は、前記ヒストグラムの最頻値の近傍のビンに分類されたブロックを前記評価対象ブロックとする、
請求項６乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記ブロック評価値算出部は、Ｒ画素値、Ｇ画素値、Ｂ画素値のいずれかの値が、予め設定した範囲外のブロックを、前記評価対象ブロックから除外する、
請求項６乃至１１のいずれか一項に記載の画像処理装置。
【請求項１３】
撮像画像を複数のブロックに分割するブロック分割部と、
前記ブロック毎に色別の画素値の統計をとることでブロック統計値を算出する統計値算出部と、
補正強度の異なる複数のシェーディング推定係数を記憶する推定係数記憶部と、
前記撮像画像の中央部からの距離に応じて前記ブロックを複数のグループに分類するグループ分類部と、
前記ブロック統計値に基づいて前記ブロックの有効または無効を判定する有効ブロック判定部と、
前記グループ内の前記有効と判定されたブロックについて統計値の色別の総和に基づいてグループ評価値を算出するグループ評価値算出部と、
前記算出されたグループ評価値に基づいて前記グループの有効または無効を判定する有効グループ判定部と、
前記撮像画像の中央部から周辺部へ向かうグループのうち前記有効と判定されたグループについて、色の比率を直線近似する直線近似部と、
前記近似した直線の傾きにしたがって、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択するシェーディング推定係数選択部と、
前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するシェーディング補正部と
を備える画像処理装置。
【請求項１４】
前記色の比率は、全ＲＧＢに対するＲの比率、または、全ＲＧＢに対するＲの比率の３倍である、
請求項１３に記載の画像処理装置。
【請求項１５】
前記グループ評価値算出部は、前記グループ内に含まれる前記シェーディング推定係数を適用した前記ブロック統計値のうち前記有効と判定されたブロックの総和に基づいて前記グループ評価値を算出する、
請求項１３または１４に記載の画像処理装置。
【請求項１６】
前記有効グループ判定部は、前記撮像画像の中央部から周辺部へ向かうグループのうち、前記有効と判定されたグループの連続性を判定するグループ連続性判定部と、
前記グループの連続性の判定結果に従い、前記無効と判定されたグループを有効化する無効グループ有効化部と、
を備える請求項１３乃至１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記無効グループ有効化部は、単独の前記無効と判定されたクループの両隣に２個以上の連続して前記有効と判定されたグループがあり、かつ、前記無効と判定されたクループに隣接する２つの前記有効と判定されたグループとの差分が閾値以下の場合に無効グループを有効化する、
請求項１６に記載の画像処理装置。
【請求項１８】
前記シェーディング推定係数選択部は、前記近似した直線が水平に近くなるような、または、あらかじめ設定した基準の傾きに最も近くなるようなシェーディング推定係数を選択する、
請求項１３乃至１７のいずれか一項に記載の画像処理装置。
【請求項１９】
画像を、前記画像の中心部からの距離に基づいて複数のグループに分類するグループ分類部と、
前記画像にシェーディング推定係数を適用したときの前記グループ毎のグループ評価値を算出するグループ評価値算出部と、
前記グループ評価値に基づいて有効グループを判定し、隣接する前記有効グループをグループ連続領域として判定する有効グループ判定部と、
前記グループ連続領域毎の前記グループ評価値の分散値を積算して前記シェーディング推定係数のテーブル評価値とし、最も小さいテーブル評価値を有するシェーディング推定係数を選択するシェーディング推定係数選択部と、
前記選択したシェーディング推定係数に対応するシェーディング補正係数を用いて前記画像を補正するシェーディング補正部と
を備える画像処理装置。
【請求項２０】
前記有効グループ判定部は、
注目グループと、前記注目グループの両隣のグループとの間の前記グループ評価値の差分が所定の閾値を超える前記注目グループを無効グループと判定する
請求項１９に記載の画像処理装置。
【請求項２１】
前記有効グループ判定部は、前記画像に前記画像を最も弱く補正するシェーディング推定初期係数を適用したときの前記グループ評価値に基づいて前記有効グループを判定し、
前記シェーディング推定係数選択部は、前記画像に前記シェーディング推定初期係数を適用したときの前記グループ連続領域の範囲を、前記シェーディング推定初期係数以外のシェーディング推定係数を前記画像を適用したときにも用いる
請求項１９または２０に記載の画像処理装置。
【請求項２２】
前記画像を複数のブロックに分割し、前記ブロック毎に画素値を統計してブロック統計値を算出する統計値算出部と、
前記ブロック統計値と前記シェーディング推定係数とに基づいて、前記ブロック毎にブロック評価値を算出するブロック評価値算出部と
を更に備え、
前記グループ分類部は、前記画像の中心部からの距離に基づいて前記ブロックを前記複数のグループに分類し、
前記グループ評価値算出部は、前記ブロック評価値に基づいて、前記グループ評価値を算出する
請求項１９乃至２１のいずれか一項に記載の画像処理装置。
【請求項２３】
前記ブロック評価値算出部は、更に、有効ブロックの数を算出し、
前記有効グループ判定部は、前記有効ブロックの数に基づいて、前記有効グループを判定する
請求項２２に記載の画像処理装置。
【請求項２４】
前記シェーディング推定係数選択部は、前記グループ連続領域の数が所定の閾値よりも少ないときに、前記有効ブロックの前記ブロック統計値の分散値を算出し、前記ブロック統計値の分散値が最も小さい前記シェーディング推定係数を選択する
請求項２３に記載の画像処理装置。
【請求項２５】
撮像画像を複数のブロックに分割し、
前記ブロック毎に画素値の統計をとることでブロック統計値を算出し、
複数の光源にそれぞれ対応する複数のシェーディング推定係数を含む第１のシェーディング推定係数群を記憶し、
前記ブロック統計値と、前記第１のシェーディング推定係数群とに基づいてシェーディングを推定し、
前記シェーディングを推定する処理において、前記撮像画像の画像平坦度、被写体明度、被写体色温度の少なくとも１つに応じて、前記記憶された第１のシェーディング推定係数群の中から前記撮像画像に適切な少なくとも１つのシェーディング推定係数を含む第２のシェーディング推定係数群を選択し、
前記選択された第２のシェーディング推定係数群に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正する、
画像処理方法。
【請求項２６】
撮像画像を複数のブロックに分割し、
前記ブロック毎に色別の画素値の統計をとることで第１のブロック統計値を算出し、
補正強度の異なる複数のシェーディング推定係数を記憶し、
前記算出された第１のブロック統計値を評価するブロック色評価値を算出し、
前記算出されたブロック色評価値のヒストグラムに基づいてシェーディング推定のための評価対象ブロックを選択し、
前記選択された評価対象ブロックに基づいて、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択し、
前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正する、
画像処理方法。
【請求項２７】
撮像画像を複数のブロックに分割し、
前記ブロック毎に色別の画素値の統計をとることでブロック統計値を算出し、
補正強度の異なる複数のシェーディング推定係数を記憶し、
前記撮像画像の中央部からの距離に応じて前記ブロックを複数のグループに分類し、
前記ブロック統計値に基づいて前記ブロックの有効または無効を判定し、
前記グループ内の前記有効と判定されたブロックについて統計値の色別の総和に基づいてグループ評価値を算出し、
前記算出されたグループ評価値に基づいて前記グループの有効または無効を判定し、
前記撮像画像の中央部から周辺部へ向かうグループのうち前記有効と判定されたグループについて、色の比率を直線近似し、
前記近似した直線の傾きにしたがって、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択し、
前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正する、
画像処理方法。
【請求項２８】
画像を、前記画像の中心部からの距離に基づいて複数のグループに分類し、
前記画像にシェーディング推定係数を適用したときの前記グループ毎のグループ評価値を算出し、
前記グループ評価値に基づいて有効グループを判定し、隣接する前記有効グループをグループ連続領域として判定し、
前記グループ連続領域毎の前記グループ評価値の分散値を積算して前記シェーディング推定係数のテーブル評価値とし、最も小さいテーブル評価値を有するシェーディング推定係数を選択し、
前記選択したシェーディング推定係数に対応するシェーディング補正係数を用いて前記画像を補正する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
撮像装置に赤外カットフィルタを適用したときに、撮像画像に色シェーディングが生じることがある。特許文献１には、そのような色シェーディングを補正する画像処理装置として、撮像画像に複数のシェーディング補正係数をそれぞれ適用し、適切に色シェーディングを補正できたシェーディング補正係数を選択し、当該撮像画像に選択したシェーディング補正係数を適用して、当該撮像画像の色シェーディングを補正し出力する画像処理装置が開示されている。
【０００３】
なお、その他に関連する技術として、特許文献２、３が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９８０４１号公報
【特許文献２】特開２００６−０８０７５２号公報
【特許文献３】特開２０１５−０９９９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来の画像処理装置では、撮像画像を複数のブロックに分割し、ブロック毎の画素値の統計値を求め、この統計値とシェーディング補正係数のブロック毎の係数値とを乗算し、乗算結果の撮像画像内での分散値を求める。この分散値をシェーディング補正係数毎に求め、分散値がいちばん小さいシェーディング補正係数を、適切に色シェーディングを補正できるシェーディング補正係数として選択する。
【０００６】
しかしながら、従来技術では、画像によっては、適切に色シェーディングを補正できるシェーディング補正係数を選択できない場合があるという問題点があった。
【０００７】
本発明は、このような問題点を解決するためになされたものであり、画像に適したシェーディング補正係数を選択することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、撮像画像を複数のブロックに分割するブロック分割部と、前記ブロック毎に画素値の統計をとることでブロック統計値を算出する統計値算出部と、複数の光源にそれぞれ対応する複数のシェーディング推定係数を含む第１のシェーディング推定係数群を記憶する推定係数群記憶部と、前記撮像画像の画像平坦度、被写体明度、被写体色温度の少なくとも１つに応じて、前記記憶された第１のシェーディング推定係数群の中から前記撮像画像に適切な少なくとも１つのシェーディング推定係数を含む第２のシェーディング推定係数群を選択するシェーディング推定部と、前記選択された第２のシェーディング推定係数群に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するシェーディング補正部と、を備えるものである。
【０００９】
本発明に係る画像処理装置は、撮像画像を複数のブロックに分割するブロック分割部と、前記ブロック毎に色別の画素値の統計をとることで第１のブロック統計値を算出する統計値算出部と、補正強度の異なる複数のシェーディング推定係数を記憶する推定係数記憶部と、前記算出された第１のブロック統計値を評価するブロック色評価値を算出するブロック色評価値算出部と、前記算出されたブロック色評価値のヒストグラムに基づいてシェーディング推定のための評価対象ブロックを選択するブロック評価値算出部と、前記選択された評価対象ブロックに基づいて、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択するシェーディング推定係数選択部と、前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するシェーディング補正部と、を備えるものである。
【００１０】
本発明に係る画像処理装置は、撮像画像を複数のブロックに分割するブロック分割部と、前記ブロック毎に色別の画素値の統計をとることでブロック統計値を算出する統計値算出部と、補正強度の異なる複数のシェーディング推定係数を記憶する推定係数記憶部と、前記撮像画像の中央部からの距離に応じて前記ブロックを複数のグループに分類するグループ分類部と、前記ブロック統計値に基づいて前記ブロックの有効または無効を判定する有効ブロック判定部と、前記グループ内の前記有効と判定されたブロックについて統計値の色別の総和に基づいてグループ評価値を算出するグループ評価値算出部と、前記算出されたグループ評価値に基づいて前記グループの有効または無効を判定する有効グループ判定部と、前記撮像画像の中央部から周辺部へ向かうグループのうち前記有効と判定されたグループについて、色の比率を直線近似する直線近似部と、前記近似した直線の傾きにしたがって、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択するシェーディング推定係数選択部と、前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するシェーディング補正部と、を備えるものである。
【００１１】
本発明に係る画像処理装置は、画像を、前記画像の中心部からの距離に基づいて複数のグループに分類するグループ分類部と、前記画像にシェーディング推定係数を適用したときの前記グループ毎のグループ評価値を算出するグループ評価値算出部と、前記グループ評価値に基づいて有効グループを判定し、隣接する前記有効グループをグループ連続領域として判定する有効グループ判定部と、前記グループ連続領域毎の前記グループ評価値の分散値を積算して前記シェーディング推定係数のテーブル評価値とし、最も小さいテーブル評価値を有するシェーディング推定係数を選択するシェーディング推定係数選択部と、前記選択したシェーディング推定係数に対応するシェーディング補正係数を用いて前記画像を補正するシェーディング補正部とを備えるものである。
【００１２】
本発明に係る画像処理方法は、撮像画像を複数のブロックに分割し、前記ブロック毎に画素値の統計をとることでブロック統計値を算出し、複数の光源にそれぞれ対応する複数のシェーディング推定係数を含む第１のシェーディング推定係数群を記憶し、前記撮像画像の画像平坦度、被写体明度、被写体色温度の少なくとも１つに応じて、前記記憶された第１のシェーディング推定係数群の中から前記撮像画像に適切な少なくとも１つのシェーディング推定係数を含む第２のシェーディング推定係数群を選択し、前記選択された第２のシェーディング推定係数群に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するものである。
【００１３】
本発明に係る画像処理方法は、撮像画像を複数のブロックに分割し、前記ブロック毎に色別の画素値の統計をとることで第１のブロック統計値を算出し、補正強度の異なる複数のシェーディング推定係数を記憶し、前記算出された第１のブロック統計値を評価するブロック色評価値を算出し、前記算出されたブロック色評価値のヒストグラムに基づいてシェーディング推定のための評価対象ブロックを選択し、前記選択された評価対象ブロックに基づいて、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択し、前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するものである。
【００１４】
本発明に係る画像処理方法は、撮像画像を複数のブロックに分割し、前記ブロック毎に色別の画素値の統計をとることでブロック統計値を算出し、補正強度の異なる複数のシェーディング推定係数を記憶し、前記撮像画像の中央部からの距離に応じて前記ブロックを複数のグループに分類し、前記ブロック統計値に基づいて前記ブロックの有効または無効を判定し、前記グループ内の前記有効と判定されたブロックについて統計値の色別の総和に基づいてグループ評価値を算出し、前記算出されたグループ評価値に基づいて前記グループの有効または無効を判定し、前記撮像画像の中央部から周辺部へ向かうグループのうち前記有効と判定されたグループについて、色の比率を直線近似し、前記近似した直線の傾きにしたがって、前記記憶されたシェーディング推定係数の中から前記撮像画像に適切なシェーディング推定係数を選択し、前記選択されたシェーディング推定係数に対応するシェーディング補正係数を前記撮像画像に適用し、前記撮像画像のシェーディングを補正するものである。
【００１５】
本発明に係る画像処理方法は、画像を、前記画像の中心部からの距離に基づいて複数のグループに分類し、前記画像にシェーディング推定係数を適用したときの前記グループ毎のグループ評価値を算出し、前記グループ評価値に基づいて有効グループを判定し、隣接する前記有効グループをグループ連続領域として判定し、前記グループ連続領域毎の前記グループ評価値の分散値を積算して前記シェーディング推定係数のテーブル評価値とし、最も小さいテーブル評価値を有するシェーディング推定係数を選択し、前記選択したシェーディング推定係数に対応するシェーディング補正係数を用いて前記画像を補正するものである。
【発明の効果】
【００１６】
本発明によれば、画像に適したシェーディング補正係数を選択することのできる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１に係るデジタルスチルカメラの構成を示すブロック図である。
【図２】実施の形態１に係るシェーディング推定部の構成を示すブロック図である。
【図３】実施の形態１に係るシェーディング推定部の動作を説明するためのフローチャートである。
【図４】実施の形態１に係るフラット判定部の動作を説明するための画像ブロックの例を示す図である。
【図５】実施の形態１に係るフラット判定部の動作を説明するための画像値の例を示す図である。
【図６】実施の形態１に係るフラット判定部が処理する画像の例を示す図である。
【図７】実施の形態１に係るシェーディング推定係数選択部の動作を説明するためのフローチャートである。
【図８】実施の形態１に係るシェーディング推定係数選択部が分類するグループの例を示す図である。
【図９】実施の形態１に係るシェーディング推定係数選択部が分類する別のグループの例を示す図である。
【図１０】実施の形態２の概要を説明するための画像の例を示す図である。
【図１１】実施の形態２に係るシェーディング推定部１２４の構成を示すブロック図である。
【図１２】実施の形態２に係るブロック色評価値算出部２１１の動作を説明するためのフローチャートである。
【図１３Ａ】実施の形態２に係るブロック色評価値算出部２１１、ブロック重み係数算出部２１２及びブロック評価値算出部２１３の動作を説明するためのフローチャートである。
【図１３Ｂ】実施の形態２に係るブロック色評価値算出部２１１、ブロック重み係数算出部２１２及びブロック評価値算出部２１３の動作を説明するためのフローチャートである。
【図１４】実施の形態２に係るブロック重み係数算出部２１２が処理する画像の例を示す図である。
【図１５】実施の形態２に係るブロック重み係数算出部２１２が生成するヒストグラムの例を示す図である。
【図１６】実施の形態２に係るブロック重み係数算出部２１２が処理する画像の例を示す図である。
【図１７】実施の形態３に係るシェーディング推定部の構成を示すブロック図である。
【図１８】実施の形態３に係るグループ分類部及びグループ評価値算出部の動作を説明するためのフローチャートである。
【図１９】実施の形態３に係るグループ分類部が分類するグループの例を示す図である。
【図２０Ａ】実施の形態３に係る有効グループ判定部及び近似推定部の動作を説明するためのフローチャートである。
【図２０Ｂ】実施の形態３に係る有効グループ判定部及び近似推定部の動作を説明するためのフローチャートである。
【図２１】実施の形態３に係る有効グループ判定部が処理するグループの例を示す図である。
【図２２Ａ】実施の形態３に係る有効グループ判定部が処理するグループの例を示す図である。
【図２２Ｂ】実施の形態３に係る有効グループ判定部が処理するグループの例を示す図である。
【図２３】実施の形態３に係る有効グループ判定部の補間方法を説明するための図である。
【図２４】実施の形態３に係る近似推定部が処理する近似直線イメージを示すグラフである。
【図２５】実施の形態３に係る分散推定部の動作を説明するためのフローチャートである。
【図２６】実施の形態４に係るシェーディング推定部１２４の構成を示すブロック図である。
【図２７】実施の形態４に係るシェーディング推定部１２４の動作を説明するためのフローチャートである。
【図２８】実施の形態４に係る有効距離グループの判定方法を説明するための図である。
【図２９】実施の形態４に係る有効距離グループの判定方法の具体的な処理内容を説明するための図である。
【発明を実施するための形態】
【００１８】
（実施の形態１）
以下、図面を参照して実施の形態１について説明する。
【００１９】
＜実施の形態１の概要＞
上記のように特許文献１に記載された従来の画像処理装置では、分散値がいちばん小さいシェーディング補正係数を、適切に色シェーディングを補正できたシェーディング補正係数として選択する。しかしながら、本発明者は、従来技術では撮像シーンが複雑であったときに、分散値がいちばん小さいシェーディング補正係数が、必ずしも適切に色シェーディングを補正できるシェーディング補正係数とならないという問題点を見出した。
【００２０】
このような問題点を解決するため、本発明者は、色シェーディングを補正する画像処理装置の検討例として、ブロック統計値にシェーディング推定係数を適用してブロック毎にブロック特性値を算出するブロック特性部と、注目ブロックと近傍ブロックとのブロック特性類似度に基づいてブロック重みを算出するブロック重み部とを備え、複雑な被写体の影響を排除し適切なシェーディング推定係数を選択する例について検討した。また、画像にシェーディング推定係数を複数適用し、画像に適切なシェーディング推定係数を選択する推定部と、適切なシェーディング推定係数に対応するシェーディング補正係数を画像に適用し、画像のシェーディングを補正する補正部とを備え、推定部は、画像を前記画像の中央部からの距離に基づいて複数のグループに分類し、画像にシェーディング推定係数を適用したときの画像特性値を前記グループ毎に算出し、画像特性値の統計値を算出して、画像に適切なシェーディング推定係数を選択する例や、画像の複雑度に応じて評価重みを算出することで推定精度を向上させる例について検討した。
【００２１】
検討の結果、撮像画像には未知の強度のシェーディングが生じているため、ブロック統計値に適用したシェーディング推定係数が必ずしも撮像画像の補正に適合するものではなく、近傍ブロックとの差分に、補正しきれないシェーディングの影響を受け平坦な被写体であってもブロック重みが低くなる場合があることを見出した。すなわち、上記のような検討例の技術を用いても、画像中央部と画像周辺部のシェーディングによる信号差と同程度の信号の違い（複雑さ）を持つ被写体は平坦であるものとして処理する必要があり、誤った補正係数を選択してしまう恐れがある。
【００２２】
本実施の形態１は、上記のような従来技術や検討例をより改善し、画像に適したシェーディング補正係数の誤った選択の抑制を可能とする。すなわち、本実施の形態１では、画像端から中央へ向けて画像信号が滑らかに増加し、画像中央部から周辺部にかけて画像信号が滑らかに減衰する特徴に着目し、シェーディング発生時に特に目につきやすい平坦な被写体のシーンであることを検出して補正係数を選択することで、従来技術より精度よくシェーディング補正係数を選択できる画像処理装置を提供する。
【００２３】
＜実施の形態１の構成＞
図１は、本実施の形態１に係る画像処理装置を備えたデジタルスチルカメラ１００の構成を示すブロック図である。図１に示すように、電子的撮像装置であるデジタルスチルカメラ１００は、レンズ光学系１０２、撮像素子１０４、ＡＦＥ回路１０６、画像信号処理回路１０８、画像表示部１１０、画像記録部１１２、ドライバ１１４、タイミングジェネレータ（ＴＧ）１１６、画像ブロック統計回路１１８、制御部１２０、係数記憶部１２２などを備えている。
【００２４】
レンズ光学系１０２は、レンズ、絞り、シャッターなどを有し、被写体像を撮像素子１０４の撮像面に結像する。撮像素子１０４はＣＣＤやＣＭＯＳなどのイメージセンサであり、撮像素子１０４のレンズ光学系１０２側には赤外カットフィルタ（図示せず）が装着されている。撮像素子１０４は、被写体像を光電変換して画像信号（ＲＧＢ色信号）を取得する。ＡＦＥ回路１０６は、撮像素子１０４が取得し、ＣＤＳ回路（図示せず）が信号処理を施した画像信号をＡ／Ｄ変換してデジタル信号とする。
【００２５】
画像信号処理回路１０８は、ＡＦＥ回路１０６が出力した画像信号に、デモザイキング処理、エッジ強調処理、ホワイトバランス（ＷＢ）補正処理、シェーディング補正処理、ガンマ補正処理などを施す。画像表示部１１０は液晶表示ディスプレイ（ＬＣＤ）などであり、画像信号処理回路１０８で各種処理が施された画像信号を表示する。画像記録部１１２はメモリであり、画像信号処理回路１０８で各種処理が施された画像信号を記録する。
【００２６】
ドライバ１１４は、レンズ光学系１０２のレンズ、絞り、シャッターを駆動する。タイミングジェネレータ１１６は、撮像素子１０４を駆動するためのタイミングを生成する。画像ブロック統計回路１１８は、ＡＦＥ回路１０６でデジタル信号となった画像信号の撮像画像領域又は撮像画像領域の一部の領域を格子状に分割して複数のブロックとし、ブロック毎にブロック統計値を算出する。画像ブロック統計回路１１８は、ブロック分割部と統計値算出部を含んでいるとも言える。画像ブロック統計回路１１８は、ブロック統計値として、各ブロックでのＲＧＢ別の画素積算値やＲＧＢ別の画素平均値などの各ブロックの画像特性を示す値を算出する。画像ブロック統計回路１１８は、統計値以外の各ブロックの画像特性を示す値を算出しても良い。
【００２７】
制御部１２０は、画像ブロック統計回路１１８が算出したブロック統計値に基づいて、画像信号処理回路１０８のホワイトバランス補正処理を制御する。また、制御部１２０は、シェーディング推定部１２４、シェーディング補正部１２６を有している。
【００２８】
シェーディング推定部１２４は、画像ブロック統計回路１１８が算出したブロック統計値と、係数記憶部１２２が記憶するシェーディング推定係数とに基づいてシェーディングを推定し、画像に適したシェーディング推定係数を選択する。シェーディング推定係数は光源毎に、また、Ｒ値、Ｇ値、Ｂ値毎に用意されており、ブロック毎の係数値を有している。シェーディング推定部１２４の構成及び動作については後述する。なお、光源別に設定された複数のシェーディング推定係数の集合を、シェーディング推定係数群と称する。
【００２９】
シェーディング補正部１２６は、シェーディング推定部１２４が選択したシェーディング推定係数に対応するシェーディング補正係数を係数記憶部１２２から選択し、画像信号処理回路１０８において撮像画像のシェーディングを補正する。シェーディング補正係数は光源毎に、また、Ｒ値、Ｇ値、Ｂ値毎に用意されており、画素毎又は複数の画素毎の係数値を有している。
【００３０】
係数記憶部（推定係数記憶部及び補正係数記憶部）１２２は、シェーディング推定係数とシェーディング補正係数との組みを太陽光、電球、蛍光灯などの光源別に記憶している。多くの場合に、シェーディング推定係数とシェーディング推定係数とは１対１の組みとなっているが、これに限られるものではない。シェーディング推定係数及びシェーディング補正係数は、パソコンなどの外部装置において算出することができる。係数記憶部１２２は、各光源のそれぞれに対応する複数のシェーディング推定係数を含むシェーディング推定係数群を記憶し、また、補正強度の異なる複数のシェーディング推定係数を含むシェーディング推定係数群を記憶しているとも言える。
【００３１】
シェーディング推定係数は、各光源下で撮影した白色チャートの画像を用いて算出する。白色チャートには、標準白色反射板などの分光反射率が対象波長域全般に亘って一定でかつ９０％以上の均等拡散反射面を用いることが望ましい。赤外光が多く含まれる電球などの光源に対しては、画像周辺部のＲ信号を強く補正するシェーディング推定係数が算出される。赤外光があまり含まれない蛍光灯などの光源に対しては、画像周辺部のＲ信号を弱く補正するシェーディング推定係数が算出される。本明細書では、画像周辺部のＲ信号を最も弱く補正するシェーディング推定係数を初期設定（デフォルト）のシェーディング推定係数とし、特に、シェーディング推定初期係数という。
【００３２】
なお、本実施の形態１に係る画像処理装置は、画像信号処理回路１０８、画像ブロック統計回路１１８、制御部１２０、係数記憶部１２２などを含んで構成されるが、この構成に限られるものではない。
【００３３】
また、制御部１２０が実現する各構成要素は、例えば、コンピュータである制御部１２０が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。より具体的には、制御部１２０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【００３４】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００３５】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
【００３６】
図２は、本実施の形態１に係るシェーディング推定部１２４の構成を示すブロック図である。シェーディング推定部１２４は、フラット判定部２０１、シェーディング推定係数選択部２０２などにより構成される。なお、後述の本実施の形態１の動作が実現できればよいため、この構成に限られない。例えば、被写体の明度を求める手段や、被写体の色温度を求める手段を備えていてもよい。
【００３７】
フラット判定部２０１は、撮影された被写体が平坦であるか否かを判定する。シェーディング推定係数選択部２０２は、被写体が平坦であるか否かに応じて、また、被写体輝度や光源色温度などの撮像条件に応じて、シェーディング推定係数群の中から、画像に適したシェーディング補正係数を選択する。
【００３８】
＜実施の形態１の動作＞
図３は、本実施の形態１に係るシェーディング推定部１２４の動作を説明するためのフローチャートである。まず、フラット判定部２０１は、撮影された被写体が平坦であるか否かを判定する（ステップＳ１）。フラット判定部２０１は、画像の局所領域内の被写体による信号の変化の度合いを、すでに画像に発生しているシェーディングによる信号の変化を除外して求めることで、撮像した被写体が平坦であるか否かを判定する。なお、後述のように、明度や色温度を判定してもよい。画像平坦度、被写体明度、被写体色温度の少なくとも１つに応じて、ステップＳ２またはステップＳ３のいずれかを行ってもよい。
【００３９】
ステップＳ１において、被写体がフラットであると判定された場合、シェーディング推定係数選択部２０２は、あらかじめ用意したシェーディング推定係数すべて（第１のシェーディング推定係数群）より、後述する式（１３）で算出する評価値Ｅｄがもっとも小さいシェーディング推定係数を選択する（ステップＳ２）。
【００４０】
一方、ステップＳ１において、被写体がフラットではない（複雑である）と判定された場合、シェーディング推定係数選択部２０２は、第１のシェーディング推定係数群のうち評価対象となるシェーディング推定係数を少なくとも１つ選択して第２のシェーディング推定係数群とする（ステップＳ３）。
【００４１】
続いて、シェーディング推定係数選択部２０２は、第２のシェーディング推定係数群より、評価値Ｅｄがもっとも小さいシェーディング推定係数を選択する（ステップＳ４）。また、シェーディング推定係数選択部２０２は、第２のシェーディング推定係数群を選択する場合、被写体輝度や光源色温度になどの撮像条件に応じて評価対象のシェーディング推定係数を選択する。
【００４２】
次に、本実施の形態１に係るフラット判定部２０１の動作（図３のステップＳ１）について説明する。図４は、フラット判定部２０１が用いる検波ブロック（撮像画像）を模式的に示している。フラット判定部２０１は、撮像画像の周辺部から中央部に連続するブロックの画素値差分を積算することによって、画像平坦度を求める。
【００４３】
フラット判定部２０１は、画像の対角線上にあたるブロックのＧ画素値を用いて、被写体がフラットであるかどうかを判定する。図４に示すように、画像の対角線上のブロックが判定対象のブロックとなるように、画像を４ラインで分割する。例えば、画像の左上から中央に延びるＬ２Ｃライン上の左上ブロック３０１から中央ブロック３０２まで、画像の中央から右下に延びるＣ２Ｒライン上の中央ブロック３０３から右下ブロック３０４まで、画像の右上から中央に延びるＲ２Ｃライン上の右上ブロック３０５から中央ブロック３０６まで、画像の中央から左下に延びるＣ２Ｌライン上の中央ブロック３０７から左下ブロック３０８までを、判定対象のブロックとする。なお、ここでは画像の角から中央に延びるラインと中央から対角に延びるラインを例示しているが、画像を分割するその他のラインを用いてもよい。
【００４４】
図５は、画像の対角線上のＧ画素値の例を示している。フラットな被写体である場合、例えば、画像の左上ブロック３０１から中央ブロック３０２まで、中央ブロック３０３から右下ブロック３０４へ向かうＧ画素の値は、図５のようになる。すなわち、左上ブロック３０１から中央ブロック３０２までの隣接ブロックの差分を加算し、中央ブロック３０３から右下ブロック３０４までの隣接ブロックの差分を減算すると（ｕｐＧ＋ｄｗＧ）、その値は０に近くなる。右上ブロック３０５から中央ブロック３０６までと、中央ブロック３０７から左下ブロック３０８までについても同様である。
【００４５】
このように、シェーディング発生による隣接ブロックの画素値の変化の特徴を利用して、以下の式に示すフラット判定処理を行う。まず、フラット判定部２０１は、画像の左上から中央に延びるＬ２Ｃライン、画像の中央から右下に延びるＣ２Ｒライン、画像の右上から中央に延びるＲ２Ｃライン、画像の中央から左下に延びるＣ２ＬラインのＧ増分値（ｕｐＧ）とＧ減分値（ｄｗＧ）の積算を次の（１）式にて求める。
【数１】
0006573798.tif 000002
【００４６】
次に、フラット判定部２０１は、上記式１の結果を用いて、Ｌ２ＣラインとＣ２Ｒラインのライン評価値Ｅｌ１、Ｒ２ＣラインとＣ２Ｌラインのライン評価値Ｅｌ２を次の（２）式にて求める。
【数２】
0006573798.tif 000003
【００４７】
次に、フラット判定部２０１は、上記式２のライン評価値Ｅｌ１とＥｌ２から、フラット評価値Ｅｆを次の（３）式にて求める。
【数３】
0006573798.tif 000004
【００４８】
フラット判定部２０１は、上記（３）式の結果、フラット評価値Ｅｆが閾値未満の場合、フラットな被写体であると判定し、フラット評価値Ｅｆが閾値以上の場合はフラットではない被写体と判定する。例えば、図６（ａ）の画像の場合、フラット評価値Ｅｆが閾値未満であるため、被写体がフラットであると判定し、図６（ｂ）の画像の場合、フラット評価値Ｅｆが閾値以上のため、被写体がフラットではないと判定する。
【００４９】
次に、本実施の形態１に係るシェーディング推定係数選択部２０２が第１のシェーディング推定係数群から第２のシェーディング推定係数群を選択する動作（図３のステップＳ３）について説明する。シェーディング推定係数選択部２０２は、被写体がフラットかどうか、被写体明度（Ｂｖ）、色温度（Ｒ Ｃｏｌｏｒ Ｇａｉｎ）の値の組み合わせにより、シェーディング推定に使用する第２のシェーディング推定係数群を選択する。
【００５０】
以下に示す例では、光源色温度と被写体輝度（明度）とに応じて第２のシェーディング推定係数群を求める。例えば、次の表１に示すような、６種類の光源にそれぞれ対応する６種類のシェーディング推定係数（シェーディング推定テーブル）を含む第１のシェーディング推定係数群を予め記憶しておく。ここで、ＩＲは光源に含まれる赤外光の量である。テーブル番号が大きくなるほど、赤外光が多い光源に対応して、Ｒの補正強度が強いシェーディング推定係数となる。
【表１】
0006573798.tif 000005
【００５１】
また、予め、電球色閾値（Ｒ  Ｇａｉｎ  Ｌｉｍｉｔ  Ｔｈｒｅｓｈｏｌｄ）、屋内閾値（Ｉｎｄｏｏｒ  Ｂｖ  Ｔｈｒｅｓｈｏｌｄ）、屋外閾値（Ｏｕｔｄｏｏｒ  Ｂｖ  Ｔｈｒｅｓｈｏｌｄ）を設定しておき、次の表２に示す条件１及び条件２に従い第２のシェーディング推定係数群を選択する。明度が屋内閾値より小さい場合、屋内の画像であると判定でき、明度が屋外閾値より大きい場合、屋外の画像であると判定できる。明度が屋内閾値以上、かつ、屋外閾値以下の場合、屋内から屋外寄りの画像であると判定できる。色温度が電球色閾値より小さい場合、電球の光源を含む画像であると判定でき、色温度が電球色閾値以上の場合、電球以外の光源を含む画像であると判定できる。
【表２】
0006573798.tif 000006
【００５２】
すなわち、表２のように、フラットな被写体、または、Ｂｖ＜屋内閾値である場合（条件１）、かつ、Ｒ Ｃｏｌｏｒ Ｇａｉｎ＜電球色閾値である場合（条件２）には、表１に示した第１のシェーディング推定係数群の中から全光源のシェーディング推定係数（シェーディング推定テーブル０〜５）を第２のシェーディング推定係数群として選択する。また、フラットな被写体、または、Ｂｖ＜屋内閾値である場合（条件１）、かつ、Ｒ Ｃｏｌｏｒ Ｇａｉｎ≧電球色閾値である場合（条件２）には、表１の中から電球色系光源以外のシェーディング推定係数（例えば、シェーディング推定テーブル０〜３）を選択する。また、フラットではない被写体の場合（条件１）、かつ、屋内閾値≦Ｂｖ≦屋外閾値である場合（条件２）には、表１の中から屋外寄りの光源のシェーディング推定係数（例えば、シェーディング推定テーブル１〜３）を選択する。また、フラットではない被写体の場合（条件１）、かつ、Ｂｖ＞屋外閾値である場合（条件２）には、表１の中から屋外の光源のシェーディング推定係数（例えば、シェーディング推定テーブル１〜２）を選択する。すなわち、撮像画像が平坦であると判定した場合、被写体色温度に基づいて第１のシェーディング推定係数群の中から第２のシェーディング推定係数群を選択し、撮像画像が平坦ではないと判定した場合、被写体明度に基づいて第１のシェーディング推定係数群の中から第２のシェーディング推定係数群を選択する。また、被写体明度に基づいて撮像画像が屋内の画像であると判定した場合、被写体色温度に基づいて第１のシェーディング推定係数群の中から第２のシェーディング推定係数群を選択する。これにより、画像に適したシェーディング推定係数群を選択することができる。
【００５３】
次に、図３のように、シェーディング推定係数選択部２０２が第１のシェーディング推定係数群からシェーディング推定係数を選択する動作（ステップＳ２）、または、選択された第２のシェーディング推定係数群からシェーディング推定係数を選択する動作（ステップＳ４）について説明する。これらは同様の動作であり、図７はこの動作例を示している。すなわち、図７の動作により、シェーディング推定係数選択部２０２は第１または第２のシェーディング推定係数群からシェーディング推定係数を選択するが、これに限られるものではない。
【００５４】
まず、シェーディング推定係数選択部２０２は、画像ブロック統計回路１１８がシェーディング補正の対象となる画像から算出したブロック統計値を用いて、全てのブロックのＲ値、Ｇ値、Ｂ値の平均値Ｒａｖ、Ｇａｖ、Ｂａｖを算出する（ステップＳ０１０）。
【００５５】
次に、（４）式に示すように、規格化係数Ｒｇ、Ｂｇ、Ｇｇを算出する（ステップＳ０２０）。規格化係数Ｒｇ、Ｂｇ、Ｇｇは、全画面のＲＧＢバランスを一致させるための係数であって、画像を規格化するゲインである。
【数４】
0006573798.tif 000007
【００５６】
次に、（５）式に示すように、全てのブロック統計値Ｒ（ｘ,ｙ）、Ｇ（ｘ,ｙ）、Ｂ（ｘ,ｙ）に対して、シェーディング推定係数Ｃｒ［ｔ］（ｘ,ｙ）、Ｃｇ［ｔ］（ｘ,ｙ）、Ｃｇ［ｔ］（ｘ,ｙ）及び規格化係数Ｒｇ、Ｂｇ、Ｇｇを適用して乗算し、ブロック毎にＲｃ［ｔ］（ｘ,ｙ）、Ｇｃ［ｔ］（ｘ,ｙ）、Ｂｃ［ｔ］（ｘ,ｙ） を算出する（ステップＳ０３０）。
【数５】
0006573798.tif 000008
【００５７】
ここでは、後述する基準グループを選択するためのグループ毎のＲ信号比を算出するために、シェーディング推定係数として、前述のシェーディング推定初期係数を用いる。また、規格化係数は撮像画像のＲＧＢ平均値を無彩色とみなし、このＲＧＢ平均値から当該ブロックの色差がどの程度あるかを判定するために適用する。シェーディング推定係数が画像に適しているほど、Ｒｃ［ｔ］（ｘ,ｙ）、Ｇｃ［ｔ］（ｘ,ｙ）、Ｂｃ［ｔ］（ｘ,ｙ）は等しく１．０に近くなり、Ｒｃ［ｔ］（ｘ,ｙ）、Ｇｃ［ｔ］（ｘ,ｙ）、Ｂｃ［ｔ］（ｘ,ｙ）を画像化すると、画像は灰色一色となる。
【００５８】
次に、（６）式に示すように、ブロック毎にブロック特性値となるＲ信号比Ｒｒ［ｔ］（ｘ,ｙ）を求める（ステップＳ０４０、ステップＳ０５０）。
【数６】
0006573798.tif 000009
【００５９】
なお、（６）式の分母は、Ｒｃ［ｔ］（ｘ,ｙ）、Ｇｃ［ｔ］（ｘ,ｙ）、Ｂｃ［ｔ］（ｘ,ｙ）の和であっても良い。また、ブロック毎のＲ信号比に加えて、または、ブロック毎のＲ信号比に代えて、ブロック毎のＢ信号比を算出し、以降の処理に用いても良い。
【００６０】
（６）式では、規格化係数を適用したＲＧＢ画像についてＲ信号比を求めているため、シェーディング推定係数が画像に適しているときほど、有彩色の被写体、例えば、画像全面が赤となるような被写体であってもＲ信号比は１.０に近い値となる。逆に、シェーディング推定係数が画像に適していないときほど、Ｒ信号比は１.０から離れた値となる。
【００６１】
次に、シェーディング推定係数選択部２０２が、（７）式、（８）式に示すように、空間フィルタｍを用いて注目ブロックとその近傍のブロックのＲ信号比の差Ｒｄ（ｘ，ｙ）を算出し、（９）式に示すように、ブロック毎の重みＷｂ（ｘ，ｙ）を算出する（ステップＳ０６０、ステップＳ０７０）。ＲｄｍａｘはＲ信号比の差Ｒｄ（ｘ，ｙ）の最大値である。撮影した被写体の複雑さ、画像の局所領域の複雑さをブロック重みに反映させて、画像の変化が小さく滑らかなとき、すなわちブロック間の類似度が大きいときにはブロック重みが大きくなるように、画像の変化が大きいとき、すなわちブロック間の類似度が小さいときにはブロック重みが小さくなるように算出する。
【数７】
0006573798.tif 000010
【数８】
0006573798.tif 000011
【数９】
0006573798.tif 000012
【００６２】
なお、ブロック重みＷｂ（ｘ，ｙ）を算出するときに、Ｒ信号比に加えて、または、Ｒ信号比に代えて、Ｂ信号比を用いても良い。
【００６３】
次に、シェーディング推定係数選択部２０２が、グループ特性値となるグループ毎のＲ信号比を算出する（ステップＳ０８０、ステップＳ０９０）。図８は、本実施の形態１に係るグループの例を説明するための図である。シェーディング推定係数選択部２０２は、画像ブロック統計回路１１８が画像領域を格子状に分割して取得した各ブロックを画像中央部からの距離に基づいて複数のグループに分類する。図８に示す画像４００では、画像中央部から画像周辺部に向けて、この画像の各ブロックをグループ０からグループ５までの６つのグループに分類している。
【００６４】
そして、（１０）式に示すように、ブロック重みＷｂ（ｘ，ｙ）を用いて、グループに含まれるブロックのＲ信号比Ｒｒ（ｉ）を加重平均し、グループ毎のＲ信号比ＧｐＲｒ［ｊ］を算出する。注目ブロックと近接ブロックとの類似度に基づくブロック重みＷｂ（ｘ，ｙ）を用いることにより、画像の変化が小さく、滑らかなブロックやそれらのブロックが構成する領域の特性値をより重視してグループ毎の特性値を算出することができる。例えば、緑の葉、赤い花、空、建物などが写っている画像では、緑の葉と赤い花とが隣接しているようなブロックや領域の特性値よりも、空や建物があるブロックや領域の特性値を重視することができる。
【数１０】
0006573798.tif 000013
【００６５】
次に、シェーディング推定係数選択部２０２が、基準グループの選択を行う（ステップＳ１００）。画像中央部のグループより順次、外側のグループに向かって探索し、基準グループとして１つのグループを選択する。例えば、図８に示すグループ０より探索を開始し、シェーディングの影響を受けていないと考えられるグループ３までを探索する。このとき、（１１）式に示すように、グループのＲ信号比ＧｐＲｒ［ｊ］の閾値判定を行い、最初に（１１）式を満たすグループを基準グループとして選択する。閾値Ｔｈ１、Ｔｈ２は、その間に１．０が含まれるように、例えば、０．９、１．１に設定する。規格化係数を適用した後に基準グループを選択しているので、無彩色の被写体の場合に限らず一様な有彩色の被写体の場合であっても基準グループを選択することができる。
【数１１】
0006573798.tif 000014
【００６６】
次に、基準グループの有無を判定する（ステップＳ１１０）。基準グループが有ったとき（ステップＳ１１０のＹｅｓ）は、グループ評価値を算出する（ステップＳ１２０、ステップＳ１３０）。グループ評価値は、ステップＳ１００で選択した基準グループよりも外側の各グループについて算出する。例えば、基準グループとしてグループ１を選択したときには、外側のグループ２〜グループ５の各グループについてグループ評価値を算出する。（１２）式に示すように、基準グループのＲ信号比ＧｐＲｒ［ｊ］と外側のグループのＲ信号比ＧｐＲｒ［ｊ＋ｋ］との差分を求め、あらかじめ用意した外側のグループの重みＷｇ［ｊ＋ｋ］を乗算して各グループ評価値Ｄｇ［ｊ＋ｋ］を算出する。
【数１２】
0006573798.tif 000015
【００６７】
グループの重みＷｇは次の表３のようにグループ毎に用意する。画像周辺部のグループの方が、重みＷｇは大きい。これにより、シェーディング推定係数の画像周辺部のシェーディング補正の適否をより精度良く評価できるようになる。
【表３】
0006573798.tif 000016
【００６８】
次に、（１３）式に示すように、グループ評価値Ｄｇ［ｊ＋ｋ］の絶対値の総和をとり、ステップＳ０３０で適用したシェーディング推定係数の評価値Ｅｄとする（ステップＳ１４０）。
【数１３】
0006573798.tif 000017
【００６９】
この評価値Ｅｄは画像中心部から周辺部にかけて減衰するＲ信号比の特徴を抽出するもので、シェーディング補正の対象となる画像に対して、ステップＳ０３０で用いたシェーディング推定係数が適しているか否かを判断するときの指標となる。
【００７０】
次に、シェーディング推定係数選択部２０２は、シェーディング補正の対象となる画像について、すべてのシェーディング推定係数（第１のシェーディング推定係数群または第２のシェーディング推定係数群に含まれるシェーディング推定係数）の評価値Ｅｄを算出したか判定する（ステップＳ１５０）。すべてのシェーディング推定係数の評価値Ｅｄを算出していないとき（ステップＳ１５０のＮｏ）は、ステップＳ０３０に戻り、評価値Ｅｄを算出していないシェーディング推定係数、すなわち、シェーディング推定初期係数以外のシェーディング推定係数について、ステップＳ０３０からステップＳ１５０までの処理を繰り返す。
【００７１】
なお、シェーディング推定初期係数以外のシェーディング推定係数の評価値Ｅｄを算出するときには、ステップＳ１００の基準グループの選択、及び、ステップＳ１１０の基準グループの有無の判定を行わない。そして、シェーディング推定初期係数の評価値Ｅｄを算出するときに選択した基準グループ、例えば、グループ１を、そのまま、シェーディング推定初期係数以外のシェーディング推定係数の評価値Ｅｄを算出するときの基準グループとして選択する。つまり、シェーディング推定初期係数の評価値Ｅｄを算出するときに選択した基準グループに基づいて、シェーディング推定初期係数以外のシェーディング推定係数の評価値Ｅｄを算出する。
【００７２】
最後に、シェーディング推定係数選択部２０２は、すべてのシェーディング推定係数の評価値Ｅｄを算出した後に（ステップＳ１５０のＹｅｓ）、シェーディング推定初期係数を含むすべてのシェーディング推定係数の中で、評価値Ｅｄが最も小さくなるものを、シェーディング補正の対象となる画像に適したシェーディング推定係数であるとして選択する（ステップＳ１６０）。
【００７３】
また、シェーディング推定係数選択部２０２は、基準グループが無かったとき（ステップＳ１１０のＮｏ）は、シェーディング推定初期係数をシェーディング補正の対象となる画像に適したシェーディング推定係数であるとして選択する（ステップＳ１６０）。
【００７４】
なお、本実施の形態１では、シェーディング推定係数選択部２０２が、図８に示すように、シェーディング補正の対象となる画像全体に対して、基準グループ選択処理から評価値算出処理まで（ステップＳ１００〜ステップＳ１５０）を行っているが、シェーディング補正の対象となる画像を複数の領域に分けて、それぞれの領域において、基準グループ選択処理から評価値算出処理までを行って良い。
【００７５】
図９は、本実施の形態１に係る別のグループを説明するための図である。シェーディング推定係数選択部２０２は、シェーディング補正の対象となる画像４０１を４つの領域Ｉ〜ＩＶに分け、更に、領域Ｉ〜ＩＶ内の各ブロックを画像中央部からの距離に基づいて複数のグループに分類する。例えば、図９に示す画像４０１では、領域Ｉにおいて、各ブロックをグループＩ−１からグループＩ−５までの５つのグループに分類する。そして、シェーディング推定係数選択部２０２が、領域Ｉ〜ＩＶのそれぞれの領域において基準グループ選択処理から評価値算出処理までを行う。これにより、領域Ｉ〜ＩＶ毎に各シェーディング推定係数の評価値を算出し、領域Ｉ〜ＩＶ毎に被写体に適したシェーディング推定係数を選択することができる。
【００７６】
また、本実施の形態１においては、デジタルスチルカメラ１００を例にして画像処理装置を説明したが、画像処理装置をパソコンなどの外部装置により構成し、当該装置において画像のシェーディング推定及びシェーディング補正を行うようにしても良い。
【００７７】
また、本実施の形態１においては、特許文献１記載のように選択した推定係数をそのまま補正係数として選択して用いても良い。すなわち、本実施の形態１に係るシェーディング補正係数には、シェーディング推定係数と異なるものと、シェーディング推定係数と同一のものとがあっても良い。
【００７８】
また、本実施の形態１においては、シェーディング推定係数選択部２０２がシェーディング推定係数の評価値Ｅｄをグループ評価値Ｄｇの絶対値の総和により求めたが、シェーディング推定係数の評価値をグループ評価値の分散などにより求めても良い。すなわち、本実施の形態１に係るシェーディング推定係数の評価値をグループ評価値の何らかの統計値により求めても良い。
【００７９】
また、本実施の形態１においては、シェーディング推定係数選択部２０２が各グループ評価値Ｄｇを、基準グループのＲ信号比ＧｐＲｒと外側のグループのＲ信号比ＧｐＲｒとの差分を求め、これに外側のグループの重みＷｇを乗算して求めたが、各グループ評価値を、基準グループのＲ信号比と外側のグループのＲ信号比との差分として求めても良い。すなわち、外側のグループの重みを乗算することを省略しても良い。
【００８０】
また、本実施の形態１においては、ＲＧＢ色空間を用いてシェーディング推定係数を評価したが、ＨＳＶなどの他の色空間を用いてシェーディング推定係数を評価しても良い。具体的には、ブロック間の類似度であるブロック重みを算出するときに、ＲＧＢ値をＨＳＶ変換して、ブロック間の彩度や輝度の変化に応じてブロック重みを算出しても良い。
【００８１】
以上、説明したように、本実施の形態１では、撮像画像を複数のブロックに分割しブロック毎に画素値を統計する統計値算出部を備え、ブロック統計値より撮像画像に発生するシェーディング推定を行う画像処理装置において、画像に発生するシェーディングの影響を除外した画像平坦度を求め、画像平坦度に応じてあらかじめ用意した複数のシェーディング推定係数（第１のシェーディング推定係数群）のうち評価対象の推定係数を少なくとも１つ選択して第２のシェーディング推定係数群とするシェーディング推定係数選択部を備え、第２のシェーディング推定係数群を用いて、画像に発生するシェーディングを推定して補正することで、誤ったシェーディング補正係数を選択することによって発生する副作用を低減することができる。本実施の形態１では、被写体明度、被写体複雑度、色温度に従ってシェーディング推定を誤りやすいシーンを検出し、シェーディング推定テーブルの拘束条件による副作用の発生を抑えることができる。
【００８２】
（実施の形態２）
以下、図面を参照して実施の形態２について説明する。
【００８３】
＜実施の形態２の概要＞
上記のように、従来技術や検討例について検討し、実施の形態１では、検討例などの技術を用いても画像中央部と画像周辺部のシェーディングによる信号差と同程度の信号の違い（複雑さ）を持つ被写体は平坦であるものとして処理する必要があり、誤った補正係数を選択してしまう問題を解決するため、撮影された被写体が平坦（単純）であるかを判定し、シェーディング推定係数群のうち選択対象のシェーディング推定係数を限定することで推定精度の向上を可能とした。
【００８４】
一方、図１０に示すような２つ以上の異なる色相が混在した平坦な被写体を含む画像４１０であった場合には、前記いずれの手法を用いても誤推定が発生する場合がある。図１０の画像４１０では、グレーの背景に青い平坦な被写体が含まれている。例えば青と赤など異なる色相の平坦な被写体が混在するような複雑ではない単調なシーンでは、近傍ブロックのブロック特性類似度が高くなるため複雑な被写体にはならない。このようなシーンでは異なる色相の平坦部は同様の重みとなるため、シェーディング推定結果が被写体色の影響を受け誤推定する恐れがある。
【００８５】
本実施の形態２は、上記のような検討例や実施の形態１をより改善し、局所的には複雑ではなく単調な複数の色相が混在するシーンにおけるシェーディング推定の誤推定を低減させる。すなわち、本実施の形態２では、画像中の大面積を占める色相のブロックを抽出し評価することによって、画像に適したシェーディング補正係数の誤推定を抑制することのできる画像処理装置及び画像処理方法を提供する。
【００８６】
＜実施の形態２の構成＞
本実施の形態２に係る画像処理装置を備えたデジタルスチルカメラ１００の構成は、実施の形態１の図１と同様であるため、説明を省略する。
【００８７】
図１１は、本実施の形態２に係るシェーディング推定部１２４の構成を示すブロック図である。シェーディング推定部１２４は、ブロック色評価値算出部２１１、ブロック重み係数算出部２１２、ブロック評価値算出部２１３、シェーディング推定係数選択部２１４などにより構成される。なお、後述の本実施の形態２の動作が実現できればよいため、この構成に限られない。例えば、ブロック色評価値算出部２１１とブロック重み係数算出部２１２とを１つのブロックとしてもよい。
【００８８】
ブロック色評価値算出部２１１は、ブロック統計値と正規化ゲインとを用いてブロック色評価値Ｈｂを算出する。ブロック重み係数算出部２１２は、ブロック色評価値Ｈｂからヒストグラム重みを算出し、ヒストグラム重みとＧレベル重みとを用いてブロック重みＷｂを算出する。ブロック評価値算出部２１３は、ブロック統計値とブロック重みＷｂとを用いてブロック評価値Ｅｂを算出する。シェーディング推定係数選択部２１４は、ブロック評価値Ｅｂを用いてグループ評価値を算出し、グループ評価値の変化量に基づいて、シェーディング推定係数（シェーディング推定テーブル）を選択する。
【００８９】
＜実施の形態２の動作＞
次に、本実施の形態２における画像中の大面積を占める色相のブロックを抽出する処理について説明する。このために、シェーディング推定部１２４は、シェーディング補正の対象画像のブロック統計値にシェーディング推定初期係数を乗算したものを用いてブロック重みＢｗを算出する。
図１２は、本実施の形態２に係るブロック色評価値算出部２１１の動作を説明するためのフローチャートである。まず、ブロック色評価値算出部２１１は、評価するブロック内のＲ，Ｇ，Ｂ値を正規化するため、図１２の動作により、シェーディング補正前のブロック統計値にデフォルトの最も補正強度が弱いシェーディング推定係数（シェーディング推定初期係数）を乗算してシェーディングを軽減し、正規化ゲインを算出する。
【００９０】
すなわち、ブロック色評価値算出部２１１は、次の（１４）式を用いて、ブロック検波データにシェーディング推定初期係数を乗算する（ステップＳ２０１）。ブロック統計値をＲｉ、Ｇｉ、Ｂｉとし、シェーディング推定初期係数の係数値をＮｒ、Ｎｇ、Ｎｂとしたとき、シェーディング推定初期係数を乗算後のブロック統計値Ｒｎ（Ｎ，Ｍ）、Ｇｎ（Ｎ，Ｍ）、Ｂｎ（Ｎ，Ｍ）は（１４）式で表される。
【数１４】
0006573798.tif 000018
【００９１】
次に、シェーディング推定初期係数を乗算したブロック統計値Ｒｎ（Ｎ，Ｍ）、Ｇｎ（Ｎ，Ｍ）、Ｂｎ（Ｎ，Ｍ）を全ブロック分積算し（ステップＳ２０２、Ｓ２０３）、そのブロック統計値の比から正規化ゲイン（Ａｖｅｒａｇｅ  Ｇａｉｎ）を算出する。ここでは、Ｇ画素の正規化ゲインは１．０とし、Ｒ画素とＢ画素の正規化ゲインを求める。
【００９２】
具体的には、ブロック色評価値算出部２１１は、次の（１５）式を用いて、正規化ゲインを求める。
【数１５】
0006573798.tif 000019
【００９３】
すなわち、Ｒｎ（Ｎ，Ｍ）またはＢｎ（Ｎ，Ｍ）の積算値が０か否か判定し（ステップＳ２０４、Ｓ２０７）、０の場合、Ｒ画素またはＢ画素の正規化ゲイン（Ａｖｅｒａｇｅ  Ｇａｉｎ  Ｒ／Ａｖｅｒａｇｅ  Ｇａｉｎ  Ｂ）を１．０とする（ステップＳ２０６、Ｓ２０９）。一方、Ｒｎ（Ｎ，Ｍ）またはＢｎ（Ｎ，Ｍ）の積算値が０ではない場合、Ｒ画素の正規化ゲイン＝Ｇ積算値／Ｒ積算値またはＢ画素の正規化ゲイン＝Ｇ積算値／Ｂ積算値とする（ステップＳ２０５、Ｓ２０８）。また、オーバーフロー防止のため、Ｒ画素またはＢ画素の正規化ゲインは、正規化ゲイン上限値（Ａｖｅｒａｇｅ  Ｇａｉｎ  Ｌｉｍｉｔ）（Ｒ，Ｂ）の値で上限クリップする（上限値とする）。
【００９４】
図１３Ａ及び図１３Ｂは、本実施の形態２に係るブロック色評価値算出部２１１、ブロック重み係数算出部２１２及びブロック評価値算出部２１３の動作を説明するためのフローチャートである。図１２の動作に続いて、ブロック重み係数算出部２１２は、図１４に示すように、暗部や飽和付近のブロックを評価対処から除外する目的でＧレベル重みを算出する（ステップＳ２１０）。Ｇレベル重みは、シェーディング推定係数を乗算後のブロック統計値のＧ値のレベルを参照し、あらかじめ設定した上限閾値と下限閾値の範囲内のブロックを１．０とし閾値範囲外のブロックを０．０とする。また、Ｒ画素値、Ｇ画素値、Ｂ画素値のいずれかの値が、予め設定した範囲外のブロックを、評価対象ブロックから除外してもよい。
【００９５】
続いて、以降の処理で画像中の大面積を占める色相のブロックを抽出する。まず、ブロック色評価値算出部２１１は、全ブロックのブロック色評価値Ｈｂを算出する（ステップＳ２１１）。（１６）式のように、（１４）式及び（１５）式で求めた、シェーディング推定初期係数を乗算後のブロック統計値Ｇｎ（Ｎ，Ｍ）、Ｂｎ（Ｎ，Ｍ）に正規化ゲイン（Ａｖｅｒａｇｅ  Ｇａｉｎ）を乗算し、ブロック色評価値Ｈｂ（Ｎ，Ｍ）を算出する。これは、第１のブロック統計値に正規化ゲインを乗算して第２のブロック統計値とし、第２のブロック統計値に基づいてブロック色評価値Ｈｂを求めていると言える。また、第２のブロック統計値のＲの比率、Ｇの比率、Ｂの比率のうち少なくとも１つに基づいてブロック色評価値を求めてもよい。Ｒの比率は、（１６）式のように全ＲＧＢに対するＲの比率の３倍（３Ｒ／（Ｒ＋Ｇ＋Ｂ））でもよいし、全ＲＧＢに対するＲの比率（Ｒ／（Ｒ＋Ｇ＋Ｂ））でもよい。
【数１６】
0006573798.tif 000020
【００９６】
次に、ブロック重み係数算出部２１２は、ブロック色評価値Ｈｂのヒストグラムを生成し（ステップＳ２１２）、最頻値から離れているブロックを除外する目的でヒストグラム重みを算出する（ステップＳ２１３〜Ｓ２１８）。図１５（ａ）は、生成するヒストグラムとヒストグラム重みの一例を示しており、０．６５〜１．３５を０．０５刻みのビンとした設定例である。
【００９７】
具体的には、ヒストグラムの最頻値を探索し（ステップＳ２１３）、各ブロックについて、ブロック色評価値Ｈｂがヒストグラム最頻値から有効レンジ内か否か判定し（ステップＳ２１４）、図１５（ｂ）のように、有効レンジ内の場合、ヒストグラム重み＝１（ステップＳ２１５）とし、有効レンジ外の場合、ヒストグラム重み＝０とする（ステップＳ２１７）。そして、ヒストグラム重み＝１のブロックが、評価対象ブロックとして選択される。また、ステップＳ２１５に続いて、図１６のように、Ｇレベル重みとヒストグラム重みを乗算しブロック重みＢｗを生成する（ステップＳ２１６）。これらの処理を繰り返し、全ブロックについてブロック重みＢｗを算出する（ステップＳ２１８）。これにより、ヒストグラムの最頻値の近傍のビンに分類されたブロックを評価対象ブロックに選択できる。シェーディング推定部１２４は、ブロック重みＢｗ算出までの処理（ステップＳ２０１〜ステップＳ２１８）を、シェーディング補正の対象画像のブロック統計値にシェーディング推定初期係数を乗算したものを用いて行う。
【００９８】
次に、シェーディング推定部１２４は、各シェーディング推定係数（シェーディング推定テーブル）について、シェーディング推定評価値を算出し、画像を適切にシェーディング補正するシェーディング推定係数を選択する。具体的には、まず、ブロック評価値算出部２１３は、（１７）式を用いて、シェーディング補正前のブロック統計値にシェーディング推定候補の一つのシェーディング推定テーブルの係数値を乗算し、乗算後のブロック統計値Ｒｃ、Ｇｃを求める（ステップＳ２１９、Ｓ２２０）。シェーディング補正前のブロック統計値をＲｉ、Ｇｉとし、推定候補のシェーディング推定テーブルをの係数値をＣｒ［ｔ］、Ｃｇ［ｔ］としたとき、テーブル番号ｔにおける乗算後のブロック統計値Ｒｃ（Ｎ，Ｍ）、Ｇｃ（Ｎ，Ｍ）は（１７）式で表される。
【数１７】
0006573798.tif 000021
【００９９】
次に、（１８）式を用いて、ブロック（Ｎ，Ｍ）毎に、ブロック重みＢｗ（Ｎ,Ｍ）を乗算したブロック評価値Ｅｂ（Ｎ，Ｍ）を算出する（ステップＳ２２１、Ｓ２２２）。
【数１８】
0006573798.tif 000022
【０１００】
ブロック評価値算出部２１３は、ブロック評価値Ｅｂを算出することで、評価対象ブロックを選択しているといえる。シェーディング推定係数選択部２１４は、すべてのブロックのブロック評価値Ｅｂを算出後、画像領域を画像中心からの距離に応じて区画したグループ毎に、グループ内のブロック評価値が０のものを除いて平均化してグループ評価値とする。そして、中心部のグループから周辺部のグループにかけてグループ評価値の変化量をシェーディング推定評価値とする。以上の処理を繰り返して、各シェーディング推定係数についてシェーディング推定評価値を算出した後、シェーディング推定係数選択部２１４は、これらのシェーディング推定評価値に基づいて、適切なシェーディング推定係数（シェーディング補正係数）を選択する。なお、ブロック評価値算出以降の処理については、後述の実施の形態３のように処理してもよい。
【０１０１】
以上、説明したように、本実施の形態２では、撮像画像を複数のブロックに分割しブロック毎に画素値を統計する統計値算出部を備え、ブロック統計値より撮像画像に発生するシェーディング推定を行う画像処理装置において、ブロック統計値の「３Ｒ／（Ｒ＋Ｇ＋Ｂ）」または「Ｒ／（Ｒ＋Ｇ＋Ｂ）」で算出されるＲ比のヒストグラムによって、シェーディング推定に用いる有効ブロックを選択することにより、被写体による誤推定を低減してシェーディング推定精度を向上させることができる。本実施の形態２では、Ｒ比のヒストグラム最頻値付近のブロックを評価するため、複数の色相が混在するシーンでシェーディング誤推定を抑制することができる。
【０１０２】
（実施の形態３）
以下、図面を参照して実施の形態３について説明する。
【０１０３】
＜実施の形態３の概要＞
上記特許文献３に係る画像処理装置では、画像の各ブロックを画像の中央部からの距離に基づいて複数のグループに分類し、画像にシェーディング推定テーブルを適用したときの画像特性値をグループ毎に算出し、グループ毎の画像特性値を画像中央部からの距離に応じた重み付けをし、画像中央部のグループより順次外側のグループに向かって、基準グループを探索し、基準グループのＲ比と基準グループより外側のグループのＲ比との差分絶対値を求め、あらかじめ用意したグループ重みを乗算したものの総和をシェーディング推定テーブルの評価値としていた。これにより、画像中央部に彩度が高い被写体があった場合の誤判定を低減する効果が得られた。
【０１０４】
しかしながら、従来技術では、基準グループより周辺部に有彩色の被写体がある場合に誤った判定がなされることがある。
【０１０５】
本実施の形態３では、あらかじめ用意した光源別のシェーディング推定テーブルを適用したブロック統計値に対し、ブロックの有効無効を判定し、ブロックの集合で構成されるグループの有効無効を判定し、画像中央のグループから周辺のグループへ向かう有効グループの連続性を判定する判定部を新たに設け、グループ連続性の判定結果に従い無効グループを補間して有効化し、同系色の被写体領域のグループを抽出し、有効グループの画像中央部から周辺部にかけてのＲ比の近似直線の傾きにしたがって、撮像画像の補正に適切なシェーディング補正テーブルを選択することで被写体による誤判定を低減する。
【０１０６】
＜実施の形態３の構成＞
本実施の形態３に係る画像処理装置を備えたデジタルスチルカメラ１００の構成は、実施の形態１の図１と同様であるため、説明を省略する。
【０１０７】
図１７は、本実施の形態３に係るシェーディング推定部１２４の構成を示すブロック図である。実施の形態２の構成に加えて、グループ分類部２２１、グループ評価値算出部２２２、有効グループ判定部２２３、近似推定部２２４、分散推定部２２５を備えている。この例では、近似推定部２２４、分散推定部２２５は、シェーディング推定係数選択部２１４に含まれている。なお、後述の本実施の形態３の動作が実現できればよいため、この構成に限られない。例えば、近似推定部２２４の近似にしたがって、シェーディング推定係数選択部２１４がシェーディング推定係数を選択してもよい。
【０１０８】
グループ分類部２２１は、画像の中央部からの距離に応じて、画像のブロックを複数のグループに分類する。グループ評価値算出部２２２は、ブロック統計値に基づいてグループ評価値を算出する。グループ評価値算出部２２２は、ブロック統計値に基づいてブロックの有効または無効を判定する有効ブロック判定部を含んでいてもよく、グループ内の有効ブロックについて統計値の色別の総和に基づいてグループ評価値を算出する。有効グループ判定部２２３は、グループ評価値またはグループ内の有効ブロック数に基づいてグループの有効／無効を判定する。近似推定部（直線近似部）２２４は、グループ評価値に基づいて、シェーディング推定テーブルによる補正を近似する近似式を算出し、近似式に基づいてシェーディング推定テーブルを選択する。近似推定部２２４は、撮像画像の中央部から周辺部への有効グループについて、色（Ｒ）の比率を直線近似しているとも言える。分散推定部２２５は、ブロック評価値の標本分散を算出し、分散値が最小となるシェーディング推定テーブルを選択する。
【０１０９】
＜実施の形態３の動作＞
本実施の形態３では、まず、実施の形態２におけるブロック評価値Ｅｂ算出までと同様の動作を行う。図１８は、本実施の形態３に係るグループ分類部２２１、グループ評価値算出部２２２の動作を説明するためのフローチャートである。
【０１１０】
まず、グループ分類部２２１は、図１９に示すように、検波ブロックを象限Ｑ［０］〜［３］に四分割し、さらに中央からの距離に応じてＧ［０］〜［ｇ］にグループ分けする（ステップＳ３０１）。
【０１１１】
次に、グループ評価値算出部２２２は、ブロック検波データに推定候補のシェーディング推定テーブル（Ｓｍａｌｌ  Ｔａｂｌｅ）を乗算し（ステップＳ３０２）、ブロック評価値Ｅｂを算出する（ステップＳ３０３）。実施の形態２と同様に、（１７）式を用いて、シェーディング補正前のブロック統計値に推定候補のシェーディング推定テーブルを乗算し、さらに（１８）式を用いてブロック重みＢｗを乗算してブロック評価値Ｅｂを算出する。
【０１１２】
次に、グループ評価値算出部２２２は、（１９）式のように、グループＧ［０］〜［ｇ］毎にブロック評価値Ｅｂ（Ｎ，Ｍ）を積算したグループ積算値Ｅｇ［ｇ］を算出し（ステップＳ３０４）、また、（２０）式のように、グループＧ［０］〜［ｇ］毎にブロック重みＢｗ（Ｎ，Ｍ）を積算した有効ブロック数Ｎｂ［ｇ］を算出する（ステップＳ３０５）。全ての推定候補のシェーディング推定テーブルについて、以上の処理（ステップＳ３０１〜ステップＳ３０６）を行う。グループ評価値算出部２２２は、グループ内に含まれるシェーディング推定係数を順次適用したブロック統計値のうち有効ブロックのブロック統計値の総和をグループ積算値Ｅｇとしている。
【数１９】
0006573798.tif 000023
【数２０】
0006573798.tif 000024
【０１１３】
次に、本実施の形態３に係るシェーディング推定テーブルの評価方法（シェーディング推定方法）について説明する。本実施の形態３では、グループ積算値Ｅｇ［ｇ］を元に最小二乗法などを用いて近似直線推定を行い、近似直線の傾きの値から求めたテーブル番号ｔを推定結果とする。
【０１１４】
図２０Ａ及び部２０Ｂは、本実施の形態３に係る有効グループ判定部２２３、近似推定部２２４の動作を説明するためのフローチャートである。
【０１１５】
まず、有効グループ判定部２２３は、グループＧ［０］〜［ｇ］毎に有効ブロック数Ｎｂ［ｇ］を判定する（ステップＳ３１０）。有効ブロック数Ｎｂ＜有効ブロック数閾値の場合、有効ブロック数Ｎｂ＝０とする。
【０１１６】
次に、有効グループ判定部２２３は、（２１）式を用いて、グループＧ［０］〜［ｇ］毎にブロック評価値Ｅｂの平均値Ａｇ［ｇ］を算出する（ステップＳ３１１）。有効ブロック数Ｎｂ＜グループ内有効ブロック数閾値の場合、平均値Ａｇ＝０とし、有効ブロック（ブロック重みＢｗ＝１）の数Ｎｂがグループ内有効ブロック数閾値（Ｅｎａｂｌｅグループ Ｃｏｕｎｔ Ｔｈｒｅｓｈｏｌｄ）未満のグループを推定から除外する。
【数２１】
0006573798.tif 000025
【０１１７】
次に、（２２）式を用いて、有効グループ判定部２２３は、ブロック評価値Ｅｂの平均値Ａｇ［ｇ］を画像中央からの距離Ｄ［０］〜［ｄ］毎に平均してグループ評価値Ａｄ［ｄ］を算出する（ステップＳ３１２）。図２１は、距離Ｄ［０］〜［６］のグループの例を示している。
【数２２】
0006573798.tif 000026
【０１１８】
次に、有効グループ判定部２２３は、各距離グループについて、隣接距離グループとのグループ評価値Ａｄの差分値Ｄｉｆｆを算出する（ステップＳ３１３）。以上の処理（ステップＳ３１０〜ステップＳ３１３）についても、全ての推定候補のシェーディング推定テーブルで行う。
次に、有効グループ判定部２２３は、デフォルトのシェーディング推定テーブルについて（ステップＳ３１４のＹｅｓ）、グループ評価値Ａｄ［ｄ］の値を用いて距離Ｄ［０］〜［ｄ］の各グループの有効／無効判定（Ｅｄ＝１:有効、Ｅｄ＝０：無効）を行う（ステップＳ３１５）。グループ評価値Ａｄ［ｄ］＝０、もしくは隣接距離グループとのグループ評価値Ａｄの差分Ｄｉｆｆが大きい又は小さい距離Ｄのグループは無効とする。すなわち、差分値ＤｉｆｆがＭｉｎＴｈ（最小閾値）〜ＭａｘＴｈ（最大閾値）内の場合は有効（Ｅｄ＝１）、差分値ＤｉｆｆがＭｉｎＴｈ〜ＭａｘＴｈ外の場合は無効（Ｅｄ＝０）とする。図２２Ａは、Ｄ［０］〜［１］が無効、Ｄ［２］〜「６」が有効の例であり、図２２Ｂは、Ｄ［０］〜［３］、［６］が有効であり、Ｄ［４］〜［５］が無効の例である。
【０１１９】
次に、有効グループ判定部（無効グループ有効化部）２２３は、単独の無効距離グループ（Ｅｄ＝０）の両隣にそれぞれ２個以上の連続した有効距離グループ（Ｅｄ＝１）があり、かつ、単独の無効距離グループと両隣の有効距離グループとのグループ評価値Ａｄの差分Ｄｉｆｆがそれぞれ無効距離グループ補間閾値以下である場合に、単独の無効距離グループのＥｄ＝０を１に補間して有効距離グループ化する（ステップＳ３１６）。
有効グループ判定部２２３は、撮像画像の中央部から周辺部へ向かうグループのうち有効グループの連続性を判定するグループ連続性判定部と、グループ連続性の判定結果に従い、無効と判定されたグループを有効化する無効グループ有効化部とを含んでいてもよい。例えば、無効グループ有効化部は、単独の無効クループの両隣に２個以上の連続して有効グループがあり、かつ、無効クループに隣接する２つの有効グループの差分が閾値以下の場合に無効グループを有効化する。図２３（ａ）は、Ｄ［２］の両隣のグループ評価値Ａｄの差分が閾値以下のため、補間対象となる例であり、図２３（ｂ）は、Ｄ［１］の両隣が連続していないため、補間対象外となる例であり、図２３（ｃ）は、Ｄ［２］〜［３］が単独のＥｄ＝０ではないため、補間対象外となる例である。
【０１２０】
次に、有効グループ判定部（グループ連続性判定部）は、有効距離（Ｅｄ＝１）の連続数Ｎｅにより推定方式を決定する（ステップＳ３１７）。Ｎｅの数が少ない場合、推定困難な複雑な被写体である可能性が高いため分散推定へ移行する。すなわち、Ｎｅ＞有効距離グループ連続数閾値の場合、後述の近似直線推定処理を行い、Ｎｅ≦有効距離グループ連続数閾値の場合、分散推定処理（ステップＳ３１８）を行う。ここまでの処理（ステップＳ３１５〜ステップＳ３１８）はデフォルトのシェーディング推定テーブル（シェーディング推定初期係数）を用いて行う。
【０１２１】
次に、近似推定部（近似直線推定部）２２４は、全ての推定候補のシェーディング推定テーブルについて、最小二乗法を用いて有効距離（Ｅｄ＝１）のグループ評価値Ａｄの近似直線を算出し（ステップＳ３２０、Ｓ３２１）、傾きの値から最適なテーブル番号ｔを求める（ステップＳ３２２）。このとき、有効距離（Ｅｄ＝１）は、デフォルトのシェーディング推定テーブルを用いてステップＳ３１５、Ｓ３１６で求めたものを全ての推定候補のシェーディング推定テーブルに適用する。例えば、デフォルトのシェーディング推定テーブルの有効距離がＤ［２］〜［４］であったならば、全てのシェーディング推定テーブルの有効距離をＤ［２］〜［４］とする。そして、近似直線の傾きが負の場合、負の傾きの中で最も０に近いテーブル番号を推定結果とし（ステップＳ３２３）、また、傾きが負ではない（正である）場合、最小値のテーブル番号を推定結果とする（ステップＳ３２４）。近似推定部２２４（または、シェーディング推定係数選択部）は、近似した直線が水平に近くなるような、または、あらかじめ設定した基準の傾きに最も近くなるようなシェーディング推定係数群を選択してもよい。なお、Ｒの比率を近似する場合、全ＲＧＢに対するＲの比率（Ｒ／（Ｒ＋Ｇ＋Ｂ））を用いてもよいし、全ＲＧＢに対するＲの比率の３倍（３Ｒ／（Ｒ＋Ｇ＋Ｂ））を用いてもよい。
【０１２２】
次に、推定結果のテーブル番号と前回の推定テーブル番号との差分を求め（ステップＳ３２５）、差分が１の場合、推定結果が安定するようにヒステリシスを使用して推定結果の更新判定を行う。すなわち、推定結果テーブル番号−前回推定テーブル番号＝１の場合、Ｓｌｏｐｅ（傾き）＞ＳｌｏｐｅＨｙｓ（ヒステリシスの傾き）＊−１を満たすか否か判定し（ステップＳ３２６）、推定結果テーブル番号−前回推定テーブル番号＝−１の場合、Ｓｌｏｐｅ（傾き）＜ＳｌｏｐｅＨｙｓ（ヒステリシスの傾き）を満たすか否か判定する（ステップＳ３２７）。Ｓｌｏｐｅ＞ＳｌｏｐｅＨｙｓ＊−１を満たす場合（ステップＳ３２６のＹｅｓ）、または、Ｓｌｏｐｅ＜ＳｌｏｐｅＨｙｓを満たす場合（ステップＳ３２７のＹｅｓ）、前回の推定結果を維持する（ステップＳ３２８、Ｓ３３０）。ステップＳ３２５で推定結果テーブル番号−前回推定テーブル番号が±１以外の場合（ステップＳ３２５のｅｌｓｅ）、または、Ｓｌｏｐｅ＞ＳｌｏｐｅＨｙｓ＊−１を満たさない場合（ステップＳ３２６のＮｏ）、または、Ｓｌｏｐｅ＜ＳｌｏｐｅＨｙｓを満たさない場合（ステップＳ３２７のＮｏ）、推定結果を今回のテーブル番号に確定する（ステップＳ３２９）。
【０１２３】
図２４は、推定候補シェーディング推定テーブル毎の近似直線イメージを示している。図２４のように、過補正でなく、かつ、補正結果が水平に近いテーブル（図２４の（ａ））を推定結果とする。また、全テーブルが過補正の場合、最も補正の弱いテーブルを推定結果とする。
【０１２４】
図２５は、本実施の形態３に係る分散推定部２２５の動作を説明するためのフローチャートである。近似直線推定が困難な複雑な被写体の場合、分散推定部２２５は、画像全体のブロック評価値Ｅｂの平均値であるブロック評価平均値Ａｂと各ブロック評価値Ｅｂとから標本分散を求め（有効ブロックのみ使用）、分散値が最小となるテーブル番号ｔを推定結果とする。
【０１２５】
すなわち、分散推定部２２５は、（２３）式を用いて、有効ブロックのブロック評価平均値Ａｂを算出する（ステップＳ３３１）。有効ブロック（ブロック重みＢｗ＝１）の数Ｎｂ、ブロック評価平均値Ａｂは（２３）式で表される。
【数２３】
0006573798.tif 000027
【０１２６】
次に、分散推定部２２５は、（２４）式を用いて、有効ブロックの標本分散Ｖａｒｐを算出して記憶し（ステップＳ３３２、ステップＳ３３３）、全ての推定候補のシェーディング推定テーブルを用いて、以上の処理を繰り返す（ステップＳ３３４）。
【数２４】
0006573798.tif 000028
【０１２７】
次に、分散推定部２２５は、（２５）式を用いて、分散値が最小となるテーブル番号ｔを推定結果とする（ステップＳ３３５）。
【数２５】
0006573798.tif 000029
【０１２８】
以上、説明したように、本実施の形態３では、撮像画像を複数のブロックに分割しブロック毎に画素値を統計する統計値算出部を備え、ブロック統計値により撮像画像に発生するシェーディングの推定を行う画像処理装置において、撮像画像に複数の光源に対応するシェーディング推定テーブルを順次適用する。シェーディング推定テーブルを適用したブロック画像に対し、画像中央部のブロックからの距離に応じてブロックをグループ分類し、推定に用いるグループであるかを判定する。画像中央のグループから画像周辺部のグループのＲ比を直線近似する。複数の光源に対応した推定テーブル分の近似直線の傾きにしたがって、シェーディング推定テーブルに一対一に対応したシェーディング補正テーブルを選択することで、従来技術より高精度にシェーディングを補正することができる。本実施の形態３では、画像中央領域から周辺領域へのＲ比変化の連続性を評価してテーブル評価値を算出するため、被写体色によるＲ比の変化を排除することでシェーディング誤推定を抑制することができる。
【０１２９】
（実施の形態４）
以下、図面を参照して実施の形態４について説明する。
【０１３０】
＜実施の形態４の概要＞
上記実施の形態３に係る画像処理装置では、ブロックの有効無効を判定し、グループの有効無効を判定し、画像中央のグループから周辺のグループへ向かう有効グループの連続性を判定し、無効グループを補間して有効化し、同系色の被写体領域のグループを抽出し、有効グループの画像中央部から画像周辺部にかけてのＲ比の近似直線の傾きにしたがって、撮像画像の補正に適切なシェーディング補正テーブルを選択した。
【０１３１】
これに対し、本実施の形態４に係る画像処理装置は、有効グループの判定方法を変更して有効グループの数、すなわち、評価対象グループの数を増やし、また、連続する有効グループ毎に分散値を求め、当該分散値を加算したものをシェーディング推定テーブルの評価値とすることで、誤判定の発生を抑制し、シェーディング推定の精度向上を図るものである。
【０１３２】
＜実施の形態４の構成＞
本実施の形態４に係る画像処理装置を備えたデジタルスチルカメラ１００の構成も、実施の形態１の図１と同様であるため、説明を省略する。
【０１３３】
図２６は、本実施の形態４に係るシェーディング推定部１２４の構成を示すブロック図である。図１７に示した実施の形態３に係るシェーディング推定係数選択部２１４の近似推定部２２４及び分散推定部２２５に代えて、グループ分散推定部２２６及びブロック分散推定部２２７を備えている。
もちろん、後述の本実施の形態４の動作が実現できればよいため、この構成に限られない。
【０１３４】
グループ分散推定部２２６は、連続する有効グループ（グループ連続領域）毎にグループ評価値Ａｄの分散値を求め、当該分散値を積算したものをシェーディング推定係数の評価値とし、最も小さな評価値を有するシェーディング推定係数を画像に適切なシェーディング推定係数と判定するものである。
また、ブロック分散推定部２２７は、グループ連続領域の数が所定数よりも少ないときに、グループ分散推定部２２６の上記処理に代わりに、有効ブロック分散推定処理を行うものである。
つまり、本実施の形態４に係るシェーディング推定部１２４はグループ分散又はブロック分散のいずれかによってシェーディングを推定するということができる。
【０１３５】
＜実施の形態４の動作＞
本実施の形態４では、まず、実施の形態３に係るステップＳ３０１〜ステップＳ３１２と同様の処理を行い、ブロック評価値Ｅｂの平均値Ａｇ［ｇ］を画像中央からの距離Ｄ［０］〜［ｄ］毎に平均してグループ評価値Ａｄ［ｄ］を算出する。
【０１３６】
図２７は、本実施の形態４に係るシェーディング推定部１２４の動作を説明するためのフローチャートである。
実施の形態３に係るステップＳ３０１〜ステップＳ３０６と同様の処理を行った後に、有効グループ判定部２２３が距離グループＧ［０］〜Ｇ［ｇ］毎に有効ブロック数Ｎｂ［ｇ］を判定する（ステップＳ４０１）。このとき、有効ブロック数Ｎｂ＜有効ブロック数閾値であれば、有効ブロック数Ｎｂ＝０とする。
【０１３７】
次に、有効グループ判定部２２３が前述の（２１）式を用いて、グループＧ［０］〜［ｇ］毎にブロック評価値Ｅｂの平均値Ａｇ［ｇ］を算出する（ステップＳ４０２）。このとき、有効ブロック数Ｎｂ＝０であれば、平均値Ａｇ［ｇ］＝０とする。つまり、グループ内の有効ブロック数が少ないときは、当該グループを無効として、以下の推定処理から除外する。
【０１３８】
次に、有効グループ判定部２２３が前述の（２２）式を用いて、ブロック評価値Ｅｂの平均値Ａｇ［ｇ］を画像中央からの距離Ｄ［０］〜［ｄ］毎に平均してグループ評価値Ａｄ［ｄ］を算出する（ステップＳ４０３）。
以上のステップＳ４０３までの各処理は、デフォルトのシェーディング推定係数、すなわち、シェーディング推定初期係数を含む、全てのシェーディング推定係数について行う。
【０１３９】
次に、有効グループ判定部２２３は、撮像画像に適用したのが、シェーディング推定初期係数なのか、シェーディング推定初期係数以外のシェーディング推定係数なのかを判定する（ステップＳ４０４）。
撮像画像に適用したのがシェーディング推定初期係数であるときは（ステップＳ４０４のＹｅｓ）、有効グループ判定部２２３は、隣接距離グループ間のグループ評価値Ａｄの差分値Ｄｉｆｆを算出し（ステップＳ４０５）、有効距離グループ及びグループ連続領域を判定する（ステップＳ４０６）。
【０１４０】
図２８は、本実施の形態４に係る有効距離グループの判定方法を説明するための図である。図の横方向は、画像を距離Ｄ［０］〜Ｄ［６］の７グループに分けたときの各グループを示す。図の縦方向は各距離Ｄ［ｎ］におけるグループ評価値Ａｄを示す。
本実施の形態４では、注目グループとその両隣のグループとの間のグループ評価値Ａｄの差分値Ｄｉｆｆがそれぞれ隣接グループ差判定閾値を超えていたときに、当該注目グループを無効グループと判定する。
【０１４１】
図２８（Ａ）に示すシーン１の場合には、Ｄ［０］〜Ｄ［２］のグループ評価値Ａｄ及びＤ［３］〜Ｄ［６］のグループ評価値Ａｄはそれぞれほぼ一定であり、これらの距離の間ではＤｉｆｆはほぼ０である。また、Ｄ［２］とＤ［３］との間のＤｉｆｆは隣接グループ差判定閾値よりも大きい。この場合、Ｄ［０］〜Ｄ［６］の各グループをいずれも有効距離グループと判定する。
【０１４２】
図２８（Ｂ）に示すシーン２の場合には、Ｄ［０］〜Ｄ［２］のグループ評価値Ａｄ及びＤ［４］〜Ｄ［６］のグループ評価値Ａｄはそれぞれほぼ一定であり、これらの距離の間ではＤｉｆｆはほぼ０である。また、Ｄ［２］とＤ［３］との間及びＤ［３］とＤ［４］との間のＤｉｆｆはそれぞれ隣接グループ差判定閾値よりも大きい。この場合、Ｄ［０］〜Ｄ［２］、Ｄ［４］〜Ｄ［６］の各グループを有効距離グループと判定し、Ｄ［３］を無効距離グループと判定する。
なお、Ｄ［０］又はＤ［６］のように隣接グループが一つだけ存在する注目グループは、当該一つの隣接グループとのグループ評価値Ａｄの差Ｄｉｆｆを閾値と比較して、有効無効の判定をする。
【０１４３】
図２９は、本実施の形態４に係る有効距離グループの判定方法の具体的な処理内容を説明するための図である。画像を距離Ｄ［０］〜Ｄ［６］の７グループに分けたときの処理内容である。上から距離グループＤ［０］〜Ｄ［６］とそのグループ評価値Ａｄ値、Ｄｉｆｆ配列値、Ｅｄ配列値を示している。
【０１４４】
まず、隣接グループとのグループ評価値Ａｄの差Ｄｉｆｆが閾値以上の区間は０、閾値内の区間は１としてＤｉｆｆ配列に格納する。このとき、Ｄｉｆｆ配列は（隣接距離グループの数）＋１の分を用意して、その先頭と末尾は「０」固定とする。この例では、Ｄｉｆｆ配列（＊‐Ｄ０）、（Ｄ１‐Ｄ２）、（Ｄ２‐Ｄ３）、（Ｄ７‐＊）の４箇所に「０」が格納される。
【０１４５】
次に、各グループの有効無効を判定する。具体的には、Ｄｉｆｆ配列の隣接要素の論理積を求めてＥｄ配列に格納する。この例では、Ｅｄ配列（Ｄ２）の１箇所に「０」が格納される。つまり、距離グループＤ［２］を無効距離グループ、距離グループＤ［０］、Ｄ［１］、Ｄ［３］〜Ｄ［６］を有効距離グループと判定する。
そして、Ｅｄ配列内で２つ以上「１」が連続している箇所、すなわち、有効距離グループが２つ以上連続している箇所をグループ連続領域（Ｓｅｒｉｅｓ）と判定する。この例では、Ｄ［０］〜Ｄ［１］が一つのグループ連続領域、Ｄ［３］〜Ｄ［６］がもう一つのグループ連続領域、すなわち、二つのグループ連続領域が判定される。
【０１４６】
次に、有効グループ判定部２２３は、グループ連続領域の数が所定の閾値以上あるか判定し（ステップＳ４０７）、グループ連続領域の数が所定の閾値以上あるとき（ステップＳ４０７のＹｅｓ）は、グループ分散推定部２２６によるステップＳ４０８以降の処理に進み、グループ連続領域の数が所定の閾値未満のとき（ステップＳ４０７のＮｏ）は、ブロック分散推定部２２７によるステップＳ４１２の有効ブロック分散推定処理に進む。この例では、グループ連続領域の数Ｎｓ＝２であり、ステップＳ４０８以降の処理に進む。
なお、ここまでの処理（ステップＳ４０５〜ステップＳ４０７）は、撮像画像にシェーディング推定初期係数を適用して得られた特性値を用いて行う。
【０１４７】
一方、撮像画像に適用したのがシェーディング推定初期係数以外のシェーディング推定係数であるときは（ステップＳ４０４のＮｏ）、ただちに、グループ分散推定部２２６によるステップＳ４０８以降の処理に進む。
【０１４８】
次に、グループ分散推定部２２６は、（２６）式、（２７）式を用いて、グループ連続領域における分散値ＳｅｒｉｅｓＶａｒｐ［ｎ］を求める（ステップＳ４０８、Ｓ４０９）。ここで、Ｎｅはグループ連続領域内のグループ数である。また、グループ連続領域は、撮像画像にシェーディング推定初期係数を適用したものを用いてステップＳ４０５、Ｓ４０６で求めたグループ連続領域の範囲（上記の例では、Ｄ［０］〜Ｄ［１］及びＤ［３］〜Ｄ［６］）を、シェーディング推定初期係数に係る分散値を求めるときにも、シェーディング推定初期係数以外のシェーディング推定係数に係る分散値を求めるときにも共通して用いる。分散値ＳｅｒｉｅｓＶａｒｐ［ｎ］を求めることにより、グループ連続領域毎のグループ評価値Ａｄ値の起伏を評価することができる。
【数２６】
0006573798.tif 000030
【数２７】
0006573798.tif 000031
【０１４９】
次に、グループ分散推定部２２６は、（２８）式を用いて、グループ連続領域毎の分散値ＳｅｒｉｅｓＶａｒｐ［ｎ］を積算してテーブル評価値Ｅｔ［ｔ］を算出する（ステップＳ４１０）。
【数２８】
0006573798.tif 000032
ここまでの処理（ステップＳ４０８〜Ｓ４１０）を、シェーディング推定初期係数を含む全てのシェーディング推定係数について行う。
【０１５０】
そして、グループ分散推定部２２６は、（２９）式のように、全てのシェーディング推定係数の中で、そのテーブル評価値Ｅｔ［ｔ］が最も小さくなるものを、撮像画像に最も適したシェーディング推定係数であるとして選択する（ステップＳ４１１）。
【数２９】
0006573798.tif 000033
なお、ブロック分散推定部２２７が行う有効ブロック分散推定処理（ステップＳ４１２）は、実施の形態３に係る分散推定部２２５が行う分散推定処理（ステップＳ３１８又はステップＳ３３１〜ステップＳ３３５）と同様であって、ここでは説明を省略する。
【０１５１】
以上、説明したように、本実施の形態４に係る画像処理装置は、画像を、当該画像の中心部からの距離に基づいて複数のグループに分類するグループ分類部２２１と、当該画像にシェーディング推定係数を適用したときのグループ毎のグループ評価値を算出するグループ評価値算出部２２２と、グループ評価値に基づいて有効グループを判定し、隣接する有効グループをグループ連続領域として判定する有効グループ判定部２２３と、グループ連続領域毎のグループ評価値の分散値を積算してシェーディング推定係数のテーブル評価値とし、最も小さいテーブル評価値を有するシェーディング推定係数を選択するシェーディング推定係数選択部２１４と、選択したシェーディング推定係数に対応するシェーディング補正係数を用いて画像を補正するシェーディング補正部１０８とを備えるもので、誤判定の発生を抑制して、シェーディング推定の精度向上を図ることができる。
【０１５２】
なお、本発明は上記各実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記各実施の形態に係る構成を適宜組み合わせることも可能である。
【０１５３】
上記の各実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。
【０１５４】
（付記１）
撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎に画素値を統計することでブロック統計値を算出する統計値算出部と、
前記ブロック統計値に、予め、複数の光源別に用意したシェーディング補正テーブルを順次適用したブロック統計値を解析処理することで、前記撮像画像に発生するシェーディングを推定する画像処理装置であって、
シェーディング推定に用いるテーブル群のうち推定に用いるテーブル群を、画像平坦度、被写体明度、被写体色温度の少なくとも１つに応じて、限定するシェーディング推定テーブル選択手段を備えることを特徴とする画像処理装置またはその画像処理方法。
【０１５５】
（付記２）
前記画像平坦度は、ブロック統計値周辺部から中央部に連続するブロックの画素値差分を積算することによって、平坦な被写体シーンであることを判別することを特徴とする付記１記載の画像処理装置またはその画像処理方法。
【０１５６】
（付記３）
撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎にＲＧＢ別の画素値を統計したブロック統計値を算出する統計値算出部と、
前記ブロック統計値に、予め、補正強度の異なる複数のシェーディング推定テーブルを順次適用したブロック統計値を解析処理することで、前記撮像画像に発生するシェーディングを推定する画像処理装置であって、
前記解析処理は、前記ブロック統計値より、ブロック色評価値を算出するブロック色評価値算出手段と、
前記ブロック色評価値のヒストグラムを算出し、ヒストグラム分布によってシェーディング推定のための評価対象ブロックを選択する評価ブロック選択手段を備えることを特徴とする画像処理装置またはその画像処理方法。
【０１５７】
（付記４）
前記ブロック色評価値算出手段は、前記ブロック統計値に、最も補正強度が弱いシェーディング推定係数と正規化ゲインを乗算して第２のブロック統計値として、第２のブロック統計値よりブロック色評価値を算出することを特徴とする付記３記載の画像処理装置またはその画像処理方法。
【０１５８】
（付記５）
前記正規化ゲインは全ブロック分のＲＧＢを積算し、「積算Ｇ値／積算Ｒ値」をＲゲイン、「積算Ｇ値／積算Ｂ値」をＢゲインとすることを特徴とする付記４記載の画像処理装置またはその画像処理方法。
【０１５９】
（付記６）
前記ブロック色評価値算出手段が求めるブロック色評価値は、第２のブロック統計値のＲ比、Ｇ比、Ｂ比の少なくとも１つに基づいて求められることを特徴とする付記４または５記載の画像処理装置またはその画像処理方法。
【０１６０】
（付記７）
前記Ｒ比は「３Ｒ／（Ｒ＋Ｇ＋Ｂ）」または「Ｒ／（Ｒ＋Ｇ＋Ｂ）」で算出されることを特徴とする付記６記載の画像処理装置またはその画像処理方法。
【０１６１】
（付記８）
前記評価ブロック選択手段は、ヒストグラム最頻値の近傍のビンに分類されたブロックを評価対象ブロックとすることを特徴とする付記３乃至７のいずれか１つに記載の画像処理装置またはその画像処理方法。
【０１６２】
（付記９）
前記評価ブロック選択手段は、ブロックのＲ値、Ｇ値、Ｂ値のいずれかの値が、予め設定した範囲外の場合に評価対象ブロックから除外することを特徴とする付記３乃至８のいずれか１つに記載の画像処理装置またはその画像処理方法。
【０１６３】
（付記１０）
撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎にＲＧＢ別の画素値を統計したブロック統計値を算出する統計値算出部と、
前記ブロック統計値に、予め、補正強度の異なる複数のシェーディング推定テーブルを順次適用したブロック統計値を求め、画像中央部からの距離に応じてブロックをグループ分類するグループ分類手段と、
ブロック統計値の有効無効を判定する有効ブロック判定手段と、
グループ内の有効ブロックのＲＧＢ別統計値のＲＧＢ別総和をグループ統計値として求めるグループ統計値算出手段と、
を備えた画像処理装置であって、
各グループ内の有効ブロック数によってグループの有効無効を判定する有効グループ判定手段と、
画像中央部から周辺部の有効グループを「３Ｒ／（Ｒ＋Ｇ＋Ｂ）」または「Ｒ／（Ｒ＋Ｇ＋Ｂ）」で算出されるＲ比を直線近似するグループＲ比直線近似手段と、
前記グループＲ比直線近似手段で算出した近似直線の傾きにしたがって、撮像画像の補正に適切なシェーディング補正テーブルを選択するシェーディング補正テーブル選択手段を備えることを特徴とする画像処理装置またはその画像処理方法。
【０１６４】
（付記１１）
前記グループ統計値算出手段は、グループ内に含まれるシェーディング推定テーブルを順次適用したブロック統計値のうちブロック判定手段によって有効と判断されたブロックの総和をグループ統計値とすることを特徴とする付記１０記載の画像処理装置またはその画像処理方法。
【０１６５】
（付記１２）
前記有効グループ判定手段は、画像中央のグループから周辺のグループへ向かう有効グループの連続性を判定するグループ連続性判定手段と、
前記グループ連続性の判定結果に従い無効グループを補間して有効化する無効グループ有効化手段を備えることを特徴とする付記１０または１１記載の画像処理装置またはその画像処理方法。
【０１６６】
（付記１３）
前記無効グループ有効化手段は、単独の無効クループの両隣に２個以上の連続した有効グループがあり、かつ無効クループに隣接する２つの有効グループの差分が閾値以下の場合に無効グループを有効化することを特徴とする付記１２に記載の画像処理装置またはその画像処理方法。
【０１６７】
（付記１４）
前記シェーディング補正テーブル選択手段は、近似直線が水平に近いもの、または、あらかじめ設定した基準の傾きに最も近いものが選択されることを特徴とする付記１０乃至１３のいずれか１つに記載の画像処理装置またはその画像処理方法。
【０１６８】
（付記１５）
撮像画像を複数のブロックに分割し、ブロック毎に画素値を統計する統計値算出部を備え、ブロック統計値より撮像画像に発生するシェーディングの推定を行う画像処理装置において、
複数の光源にそれぞれ対応するシェーディング推定テーブルを撮像画像に順次適用し、
画像中央部からの距離に応じてブロックをグループに分類し、シェーディング推定に用いるグループであるかを判定し、
隣接グループとのＲ比の差が閾値より小さく連続したグループをグループ連続領域とし、
グループ連続領域毎に分散値を求めすべてのグループ連続領域の分散値を加算したものをテーブル評価値とし、
テーブル評価値が最も小さいシェーディング推定テーブルを撮像画像を適切に補正できるシェーディング推定テーブルとして選択することを特徴とする画像処理装置またはその画像処理方法。
【０１６９】
（付記１６）
撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎に画素値を統計することでブロック統計値を算出する統計値算出部と、
ブロック統計値に、複数の光源別に予め用意したシェーディング補正テーブルを順次適用したブロック統計値を求め、画像中央部からの距離に応じてブロックをグループに分類するグループ分類手段と、
前記シェーディング補正テーブルを順次適用したブロック統計値からグループ統計値を求めるグループ統計値算出手段と、
前記グループ統計値よりグループ評価値を算出するグループ評価値算出手段を備えた画像処理装置であって、
各グループ内の有効ブロック数によってグループの有効無効を判定する有効グループ判定手段と、
画像中央のグループから周辺のグループへ向かう有効グループの連続性を判定するグループ連続性判定手段と、
グループ連続性の判定結果によって連続したグループとされたグループ連続領域毎に分散値を求めすべてのグループ連続領域の分散値を加算したものをテーブル評価値とするテーブル評価値算出手段と、
テーブル評価値が最も小さいシェーディング補正テーブルを選択するシェーディング補正テーブル選択手段を備え、
撮像画像の補正に適切なシェーディング補正を行うことができることを特徴とする画像処理装置またはその画像処理方法。
【符号の説明】
【０１７０】
１００    デジタルスチルカメラ
１０２    レンズ光学系
１０４    撮像素子
１０６    ＡＦＥ回路
１０８    画像信号処理回路
１１０    画像表示部
１１２    画像記録部
１１４    ドライバ
１１６    タイミングジェネレータ
１１８    画像ブロック統計回路
１２０    制御部
１２２    係数記憶部
１２４    シェーディング推定部
１２６    シェーディング補正部
２０１    フラット判定部
２０２    シェーディング推定係数選択部
２１１    ブロック色評価値算出部
２１２    ブロック重み係数算出部
２１３    ブロック評価値算出部
２１４    シェーディング推定係数選択部
２２１    グループ分類部
２２２    グループ評価値算出部
２２３    有効グループ判定部
２２４    近似推定部
２２５    分散推定部
２２６    グループ分散推定部
２２７    ブロック分散推定部
【図１】
0006573798.tif 000034
【図２】
0006573798.tif 000035
【図３】
0006573798.tif 000036
【図４】
0006573798.tif 000037
【図５】
0006573798.tif 000038
【図６】
0006573798.tif 000039
【図７】
0006573798.tif 000040
【図８】
0006573798.tif 000041
【図９】
0006573798.tif 000042
【図１０】
0006573798.tif 000043
【図１１】
0006573798.tif 000044
【図１２】
0006573798.tif 000045
【図１３Ａ】
0006573798.tif 000046
【図１３Ｂ】
0006573798.tif 000047
【図１４】
0006573798.tif 000048
【図１５】
0006573798.tif 000049
【図１６】
0006573798.tif 000050
【図１７】
0006573798.tif 000051
【図１８】
0006573798.tif 000052
【図１９】
0006573798.tif 000053
【図２０Ａ】
0006573798.tif 000054
【図２０Ｂ】
0006573798.tif 000055
【図２１】
0006573798.tif 000056
【図２２Ａ】
0006573798.tif 000057
【図２２Ｂ】
0006573798.tif 000058
【図２３】
0006573798.tif 000059
【図２４】
0006573798.tif 000060
【図２５】
0006573798.tif 000061
【図２６】
0006573798.tif 000062
【図２７】
0006573798.tif 000063
【図２８】
0006573798.tif 000064
【図２９】
0006573798.tif 000065