(57)【要約】【課題】  光学ハーフＮＤフィルタに相当する機能を電気的に実現し、効果的かつ柔軟に画像のダイナミックレンジを圧縮する。【解決手段】  基本パターン生成回路２２１により、画像上の画素位置に対応した座標に応じてレベルが下限値から上限値まで漸次的に変化するパターンゲインを規定する基本グラデーションパターンを生成し、上記基本パターン生成回路２２１により生成された基本グラデーションパターンに対してパターン変形処理回路２２２により変形処理を施し、上記パターン変形処理回路２２２による変形処理を制御部４０により制御し、乗算回路２２３により、上記パターン変形処理回路２２２により上記基本グラデーションパターンに変形処理を施して得られるグラデーションパターンにより規定されるパターンゲインを撮像部１０により得られる画像信号に乗じる。【選択図】  図１
2011130167.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
画像上の画素位置に対応した座標に応じてレベルが下限値から上限値まで漸次的に変化するパターンゲインを規定する基本グラデーションパターンを生成する基本パターン生成手段と、
上記基本パターン生成手段により生成された基本グラデーションパターンに対して変形処理を施すパターン変形処理手段と、
上記パターン変形処理手段による変形処理を制御する制御手段と
上記パターン変形処理手段により上記基本グラデーションパターンに変形処理を施して得られるグラデーションパターンにより規定されるパターンゲインを上記撮像手段により得られた画像信号に乗じる乗算手段と
を備える撮像装置。
【請求項２】
上記パターン変形処理手段は、基本グラデーションパターンに対して、上限値と下限値の変更、傾きの変更、平行移動、回転、又は明暗反転、あるいはそれら組み合わせによる変形処理を行う請求項１記載の撮像装置。
【請求項３】
上記パターン変形処理手段による変形処理を手動制御するための操作信号を生成する操作手段を備え、
上記制御手段は、上記操作手段により生成された操作信号に応じて上記パターン変形処理手段による変形処理を制御する請求項１記載の撮像装置。
【請求項４】
上記乗算手段によりパターンゲインを乗じた画像信号による画像を表示する電子ビューファインダを備え、
上記制御手段は、上記操作手段により生成された操作信号に基づいて、上記操作手段の操作状態を上記電子ビューファインダに表示させる請求項３記載の撮像装置。
【請求項５】
上記撮像手段により得られた画像信号について輝度分布を検出する輝度分布検出手段を備え、
上記制御手段は、上記輝度分布検出手段により検出された輝度分布を解析し、その解析に基づいて、上記画像信号により示される画像の明暗差を低減させるように上記パターン変形処理手段による変形処理を制御する請求項１記載の撮像装置。
【請求項６】
上記輝度分布検出手段は、上記撮像手段により得られた画像信号について、画像を複数の領域に分割し、各領域の輝度レベルの指標となる値にて示される輝度分布を検出する請求項４記載の撮像装置。
【請求項７】
上記輝度分布検出手段は、上記各領域の輝度レベルの指標となる値として、輝度レベルの積分値、高輝度レベルの画素数、又は、輝度レベルのピーク値のいずれかを検出する請求項６記載の撮像装置。
【請求項８】
画像上の画素位置に対応した座標に応じてレベルが下限値から上限値まで漸次的に変化するパターンゲインを規定する基本グラデーションパターンを生成する基本グラデーションパターンを生成する基本グラデーションパターン生成ステップと、
入力画像信号について輝度分布を検出する輝度分布検出ステップと、
上記輝度分布検出ステップにおいて検出された輝度分布を解析して、その解析結果に基づいて、上記入力画像信号により示される画像の明暗差を低減させるように上記基本グラデーションパターンに変形処理を施す変形処理ステップと、
上記変形処理ステップにおいて基本グラデーションパターンに変形処理を施して得られるグラデーションパターンにより規定されるパターンゲインを上記入力画像信号に乗じる乗算ステップと
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学ハーフＮＤフィルタに相当する機能を電気的に実現し、その機能を撮像信号の処理系に持たせることで、効果的かつ柔軟に画像のダイナミックレンジを圧縮できるようにした撮像装置及び画像処理方法に関する。
【背景技術】
【０００２】
一般に、撮像装置では、画像のダイナミックレンジを圧縮して画像の明暗差を低減させるために、光学ハーフＮＤフィルタと呼ばれる空間上漸次的に遮光率が変化するフィルタをレンズ部に取り付け、局所的に光量を絞る方法が採用されている。
【０００３】
これにより、ダイナミックレンジの広い画を撮像することができる。
【０００４】
これと同様のことは、デジタル信号処理において、空間上漸次的にレベルが変化するパターンゲインを用いてゲイン調整することで実現できる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２８３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の光学的なハーフＮＤフィルタを使用する場合、撮像装置の操作者が撮像された画像を観察しながら、輝度の偏りに合うようにフィルタを手動で回転させるなどして制御してきた。この方法では撮影中にフィルタの装着や回転などの煩雑な操作が必要であるばかりでなく、減衰パターンの形状と減衰率がフィルタごとにあらかじめ作り込まれているために、撮影中にハイライト部の明るさやパターンが変化した場合に対応できないという問題があった。
【０００７】
一方、監視カメラなど撮影者を伴わない撮像装置の場合、自動で制御する仕組みが必要である。
【０００８】
そこで、本発明の目的は、光学ハーフＮＤフィルタに相当する機能を電気的に実現し、その機能を撮像信号の処理系に持たせることで、効果的かつ柔軟に画像のダイナミックレンジを圧縮できるようにした撮像装置及び画像処理方法を提供することにある。
【０００９】
本発明の他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、撮像手段と、画像上の画素位置に対応した座標に応じてレベルが下限値から上限値まで漸次的に変化するパターンゲインを規定する基本グラデーションパターンを生成する基本パターン生成手段と、上記基本パターン生成手段により生成された基本グラデーションパターンに対して変形処理を施すパターン変形処理手段と、上記パターン変形処理手段による変形処理を制御する制御手段と、上記パターン変形処理手段により上記基本グラデーションパターンに変形処理を施して得られるグラデーションパターンにより規定されるパターンゲインを上記撮像手段により得られた画像信号に乗じる乗算手段とを備えることを特徴とする。
【００１１】
本発明に係る撮像装置において、上記パターン変形処理手段は、基本グラデーションパターンに対して、上限値と下限値の変更、傾きの変更、平行移動、回転、又は明暗反転、あるいはそれら組み合わせによる変形処理を行うものとすることができる。
【００１２】
また、本発明に係る撮像装置は、上記パターン変形処理手段による変形処理を手動制御するための操作信号を生成する操作手段を備え、上記制御手段は、上記操作手段により生成された操作信号に応じて上記パターン変形処理手段による変形処理を制御するものとすることができる。
【００１３】
また、本発明に係る撮像装置は、上記乗算手段によりパターンゲインを乗じた画像信号による画像を表示する電子ビューファインダを備え、上記制御手段は、上記操作手段により生成された操作信号に基づいて、上記操作手段の操作状態を上記電子ビューファインダに表示させるものとすることができる。
【００１４】
また、本発明に係る撮像装置は、上記撮像手段により得られた画像信号について輝度分布を検出する輝度分布検出手段を備え、上記制御手段は、上記輝度分布検出手段により検出された輝度分布を解析し、その解析に基づいて、上記画像信号により示される画像の明暗差を低減させるように上記パターン変形処理手段による変形処理を制御するものとすることができる。
【００１５】
また、本発明に係る撮像装置は、上記輝度分布検出手段は、上記撮像手段により得られた画像信号について、画像を複数の領域に分割し、各領域の輝度レベルの指標となる値にて示される輝度分布を検出するものとすることができる。
【００１６】
さらに、上記輝度分布検出手段は、上記各領域の輝度レベルの指標となる値として、輝度レベルの積分値、高輝度レベルの画素数、輝度レベルのピーク値を検出するものとすることができる。
【００１７】
本発明に係る画像処理方法は、画像上の画素位置に対応した座標に応じてレベルが下限値から上限値まで漸次的に変化するパターンゲインを規定する基本グラデーションパターンを生成する基本グラデーションパターンを生成する基本グラデーションパターン生成ステップと、入力画像信号について輝度分布を検出する輝度分布検出ステップと、上記輝度分布検出ステップにおいて検出された輝度分布を解析して、その解析に基づいて、上記入力画像信号により示される画像の明暗差を低減させるように上記基本グラデーションパターンに変形処理を施す変形処理ステップと、上記変形処理ステップにおいて基本グラデーションパターンに変形処理を施して得られるグラデーションパターンにより規定されるパターンゲインを上記入力画像信号に乗じる乗算ステップとを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、画像上の画素位置に対応した座標に応じてレベルが下限値から上限値まで漸次的に変化するパターンゲインを規定する基本グラデーションパターンを生成し、生成された基本グラデーションパターンに対して施す変形処理を制御し、上記基本グラデーションパターンに変形処理を施して得られるグラデーションパターンにより規定されるパターンゲインを画像信号に乗じるので、光学的なハーフＮＤフィルタを用いずに、画枠内の局所的な輝度調整の効果が得られる。光学的フィルタではパターン形状や遮光率を変えるには異なるフィルタに換装しなければならないが、それの必要ない。
【００１９】
また、本発明によれば、入力画像信号について輝度分布を検出し、検出された輝度分布を解析して、その解析に基づいて、上記入力画像信号により示される画像の明暗差を低減させるように上記基本グラデーションパターンに変形処理を施し、上記基本グラデーションパターンに変形処理を施して得られるグラデーションパターンにより規定されるパターンゲインを上記入力画像信号に乗じることにより、画像上の輝度分布に合うように、パターン形状を自動制御できる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した撮像装置の構成を示すブロック図である。
【図２】上記撮像装置のゲイン調整回路に搭載されたデジタルハーフＮＤフィルタ回路の構成を示すブロック図である。
【図３】上記デジタルハーフＮＤフィルタ回路の基本パターン生成回路により生成される水平方向のグラデーションパターン及び垂直方向のグラデーションパターン（基本パターン）を模式的に示す図である。
【図４】上記デジタルハーフＮＤフィルタ回路のパターン変形処理回路によるパターン変形処理（上／下限値の変更）を模式的に示す図である。
【図５】上記パターン変形処理回路によるパターン変形処理（傾きの変更）を模式的に示す図である。
【図６】上記パターン変形処理回路によるパターン変形処理（平行移動）を模式的に示す図である。
【図７】上記パターン変形処理回路によるパターン変形処理（回転）を模式的に示す図である。
【図８】上記パターン変形処理回路によるパターン変形処理（明暗反転）を模式的に示す図である。
【図９】上記撮像装置の電子ビューファインダに表示内容を模式的に示す図である。
【図１０】上記デジタルハーフＮＤフィルタ回路の輝度分布検出回路による輝度分布検出の際に画像を４等分割した領域を模式的に示す図である。
【図１１】上記パターン変形処理回路によるパターン変形処理を自動制御する際の制御手順を示すフローチャートである。
【図１２】上記パターン変形処理回路によるパターン変形処理を自動制御する際の制御手順を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための最良の形態について、図面を参照しながら、以下の順序で詳細に説明する。
【００２２】
１．撮像装置の構成の説明（図１、図２）
【００２３】
２．撮像装置における画像処理動作の説明（図３〜図１２）
１．撮像装置の構成
【００２４】
本発明は、例えば図１に示すような構成の撮像装置１００に適用される。
【００２５】
この撮像装置１００は、撮像部１０、映像信号処理部２０、電子ビューファインダ３０、制御部４０、操作部５０などからなる。
【００２６】
撮像部１０は、ＣＣＤ（Charge Coupled Device ）イメージセンサ等の固体撮像素子により被写体を撮像する撮像機能と、被写体を撮像して得られる撮像出力信号をＡ／Ｄ変換して量子化された映像信号を生成するＡ／Ｄ変換機能を有する。この撮像部１０は、被写体を撮像して得られる撮像出力信号をＡ／Ｄ変換して、量子化された映像信号を生成する。
【００２７】
映像信号処理部２０には、上記撮像部１０により生成される量子化された映像信号が供給される。
【００２８】
映像信号処理部２０は、撮像系補正回路２１、ゲイン調整回路２２、ニー補正回路２３、ガンマ補正回路２４、出力信号生成回路２５などからなる。
【００２９】
撮像系補正回路２１は、上記撮像部１０から供給される映像信号にシェーディング成分などの補正処理を施す。
【００３０】
ゲイン調整回路２２は、上記撮像系補正回路２１により補正処理が施された映像信号にホワイトバランス調整などのゲイン調整処理を施す。
【００３１】
ニー補正回路２３は、上記ゲイン調整回路２２によりゲイン調整処理が施された映像信号に、信号規格に納めるためにレベル圧縮処理を施す。
【００３２】
ガンマ補正回路２４は、上記ニー補正回路２３によりレベル圧縮処理が施された映像信号に、ＣＲＴなどのモニタガンマに対応するためにガンマ補正処理を施す。
【００３３】
出力信号生成回路２５は、上記ガンマ補正回路２４によりガンマ補正処理が施された映像信号を最終的な映像信号出力形式に変換して出力する。
【００３４】
電子ビューファインダ３０には、上記映像信号処理部２０の出力信号生成回路２５から撮像画像確認用の映像信号が供給される。
【００３５】
また、制御部４０は、操作部５０からの操作入力に応じて上記撮像部１０や映像信号処理部２０の各動作を制御する。
【００３６】
この撮像装置１００において、上記ゲイン調整回路２２には、図２に示すような構成のデジタルハーフＮＤフィルタ回路２２０が搭載されている。
【００３７】
デジタルハーフＮＤフィルタ回路２２０は、基本パターン生成回路２２１、パターン変形処理回路２２２、乗算回路２２３、輝度分布検出回路２２４からなる。
【００３８】
このデジタルハーフＮＤフィルタ回路２２０では、基本パターン生成回路２２１により発生されるグラデーションパターンに応じたゲイン係数R_GAIN，G_GAIN，B_GAINがパターン変形処理回路２２２を介して乗算回路２２３に供給される。上記ゲイン調整回路２２においてホワイトバランス調整などのゲイン調整処理が施された映像信号（Ｒin，Ｇin，Ｂin）にゲイン係数R_GAIN，G_GAIN，B_GAINを乗算することにより、光学ハーフＮＤフィルタに相当する機能を電気的な信号処理により実現している。
【００３９】
このデジタルハーフＮＤフィルタ回路２２０において、基本パターン生成回路２２１は、図３に示すような水平方向のグラデーションパターン及び垂直方向のグラデーションパターン（以下、基本パターンという）を生成する。基本パターンは、下限値から上限値まで一定の傾きで単調増加する、いわゆるＳＡＷ波形と呼ばれるものである。
【００４０】
パターン変形処理回路２２２は、上記基本パターン生成回路２２１により発生された基本パターンに対して、上／下限値の変更（図４）、傾きの変更（図５）、平行移動（図６）、回転（図７）、あるいは明暗反転（図８）の組み合わせによるパターン変形処理を行う。
【００４１】
このパターン変形処理回路２２２におけるパターン変形処理は、従来の光学的ハーフＮＤフィルタと同様に、撮像装置１００の操作者が電子ビューファインダ３０に表示される撮像された画を観察しながら手動（半自動）で制御することができる。
【００４２】
すなわち、撮像装置１００の操作者が操作部５０を操作することにより、制御部４０は、上記操作部５０からの操作入力に応じて、パターン変形処理回路２２２に基本パターンに対するパターン変形処理を行うための制御信号を与えるようになっている。
【００４３】
その際、上記制御部４０は、上記操作部５０の操作により生成された操作信号に基づいて、上記操作部５０の操作状態を上記電子ビューファインダ３０に表示させる。これにより、図９の（Ａ）、（Ｂ）に示すように、電子ビューファインダ３０に表示される制御項目（上限値の変更、下限値の変更、傾きの変更、水平方向移動、垂直方向移動、回転）を選択することにより、ツマミ等のインターフェイスを用いて（ツマミの回転量とパターンの変形量を連動させる等して）直感的に制御することができる。
【００４４】
また、このパターン変形処理は、自動制御することもできる。
【００４５】
パターン変形処理の自動制御は、パターン変形処理回路２２２にて、画像上の輝度分布の情報に基づいて行う。制御する際の指標となる輝度分布は、輝度分布検出回路２２４にて検出する。
【００４６】
輝度分布検出回路２２４では、例えば図１０に示すように画像を４等分割した領域（Ａ，Ｂ，Ｃ，Ｄ）それぞれについて、その領域の輝度レベルの指標となる値を検出する。
【００４７】
検出する値は、レベルの積分値、高レベル画素の数、ピーク値のうちから選択する。
【００４８】
動画像に対する誤検出による影響を緩和するために、検出値に無限インパルス応答 （IIR：Infinite Impulse Response) 形ＬＰＦフィルタを適用することが望ましい。ＩＩＲＬＰＦフィルタにより過去の検出値に重心が置かれるため，検出値が急激に変化しようとする、あるいは微小時間だけ変化するような場合に，その変化が補正画像へただちに反映されることなく、自然な動画像を生成することができる。
【００４９】
輝度分布検出回路２２４の検出結果に基づき、パターン変形処理回路２２２にて、図１１、図１２のフローチャートに示す制御を行う。
【００５０】
なお、この自動制御においては、分割領域のうちで最もレベル差の大きい２領域間のレベル差を緩和することを目的とする。
【００５１】
全体のゲイン調整などは、他の方法、例えば、自動アイリス制御などを用いて行うことを想定している。
【００５２】
パターン変形処理回路２２２は、輝度分布検出回路２２４の検出結果に基づき４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のレベル検出を行う（ステップＳ１）。
【００５３】
そして、４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のレベル差（｜Ａ−Ｂ｜、｜Ａ−Ｃ｜、｜Ａ−Ｄ｜、｜Ｂ−Ｃ｜、｜Ｂ−Ｄ｜、｜Ｃ−Ｄ｜）をソートする（ステップＳ２）。
【００５４】
次に、上記４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のすべての組み合わせ（６通り）のうち、レベル差｜Ａ−Ｂ｜が最大であるか否かを判定する（ステップＳ３）。
【００５５】
このステップＳ３における判定結果がＮＯ、すなわち、水平方向に位置する領域Ａと領域Ｂのレベル差｜Ａ−Ｂ｜が最大でない場合には、ステップＳ７の判定処理に移行する。
【００５６】
また、上記ステップＳ３における判定結果がＹＥＳ、すなわち、水平方向に位置する領域Ａと領域Ｂのレベル差｜Ａ−Ｂ｜が最大である場合には、領域Ａのレベルが領域Ｂのレベルよりも大きいか否かを判定する（ステップＳ４）。
【００５７】
そして、このステップＳ４における判定結果がＹＥＳ、すなわち、レベル差｜Ａ−Ｂ｜が最大、かつＡ＞Ｂの場合には、後述する場合（１−１）の変形量の算出処理を行う（ステップＳ５）。
【００５８】
また、上記ステップＳ４における判定結果がＮＯ、すなわち、レベル差｜Ａ−Ｂ｜が最大、かつＡ＜Ｂの場合には、後述する場合（１−２）の変形量の算出処理を行う（ステップＳ６）。
【００５９】
ステップＳ７の判定処理では、上記４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のすべての組み合わせ（６通り）のうち、レベル差｜Ｃ−Ｄ｜が最大であるか否かを判定する。
【００６０】
このステップＳ７における判定結果がＮＯ、すなわち、水平方向に位置する領域Ｃと領域Ｄのレベル差｜Ｃ−Ｄ｜が最大でない場合には、ステップＳ１１の判定処置に移行する。
【００６１】
また、上記ステップＳ７における判定結果がＹＥＳ、すなわち、水平方向に位置する領域Ｃと領域Ｄのレベル差｜Ｃ−Ｄ｜が最大である場合には、領域Ｃのレベルが領域Ｄのレベルよりも大きいか否かを判定する（ステップＳ８）。
【００６２】
そして、このステップＳ８における判定結果がＹＥＳ、すなわち、レベル差｜Ｃ−Ｄ｜が最大、かつＣ＞Ｄの場合には、後述する場合（２−１）の変形量の算出処理を行う（ステップＳ９）。
【００６３】
また、上記ステップＳ８における判定結果がＮＯ、すなわち、レベル差｜Ｃ−Ｄ｜が最大、かつＣ＜Ｄの場合には、後述する場合（２−２）の変形量の算出処理を行う（ステップＳ１０）。
【００６４】
ステップＳ１１の判定処理では、上記４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のすべての組み合わせ（６通り）のうち、レベル差｜Ａ−Ｄ｜が最大であるか否かを判定する。
【００６５】
このステップＳ１１における判定結果がＮＯ、すなわち、斜め方向に位置する領域Ａと領域Ｄのレベル差｜Ａ−Ｄ｜が最大でない場合には、ステップＳ１５の判定処置に移行する。
【００６６】
また、上記ステップＳ１１における判定結果がＹＥＳ、すなわち、斜め方向に位置する領域Ａと領域Ｄのレベル差｜Ａ−Ｄ｜が最大である場合には、領域Ａのレベルが領域Ｄのレベルよりも大きいか否かを判定する（ステップＳ１２）。
【００６７】
そして、このステップＳ１２における判定結果がＹＥＳ、すなわち、レベル差｜Ａ−Ｄ｜が最大、かつＡ＞Ｄの場合には、後述する場合（３−１）の変形量の算出処理を行う（ステップＳ１３）。
【００６８】
また、上記ステップＳ１２における判定結果がＮＯ、すなわち、レベル差｜Ａ−Ｄ｜が最大、かつＡ＜Ｄの場合には、後述する場合（３−２）の変形量の算出処理を行う（ステップＳ１４）。
【００６９】
ステップＳ１５の判定処理では、上記４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のすべての組み合わせ（６通り）のうち、レベル差｜Ｂ−Ｃ｜が最大であるか否かを判定する。
【００７０】
このステップＳ１５における判定結果がＮＯ、すなわち、斜め方向に位置する領域Ａと領域Ｄのレベル差｜Ｂ−Ｃ｜が最大でない場合には、ステップＳ１９の判定処置に移行する。
【００７１】
また、上記ステップＳ１５における判定結果がＹＥＳ、すなわち、斜め方向に位置する領域Ｂと領域Ｃのレベル差｜Ｂ−Ｃ｜が最大である場合には、領域Ｂのレベルが領域Ｃのレベルよりも大きいか否かを判定する（ステップＳ１６）。
【００７２】
そして、このステップＳ１６における判定結果がＹＥＳ、すなわち、レベル差｜Ｂ−Ｃ｜が最大、かつＢ＞Ｃの場合には、後述する場合（４−１）の変形量の算出処理を行う（ステップＳ１７）。
【００７３】
また、上記ステップＳ１６における判定結果がＮＯ、すなわち、レベル差｜Ａ−Ｄ｜が最大、かつＡ＜Ｄの場合には、後述する場合（４−２）の変形量の算出処理を行う（ステップＳ１８）。
【００７４】
ステップＳ１９の判定処理では、上記４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のすべての組み合わせ（６通り）のうち、レベル差｜Ａ−Ｃ｜が最大であるか否かを判定する。
【００７５】
このステップＳ１７における判定結果がＮＯ、すなわち、垂直方向に位置する領域Ａと領域Ｃのレベル差｜Ａ−Ｃ｜が最大でない場合には、ステップＳ２３の判定処置に移行する。
【００７６】
また、上記ステップＳ１９における判定結果がＹＥＳ、すなわち、垂直方向に位置する領域Ａと領域Ｃのレベル差｜Ａ−Ｃ｜が最大である場合には、領域Ａのレベルが領域Ｃのレベルよりも大きいか否かを判定する（ステップＳ２０）。
【００７７】
そして、このステップＳ２０における判定結果がＹＥＳ、すなわち、レベル差｜Ａ−Ｃ｜が最大、かつＡ＞Ｃの場合には、後述する場合（５−１）の変形量の算出処理を行う（ステップＳ２１）。
【００７８】
また、上記ステップＳ２０における判定結果がＮＯ、すなわち、レベル差｜Ａ−Ｃ｜が最大、かつＡ＜Ｃの場合には、後述する場合（５−２）の変形量の算出処理を行う（ステップＳ２２）。
【００７９】
ステップＳ２３の判定処理では、領域Ｂのレベルが領域Ｄのレベルよりも大きいか否かを判定する。
【００８０】
そして、このステップＳ２３における判定結果がＹＥＳ、すなわち、レベル差｜Ｂ−Ｄ｜が最大、かつＢ＞Ｄの場合には、後述する場合（６−１）の変形量の算出処理を行う（ステップＳ２４）。
【００８１】
また、上記ステップＳ２３における判定結果がＮＯ、すなわち、レベル差｜Ｂ−Ｄ｜が最大、かつＢ＜Ｄの場合には、後述する場合（６−２）の変形量の算出処理を行う（ステップＳ２５）。
【００８２】
すなわち、上記パターン変形処理回路２２２では、４つの分割領域（Ａ，Ｂ，Ｃ，Ｄ）のすべての組み合わせ（６通り）のうち、最もレベル差が大きい組み合わせを判定する。
【００８３】
最もレベル差が大きい２つの領域のうち、レベルの大きい方にパターンの最小値側が、レベルの小さい方にパターンの最大値側が当たるように、パターンを変形する。
【００８４】
この際に、最もレベル差が大きい２つの領域の位置関係が水平方向（領域Ａと領域Ｂ、あるいは領域Ｃと領域Ｄ）あるいは垂直方向（領域Ａと領域Ｃ、あるいは領域Ｂと領域Ｄ）の場合は平行する２つの領域のレベル勾配（大小関係）をみて、斜め方向（領域Ａと領域Ｄ、あるいは領域Ｂと領域Ｄ）の場合は直交する２つの領域のレベル勾配をみて最適なパターン形状を選択する。
【００８５】
また、パターンの上／下限値は，最もレベル差が大きい２つの領域間のレベル差により決定する。
【００８６】
レベル差が閾値ＴＨ以上である場合，上／下限値は基本パターンの値に等しい。ＴＨ未満である場合、その差が小さくなるにつれ上／下限値はそれらの中点に収束するように変化させる。
【００８７】
閾値ＴＨは任意に設定可能であるが、例えば、各領域のレベルが０〜２５５の値をとる（すなわち、２領域間のレベル差は最大で２５５となる）とすれば、その１／４程度（６４）とする。
【００８８】
以下に、変形量の算出法を示す。
【００８９】
なお、変形量（回転角）の基準は水平方向パターンとし、時計回りの向きを正方向とする（図６を参照）。
【００９０】
すなわち、回転角０であれば水平方向パターンに等しく、回転角π／２であれば垂直方向パターンに等しい。
【００９１】
π／２回転は垂直方向パターンに等しく、π回転は反転と代替可能であるが、ここでは簡単のため，基準（水平方向パターン）に対する変形として説明する。
【００９２】
式中、水平方向および垂直方向の幅の比（水平方向幅／垂直方向幅）をＡｓＲと表す。
【００９３】
また、基本パターン（基準）の上／下限値を各々、基上限値および基下限値と表す。
【００９４】
さらに、各領域Ａ〜Ｄのレベルのことを単にＡ〜Ｄと表す。
【００９５】
そして、レベル差｜Ａ−Ｂ｜が最大、かつＡ＞Ｂの場合、すなわち、上記ステップＳ５の場合（１−１）の変形量の算出処理では、次の式（１）、式（２）、式（３）により回転角、上限値及び下限値を算出する。
【００９６】
【数１】
2011130167.tif 000003
【００９７】
【数２】
2011130167.tif 000004
【００９８】
【数３】
2011130167.tif 000005
【００９９】
ただし、式（２）、式（３）におけるＵ，Ｌは、次の式（４）、式（５）にて与えられる。
【０１００】
【数４】
2011130167.tif 000006
【０１０１】
【数５】
2011130167.tif 000007
【０１０２】
また、レベル差｜Ａ−Ｂ｜が最大、かつＡ＜Ｂの場合、すなわち、上記ステップＳ６の場合（１−２）の変形量の算出処理では、次の式（６）、式（７）、式（８）により回転角、上限値及び下限値を算出する。
【０１０３】
【数６】
2011130167.tif 000008
【０１０４】
【数７】
2011130167.tif 000009
【０１０５】
【数８】
2011130167.tif 000010
【０１０６】
ただし、式（７）、式（８）におけるＵ，Ｌは、次の式（９）、式（１０）にて与えられる。
【０１０７】
【数９】
2011130167.tif 000011
【０１０８】
【数１０】
2011130167.tif 000012
【０１０９】
また、レベル差｜Ｃ−Ｄ｜が最大、かつＣ＞Ｄの場合、すなわち、上記ステップＳ９の場合（２−１）の変形量の算出処理では、次の式（１１）、式（１２）、式（１３）により回転角、上限値及び下限値を算出する。
【０１１０】
【数１１】
2011130167.tif 000013
【０１１１】
【数１２】
2011130167.tif 000014
【０１１２】
【数１３】
2011130167.tif 000015
【０１１３】
ただし、式（１２）、式（１３）におけるＵ，Ｌは、次の式（１４）、式（１５）にて与えられる。
【０１１４】
【数１４】
2011130167.tif 000016
【０１１５】
【数１５】
2011130167.tif 000017
【０１１６】
また、レベル差｜Ｃ−Ｄ｜が最大、かつＣ＜Ｄの場合、すなわち、上記ステップＳ１０の場合（２−２）の変形量の算出処理では、次の式（１６）、式（１７）、式（１８）により回転角、上限値及び下限値を算出する。
【０１１７】
【数１６】
2011130167.tif 000018
【０１１８】
【数１７】
2011130167.tif 000019
【０１１９】
【数１８】
2011130167.tif 000020
【０１２０】
ただし、式（１７）、式（１８）におけるＵ，Ｌは、次の式（１９）、式（２０）にて与えられる。
【０１２１】
【数１９】
2011130167.tif 000021
【０１２２】
【数２０】
2011130167.tif 000022
【０１２３】
また、レベル差｜Ａ−Ｄ｜が最大、かつＡ＞Ｄの場合、すなわち、上記ステップＳ１３の場合（３−１）の変形量の算出処理では、次の式（２１）、式（２２）、式（２３）により回転角、上限値及び下限値を算出する。
【０１２４】
【数２１】
2011130167.tif 000023
【０１２５】
【数２２】
2011130167.tif 000024
【０１２６】
【数２３】
2011130167.tif 000025
【０１２７】
また、レベル差｜Ａ−Ｄ｜が最大、かつＡ＜Ｄの場合、すなわち、上記ステップＳ１４の場合（３−２）の変形量の算出処理では、次の式（２４）、式（２５）、式（２６）により回転角、上限値及び下限値を算出する。
【０１２８】
【数２４】
2011130167.tif 000026
【０１２９】
【数２５】
2011130167.tif 000027
【０１３０】
【数２６】
2011130167.tif 000028
【０１３１】
また、｜Ｂ−Ｃ｜が最大、かつＢ＞Ｃの場合、すなわち、上記ステップＳ１７の場合（４−１）の変形量の算出処理では、次の式（２７）、式（２８）、式（２９）により回転角、上限値及び下限値を算出する。
【０１３２】
【数２７】
2011130167.tif 000029
【０１３３】
【数２８】
2011130167.tif 000030
【０１３４】
【数２９】
2011130167.tif 000031
【０１３５】
また、｜Ｂ−Ｃ｜が最大、かつＢ＜Ｃの場合、すなわち、上記ステップＳ１８の場合（４−２）の変形量の算出処理では、次の式（３０）、式（３１）、式（３２）により回転角、上限値及び下限値を算出する。
【０１３６】
【数３０】
2011130167.tif 000032
【０１３７】
【数３１】
2011130167.tif 000033
【０１３８】
【数３２】
2011130167.tif 000034
【０１３９】
また、｜Ａ−Ｃ｜が最大、かつＡ＞Ｃの場合、すなわち、上記ステップＳ２１の場合（５−１）の変形量の算出処理では、次の式（３３）、式（３４）、式（３５）により回転角、上限値及び下限値を算出する。
【０１４０】
【数３３】
2011130167.tif 000035
【０１４１】
【数３４】
2011130167.tif 000036
【０１４２】
【数３５】
2011130167.tif 000037
【０１４３】
ただし、式（３４）、式（３５）におけるＵ，Ｌは、次の式（３６）、式（３７）にて与えられる。
【０１４４】
【数３６】
2011130167.tif 000038
【０１４５】
【数３７】
2011130167.tif 000039
【０１４６】
また、｜Ａ−Ｃ｜が最大、かつＡ＜Ｃの場合、すなわち、上記ステップＳ２２の場合（５−２）の変形量の算出処理では、次の式（３８）、式（３９）、式（４０）により回転角、上限値及び下限値を算出する。
【０１４７】
【数３８】
2011130167.tif 000040
【０１４８】
【数３９】
2011130167.tif 000041
【０１４９】
【数４０】
2011130167.tif 000042
【０１５０】
ただし、式（３９）、式（４０）におけるＵ，Ｌは、次の式（４１）、式（４２）にて与えられる。
【０１５１】
【数４１】
2011130167.tif 000043
【０１５２】
【数４２】
2011130167.tif 000044
【０１５３】
また、｜Ｂ−Ｄ｜が最大、かつＢ＞Ｄの場合、すなわち、上記ステップＳ２４の場合（６−１）の変形量の算出処理では、次の式（４３）、式（４４）、式（４５）により回転角、上限値及び下限値を算出する。
【０１５４】
【数４３】
2011130167.tif 000045
【０１５５】
【数４４】
2011130167.tif 000046
【０１５６】
【数４５】
2011130167.tif 000047
【０１５７】
ただし、式（４４）、式（４５）におけるＵ，Ｌは、次の式（４６）、式（４７）にて与えられる。
【０１５８】
【数４６】
2011130167.tif 000048
【０１５９】
【数４７】
2011130167.tif 000049
【０１６０】
さらに、｜Ｂ−Ｄ｜が最大、かつＢ＜Ｄの場合、すなわち、上記ステップＳ２５の場合（６−２）の変形量の算出処理では、次の式（４８）、式（４９）、式（５０）により回転角、上限値及び下限値を算出する。
【０１６１】
【数４８】
2011130167.tif 000050
【０１６２】
【数４９】
2011130167.tif 000051
【０１６３】
【数５０】
2011130167.tif 000052
【０１６４】
ただし、式（４９）、式（５０）におけるＵ，Ｌは、次の式（５１）、式（５２）にて与えられる。
【０１６５】
【数５１】
2011130167.tif 000053
【０１６６】
【数５２】
2011130167.tif 000054
【０１６７】
このようにして、パターン変形処理回路２２２にて形状を定められたパターンをゲインとして、入力信号をゲイン調整したものが補正結果となる。
【０１６８】
すなわち、このデジタルハーフＮＤフィルタ回路２２０では、基本パターン生成回路２２１により発生されるグラデーションパターンに応じたゲイン係数R_GAIN，G_GAIN，B_GAINがパターン変形処理回路２２２を介して乗算回路２２３に供給され、上記ゲイン調整回路２２においてホワイトバランス調整などのゲイン調整処理が施された映像信号（Ｒin，Ｇin，Ｂin）にゲイン係数R_GAIN，G_GAIN，B_GAINを乗算することにより、光学ハーフＮＤフィルタに相当する機能を電気的な信号処理により実現している。
【符号の説明】
【０１６９】
１０  撮像部、２０  映像信号処理部、２１  撮像系補正回路、２２  ゲイン調整回路、２３  ニー補正回路、２４  ガンマ補正回路、２５  出力信号生成回路、３０  電子ビューファインダ、４０  制御部、５０  操作部、１００  撮像装置、２２０  デジタルハーフＮＤフィルタ回路、２２１  基本パターン生成回路、２２２  パターン変形処理回路、２２３  乗算回路、２２４  輝度分布検出回路
【図１】
2011130167.tif 000055
【図２】
2011130167.tif 000056
【図３】
2011130167.tif 000057
【図４】
2011130167.tif 000058
【図５】
2011130167.tif 000059
【図６】
2011130167.tif 000060
【図７】
2011130167.tif 000061
【図８】
2011130167.tif 000062
【図９】
2011130167.tif 000063
【図１０】
2011130167.tif 000064
【図１１】
2011130167.tif 000065
【図１２】
2011130167.tif 000066