(57)【要約】【課題】  画像全体および局所的な階調を制御する際、低コントラスト領域を補正するような階調特性を適用すると、該領域以外が低輝度あるいはコントラスト過多となり、不自然な画となる場合があった。【解決手段】  画像の各被写体について被写体距離を示す距離情報を取得する取得手段と、各被写体を被写体距離に基づいてグルーピングを行い、グルーピングに従って画像を複数の被写体領域を抽出する抽出手段と、抽出手段によって抽出された被写体領域の数に応じて、同一の階調特性を画像に一律に適用して階調変換を行うか、画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定する判定手段と、階調特性を設定する設定手段と、判定手段の判定結果に応じて画像に対して階調変換を行う変換手段と、を備える。【選択図】  図１
2018195079.tif 000002
【特許請求の範囲】
【請求項１】
画像の各被写体について被写体距離を示す距離情報を取得する取得手段と、
前記各被写体を被写体距離に基づいてグルーピングを行い、前記グルーピングに従って前記画像を複数の被写体領域を抽出する抽出手段と、
前記抽出手段によって抽出された被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定する判定手段と、
前記階調特性を設定する設定手段と、
前記判定手段の判定結果に応じて前記画像に対して階調変換を行う変換手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、前記被写体領域の数が所定数以下の場合、同一の階調特性を前記画像に一律に適用して階調変換を行うと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記判定手段により同一の階調特性を前記画像に一律に適用して階調変換を行うと判定した場合、前記被写体領域ごとに輝度に基づき階調特性を設定し、それぞれの面積に応じて前記階調特性を加重加算して適用する階調特性を設定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記距離情報の信頼度が低い場合は、前記抽出手段によって抽出された被写体領域の数にかかわらず、同一の階調特性を前記画像に一律に適用して階調変換を行うと判定すること特徴とする請求項１から請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記抽出手段によって抽出された被写体領域を認識する被写体認識手段を備え、
前記設定手段は、前記被写体認識手段による認識結果に応じて、前記階調特性を制御することを特徴とする請求項１から請求項４の何れか１項に記載の画像処理装置。
【請求項６】
画像の各被写体について被写体距離を示す距離情報を取得する取得ステップと、
前記各被写体を被写体距離に基づいてグルーピングを行い、前記グルーピングに従って前記画像を複数の被写体領域を抽出する抽出ステップと、
前記抽出ステップで抽出された被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定する判定ステップと、
前記階調特性を設定する設定ステップと、
前記判定ステップでの判定結果に応じて前記画像に対して階調変換を行う変換ステップと、を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置による撮影により取得した画像信号に対して階調補正を行う画像処理に関するものである。
【背景技術】
【０００２】
画像の部分的なコントラストを補正する覆い焼き処理やＨＤＲ等、入力のＤレンジを拡大した信号を出力で階調圧縮する処理が知られている。それにおいて、さらに被写体の輝度に加えて距離情報を露出制御や階調補正に適用することにより、該シーンに適した階調を有する画を出力する技術がある。
【０００３】
特許文献１では、領域毎の奥行距離と特徴量を取得し、領域毎に加工強度に基づいた画像処理を適用する技術が開示されている。
【０００４】
特許文献２では、焦点距離情報に応じて設定される抽出特性に基づいて抽出される画像特徴量と焦点距離を用いて、予め定められた階調変換特性の中から一つを選択して階調制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７５５２９号公報
【特許文献２】特開２００８−０６７０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている構成では、領域毎に加工強度に基づいた画像処理を適用することにより、シーンによっては階調の逆転などが発生して不自然な見え方となる可能性がある。
【０００７】
特許文献２に開示されているような焦点距離に基づいて階調特性を選択する構成では、例えば距離差のある被写体が含まれるようなシーンなどに対して、シーン毎に適した階調処理を行うことが困難である。
【０００８】
そこで、本発明は、シーンに応じてコントラスト補正量の過不足を抑えた階調補正を行う画像処理を提供する。
【課題を解決するための手段】
【０００９】
本発明の１実施形態は、画像の各被写体について被写体距離を示す距離情報を取得する取得手段と、前記各被写体を被写体距離に基づいてグルーピングを行い、前記グルーピングに従って前記画像を複数の被写体領域を抽出する抽出手段と、前記抽出手段によって抽出された被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定する判定手段と、前記階調特性を設定する設定手段と、前記判定手段の判定結果に応じて前記画像に対して階調変換を行う変換手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、シーンに応じてコントラスト補正量の過不足を抑えた適切な階調補正を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】（Ａ）本発明の実施形態の画像処理部の構成を示すブロック図、（Ｂ）でゲインテーブル生成部の構成を示すブロック図、（Ｃ）撮像部を説明する図である。
【図３】本発明の実施形態の撮像部の構成を説明する図である。
【図４】本発明の実施形態の動作処理フローチャートである。
【図５】本発明の実施形態の入力画像、距離画像、距離信頼度画像、領域抽出画像の一例を示す図である。
【図６】本発明の実施形態の領域毎の輝度ヒストグラムである。
【図７】本発明の実施形態の領域毎の輝度ヒストグラムである。
【図８】本発明の実施形態の階調特性を示す図である。
【図９】本発明の実施形態の階調特性生成用の係数Ｋを示す図である。
【図１０】本発明の実施形態の階調特性生成用の係数Ｃを示す図である。
【図１１】本発明の実施形態の階調特性を示す図である。
【発明を実施するための形態】
【００１２】
図面を参照して本発明の実施形態を詳細に説明する。なお、以下の説明においてデジタルカメラを例示して説明するが、撮像機能を有する他の携帯機器であっても、本発明は適用することができる。
【００１３】
（第１の実施形態）
本実施形態は、被写体の領域検出情報や距離情報、撮影条件などの撮影シーンに関する情報を用いて露出制御や覆い焼き処理による階調処理を行うものである。なお、本実施形態の説明において、最も効果が見込めるシーンの１つである遠景撮影を想定して説明を行うが、他のシーンであっても適用することは可能である。
【００１４】
図１は、第１の実施形態である画像処理装置の構成を示すブロック図である。光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。
【００１５】
Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。
【００１６】
画像処理部１０４は、通常の信号処理の他に、本発明における階調処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１１０から読み出した画像に対しても同様の画像処理を行うことができる。
【００１７】
露光量算出部１０５は、本発明の階調処理を行う為に最適な入力画像を得る為に、撮影時の露光量を算出する部分である。画像処理部１０４の処理結果を入力とし、算出した露光量を出力し、露光量制御部１０６の入力とする。
【００１８】
露光量制御部１０６は、露光量算出部１０５によって算出された露光量を実現するために、光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。
【００１９】
表示部１０７は、画像処理部１０４から出力される画像をＬＣＤなどの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。
【００２０】
記録部１１０は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。
【００２１】
図２（Ａ）は、画像処理部１０４の構成を示すブロック図である。
【００２２】
図３（Ａ）は、撮像部１０２の画素配列構成を示している。図３（Ｂ）は画素３０２を拡大したものであり、マイクロレンズ３０１と一対の光電変換部３０３Ａ、３０４Ｂから構成される。図３（Ａ）にあるように撮像部１０２では画素３０２が二次元的に規則的に配列されている。
【００２３】
画像に対して行う階調処理について、図４のフローチャートを用いて説明する。
【００２４】
ステップＳ４００は、距離情報算出部２０２が撮影画像から画像内の各被写体の被写体距離を示す距離マップ（距離画像）および信頼度マップ（距離信頼度画像）を生成する。
【００２５】
図５の画像５０１は撮影画像を示しており、画像の下部（鉄柵付近）はコントラストが高いに対し、画像の中部（街並みや山）は空気が霞みコントラストが低いこと。画像５０１について、撮像光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて被写体距離の分布を示す距離マップおよび、それに対する信頼度マップを生成する処理を行う。
【００２６】
ここで信頼度とは、上述した位相差（像ずれ量）が各領域でどの程度検出しやすいかを表す値であり、像ずれ量を検出しにくい領域で算出された距離は正確でない可能性が高いため、信頼度が低い。像ずれ量を検出しにくい領域とは、例えば空や自動車のボディといった被写体の模様の変化が乏しい領域である。このような領域を検出し、低い信頼度を割り当てればよい。模様の変化が乏しいかを判定する指標として、エッジ積分値を用いることができる。
【００２７】
具体的には、入力画像５０１における微小ブロック内の画素のエッジ振幅の絶対値を積分することで算出される。そして、算出したエッジ積分値と予め設定した閾値を比較し、該閾値よりも算出したエッジ積分値が小さい場合、模様の変化が乏しい領域であると判定し、その領域は模様の変化に富んだ領域よりも低い信頼度を割り当てる。上記方法を分割した微小ブロックごとに繰り返し計算することで、被写体距離の分布に対する信頼度マップを生成することができる。
【００２８】
図５の画像５０２は生成された距離マップを示したものであり、画素値が白色に近いほど撮像装置から近い（被写体距離が小さい）ことを示している。画像５０３は、距離マップ画像５０２に対して予め設定した複数の閾値を用いて距離をグルーピングし、階調数を削減したものである。グルーピングに従って、画像５０１から複数の被写体領域を抽出されることになる。
【００２９】
例えば、画像５０２の階調数が８ｂｉｔである場合、等間隔に３つの閾値Ｔｈ０＝６３、Ｔｈ１＝１２７、Ｔｈ２＝１９１を定めることにより、画像５０３のように３つの層にグルーピングがなされている。画像５０４は、信頼度マップを示したものであり、白色の領域は画像５０２や画像５０３が示す距離値の信頼度が高く、黒色の領域は被写体の模様の変化が乏しいために距離の信頼度が低いことを示している。なお、グルーピングのための閾値の設定は３値以外でもよく、等間隔でなくてもよい。
【００３０】
ステップＳ４０１は、Ｓ４００で生成した信頼度マップを用いて被写体距離の信頼度が低いか否かを判定する。具体的には、画像５０４において信頼度が高い領域の面積が所定の割合（例えば半分以上の割合）を占めていない場合には被写体距離の信頼度が低いと判定してステップＳ４０７へ、それ以外の場合にはステップＳ４０２へ処理を進める。
【００３１】
ステップＳ４０２は、領域別輝度値算出部２０３がＳ４０１で生成した距離マップおよび信頼度マップを用いて、距離毎に輝度ヒストグラムを生成する。具体的には、信頼度マップ５０４において信頼度が高い領域に対する輝度値を画像５０１から取得し、ヒストグラムとして累積することを各距離の層に対して行う。
【００３２】
図６は、輝度値を累積して結果的に得られるヒストグラムを示したものである。
【００３３】
図６（Ａ）は中距離領域すなわち画像５０３においてグレーで示された被写体領域、図６（Ｂ）は近距離領域すなわち画像５０３において白色で示された被写体領域の輝度ヒストグラムの一例を示す図である。
【００３４】
ステップＳ４０３は、Ｓ４０２で算出した距離領域毎のヒストグラムを元に階調特性算出部２０４が階調補正特性を設定する。以下に示す階調補正特性の設定方法は一例であり、本実施形態では高輝度域および低輝度域に対して各々ハイライト／シャドーポイントを定め、適応的にコントラストを改善するような手法を用いる。
【００３５】
すなわち、図７（Ａ）および（Ｂ）に示すように、各ヒストグラムに対して最大輝度値から１％分の画素における輝度の最小値（ＨＰ）、及び最小輝度値から１％分の画素における輝度の最大値（ＳＰ）をまず算出する。さらに、ＨＰの輝度値を輝度飽和値あるいはそれに近い値、ＳＰの輝度値を０あるいはそれに近い値となるような特性を生成する。図８はその結果得られる特性を示したものであり、画像５０１の中部に対する特性（Ａ）はコントラストを向上させるような特性（コントラスト強調の度合いが強い特性）となっているのに対し、画像５０１の下部に対する特性（Ｂ）はあまり補正を行わないような特性（コントラスト強調の度合いが弱い）となっている。
【００３６】
ステップＳ４０４は、領域抽出部２０１が画像５０１から特定の被写体を示す領域を抽出して認識する処理を行う。抽出方法として、画像が持つ特徴量に加え撮影時に撮像装置が取得した各種の撮影情報を用いて、空領域、針葉樹などの自然物領域をブロック単位で判別する手法を用いる。図５の画像５０５は、被写体認識の認識結果を示した図であり、図中の斜線部分は空領域、網目部分は自然物領域として抽出して認識された領域を表している。
【００３７】
ステップＳ４０５は、画像５０１に対する階調補正処理を領域毎に行うか、あるいは画像一律に行うかを決定する判定処理を行う。判定方法は、まずＳ４０１で生成した画像５０４において信頼度の高い領域（白色）が所定の割合以上の面積を占めているか否かを判定する。例えば画素数に対して５割以上を占めている場合には距離信頼度が高いと判定する。次に、画像５０３において距離のグルーピング層数が所定数以下（例えば２）であるか否かを判定する。上述した２つの判定が共に満たされた場合、画像５０１は緩やかな距離の変化が少なく、近距離および遠距離の２つに書割りされたシーンである可能性が高いと判断し、領域毎に階調補正処理を行うように制御する。それ以外の場合、例えば距離が緩やかに変化する領域が含まれるようなシーンに対して、領域別に階調補正を切り替えると階調逆転により不自然な画となる可能性が高いと判断し、画像一律に同一の階調特性を適用する処理を行うように制御する。つまり、被写体距離に基づいてグルーピングされた被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定し、その判定結果に応じて以下のように階調変換を行うことになる。
【００３８】
ステップＳ４０６は、画像処理部１０４が通常の信号処理を行い、その出力は階調圧縮処理部２０８においてガンマ変換などにより所定の出力レンジに階調圧縮される。これは、画像５０１において全体的に被写体の模様の変化が乏しく、距離の信頼度が低い場合には距離情報を参照した階調補正を行わないようにするためである。これにより、誤った距離情報を用いて所望としない階調特性が生成されたり、コントラストがほぼなくなっているような遠くの被写体に対して不自然にコントラストが補正されたりするような弊害が発生するのを抑えることができる。
【００３９】
ステップＳ４０７は、Ｓ４０３で生成した距離毎の階調特性を、覆い焼きの手法により各領域に対して適用する。図２（Ｂ）は、ゲイン処理部２０６の構成を示すブロック図を表しており、以下これを元に具体的な階調補正の方法について説明する。
【００４０】
輝度信号生成部２１２は、入力画像５０１から輝度信号を生成する。帯域制限部２１３は輝度信号生成部２１２が生成した輝度信号に対して所定のＬＰＦ（ローパスフィルタ）をかける。
【００４１】
ぼかし処理部２１４および２１５は、輝度信号生成部２１２および帯域制限部２１３の出力画像に対し、所定のぼかし処理を実行する。これは、細かいテクスチャに対するゲインの敏感度を下げ、コントラストをより良好に維持することが目的である。その一方で、高輝度領域と低輝度領域の境界では、覆い焼きゲイン処理において境界部付近の領域に所望のゲインがかからずに疑似輪郭の発生が顕著になると考えられるため、ぼかし処理を行わない方がよい。従って、輝度差が大きなエッジを保存したままボカシ処理を行うことが必要である。
【００４２】
輝度→ゲイン変換処理部２１６および２１７は、ぼかし処理部２１４および２１５から出力される輝度画像の各々に対し、ゲインテーブル生成部２０５が算出する輝度別ゲインテーブルを用いて、ゲイン画像へ変換する。
【００４３】
ここで輝度別ゲインテーブルの算出方法について説明する。図８に示した階調特性は横軸が入力輝度、縦軸は出力輝度となっている。直線の傾きはゲイン量を表しており、階調特性をゲイン量Ｇａｉｎにより式で示すと出力輝度＝Ｇａｉｎ×入力輝度となることから、Ｇａｉｎ＝出力輝度／入力輝度となる。これにより、入力輝度に対するゲイン量を表すテーブルを輝度別ゲインテーブルとして生成する。
【００４４】
またゲイン画像とは、画像において最も左上に位置する画素を（０，０）として、入力画像の画素位置を（ｘ，ｙ）で示した時、入力信号Ｙｉｎ（ｘ，ｙ）から出力されるゲインをＧａｉｎ（ｘ，ｙ）とした画像である。すなわち以下に示すゲインテーブル関数ＧａｉｎＴｂｌを用いたとき、
【００４５】
【数１】
2018195079.tif 000003
……………………………（式１）
【００４６】
ゲイン画像における上記Ｇａｉｎ（ｘ，ｙ）が、入力画像の（ｘ，ｙ）に位置する画素に対応するゲインである。
【００４７】
ゲイン加算処理部２１８は、２１６および２１７の出力ゲイン画像を画素毎に加算する処理を行う。図２（Ｃ）は、ゲイン加算処理部２１８の構成を示す図である。入力輝度に対して帯域制限を行っていない上位階層のゲイン画像と、低周波成分のみを残した下位階層のゲイン画像とを加算する。
【００４８】
加算処理部１では上位階層と下位階層のそれぞれの着目位置のゲイン（以下、着目ゲインと呼ぶ）を加算平均（重みＷ１＝０．５により加重加算）する。ただしこの結果だけでは前述したような疑似輪郭が発生する可能性がある。
【００４９】
加算処理部２では、上位階層の着目ゲインと下位階層の周辺領域のゲイン（以下、周辺ゲインと呼ぶ）を使用する。ここで周辺領域とは、着目位置から上下左右方向に所定の範囲内にある画素の集合である。加算処理部２の目的としては、前述の疑似輪郭を低減させることである。
【００５０】
図４（Ｂ）は、この加算処理部２の処理内容を示すフローチャートであり、これより詳細に説明していく。
【００５１】
ステップＳ４１１は、下位階層の周辺ゲインのそれぞれに対し、上位階層の着目ゲインとの差分絶対値を算出する。
【００５２】
ステップＳ４１２は、前記差分絶対値が小さい順に、Ｍ個の周辺ゲインを選択する。ここで、Ｍは所定の個数とする。この処理により、上位階層の着目ゲインに近いゲイン値を持つ下位階層の周辺ゲインを選択することができる。なお本実施例では、ゲインを選択する際に差分絶対値が小さい順に所定個数を選択するという手法をとったが、他の手法でも問題ない。たとえば演算コストを抑える目的のために、差分絶対値が所定の閾値以下である物をすべて選択する、としてもよい。
【００５３】
ステップＳ４１３は、前記選択したＭ個の周辺ゲインを加重加算する。ここで、加重加算時の重みは以下の式（２）で決定される。
【００５４】
【数２】
2018195079.tif 000004
……………………………（式２）
【００５５】
式（２）において、ＧＬ（ｋ）は、選択した下位階層の周辺ゲインのうち、ｋ番目のゲインを表し、Ｗ（ｋ）はそれに対応する加重加算の重みを表す。また、ＧＨは上位階層の着目ゲインを表し、Ａは所定の定数である。式（２）から分かるように、重みＷ（ｋ）は上位階層の着目ゲインとの差分が小さいほど大きくなる。
【００５６】
さらに、式（２）により各周辺ゲインに対する重みＷ（ｋ）を算出後、以下の式（３）により加重加算を行う。
【００５７】
【数３】
2018195079.tif 000005
……………………………（式３）
【００５８】
式（３）において、ＧＬ’は、加重加算後の下位階層ゲインである。
【００５９】
ステップＳ４１４は、加重加算した下位階層の周辺ゲインＧＬ’と、上位階層の着目ゲインＧＨを加算平均（重みＷ２＝０．５により加重加算）し、その結果のゲイン値が加算処理部２の出力となる。
【００６０】
図２（Ｃ）に戻り、加重加算部３は、加算処理部１の結果と加算処理部２の結果を加重加算し、その時の重みは、着目位置における上位階層と下位階層のゲイン差に基づき決定する。具体的には、上位階層と下位階層の着目ゲインの差分値が大きいほど、加算処理部２の結果を重視するような設定とする。これは、輝度差が大きくゲイン差も大きくなるようなエッジ部付近は、加算処理部２の結果を用いて疑似輪郭を抑制するのが望ましいが、ゲイン差が小さいテクスチャ部分では、加算処理部２の結果を用いると、画像のコントラストが低下してしまう。ゲイン差が小さければ疑似輪郭が顕在化しなくなることから、加算処理部１の結果を用いてコントラストの低下を抑制するのが望ましいと考えられるためである。
【００６１】
図２（Ｂ）に戻り、ゲイン乗算部２１１は、生成されたゲイン画像を信号処理部１０４で所定の信号処理が施された元画像（画像５０１）に乗じる。ゲイン乗算部２１１の出力は、階調圧縮部２０８において、ガンマ変換処理などにより所定の出力レンジに階調圧縮される。
【００６２】
図４（Ａ）に戻り、ステップＳ４０８は、Ｓ４０３で生成した距離毎の階調特性を、距離の分布および領域抽出結果に基づいて加重加算することにより一つの階調特性を生成する処理を行う。具体的には、画像５０３および５０４において、まず距離情報算出部２０２は信頼度の高い領域の総画素数に対して距離の遠い領域の画素数が占める割合を算出し、それに応じて階調特性に対する加重加算係数を算出する。以下、図９および図１０を用いて係数の算出方法について説明する。
【００６３】
図９は距離情報を用いた係数の算出方法を示した図であり、横軸は前述した遠距離領域の面積の割合、縦軸は係数Ｋを表している。遠距離の割合が大きい程、係数Ｋが大きくなっていることがわかる。
【００６４】
図１０は、Ｓ４０４で生成した被写体領域抽出の結果を用いて係数Ｋを補正するための係数Ｃの算出方法を示した図である。画像５０５から被写体領域（空あるいは自然物）を示す面積の割合を算出し、それに基づいて図１０に示すような係数Ｃを算出する。
【００６５】
そして２つの係数ＫおよびＣに対し、以下の式を用いて最終的な加重加算係数Ｋ′を算出する。
【００６６】
【数４】
2018195079.tif 000006
………………………………………………………………（式４）
【００６７】
これは、空や自然物領域が多ければ多いほど風景や遠景シーンである場合が多く、特にテクスチャを含む自然物のコントラスト低下が目立ちやすいため、コントラストがより補正される遠距離領域の階調特性に対する重みを大きくすることが目的である。
【００６８】
上記加重加算係数Ｋ′を用いて、図８（Ａ）の遠距離領域に対する階調特性をＡ、図８（Ｂ）の近距離領域に対する階調特性をＢとしたとき、画像一律用の階調特性を以下の式により算出する。
【００６９】
【数５】
2018195079.tif 000007
……………………………………（式５）
【００７０】
図１１はその結果得られた階調特性を示した図であり、２つの階調特性Ａ、Ｂが加重加算され、特性Ａよりもコントラスト補正量が少し緩和されていることがわかる。生成した階調特性をＳ４０７と同様にゲインテーブル生成部２０５がゲインテーブルに変換する。
【００７１】
ステップＳ４０９は、Ｓ４０８で生成したゲインテーブルを画像５０１に対して一律に適用する。具体的な階調補正方法についてはＳ４０７と同様のため、説明は省略する。
【００７２】
最後に、画像表示部１０７および画像記録部１１０に、階調圧縮部２０８において階調圧縮を施された画像が出力される。
【００７３】
以上説明したように本実形態によれば、距離差の大きな風景シーンにおいてコントラスト補正を行う際に距離情報や被写体領域情報を用いることで、過不足を抑えた補正を実現することが可能となる。
【００７４】
なお、本実施形態では、本撮影後の画像を用いて階調特性を生成および補正する構成について説明したが、これに限らず、本撮影前に階調特性に対する補正量を算出し、本撮影時の露出制御に反映させるようにしてもよい。例えば階調補正における最大ゲイン量に対して所定の上限を設けて、上限値を超える場合には露出を上げることでゲイン量を抑えることが可能となる。
【００７５】
さらになお、本実施形態では、コントラストを向上させるために急峻な階調特性を適用する方法について説明したが、これ以外の方法を用いてもよい。例えばゲイン加算処理部２１８において遠い領域に対するゲイン画像を生成する際に、下位階層のゲイン画像に対する重みを大きく（Ｗ１，Ｗ２の値を０．５よりも小さく）した上で加重加算するように制御することでコントラストを改善することが可能となる。
【００７６】
また本実施例では、撮像装置と被写体の絶対距離を元に階調特性を制御する構成について説明したが、さらに焦点距離を考慮して制御するようにしてもよい。例えば、画像情報取得部２０７が取得した焦点距離や絞り値などを参照し、焦点距離が短く深度が浅いようなシーンにおいては、距離の分布によらず合焦した近距離領域を優先するような階調特性を適用あるいはゲイン画像を生成するようにしてもよい。
【００７７】
また本実施形態では、抽出する対象の被写体として空および自然物を挙げて説明したが、人物を検出して階調制御するような構成としてもよい。人物が存在するようなシーンにおいては、人物の顔領域を優先するような階調特性を適用するようにしてもよい。
【００７８】
ここまで、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７９】
１０４  画像処理部
２０２  距離情報算出部
２０３  領域別輝度値算出部
２０４  階調特性算出部
２０５  ゲインテーブル生成部
２０６  ゲイン処理部
２０７  画像情報取得部
２０８  階調圧縮処理部
【図１】
2018195079.tif 000008
【図２】
2018195079.tif 000009
【図３】
2018195079.tif 000010
【図４】
2018195079.tif 000011
【図５】
2018195079.tif 000012
【図６】
2018195079.tif 000013
【図７】
2018195079.tif 000014
【図８】
2018195079.tif 000015
【図９】
2018195079.tif 000016
【図１０】
2018195079.tif 000017
【図１１】
2018195079.tif 000018