(57)【要約】      （修正有）【課題】広ダイナミックレンジかつ高コントラストの画像を生成する技術を実現する。【解決手段】画像の階調補正を行う画像処理装置であって、画像の入力手段と、入力画像に対して被写体領域の判定を行う被写体領域判定手段と、判定結果を用いて、被写体領域毎の代表輝度値を算出する領域別輝度値算出手段と、被写体領域毎の領域別ヒストグラム算出手段と、算出された代表輝度値から被写体領域毎の階調補正量を算出する階調補正量算出手段と、算出された被写体領域毎のヒストグラムから、前記階調補正量算出手段により算出された階調補正量を適用する入力信号の範囲を決定する階調補正量適用範囲算出手段と、前記階調補正量算出手段により算出された被写体領域毎の階調補正量と、前記階調補正量適用範囲算出手段により決定された範囲から、階調補正を行うための階調特性を決定する階調特性決定手段と、を備える。【選択図】図２
2014153959.tif 000002
【特許請求の範囲】
【請求項１】
画像の階調補正を行う画像処理装置であって、
画像を入力する入力手段と、
入力画像に対して被写体領域の判定を行う被写体領域判定手段と、
前記被写体領域判定手段の判定結果を用いて、被写体領域毎の代表輝度値を算出する領域別輝度値算出手段と、
前記被写体領域判定手段の判定結果を用いて、被写体領域毎の入力信号のヒストグラムを算出する領域別ヒストグラム算出手段と、
前記領域別輝度値算出手段により算出された代表輝度値から被写体領域毎の階調補正量を算出する階調補正量算出手段と、
前記領域別ヒストグラム算出手段により算出された被写体領域毎のヒストグラムから、前記階調補正量算出手段により算出された階調補正量を適用する入力信号の範囲を決定する階調補正量適用範囲算出手段と、
前記階調補正量算出手段により算出された被写体領域毎の階調補正量と、前記階調補正量適用範囲算出手段により決定された範囲から、階調補正を行うための階調特性を決定する階調特性決定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記階調補正量算出手段は、前記領域別輝度値算出手段により算出された代表輝度値を用いて被写体領域間の輝度段差を算出し、前記算出した輝度段差と、被写体領域毎の輝度値とを用いて被写体領域毎のゲイン量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域別ヒストグラム算出手段は、前記被写体領域判定手段により判定された被写体領域毎に輝度信号のヒストグラムを算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記階調補正量適用範囲算出手段は、前記領域別ヒストグラム算出手段により算出された被写体領域毎の輝度信号のヒストグラムに対して、低輝度側から高輝度側にかけて加算した値、もしくは高輝度側から低輝度側にかけて減算した値が所定の閾値に達した時点の輝度値までを、前記階調補正量を適用する範囲とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記階調特性決定手段により決定された階調特性を、入力信号に応じたゲインのテーブルに変換するゲインテーブル変換処理手段と、
前記ゲインテーブル変換処理手段により変換されたゲインテーブルを用いて、ゲイン処理を行うゲイン処理手段と、をさらに備えることを特徴とする請求項１ないし４のいずれか１項に画像処理装置。
【請求項６】
複数の階調特性を作成する階調特性作成手段と、
前記複数の階調特性を加重加算するための加重加算係数を算出する加重加算係数算出手段と、をさらに備え、
前記階調特性決定手段は、前記加重加算係数算出手段により算出された加重加算係数を用いて、前記複数の階調特性を加重加算することにより、最終的な階調特性を決定することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記係数算出手段は、前記領域別輝度値算出手段により算出された代表輝度値を用いて加重加算係数を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記係数算出手段は、被写体領域が存在する面積の比率により加重加算係数を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
入力画像から撮影する露光量を算出する露光量算出手段をさらに備えることを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記露光量算出手段は、前記領域別輝度値算出手段により算出された被写体領域毎の代表輝度値を用いて露光量を算出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記被写体領域判定手段は、人物の顔領域、空の領域、人物と空以外の背景領域を被写体領域として検出することを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記階調特性決定手段は、主被写体領域を最優先とした階調特性を基準とし、前記階調特性に主被写体以外の被写体領域の優先度に応じた階調特性を加えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記階調特性決定手段は、前記主被写体領域として人物の顔領域を最優先とした階調特性を基準とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記階調特性決定手段は、前記主被写体以外の被写体領域の優先度を、前記領域別輝度値算出手段により算出された被写体領域毎の代表輝度値により決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記階調特性決定手段は、前記主被写体以外の被写体領域の優先度を、被写体領域が存在する面積の比率により決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
画像を撮像する撮像手段をさらに有し、
前記入力画像は、前記撮像手段により撮像された画像であることを特徴とする請求項１ないし１５のいずれか１項に記載の画像処理装置。
【請求項１７】
画像の階調補正を行う画像処理方法であって、
画像を入力する入力工程と、
入力画像に対して被写体領域の判定を行う被写体領域判定工程と、
前記被写体領域判定工程での判定結果を用いて、被写体領域毎の代表輝度値を算出する領域別輝度値算出工程と、
前記被写体領域判定工程での判定結果を用いて、被写体領域毎の入力信号のヒストグラムを算出する領域別ヒストグラム算出工程と、
前記輝度値算出工程により算出された代表輝度値から被写体領域毎の階調補正量を算出する階調補正量算出工程と、
前記領域別ヒストグラム算出工程により算出された被写体領域毎のヒストグラムから、前記階調補正量算出工程により算出された階調補正量を適用する入力信号の範囲を決定する階調補正量適用範囲算出工程と、
前記階調補正量算出工程により算出された被写体領域毎の階調補正量と、前記階調補正量適用範囲算出工程により決定された範囲から、階調補正を行うための階調特性を決定する階調特性決定工程と、を備えることを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１９】
コンピュータに、請求項１７に記載された画像処理方法を実行させるためのプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出力画像の階調補正を行う画像処理技術に関する。
【背景技術】
【０００２】
従来から、ハイダイナミック合成（ＨＤＲ）や覆い焼き等、ダイナミックレンジが拡大された入力信号に対して、階調圧縮を行って出力する処理がある。
【０００３】
例えば、特許文献１には、画像を複数のエリアに分割し、それぞれのエリアから算出した代表画素値とエッジ成分によりエリア毎のヒストグラムを算出し、算出したヒストグラムに基づいて、エリアに対応する階調変換カーブを生成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１３０１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、ダイナミックレンジを拡大するほど、被写体領域間のバランスを考慮しないため、不自然な画像になってしてしまう。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、広ダイナミックレンジかつ高コントラストの画像を生成する技術を実現することである。
【課題を解決するための手段】
【０００７】
上記解題を解決し、目的を達成するために、本発明の画像処理装置は、画像の階調補正を行う画像処理装置であって、画像を入力する入力手段と、入力画像に対して被写体領域の判定を行う被写体領域判定手段と、前記被写体領域判定手段の判定結果を用いて、被写体領域毎の代表輝度値を算出する領域別輝度値算出手段と、前記被写体領域判定手段の判定結果を用いて、被写体領域毎の入力信号のヒストグラムを算出する領域別ヒストグラム算出手段と、前記領域別輝度値算出手段により算出された代表輝度値から被写体領域毎の階調補正量を算出する階調補正量算出手段と、前記領域別ヒストグラム算出手段により算出された被写体領域毎のヒストグラムから、前記階調補正量算出手段により算出された階調補正量を適用する入力信号の範囲を決定する階調補正量適用範囲算出手段と、前記階調補正量算出手段により算出された被写体領域毎の階調補正量と、前記階調補正量適用範囲算出手段により決定された範囲から、階調補正を行うための階調特性を決定する階調特性決定手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、広ダイナミックレンジかつ高コントラストの画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る実施形態の装置構成を示すブロック図。
【図２】画像処理部の構成の一部を示すブロック図。
【図３】露光量算出部の構成を示すブロック図。
【図４】階調特性算出部の構成を示すブロック図。
【図５】ゲイン処理部の構成を示すブロック図。
【図６】露光量算出処理を示すフローチャート。
【図７】画像処理部による階調処理を示すフローチャート。
【図８】階調特性算出部による処理を示すフローチャート。
【図９】被写体領域間の輝度段差に加え、目標露光量と露光量の決定方法を説明する図。
【図１０】被写体領域間の輝度段差の算出方法を説明する図。
【図１１】各被写体領域で実現したい入出力特性を説明する図。
【図１２】被写体領域毎の階調補正量を適応する入力信号の範囲を説明する図。
【図１３】ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法を説明する図。
【図１４】各被写体領域で実現したい入出力特性と、ダイナミックレンジ優先とコントラスト優先の階調特性を説明する図。
【図１５】正しく階調特性を作成できない場合の階調特性の作成方法を説明する図。
【図１６】被写体領域間の輝度段差を２種類の階調特性の加重加算係数に用いることにより得られる効果を説明する図。
【図１７】階調特性からゲインテーブルへの変換を説明する図。
【図１８】γ特性による階調圧縮処理を説明する図。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１１】
以下、本発明の画像処理装置を、例えば、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に適用した実施形態について説明する。
【００１２】
＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。
【００１３】
本実施形態は、被写体領域の情報を用いて最適な階調処理を行う。なお、本実施形態は、本発明による効果が最も高い逆光時の人物シーンを想定し、人物が最も暗く、空が最も明るいシーンを想定した階調処理について説明する。ただし、本発明の技術思想は上記シーン以外にも適用可能であることは言うまでもない。
【００１４】
図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッタ装置を備えている。この光学系１０１は、撮像部１０２に結像される被写体像の倍率やピント位置、あるいは、入射光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換するＣＣＤやＣＭＯＳ等の光電変換素子からなるイメージセンサを含む。
【００１５】
Ａ／Ｄ変換部１０３は、撮像部１０２から入力された映像信号をデジタルの画像に変換する。
【００１６】
画像処理部１０４は、通常の信号処理に加えて、後述する階調処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力されたデジタル画像信号だけでなく、記録部１１０から読み出された画像データに対しても同様の画像処理を行うことができる。
【００１７】
露光量算出部１０５は、本実施形態の階調処理を行うために最適な入力画像を得るために、撮影時の露光量を算出する。露光量算出部１０５は、画像処理部１０４による処理結果を入力し、算出した露光量を露光量制御部１０６へ出力する。露光量算出部１０５の詳細については後述する。
【００１８】
露光量制御部１０６は、露光量算出部１０５により算出された露光量に応じて、光学系１０１と撮像部１０２を制御して、絞り、シャッタスピード、撮像部１０２のアナログゲインを制御する。
【００１９】
システム制御部１０７は、本実施形態の装置全体の動作を統括して制御する。画像処理部１０４で処理された画像信号から得られる輝度値や操作部１０８から送信された指示信号に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。
【００２０】
表示部１０９は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、撮像部１０２で生成された画像信号や、記録部１１０から読み出した画像データを表示する。記録部１１０は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでも良いし、この情報記録媒体を着脱可能にしても良い。
【００２１】
バス１１１は、画像処理部１０４、システム制御部１０７、表示部１０９、および、記録部１１０の間で画像信号や制御信号を伝送するための伝送路である。
【００２２】
＜露光量算出部＞次に、図３を参照して、露光量算出部１０５の構成及び機能について説明する。
【００２３】
露光量算出部１０５は、階調処理を行うために最適な露光量で撮影された画像信号を得るために必要な露光量を算出する。本実施形態では、露光量の算出についても被写体領域の情報を用いる。
【００２４】
なお、以下では、露光量算出部１０５への入力情報として、図２に示す画像処理部１０４の領域別輝度値算出部２０３の出力結果を用いる。画像処理部１０４の構成及び機能については後述する。
【００２５】
露光量算出部１０５は、領域別輝度値算出部２０３の出力結果を入力して、主被写体出力輝度値算出部３０１と領域間輝度段差算出部３０２で処理を行った後、露光量決定部３０３で露光量を決定し、露光量制御部１０６へ出力する。
【００２６】
図６は、露光量を算出するための画像信号を取得してから、露光量算出部１０５で露光量を算出するまでの処理を示し、Ｓ６０１からＳ６０３までが画像処理部１０４で行う処理、Ｓ６０４からＳ６０６までが露光量算出部１０５で行う処理である。なお、図６の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記各部を制御することにより実現される。
【００２７】
Ｓ６０１では、画像処理部１０４は、露光量を算出するために撮像部１０２により撮像された画像信号を取得する。
【００２８】
Ｓ６０２では、画像処理部１０４は、Ｓ６０１で取得した画像信号から被写体領域の判定を行う。本実施形態では、被写体領域として、人物の顔領域、人物の顔以外の体領域、雲・太陽等を含む空領域、空以外の領域を背景領域として合計４つの領域を判定する。図９（ａ）は、入力画像に対して被写体領域判定を行った結果を例示している。被写体領域の判定方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い（特開２００６−３９６６６号公報）。また、被写体領域の判定方法については、１画素毎ではなく、一定のサイズで区切られたブロック毎に判定する方法でもよい。
【００２９】
Ｓ６０３では、画像処理部１０４は、Ｓ６０２での被写体領域判定結果を用いて、被写体領域毎の代表輝度値を算出する。代表輝度値は、該当する被写体領域内の輝度信号の平均値、もしくは座標に応じた重み付けによる加重平均値とする。代表輝度値を算出する被写体領域として、人物の顔領域、背景領域、空領域の３つの領域を算出する。なお、本実施形態では、人物の体領域は代表輝度値の算出に含めないものとする。
【００３０】
以下では、各被写体領域の代表輝度値をそれぞれ、ＨＵＭＡＮ＿Ｙ、ＢＡＣＫ＿Ｙ、ＳＫＹ＿Ｙと呼ぶ。また、本実施形態では、人物の顔領域と空領域の各代表輝度値は、該当する被写体領域内の輝度信号の平均値から算出し、背景領域の代表輝度値は、座標に応じた重み付けによる加重平均値から算出する。
【００３１】
Ｓ６０４では、露光量算出部１０５は、Ｓ６０３で算出した各被写体領域の代表輝度値を用いて被写体領域間の輝度段差を算出する。
【００３２】
ここで、被写体領域間の輝度段差の算出について図９（ｂ）を用いて説明する。
【００３３】
図９（ｂ）は、入力画像の露光量を基準に各被写体領域の目標露光量を例示している。目標露光量とは、算出対象の被写体領域の代表輝度値を目標輝度値にするために、入力画像の露光量から何段オーバー、何段アンダーの露光量に設定すれば良いかを示すものである。
【００３４】
露光量オーバーとは入力画像の露光量よりも大きくすること、露光量アンダーとは入力画像の露光量よりも小さくすることを示す。なお、目標輝度値は各被写体領域によって予め決定された値である。
【００３５】
各被写体領域の代表輝度値をＨＵＭＡＮ＿Ｙ、ＢＡＣＫ＿Ｙ、ＳＫＹ＿Ｙとし、各被写体領域の目標輝度値をＨＵＭＡＮ＿ｒｅｆ＿Ｙ、ＢＡＣＫ＿ｒｅｆ＿Ｙ、ＳＫＹ＿ｒｅｆ＿Ｙとする。各被写体領域の目標露光量ΔＢＶ＿ＨＵＭＡＮ＿ｒｅｆ、ΔＢＶ＿ＢＡＣＫ ＿ｒｅｆ、ΔＢＶ＿ＳＫＹ＿ｒｅｆは、式１によって算出される。
【００３６】
【数１】
2014153959.tif 000003
【００３７】
式１によって算出された各被写体領域の目標露光量から各被写体領域間の輝度段差を算出する。人物の顔領域と背景領域の輝度段差をΔＨＢ、背景領域と空領域の輝度段差をΔＢＳ、人物の顔領域と空領域の輝度段差をΔＨＳはそれぞれ、式２から算出される。
【００３８】
【数２】
2014153959.tif 000004
【００３９】
式２によって算出された各被写体領域間の輝度段差ΔＨＢ、ΔＢＳ、ΔＨＳは、Ｓ６０６の露光量を決定する処理で用いる。
【００４０】
図６に戻り、Ｓ６０５では、露光量算出部１０５は、入力画像とＳ６０３で算出された各被写体領域の代表輝度値を用いて主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、前述の目標輝度値とは別であり、後の撮影画像で最終的に出力したい主被写体領域の輝度値を示す。本実施形態では、人物が含まれるシーンの場合、人物を主被写体として考えるため、人物の顔領域の出力輝度値を算出する。本実施形態では、出力輝度値の算出方法として、人物の顔領域のみの輝度値と画像全体の輝度値の関係を見て最終的な人物の顔領域の輝度値を決定する公知の方法を用いる（例えば、特許第４７８９７７６号公報）。なお、この方法に限らず、被写体領域間の輝度段差を用いて、中間輝度に位置する被写体を基準にして、人物の顔領域の輝度値を決定する方法を用いても良い。また、人物の顔領域の目標輝度値をそのまま出力輝度値としても良い。以下では、算出した主被写体である人物の顔領域の出力輝度値をＨＵＭＡＮ＿ＯＵＴ＿Ｙとして説明する。
【００４１】
Ｓ６０６では、露光量算出部１０５は、Ｓ６０４で算出した被写体領域間の輝度段差ΔＨＢ、ΔＢＳ、ΔＨＳと、Ｓ６０５で算出した主被写体の出力輝度値ＨＵＭＡＮ＿ＯＵＴ＿Ｙを入力し、階調処理を行うために最適な画像を撮影するための露光量を決定する。
【００４２】
ここで、図９（ｃ）を用いて露光量の決定方法について説明する。
【００４３】
図９（ｃ）は、入力画像信号の露光量に対する各被写体領域の出力露光量を例示している。出力露光量とは、最終的に出力したい各被写体領域の明るさを実現するために、入力画像の露光量に対し、何段オーバー、何段アンダーの露光量に設定すれば良いかを示したものである。
【００４４】
人物の顔領域、背景領域、空領域の出力露光量をそれぞれ、ΔＢＶ＿ＨＵＭＡＮ、ΔＢＶ＿ＢＡＣＫ、ΔＢＶ＿ＳＫＹとすると、各被写体領域の出力露光量は、式３から算出される。
【００４５】
【数３】
2014153959.tif 000005
【００４６】
式３のように、Ｓ６０５で算出した出力輝度値により決定された主被写体の露光量を基準に、Ｓ６０４で算出した被写体領域間の輝度段差を１／２に縮めた段差を維持するように主被写体以外の被写体領域の露光量を決定する。
【００４７】
各被写体領域の出力露光量のうち、最も露光量の小さい出力露光量を、階調処理を行うために最適な画像を撮影するための露光量として決定する。つまり、各被写体領域のうち、最も露光量の小さい出力露光量である空領域のΔＢＶ＿ＳＫＹを撮影時の露光量として決定する。本実施形態では上述した方法により撮影時の露光量を決定するが、この方法に加え、主被写体の出力露光量に対してある一定の値までしか露光量を小さくできない等、露光量を小さくできる上限を設けて撮影時の露光量を決定しても良い。
【００４８】
以上のように、露光量算出部１０５は、入力画像を取得して最適な露光量を決定する。
【００４９】
上記以外の方法で露光量を算出しない場合、最適な露光量で階調処理を行えなくなってしまう。例えば、露光量が必要以上に大きい場合、広ダイナミックレンジの画像が実現できず、反対に、露光量が必要以上に小さい場合、後の階調処理でデジタルゲインを必要以上にかけてしまうことでノイズの影響で画質が劣化する可能性がある。これに対し、本実施形態のように露光量を算出することにより後の階調処理に最適な入力画像を取得することができる。
【００５０】
＜階調処理＞次に、図２及び図７を参照して、画像処理部１０４による階調処理について説明する。
【００５１】
画像処理部１０４は、露光量算出部１０５によって決定された露光量で撮影した画像信号を入力して階調処理を行う。
【００５２】
なお、本実施形態の階調処理は、被写体領域間の輝度段差を縮めるような階調特性を画像全体に適用する。また、主被写体領域を最優先とした上で、主被写体以外の被写体領域をシーンに応じてバランス良く階調を割り当てることにより、人間の見た目通りのコントラストと明るさの出力画像を生成する。
【００５３】
図２は、画像処理部１０４の構成の一部、図７は階調処理をそれぞれ示している。なお、図７の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記画像処理部を制御することにより実現される。
【００５４】
Ｓ７０１では、画像処理部１０４は、撮像部１０２により撮影された画像信号を取得する。
【００５５】
Ｓ７０２では、画像処理部１０４は、Ｓ７０１で取得した画像信号に対し、被写体領域の判定を行う。この被写体領域判定処理については、前述したＳ６０２の処理と同様である。
【００５６】
Ｓ７０３では、画像処理部１０４は、Ｓ７０１で取得した画像信号を入力情報として、Ｓ７０２で判定された被写体領域毎に代表輝度値を算出する。各被写体領域の代表輝度値の算出方法については、前述したＳ６０３と同様である。
【００５７】
Ｓ７０４では、画像処理部１０４は、Ｓ７０１で取得した画像信号を入力情報として、Ｓ７０２で判定された被写体領域毎にヒストグラムを算出する。本実施形態では、輝度信号のヒストグラムを算出する。なお、ヒストグラムの算出対象の被写体領域は、代表輝度値の算出と同様に、人物の顔領域、背景領域、空領域である。
【００５８】
Ｓ７０５では、画像処理部１０４は、Ｓ７０３で算出した被写体領域毎の代表輝度値と、Ｓ７０４で算出した被写体領域毎のヒストグラムを入力して、撮影画像の階調特性を算出する。この階調特性の算出方法については後述する。なお、Ｓ７０５で算出する階調特性とは、図１７（ａ）のように横軸を入力信号、縦軸を出力信号として、入力信号に応じた出力信号を表す入出力特性である。例えば、階調特性を変化させない場合は、点線で示したグラフとなり、入力信号と出力信号の値は等しくなる。なお、本実施形態では、図１７（ａ）の入力信号や出力信号は輝度信号を示す。
【００５９】
Ｓ７０６では、画像処理部１０４は、Ｓ７０５で算出した階調特性を用いて、図１７（ｂ）のように横軸を入力信号、縦軸をゲインとした、入力信号に応じたゲインを示すゲインテーブルに変換する（ゲインテーブル変換処理）。本実施形態では、図１７（ｂ）の入力信号は輝度信号を示す。入力信号をｘ、階調特性により入力信号に応じた出力信号をｙとすると、ゲインＧａｉｎは、式４により算出される。
【００６０】
【数４】
2014153959.tif 000006
【００６１】
Ｓ７０７では、画像処理部１０４は、Ｓ７０６で得たゲインテーブルを参照して撮影画像にゲインをかける処理を行う。
【００６２】
ここで、図５を用いて、ゲイン処理部２０６によるゲイン処理について説明する。
【００６３】
左上に位置する画素を（０，０）として、入力画像の画素位置を（ｘ，ｙ）で示した場合、入力信号Ｙｉｎ（ｘ，ｙ）から出力されるゲインをＧａｉｎ（ｘ，ｙ）として、Ｓ７０６で得たゲインテーブルをＧａｉｎＴｂｌ関数として表すと、式５のようになる。
【００６４】
【数５】
2014153959.tif 000007
【００６５】
Ｇａｉｎ（ｘ，ｙ）は入力画像の（ｘ，ｙ）に位置する画素に対応するゲインである。
【００６６】
ゲインを算出するための入力信号であるＹｉｎは、撮影された入力画像を用いて、ゲイン算出用画像生成部５０１で生成される。ゲイン算出用画像生成方法としては、コントラストを向上させるため、入力画像を輝度画像データに変換し、平均化処理を行う。輝度画像データを入力としてゲインを算出することにより、よりコントラストを向上させる効果が得られる。
【００６７】
ゲイン変換部５０２は、ゲイン算出用画像生成部５０１で生成されたＹｉｎ信号を用いて、式５のように、ゲイン信号に変換する処理を行う。
【００６８】
ゲイン乗算部５０３は、ゲイン変換部５０２で算出されたゲインを用いて入力画像信号に対し、ゲインを乗算する処理を行う。本実施形態では、撮影された入力画像から、既にデモザイキング処理を終えたＲ，Ｇ，Ｂ画像信号に対し、ゲインを乗算する処理を行う。ゲイン乗算前の（ｘ，ｙ）に位置する入力画像のＲ，Ｇ，Ｂ信号をそれぞれＲｉｎ（ｘ，ｙ）、Ｇｉｎ（ｘ，ｙ）、Ｂｉｎ（ｘ，ｙ）とする。その場合、ゲイン乗算後のＲ，Ｇ，Ｂ信号Ｒｏｕｔ（ｘ，ｙ）、Ｇｏｕｔ（ｘ，ｙ）、Ｂｏｕｔ（ｘ，ｙ）は、式５のＧａｉｎＴｂｌ関数を用いて、式６により算出することができる。
【００６９】
【数６】
2014153959.tif 000008
【００７０】
式６のように、画素位置（ｘ，ｙ）であれば、Ｒ，Ｇ，Ｂの信号にかけるゲインは同じである。
【００７１】
なお、本実施形態ではＲＧＢ信号に対してゲイン処理を行ったが、ＹＵＶ信号に対して上述したゲイン処理を行っても良い。
【００７２】
図７に戻り、Ｓ７０８では、画像処理部１０４は、Ｓ７０７でゲイン処理を行ったＲ，Ｇ、Ｂのｍビットの信号を表示部１０９の特性に合わせるため、γ特性で階調圧縮処理を行い、ｎ（ｍ≧ｎ）ビットの信号を出力する。本実施形態では、このγ特性として、図１８に示すように実線と点線で示した２種類の特性を用いる。点線で示したγ特性は、逆光時の人物の顔領域がフレアの影響等により低コントラストになってしまう対策として、低輝度部分のコントラストを向上するような特性になっている。点線で示したγ特性は、逆光時の人物シーンに対して用い、実線で示したγ特性は、逆光時の人物シーン以外で用いる。
【００７３】
図７の階調処理において、図２に示す画像処理部１０４の各部は、被写体領域検出部２０１がＳ７０２、領域別ヒストグラム算出部２０２がＳ７０４、領域別輝度値算出部２０３がＳ７０３の各処理を行う。また、階調特性算出部２０４がＳ７０５、ゲインテーブル算出部２０５がＳ７０６、ゲイン処理部２０６がＳ７０７、階調圧縮処理部２０７がＳ７０８の各処理を行う。
【００７４】
＜階調特性算出処理＞次に、図４及び図８を参照して、階調特性算出部２０４による階調特性算出処理について説明する。
【００７５】
階調特性算出部２０４は、被写体領域毎に算出した代表輝度値と、被写体領域毎に算出した輝度のヒストグラムを入力情報として、撮影画像の階調特性を算出する。
【００７６】
図４は階調特性算出部２０４の構成、図８は階調特性算出処理をそれぞれ示している。なお、図８の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、各部を制御することにより実現される。
【００７７】
Ｓ８０１では、階調特性算出部２０４は、被写体領域毎に算出した代表輝度値を用いて被写体領域間の輝度段差を算出する。輝度段差の算出方法については、図１０（ａ）のように、Ｓ６０４の処理において露光量をゲイン量と置き換えれば良い。
【００７８】
Ｓ８０２では、階調特性算出部２０４は、主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、Ｓ６０５と同様に、最終的に出力したい主被写体領域の輝度値である。また、本実施形態では、前述と同様に人物の顔領域を主被写体領域とし、算出方法はＳ６０５の処理と同様である。
【００７９】
Ｓ８０３では、階調特性算出部２０４は、Ｓ８０１で算出した被写体領域間の輝度段差と、Ｓ８０２で算出した主被写体の出力輝度値を入力情報として、各被写体領域の階調補正量を算出する。なお、階調補正量とは、本実施形態では一律ゲイン量のことを示しており、対象の被写体領域毎にかけたい一律ゲイン量を算出する。
【００８０】
被写体領域毎の階調補正量の算出方法については、図１０（ｂ）に示すように、Ｓ６０６において露光量を階調補正量に置き換えれば良い。
【００８１】
各被写体領域の階調補正量の算出方法は、人物の顔領域のゲイン量、背景領域のゲイン量、空領域のゲイン量をそれぞれ、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹとすると、式７により算出される。なお、ＨＵＭＡＮ＿Ｙは人物の顔領域の代表輝度値、ＨＵＭＡＮ＿ＯＵＴ＿Ｙは主被写体である人物の顔領域の出力輝度値であり、ΔＨＢは人物の顔領域と背景領域間の輝度段差、ΔＨＳは人物の顔領域と空領域間の輝度段差である。
【００８２】
【数７】
2014153959.tif 000009
【００８３】
本実施形態では、０段未満のゲイン量では行わないため、式７でＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹを算出した後、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹに負の値になっているものがあれば、０にクリップする。
【００８４】
被写体領域毎の階調補正量を入出力特性で表すと、図１１のようになる。
【００８５】
入力信号をＸ、出力信号をＹとすると、各被写体領域で実現したい入出力特性は、式８により得られる。
【００８６】
【数８】
2014153959.tif 000010
【００８７】
各被写体領域の入出力特性が、それぞれ被写体領域毎に適用する階調特性である。各被写体領域の入出力特性の傾きが、各被写体領域で実現したいコントラストであり、出力信号が各被写体領域で実現したい明るさを示している。
【００８８】
図８に戻り、Ｓ８０４以降では、被写体領域毎の入出力特性を参考に、画面一様に適用する階調特性を作成する処理について説明する。
【００８９】
Ｓ８０４では、階調特性算出部２０４は、被写体領域毎の輝度のヒストグラムを用いて、Ｓ８０３で算出した被写体領域毎の階調補正量を適用する入力信号の範囲を決定する。
【００９０】
入力信号の範囲について図１２を用いて説明する。
【００９１】
図１２に示した３つの入出力特性は、式８で示した各被写体領域で実現したい入出力特性である。入出力特性の横軸のＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴが各被写体領域の入出力特性を適用する入力信号の範囲を決定する指標となる。０からＨＵＭＡＮ＿ＰＯＩＮＴまでの入力信号の範囲を（１）、０からＢＡＣＫ＿ＰＯＩＮＴまでの入力信号の範囲を（２）、ＳＫＹ＿ＰＯＩＮＴから入力信号で表現できる最大値までの入力信号の範囲を（３）として示している。（１）は人物の顔領域の入出力特性を適用したい入力信号の範囲、（２）は背景領域の入出力特性を適用したい入力信号の範囲、（３）は空領域の入出力特性を適用したい入力信号の範囲をそれぞれ示している。
【００９２】
ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法について、図１３を用いて説明する。ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出は、図１３（ａ）のように被写体領域毎に算出した輝度のヒストグラムを用いる。ＨＵＭＡＮ＿ＰＯＩＮＴの算出は、人物の顔領域の輝度のヒストグラムを用い、ＢＡＣＫ＿ＰＯＩＮＴの算出は、背景領域の輝度のヒストグラム、ＳＫＹ＿ＰＯＩＮＴ算出は、空領域の輝度ヒストグラムをそれぞれ用いる。
【００９３】
各被写体領域の輝度のヒストグラムを用いた、ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法を例示しているのが図１３（ｂ）である。
【００９４】
まず、ＨＵＭＡＮ＿ＰＯＩＮＴの算出について説明する。本実施形態では、人物の顔領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をＨＵＭＡＮ＿ＰＯＩＮＴとする。
【００９５】
なお、閾値をＨＵＭＡＮ＿ＴＨとすると、式９により算出することができる。
【００９６】
【数９】
2014153959.tif 000011
【００９７】
ＨＵＭＡＮ＿ＡＲＥＡＳＵＭは人物の顔領域と判定された画素の総数、Ｐ＿ＨＵＭＡＮは調整パラメータである。式９に示すように、頻数の加算値が、人物の顔領域の画素の総数に対し、所定の閾値（％）に達したかでＨＵＭＡＮ＿ＰＯＩＮＴを決定している。
【００９８】
次に、ＢＡＣＫ＿ＰＯＩＮＴの算出について説明する。本実施形態では、ＨＵＭＡＮ＿ＰＯＩＮＴと同様に、背景領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をＢＡＣＫ＿ＰＯＩＮＴとする。閾値はＨＵＭＡＮ＿ＴＨと同様の方法で設定する。
【００９９】
最後に、ＳＫＹ＿ＰＯＩＮＴの算出について説明する。
【０１００】
本実施形態では、ＨＵＭＡＮ＿ＰＯＩＮＴやＢＡＣＫ＿ＰＯＩＮＴとは反対に、空領域の輝度ヒストグラムに対し、空領域と判定された画素の総数から最小の信号値から徐々に大きい信号値にかけて、頻数を減算していく。そして、減算値が所定の閾値以下になった時点で、最後に頻数を減算した入力信号の値をＳＫＹ＿ＰＯＩＮＴとする。閾値はＨＵＭＡＮ＿ＴＨと同様の方法で設定する。
【０１０１】
このように、高輝度被写体である空領域、中間輝度被写体及び低輝度被写体である背景領域、人物の顔領域で、それぞれ算出方法が異なる。本実施形態では、空領域が最も明るく、人物の顔領域が最も暗いシーンについて説明したが、背景領域が最も高輝度被写体である場合はＳＫＹ＿ＰＯＩＮＴと同じ算出方法を用い、空領域が中間輝度被写体である場合はＢＡＣＫ＿ＰＯＩＮＴと同じ算出方法を用いる。
【０１０２】
以上の処理により、Ｓ８０３で算出した被写体領域毎の階調補正量ＨＵＭＡＮ＿ＧＡＩＮ、ＢＡＣＫ＿ＧＡＩＮ、ＳＫＹ＿ＧＡＩＮと、Ｓ８０４で算出した被写体領域毎の階調補正量を適用する範囲の指標となるＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴを用いて、階調特性を作成する。
【０１０３】
本実施形態では、別々の特徴を持った複数（２種類）の階調特性を作成し、作成した２つの階調特性を加重加算することにより最終的な階調特性を算出している。
【０１０４】
図８の説明に戻り、Ｓ８０５とＳ８０６では、階調特性算出部２０４は、それぞれ別々の特徴を持った階調特性を作成する。
【０１０５】
Ｓ８０５とＳ８０６で作成する２種類の階調特性について、図１４を用いて詳細に説明する。
【０１０６】
図１４（ａ）に示す３つの入出力特性は、式８で示した各被写体領域で実現したい入出力特性である。入出力特性の横軸のＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴが各被写体領域の入出力特性を適用する入力信号の範囲を決定する指標である。
【０１０７】
図１４（ａ）に対し、本実施形態では、図１４（ｂ）に示したダイナミックレンジ優先と呼ぶ階調特性と、図１４（ｃ）に示したコントラスト優先と呼ぶ階調特性の２種類を作成する。
【０１０８】
まず、図１４（ｂ）に示したダイナミックレンジ優先の階調特性について説明する。
【０１０９】
ダイナミックレンジ優先の階調特性の特徴は、図１４（ａ）に示した人物の顔領域の入出力特性と、空領域の入出力特性の２つを取り入れている点である。図１４（ａ）の特性に対し、人物の顔領域と、空領域の明るさとコントラストを実現する点が長所である。
【０１１０】
入力信号の０からＨＵＭＡＮ＿ＰＯＩＮＴまでの低輝度側の区間は人物の顔領域の入出力特性になっており、反対に、ＳＫＹ＿ＰＯＩＮＴから入力信号で表現できる最大値までの高輝度側の区間は空領域の入出力特性となっている。ＨＵＭＡＮ＿ＰＯＩＮＴからＳＫＹ＿ＰＯＩＮＴまでの中間輝度に位置する区間は、低輝度側の人物の顔領域の入出力特性と、高輝度側の空領域の入出力特性をつなげる形となっている。入力信号をＸ、出力信号をＹとすると、ダイナミックレンジ優先の階調は、式１０で表される。
【０１１１】
【数１０】
2014153959.tif 000012
【０１１２】
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図１４（ｂ）の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。
【０１１３】
ダイナミックレンジ優先の階調特性はＳ８０５で作成される。
【０１１４】
次に、図１４（ｃ）に示したコントラスト優先の階調特性について説明を行う。
【０１１５】
コントラスト優先の階調特性の特徴は、図１４（ａ）に記載した人物の顔領域の入出力特性に加え、背景領域及び空領域の入出力特性の傾きのみを取り入れている点である。図１４（ａ）の特性に対し、人物の顔領域は明るさとコントラスト、背景領域及び空領域はコントラストを実現する点が長所である。
【０１１６】
入力信号のうち、０からＨＵＭＡＮ＿ＰＯＩＮＴまでの区間は人物の顔領域の入出力特性になっている点では、ダイナミックレンジ優先の階調特性と同等である。ＨＵＭＡＮ＿ＰＯＩＮＴからＢＡＣＫ＿ＰＯＩＮＴの区間では背景領域の入出力特性のうち傾きのみを実現した特性となり、ＢＡＣＫ＿ＰＯＩＮＴから入力信号で表現できる最大値までの区間は、空領域の入出力特性のうち傾きのみ実現した特性となっている。入力信号をＸ、出力信号をＹとすると、コントラスト優先の階調は、式１１で表される。
【０１１７】
【数１１】
2014153959.tif 000013
【０１１８】
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図１４（ｃ）の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。
【０１１９】
コントラスト優先の階調特性はＳ８０６で作成される。
【０１２０】
以上、ダイナミックレンジ優先とコントラスト優先の２種類の階調特性について説明したが、２種類の階調特性の共通点としては、人物の顔領域の入出力特性についてはどちらも実現する点である。この理由としては、本実施形態で人物シーンにおいて人物の顔領域は主被写体領域であるため、階調特性として最優先に決定する必要があるからである。
【０１２１】
ダイナミックレンジ優先とコントラスト優先の階調特性を作成する際に、シーンによっては、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹの値とＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの値から正しく階調特性を作成できない場合がある。このような場合における階調特性の作成方法について、図１５を用いて説明する。
【０１２２】
図１５（ａ）は、ダイナミックレンジ優先の階調特性において、ＳＫＹ＿ＰＯＩＮＴとＨＵＭＡＮ＿ＰＯＩＮＴの区間が狭く、かつＨＵＭＡＮ＿ＧＡＩＮ、ＳＫＹ＿ＧＡＩＮのゲイン差が大きい影響で、階調が反転してしまった場合を例示している。この場合、図１５（ａ）の左側のように、ＨＵＭＡＮ＿ＰＯＩＮＴ、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＳＫＹは変えず、中間輝度の区間にエラー時の傾きとして予め決められたＥＲＲＯＲ＿ＧＲＡＤを与え、ＳＫＹ＿ＰＯＩＮＴを移動させて階調特性を作成する。また、ＳＫＹ＿ＰＯＩＮＴがＨＵＭＡＮ＿ＰＯＩＮＴ以下の値であった場合も同様にエラーの場合の階調特性を適用する。
【０１２３】
また図１５（ｂ）のコントラスト優先の階調特性では、ＢＡＣＫ＿ＰＯＩＮＴがＨＵＭＡＮ＿ＰＯＩＮＴ以下である場合もＨＵＭＡＮ＿ＰＯＩＮＴ、ＧＡＩＮ＿ＨＵＭＡＮは変えず、ＢＡＣＫ＿ＰＯＩＮＴをＨＵＭＡＮ＿ＰＯＩＮＴと同じになるように移動する。
【０１２４】
以上の処理により、エラー時の階調特性は、ＨＵＭＡＮ＿ＰＯＩＮＴの値までは人物の顔領域の入出力特性となり、ＨＵＭＡＮ＿ＰＯＩＮＴ以降は空領域の入出力特性の傾きであるＧＡＩＮ＿ＳＫＹを適用した階調特性となる。
【０１２５】
図１５（ａ）及び（ｂ）のように、エラー時でも、主被写体である人物の顔領域の入出力特性を適用するＧＡＩＮ＿ＨＵＭＡＮとＨＵＭＡＮ＿ＰＯＩＮＴは変更せずに階調特性を作成する。
【０１２６】
ここまでエラー時の階調特性の作成方法について説明したが、２つの階調特性の作成方法は被写体領域が２つしかない場合にも同様である。例えば、人物と高輝度被写体である空しかいないシーンの場合は、図１４の２つの階調特性に対し、ＢＡＣＫ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＧＡＩＮをそれぞれＳＫＹ＿ＰＯＩＮＴ、ＳＫＹ＿ＧＡＩＮに置き換えるだけで良い。
【０１２７】
以上、Ｓ８０５とＳ８０６の処理によって、ダイナミックレンジ優先とコントラスト優先の２種類の優先度に応じた階調特性が作成される。作成された２種類の階調特性をＳ８０７で加重加算することにより撮影された画像の階調特性を決定する。
【０１２８】
ここで、図１６を参照してＳ８０７での階調特性の決定処理について詳細に説明する。
【０１２９】
ダイナミックレンジ優先とコントラスト優先の２種類の優先度に応じて階調特性を加重加算する方法として、本実施形態ではＳ８０１で算出した被写体領域間の輝度段差を用いる（加重加算係数算出処理）。中間輝度に位置する被写体である背景領域を基準に、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを２種類の階調特性の加重加算係数として用いる。
【０１３０】
階調特性の入力信号をＸ、出力信号をＹとしてダイナミックレンジ優先の階調特性とコントラスト優先の階調特性を、式１２のように、それぞれＤｒａｎｇｅ関数、Ｃｏｎｔｒａｓｔ関数で表すとする。
【０１３１】
【数１２】
2014153959.tif 000014
【０１３２】
式１２に対し、加重加算した後の階調特性、つまり撮影された画像の階調特性をＭＩＸ＿ＯＵＴ関数で表すと、式１３のようになる。
【０１３３】
【数１３】
2014153959.tif 000015
【０１３４】
式１３のように、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳをそれぞれダイナミックレンジ優先、コントラスト優先の加重加算係数として用いている。
【０１３５】
人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを加重加算に用いることにより得られる効果について図１６を用いて詳細に説明する。
【０１３６】
図１６（ａ）に示した３つの入出力特性は、式８で示した各被写体領域で実現したい入出力特性である。
【０１３７】
図１６（ａ）の３つの入出力特性は、式７で示したように、被写体領域間の輝度段差を用いて決定される。撮影したシーンに応じては被写体領域間の輝度段差は変わるため、各被写体領域で実現したい入出力特性もシーンに応じて変わる。
【０１３８】
図１６（ｂ）の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔＨＢに対して、背景領域と空領域の輝度段差ΔＢＳが極端に小さいシーンにおいて、各被写体領域で実現したい入出力特性である。式７により各被写体領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は空領域の入出力特性に近づく傾向にある。
【０１３９】
上記の場合、図１６（ｂ）の右側に示したダイナミックレンジ優先の階調特性を階調処理に利用した方が背景領域の入出力特性を実現しやすい傾向にある。この理由は、輝度段差ΔＢＳが極端に小さい場合、ＳＫＹ＿ＰＯＩＮＴ周辺やそれ以降に背景領域の入力信号が多く分布する傾向となり、ＳＫＹ＿ＰＯＩＮＴ以降のダイナミックレンジ優先の階調特性に背景領域の多くの入力信号があてはまるためである。
【０１４０】
また、図１６（ｂ）とは反対に、図１６（ｃ）の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔＨＢに対し、背景領域と空領域の輝度段差ΔＢＳが極端に大きいシーンにおいて、各被写体領域で実現したい入出力特性である。式７により各被写体領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は人物の顔領域の入出力特性に近づく傾向にある。
【０１４１】
上記の場合、図１６（ｃ）の右側に示したコントラスト優先の階調特性を階調処理に利用した方が背景領域の実現したい入出力特性を実現しやすい傾向にある。輝度段差ΔＨＢに対し、輝度段差ΔＢＳが極端に大きい場合には、ＨＵＭＡＮ＿ＰＯＩＮＴ周辺からＢＡＣＫ＿ＰＯＩＮＴにかけて背景領域の入力信号が多く分布する傾向にあり、かつ人物の顔領域と背景領域の入出力特性は近い傾きとなる。これにより、ＢＡＣＫ＿ＰＯＩＮＴ以下のコントラスト優先の階調特性に対し、背景領域で実現したい入出力特性が近づく傾向になる。
【０１４２】
式１３のように、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを加重加算に用いることにより３つの被写体領域の実現したい入出力特性を用いて、撮影された画像に最適な階調特性を効率的に作成することができる。
【０１４３】
本実施形態では、式１３から被写体領域間の輝度段差を用いて、撮影された画像の階調特性を作成したが、式１４のように、加重加算係数をα、βとして、別の情報を用いて実現しても良い。被写体領域間の面積の比率や、被写体領域間の輝度段差に応じた値、また、シーンによらない固定値を与えても良い。
【０１４４】
【数１４】
2014153959.tif 000016
【０１４５】
例えば、背景領域の存在する面積が、空領域に比べて少ないシーンにおいては、空領域をより実現したい明るさ、コントラストに近づけた方が画像の見栄えが良い場合がある。反対に、空領域の存在する面積が、背景領域に比べ少ないシーンにおいて、背景領域を実現したいコントラストに近づけた方が画像の見栄えが良い場合がある。このような理由から、αを空領域の占める総画素数、βを背景領域の占める総画素数として、式１４を適用して階調特性を作成しても良い。
【０１４６】
また、被写体が２つしか存在しないシーンの場合には、被写体領域間の輝度段差の値に応じて加重加算係数を算出し、２つの階調特性を加重加算した方が良い。この理由として、例えば人物と空のみのシーンであった場合、被写体領域間の輝度段差が元々小さいシーンでは、広ダイナミックレンジよりも高コントラストを優先した方が画像の見栄えが良いからである。また、被写体領域間の輝度段差が元々大きいシーンでは、コントラストよりもダイナミックレンジを優先した方が、画像の見栄えが良いからである。よって、式１４の加重加算係数α、βを、式１５によって算出する。Δは２つの被写体領域間の輝度段差である。例えば、人物と空のみのシーンである場合は、人物の顔領域と空領域の輝度段差ΔＨＳの値が、Δの値となる。閾値ＴＨ１、ＴＨ２は、調整パラメータである。
【０１４７】
【数１５】
2014153959.tif 000017
【０１４８】
以上のように、式１５の加重加算係数α、βは、本実施形態のやり方にとどまらず、様々な情報を用いて算出して良い。
【０１４９】
図８の階調特性の決定処理において、図４に示す階調特性算出部２０４の各部は、領域間輝度段差算出部４０１がＳ８０１、主被写体出力輝度算出部４０２がＳ８０２、階調補正量算出部４０３がＳ８０３、階調補正量適用範囲算出部４０４がＳ８０４、ダイナミックレンジ階調特性作成部４０５がＳ８０５、コントラスト優先階調特性作成部４０６がＳ８０６、階調特性決定部４０７がＳ８０７の各処理を行う。
【０１５０】
上述した実施形態においては、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、これに限られず、被写体領域の情報を用いて階調処理を行う装置であれば、他の装置にも適用可能である。
【０１５１】
なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【図１】
2014153959.tif 000018
【図２】
2014153959.tif 000019
【図３】
2014153959.tif 000020
【図４】
2014153959.tif 000021
【図５】
2014153959.tif 000022
【図６】
2014153959.tif 000023
【図７】
2014153959.tif 000024
【図８】
2014153959.tif 000025
【図１０】
2014153959.tif 000026
【図１１】
2014153959.tif 000027
【図１２】
2014153959.tif 000028
【図１４】
2014153959.tif 000029
【図１５】
2014153959.tif 000030
【図１６】
2014153959.tif 000031
【図１７】
2014153959.tif 000032
【図１８】
2014153959.tif 000033
【図９】
2014153959.tif 000034
【図１３】
2014153959.tif 000035