(57)【特許請求の範囲】
【請求項１】
被写体を撮影して、画像を出力する撮像手段と、
前記画像から、予め決められた条件を満たす被写体領域を抽出し、抽出した被写体領域の情報を取得する抽出手段と、
前記被写体領域の情報に基づいて、照明装置の発光の有無及び、前記照明装置を発光させる場合に、前記画像に基づいて予め決められた発光上限量を上限として、発光量を決定する決定手段と、
前記決定手段により決定された条件で前記照明装置を制御して撮影された画像に対して、階調変換を行う階調変換手段と、
前記被写体領域の情報及び前記決定手段により決定された条件に基づいて、前記階調変換に用いるゲイン量を算出する算出手段と
を有することを特徴とする撮像装置。
【請求項２】
前記算出手段は、前記被写体領域の情報に基づいてゲイン量を算出し、前記決定手段は、前記算出手段により得られた前記ゲイン量が予め決められた最大ゲイン量より大きい場合に、前記照明装置を発光すると判定して前記発光量を決定し、前記算出手段は、前記発光量に応じて、ゲイン量を再計算することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記算出手段は、前記被写体領域の情報に基づいて、前記被写体領域の輝度を予め決められた輝度に補正するゲイン量を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記最大ゲイン量は、前記算出されたゲイン量により増幅されるノイズ量に基づいて決められた値であることを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記決定手段は、前記算出されたゲイン量が前記最大ゲイン量より大きい場合に、該ゲイン量と前記最大ゲイン量との差を補償する発光量を求めることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記決定手段は、前記算出されたゲイン量が前記最大ゲイン量以下の場合に、前記照明装置の発光を行わないと判定することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
発光上限量は、前記照明装置を発光させて得られる画像において、予め決められた値を超える画素値を有する画素の数が予め決められた数以下となる最大の発光量であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記決定手段は、前記画像のうち前記被写体領域を除く領域において予め決められた値以下の画素値を有する画素の比率が大きいほど、前記発光量を小さくすることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記画像の輝度に基づいて、撮影に用いる露光条件を決定すると共に、前記発光量及び前記ゲイン量を用いて前記被写体を撮影した場合に得られる前記被写体領域の輝度が予め決められた輝度よりも低い場合に、不足する輝度を補償するように前記露光条件を調整する手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記階調変換手段は、前記被写体領域の信号に対して同じゲイン量のゲインをかけることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記算出手段は輝度別にゲイン量を算出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１２】
撮像手段が、被写体を撮影して、画像を出力する撮像工程と、
抽出手段が、前記画像から、予め決められた条件を満たす被写体領域を抽出し、抽出した被写体領域の情報を取得する抽出工程と、
決定手段が、前記被写体領域の情報に基づいて、照明装置の発光の有無及び、前記照明装置を発光させる場合に、前記画像に基づいて予め決められた発光上限量を上限として、発光量を決定する決定工程と、
階調変換手段が、前記決定工程により決定された条件で前記照明装置を制御して撮影された画像に対して、階調変換を行う階調変換工程と、
算出手段が、前記被写体領域の情報及び前記決定工程により決定された条件に基づいて、前記階調変換に用いるゲイン量を算出する算出工程と
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、特に、階調特性を制御する撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来より、逆光シーン等に代表されるダイナミックレンジの広いシーンに対し、白飛びや黒つぶれを抑え、撮影者の見た目に近づくように階調制御を行う技術が提案されている。逆光条件の下で人物を撮影する場合、通常の撮影では図１５（ａ）に示すように、人物が非常に暗く撮影されてしまう。これに対し、暗くなった人物領域にゲインをかけることで、出力画像において人物が暗くなることを低減する処理が提案されている。しかし、そのような処理を行った場合、特に逆光の度合いが強いシーンにおいては暗い人物部分にかけるゲインが大きくなるため、図１５（ｂ）に示すように、ノイズが増幅されてしまい、画質が低下するという問題がある。
【０００３】
別の手段として、人物にフラッシュ光を照射することで明るさを補い、出力画像において人物が暗くなることを低減する処理が提案されている。しかし、このような処理を行った場合、特に逆光の度合いが強いシーンにおいてはフラッシュの発光量が大きくなり、図１５（ｃ）に示すように、人物の顔などにフラッシュの反射光である「テカり」が現れ、画質が低下するという問題がある。
【０００４】
上述したような問題に対し、特許文献１及び２では、暗部にかかるゲイン量及びフラッシュ発光量を制御して、撮影者の見た目に近い自然な出力画像を得る階調制御技術が提案されている。
【０００５】
特許文献１では、顔領域等の所定領域の輝度値から、階調補正特性とそれに伴った露出低下量を設定すると共に、フラッシュ発光時には、階調補正前後における所定領域の白とび度合いに応じて、白とびが大きくなる場合は発光量を弱めることが開示されている。
【０００６】
特許文献２では、暗部補正モードの際に、センサーを中央部、周辺部に分け、得られた複数領域の輝度情報から、暗部補正の補正度合いを算出することが開示されている。また、補正量に応じて、補正量が大きくなるほど発光量が小さくなるようにフラッシュ発光量を調整することが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１１９９４４号公報
【特許文献２】特開２００９−０４４２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１及び２に記載された技術には、フラッシュ発光量の算出時に、上述したテカりに代表される発光撮影（フラッシュ撮影）による不自然さを軽減する対策について言及されていない。従って、シーンによってはテカりなどのフラッシュによる不自然さが生じる可能性がある。
【０００９】
また、特許文献１及び２に記載の技術では、画像内の特定の領域や、中央部と周辺部などの所定のエリアに分割された領域の信号値から階調特性を算出している。そのため、撮影シーン内に存在する意味のあるオブジェクト（例えば、人物、背景、空など）に最適な階調特性の算出が行えず、撮影者の見た目とは異なる階調制御を行う可能性がある。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、発光撮影において、より自然な画像を得ることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の撮像装置は、被写体を撮影して、画像を出力する撮像手段と、前記画像から、予め決められた条件を満たす被写体領域を抽出し、抽出した被写体領域の情報を取得する抽出手段と、前記被写体領域の情報に基づいて、照明装置の発光の有無及び、前記照明装置を発光させる場合に、前記画像に基づいて予め決められた発光上限量を上限として、発光量を決定する決定手段と、前記決定手段により決定された条件で前記照明装置を制御して撮影された画像に対して、階調変換を行う階調変換手段と、前記被写体領域の情報及び前記決定手段により決定された条件に基づいて、前記階調変換に用いるゲイン量を算出する算出手段とを有する。
【発明の効果】
【００１２】
本発明によれば、発光撮影において、より自然な画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る撮像装置の概略構成図。
【図２】実施形態における撮影処理の流れを示すフローチャート。
【図３】逆光シーンの一例を示す図。
【図４】第１の実施形態における領域判定処理を説明するための図。
【図５】第１の実施形態における撮像条件設定処理のフローチャート。
【図６】第１の実施形態における人物ゲインGAIN_HUMANの算出方法を示す概念図。
【図７】第１の実施形態におけるフラッシュ発光量決定処理の流れを示すフローチャート。
【図８】第１の実施形態におけるフラッシュ発光量の算出方法を示す概念図。
【図９】プレ発光時のテカり領域を示す図。
【図１０】フラッシュ発光量とテカり画素数との関係を示すグラフ。
【図１１】第１の実施形態における発光上限量Delta_EF_MAXの算出処理のフローチャート。
【図１２】背景領域が暗いシーンの一例を示す図。
【図１３】第１の実施形態における発光量調整係数k_EFの取得方法を説明するための図。
【図１４】第２の実施形態における輝度別ゲイン算出方法の一例を示す図。
【図１５】従来の課題を説明するための図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１５】
＜第１の実施形態＞
図１は本発明の実施の形態における撮像装置の一例として、カメラの概略構成を示したものである。図１において、第１レンズ群１０１は結像光学系の先端に配置され、光軸方向に進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を実現することができる。
【００１６】
第３レンズ群１０５（フォーカスレンズ）は、光軸方向の進退により焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は２次元ＣＭＯＳフォトセンサとその周辺回路からなり、結像光学系の結像面に配置される。
【００１７】
ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。
【００１８】
撮影時の被写体照明用のフラッシュ１１５は、キセノン管を用いた閃光照明装置が好適だが、連続発光（継続発光）可能なＬＥＤを備えた照明装置を用いても良い。ＡＦ補助光発光部１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１９】
カメラ内ＣＰＵ１２１は、カメラ本体の種々の制御を司り、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。また、所定のプログラムを実行することにより、主要被写体情報算出部２０３及び撮像条件設定部２０４として機能する。なお、主要被写体情報算出部２０３及び撮像条件設定部２０４の動作については、詳細に後述する。
【００２０】
フラッシュ制御回路１２２は、後述する処理によりＣＰＵ１２１が決定した条件で、撮影動作に同期してフラッシュ１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光発光部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。
【００２１】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２２】
ＬＣＤ等の表示器１３１は、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。着脱可能なフラッシュメモリ１３３は、撮影済み画像を記録する。
【００２３】
次に、図２のフローチャートを参照しながら、上記構成を有する撮像装置における処理について説明する。なお、第１の実施形態では逆光シーンの補正を想定するため、第１の実施形態で想定する逆光シーンの例を図３に示す。図３に示すように、逆光シーンとは、主要被写体２０１（人物）の明るさに対し、主要被写体２０１以外の領域（背景や空など）が著しく明るいシーンである。
【００２４】
まず、Ｓ１０１においてプレ撮影を行う。プレ撮影では、後述する本撮影に先立ち、撮像素子１０７及びフラッシュ１１５を制御して、特に本撮影時のフラッシュ発光条件、及び露光条件を決定するためのプレ撮影画像を取得する。プレ撮影画像としては、フラッシュ発光を伴わない非発光画像と、フラッシュ発光を伴う発光画像を１枚ずつ取得する。以降、非発光画像を非発光プレ画像、発光画像を発光プレ画像と呼ぶ。なお、発光プレ画像は、非発光プレ画像に対し、露光条件を変えずに、フラッシュ１１５を所定の発光量Delta_EF_PREだけ発光させて撮影する。
【００２５】
次に、Ｓ１０２において、Ｓ１０１で撮影された非発光プレ画像及び発光プレ画像に対し、画像処理回路１２５において所定の信号処理を施す。所定の信号処理の一例としては、撮像素子１０７の欠陥画素補正や周辺光量落ち補正、及びノイズリダクション処理などが挙げられる。
【００２６】
そして、Ｓ１０３において、主要被写体情報算出部２０３は、Ｓ１０２で所定の信号処理が施された非発光プレ画像を、予め決められた条件に基づいて主要被写体領域とそれ以外の領域に分割し、主要被写体情報を取得する。以下、第１の実施形態では主要被写体を人物とし、主要被写体以外の領域を非主要領域と呼ぶ。また、主要被写体情報は、主要被写体領域（人物領域）の代表輝度値とする。ここで、Ｓ１０３で行われる主要被写体情報算出部２０３の処理について詳しく説明する。
【００２７】
まず、非発光プレ画像を人物領域及び非主要領域に分割する。この処理において、主要被写体情報算出部２０３はまず、図４（ａ）に示すように、所定の大きさのブロックBlock[i][j]に分割する。そして、各ブロックBlock[i][j]が、人物領域、非主要領域のいずれに含まれるかを判定する、領域判定処理を行う。なお、領域判定処理の手法は問わないが、例えば、各ブロックBlock[i][j]の代表輝度値や代表色情報などに基づいて領域判定処理を行うことができる。また、ブロックBlock[i][j]の大きさに関しても特に限定はせず、例えば画素単位で領域判定処理を行ってもよい。
【００２８】
そして、ブロックBlock[i][j]毎に人物領域と非主要領域のいずれに含まれるかを判定すると、判定結果に応じて、例えば、図４（ｂ）に示すように０〜２を割り当てる。ここでは、ブロックBlock[i][j]の判定結果、人物だった場合はそのブロックのBlock_id[i][j]に０を、非主要被写体だった場合はBlock_id[i][j]に１を、いずれの領域でもない（該当なし）場合にはBlock_id[i][j]に２を割り当てる。ここで、該当なしとは、例えば各領域の境界部分など、領域の判別が困難な部分を指す。そして、同じ値が割り当てられたブロックをまとめることで、人物領域と非主要領域に分けることができる。つまり、０が割り当てられたブロックをまとめて人物領域、１が割り当てられたブロックをまとめて非主要被写体とする。なお、本実施形態では、２が割り当てられたブロックは用いない。
【００２９】
次に、人物領域の代表輝度値を算出する。代表輝度値は、領域分割処理において人物領域と判定された分割ブロックの集合の輝度平均値である。非発光プレ画像における人物領域の代表輝度値をY_HUMAN_PREとした時、Y_HUMAN_PREは以下の式（１）で算出される。
Y_HUMAN_PRE = Σ( W_HUMAN[i][j] × Block_Y[i][j] )/ ΣW_HUMAN[i][j]
（Block_id[i][j]=0のブロックのみ）      …（１）
ここで、Block_Y[i][j]は各ブロックの平均輝度値、W_HUMAN[i][j]は各ブロックに対する重み係数であり、任意に設定可能とする。ただし、ここでは人物領域と判定された全ブロックの平均輝度を算出するため、W_HUMAN[i][j]はすべての(i, j)について１とする。
【００３０】
以上の処理により、主要被写体情報算出部２０３の出力として、非発光プレ画像における人物領域の代表輝度値Y_HUMAN_PREが得られる。
【００３１】
次にＳ１０４において、撮像条件設定部２０４では、主要被写体情報算出部２０３から得られた非発光プレ画像における人物の代表輝度値Y_HUMAN_PREを基に、本撮影における撮像条件を決定する。ここで、撮像条件とは、本撮影時の露光条件、人物領域にかけるゲイン量、フラッシュ発光の有無、フラッシュ発光有りの場合におけるフラッシュ発光量を含む。
【００３２】
ここで、図５に示す撮像条件設定処理のフローチャートを用いて、撮像条件設定部２０４の動作について説明する。なお、本第１の実施形態では逆光シーンを想定しているため、以降の説明では、逆光時の典型的な明るさの関係として、人物領域が非主要領域よりも暗いと仮定する。
【００３３】
まず、Ｓ２０１において、本撮影時に、図３に示すように逆光状態で暗くなった人物領域の明るさを補うゲイン（以下、「人物ゲイン」と呼ぶ。）を求める。なお、本撮影における露光条件は、予め設定されているものとする。
【００３４】
図６は、人物ゲインGAIN_HUMANの算出方法を示す概念図である。人物ゲインGAIN_HUMANは、本撮影における人物領域の代表輝度値Y_HUMAN_HONを、所定の目標輝度値Y_HUMAN_OUTに持ち上げるためのゲインである。図６から分かるように、プレ撮影と本撮影の露出差をdBvとすると、非発光プレ画像における人物領域の代表輝度値Y_HUMAN_PREから、Y_HUMAN_HON及びGAIN_HUMANは次式（２）、（３）により算出することができる。
Y_HUMAN_HON = Y_HUMAN_PRE × 2^(dBv)      …（２）
GAIN_HUMAN = Y_HUMAN_OUT / Y_HUMAN_HON      …（３）
【００３５】
以上説明したようにしてＳ２０１において本撮影時における人物ゲインGAIN_HUMANが決定されると、次に、Ｓ２０２において、フラッシュ発光量の算出を行う。ここでは、本撮影時のフラッシュ１１５のＯＮ／ＯＦＦの設定及び、フラッシュ１１５のＯＮ時の発光量Delta_EFを算出する。ここで、図７のフローチャートを参照しながら、フラッシュ発光量の算出処理について説明する。
【００３６】
まず、Ｓ３０１において、人物ゲインGAIN_HUMANと最大ゲイン量GAIN_MAXとの大小比較を行う。ここで、最大ゲイン量GAIN_MAXとは、増幅されるノイズ量が視覚的に許容できるかどうかの限界値にあたるゲイン量を示し、撮像素子１０７の性能等から予め設定された値である。
【００３７】
人物ゲインGAIN_HUMANが最大ゲイン量GAIN_MAX以下の場合は、本撮影においてゲインによる所望の階調変換処理をした際に、出力画像のノイズ量が許容レベルに収まることを示しており、フラッシュ発光は不要である。従って、Ｓ３０２においてフラッシュ発光無しと判定し、本処理は終了する。一方、人物ゲインGAIN_HUMANが最大ゲイン量GAIN_MAXよりも大きい場合は、そのままでは出力画像のノイズ量が許容レベルを超えてしまう。そのため、フラッシュ発光により人物領域の明るさを補い、人物ゲインGAIN_HUMANの値を小さくすることで、ノイズ量を抑制する。即ち、Ｓ３０１においてGAIN_HUMAN＞GAIN_MAXの場合のみ、フラッシュ１１５を発光すると判定し、フラッシュ１１５を発光すると判定された場合のみ、Ｓ３０３以降の処理を行う。
【００３８】
ただし、フラッシュ１１５を必要以上の発光量で発光した場合、フラッシュ光が人物から反射することによる白とび、いわゆる「テカり」が発生し、画質劣化を引き起こしてしまう。以上を踏まえ、テカりを最小限に抑えながら、ノイズ量が許容レベルに収まるような出力画像を得る制御が必要である。
【００３９】
Ｓ３０３では、本撮影時のフラッシュ発光量を算出する。フラッシュ発光量の算出に関しては、発光プレ画像と非発光プレ画像から、被写体の反射光成分を算出し、反射光成分と被写体の目標輝度値からフラッシュ発光量を算出する従来のＥＦ処理が知られている。第１の実施形態においても基本的には従来のＥＦ処理と同様の処理を行う。ここで、フラッシュ発光量の算出時の被写体の目標輝度値を、フラッシュ光によるテカりを最小限に抑えるよう、適切に設定する必要がある。
【００４０】
図８は、フラッシュ発光量の算出方法を示す概念図である。図８に示すように、フラッシュ光により人物の明るさは補われ、フラッシュ発光時における人物領域の代表輝度値Y_HUMAN_HON_FLは、非発光時よりも明るくなる。従って、人物領域のゲインを再計算する。本実施形態では、再計算後の人物ゲインGAIN_HUMANが、最大ゲイン量GAIN_MAXと等しくなるように発光量を設定する。即ち、再計算前の人物ゲインGAIN_HUMANと最大ゲイン量GAIN_MAXとの差を補償できる発光量を設定する。上記の場合、図８から分かるように、Y_HUMAN_HON_FLは、以下の式（４）により求めることができる。
Y_HUMAN_HON_FL = Y_HUMAN_OUT / GAIN_MAX      …（４）
本撮影画像における人物領域の代表輝度値が、式（４）で表されるY_HUMAN_HON_FLとなるように、ＥＦ処理によってフラッシュ発光量Delta_EFを決定する。
【００４１】
以上の処理によりＳ３０３でフラッシュ発光量Delta_EFを決定すると、次にＳ３０４において、発光上限量Delta_EF_MAXの算出を行う。ここで、発光上限量とは、フラッシュ光によるテカりが許容レベルに収まる最大のフラッシュ発光量のことである。Ｓ３０３では最大ゲイン量GAIN_MAXからフラッシュ発光量を算出したため、算出したフラッシュ発光量で被写体を撮影した場合、被写体のテカりが許容レベルを超え画質劣化を招く恐れがある。従って、被写体のテカりの観点から、フラッシュ発光量の上限値を見積もっておく必要がある。
【００４２】
図９〜図１１は、Ｓ３０４における処理内容を示す図である。ここでは、図９（ａ）に示す非発光プレ画像と、図９（ｂ）に示す発光プレ画像を用いて、テカりが許容できる最大の発光量であるDelta_EF_MAXを算出する。なお、上述したように、発光プレ画像は、非発光プレ画像に対し、露光条件を変えずに、フラッシュ１１５を所定の発光量Delta_EF_PREだけ発光させて撮影したものである。
【００４３】
さらに、フラッシュ光が照射されている領域（主に人物領域）に着目し、この領域をフラッシュ照射領域と呼ぶ（図９（ｃ））。フラッシュ照射領域は、フラッシュ照射により輝度値が大きく変化している領域であり、非発光プレ画像と発光プレ画像の位置(i, j)における画素値をそれぞれN_nfl[i][j]、N_flpre[i][j]とおくと、
(N_flpre[i][j] - N_nfl[i][j])/N_nfl[i][j] ＞ TH      …（５）
を満たす位置(i, j)の画素の集合である。ここで、式（５）のTHは所定の閾値であり、あらかじめ設定されているものとする。また、非発光プレ画像の画素値N_nfl[i][j]で正規化を行っている理由は、元の画素値が大きいほど、画素値の変動量として差分が大きく出ると考えられるからである。
【００４４】
次に、発光プレ画像におけるテカり画素の画素数N_TEKARI_PREを算出する。ここで、テカり画素とは、発光画像のフラッシュ照射領域において、画素値が所定レベルTH_TEKARIを上回っている画素とする。テカり画素数N_TEKARI_PREは、フラッシュ照射領域に含まれる全画素に対して上述した閾値処理を行い、テカり画素と判定された画素の画素数である。
【００４５】
次に、フラッシュ発光量を大きくしていった場合のテカり画素数N_TEKARI_PREを算出する。フラッシュ発光量を大きくした場合、定性的には図１０に示すように、テカり画素数は増加していくと考えられる。従って、テカり画素数N_TEKARI_PREが所定の最大許容数N_TEKARI_MAXに達する場合のフラッシュ発光量Delta_EF_MAXが、被写体のテカりの観点から見積もったフラッシュ発光量の上限（以下、「発光上限量」と呼ぶ。）となる。なお、発光プレ画像におけるテカり画素数N_TEKARI_PREが最大許容数N_TEKARI_MAXよりも大きい場合は、プレ発光の発光量が大きすぎることを意味しており、発光量Delta_EF_PREを小さくして再度発光プレ画像及び非発光プレ画像を取得する。このようにして、発光プレ画像におけるテカり画素数N_TEKARI_PREが最大許容数N_TEKARI_MAXよりも小さくなるようにする。
【００４６】
図１１は、発光上限量Delta_EF_MAXを算出する処理のフローチャートである。まず、Ｓ４０１において、フラッシュ発光量Delta_EF_tmpの初期値を発光プレ画像の撮影に用いた所定の発光量Delta_EF_PREとする。次に、Ｓ４０２において、Delta_EF_tmpに所定のインクリメント量dFLを加算し、Ｓ４０３において、発光量がDelta_EF_tmp時のテカり画素数N_TEKARIを算出する。
【００４７】
テカり画素数N_TEKARI_PREの算出は、式（５）で表されるフラッシュ照射領域における画素値の変化率が、フラッシュ発光量に比例するという仮定の下で行う。その場合、フラッシュ発光量Delta_EF_tmp時の座標(i, j)における画素値をN_fl[i][j]とすると、プレ発光時との比例関係から、以下の式が成立する。
【００４８】
Delta_EF_tmp : Delta_EF_PRE
=(N_fl[i][j]-N_nfl[i][j])/N_nfl[i][j] : (N_flpre[i][j]-N_nfl[i][j])/N_nfl[i][j]                                      …（６）
式（６）をN_fl[i][j]について解くと、
N_fl[i][j] = N_nfl[i][j] + (Delta_EF_tmp/Delta_EF_PRE)*(N_flpre[i][j] -N_nfl[i][j])                                  …（７）
となる。次に、式（７）から算出した画素値N_fl[i][j]を所定レベルTH_TEKARIと比較し、テカり画素であるかの判定を行う。
【００４９】
上述した処理を、フラッシュ照射領域に含まれる全画素に対して行い、画素値N_fl[i][j]が所定レベルTH_TEKARIを超え、テカり画素と判別された画素数を、テカり画素数N_TEKARIとする。次に、Ｓ４０４において、テカり画素数N_TEKARIと所定の最大許容数N_TEKARI_MAXとの比較処理を行う。テカり画素数N_TEKARIが最大許容数N_TEKARI_MAX以下である場合は、Ｓ４０２〜S４０４の処理を繰り返す。一方、テカり画素数N_TEKARIが最大許容数N_TEKARI_MAXよりも大きい場合は、Ｓ４０５において、テカり画素数N_TEKARIが最大許容数N_TEKARI_MAXよりも大きくなる直前の発光量であるDelta_EF_tmp - dFLを発光上限量Delta_EF_MAXとする。
【００５０】
以上の処理により、Ｓ３０４において、被写体のテカりが許容できるフラッシュ１１５の発光上限量Delta_EF_MAXが得られる。
【００５１】
次に、Ｓ３０５において、発光量調整係数k_EFの算出を行う。ここで、Ｓ３０３で求めたフラッシュ発光量Delta_EFを調整する理由は以下のとおりである。図１２（ａ）に示すように、人物領域だけでなく、非主要領域にも暗部が多く存在するようなシーンでは、フラッシュ１１５を発光しても、図１２（ｂ）に示すように、非主要領域にはフラッシュ光が届かない可能性が高い。従って、非主要領域１２０１はフラッシュ光で明るさを補うことができず、所望の効果を得ることができない。そのため、非主要領域に、人物領域と同等の暗部が多く存在するようなシーンでは、フラッシュ発光量を弱める制御が必要と考えられる。
【００５２】
図１３（ａ）は、非主要領域の輝度ヒストグラムである。図１３（ａ）に示すように、輝度値が閾値TH0以下の輝度領域を暗部領域と定義し、非主要領域全体の画素数に対する暗部領域の画素数の比率を算出する。算出した比率を、暗部画素比率と呼ぶ。図１３（ｂ）は、暗部画素比率と発光量調整係数k_EFとの関係を示すグラフである。横軸は暗部画素比率であり、暗部画素比率が小さいほど非主要領域内に暗部画素が存在しないことを示し、暗部画素比率が大きいほど非主要領域内に暗部画素が存在することを示している。上述のとおり、暗部画素数が多い場合ほど発光量を小さくすることが好ましいと考えられるため、暗部画素比率が大きいほど発光量調整係数k_EFが小さくなるように設定する。
【００５３】
次に、発光上限量Delta_EF_MAX及び発光量調整係数k_EFを用いて、Ｓ３０６において、フラッシュ発光量の調整を行う。調整は、まず、Ｓ３０３で求めたフラッシュ発光量Delta_EFが発光上限量Delta_EF_MAXよりも大きい場合には、フラッシュ発光量Delta_EFを発光上限量Delta_EF_MAXにクリップ処理する。次に、クリップ処理後のフラッシュ発光量Delta_EFに対し、発光量調整係数k_EFを乗算する。以上の処理により算出された値k_EF*Delta_EFを、被写体のテカり及び、非主要領域に暗部が多く存在する場合の影響を考慮した最終的なフラッシュ発光量Delta_EF_FIXとして出力する。
【００５４】
Ｓ３０２またはＳ３０６の処理を終えると、図４のＳ２０２における処理が終了し、Ｓ２０３に進む。
【００５５】
次に、Ｓ２０３において、本撮影時における露光条件の調整を行う。ここで、露光条件の調整が必要な理由は以下のとおりである。本撮影時における露光条件はあらかじめ算出されているが、Ｓ２０２においてフラッシュ発光量を調整し、Delta_EF_FIXはDelta_EFよりも発光量が小さくなる場合がある。従って、人物領域に最大ゲインのGAIN_MAXをかけても、目標の輝度まで達しない場合があり、その場合は露光条件を当初の設定よりオーバー露出に設定し、不足する輝度を補償するように、明るめに撮影する。従って、露光条件の調整量をDelta_Bv_FLとすると、
Delta_Bv_FL = Delta_EF - Delta_EF_FIX      …（８）
となる。式（８）で表されるDelta_Bv_FLの分だけ、本撮影時の露光条件がオーバーになるように調整する。
【００５６】
上述した処理により、Ｓ１０４において、撮像条件設定部２０４により、本撮影時の露光条件、人物領域にかけるゲイン量、フラッシュ発光の有無、及びフラッシュ発光有りの場合におけるフラッシュ発光量を含む撮影条件が決定される。
【００５７】
次に、Ｓ１０５において、Ｓ１０４において撮像条件設定部２０４で決定された撮像条件に従い、本撮影を行う。以下、本撮影で得られた画像を、本撮影画像と呼ぶ。次に、Ｓ１０６において、Ｓ１０５で撮影された本撮影画像に対し、画像処理回路１２５は所定の信号処理を施す。ここで、所定の信号処理の一例としては、撮像素子１０７の欠陥画素補正や周辺光量落ち補正、及びノイズリダクション処理などが挙げられる。
【００５８】
次に、Ｓ１０７において、主要被写体情報算出部２０３により、本撮影画像の主要被写体情報を算出する。なお主要被写体情報は、Ｓ１０３で非発光プレ画像から得られた情報と同様に、被写体領域の分割情報、人物領域の代表輝度値及び、人物領域のゲイン値である。ここで、主要被写体情報の算出を再度行う理由は、主に以下の２点である。１点目は、プレ撮影と本撮影で撮像タイミングにズレがあるため、被写体の動きや撮影者の手振れによって、撮像される画像が変化することである。２点目は、Ｓ１０３における主要被写体情報算出処理では、人物領域のゲイン値を算出するために領域分割を行ったが、Ｓ１０７における主要被写体情報算出処理では、本撮影画像に階調変換処理を施すことまで考慮して領域分割を行う必要があることである。そのため、例えば、領域分割の精度を上げることが考えられる。一例として、画素単位としたり、Ｓ１０３で領域分割したブロックよりも小さいブロックで領域分割する。なお、Ｓ１０７における主要被写体情報算出処理において、Ｓ１０３における主要被写体情報算出処理の結果をそのまま用いてもよい。
【００５９】
次に、Ｓ１０８において、本撮影画像に所定の階調変換処理を行う。階調変換処理は、本撮影画像における各被写体領域が、所定の明るさになるように制御する処理である。ここで、所定の明るさとは、図６に示すように、人物領域の目標輝度値Y_HUMAN_OUTである。第１の実施形態における階調変換処理では、本撮影画像における人物領域に対し、一律に人物ゲイン量GAIN_HUMAN（非発光時）もしくはGAIN_MAX（発光時）を乗じる。
【００６０】
最後に、Ｓ１０８において生成された出力画像が、表示器１３１及び、またはフラッシュメモリ１３３に送られ、表示及び、または記録が行われる。
【００６１】
以上説明したように第１の実施形態によれば、フラッシュ発光量を適切に制御しながら、入力画像に応じて適応的な階調制御を行い、より自然な出力画像を得ることができる。
【００６２】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、第１の実施形態と比較して、Ｓ１０８における階調変換処理の処理内容が異なる。第１の実施形態における階調変換処理では、人物領域に対して一律のゲインを乗じていた。しかしながら、このような処理では、非主要領域にゲインを乗じないように、人物領域を正確に抽出する必要がある。これに対し、本第２の実施形態では、精密な人物領域の抽出を必要とせず、より簡易に階調変換処理を行う。具体的には、従来のデジタル覆い焼き処理と同様に、輝度別ゲイン処理を行う。
【００６３】
即ち、第２の実施形態においては、図２におけるＳ１０７の主被写体情報算出処理において、本撮影画像に対してＳ１０３と同様の人物領域の抽出を行い、人物領域の代表輝度値を算出し、輝度別ゲイン特性を生成する処理を行う。
【００６４】
図１４は、輝度別ゲイン特性算出の一例を示す図である。図１４に示すように、入力画像から算出した人物ゲインと人物の代表輝度値をもとに、輝度別ゲイン特性を生成する。本第２の実施形態においても図３に示すような逆光シーンを想定しており、典型的な逆光シーンでは、人物領域の輝度は周囲と比較して小さくなる傾向にある。一方、人物領域に対しては、人物の顔の陰影等を残してコントラストを保つため、なるべく一律のゲインをかけた方が良いと考えられる。従って、図１４に示すように、人物領域の代表輝度値であるY_HUMAN_HON_FL以下の輝度を持つ領域には、一様にGAIN_HUMANを乗じる。一方、Y_HUMAN_HON_FL以上の輝度を持つ領域には、輝度の増加とともにゲインが1.0に漸近するような特性をもつ輝度別ゲインを生成する。このような手法で生成した輝度別ゲインを本撮影画像に乗じ、所望の出力画像を得る。
【００６５】
以上説明したように、第２の実施形態に示す処理によれば、輝度別ゲインを用いて階調変換処理を行うことによって、第１の実施形態と比較して、より簡易に所望の出力画像を得ることができる。
【符号の説明】
【００６６】
１０７：撮像素子、１１５：フラッシュ、１２１：ＣＰＵ、１２２：フラッシュ制御回路、１２５：画像処理回路
【図１】
0006423669.tif 000002
【図２】
0006423669.tif 000003
【図３】
0006423669.tif 000004
【図４】
0006423669.tif 000005
【図５】
0006423669.tif 000006
【図６】
0006423669.tif 000007
【図７】
0006423669.tif 000008
【図８】
0006423669.tif 000009
【図９】
0006423669.tif 000010
【図１０】
0006423669.tif 000011
【図１１】
0006423669.tif 000012
【図１２】
0006423669.tif 000013
【図１３】
0006423669.tif 000014
【図１４】
0006423669.tif 000015
【図１５】
0006423669.tif 000016