(57)【特許請求の範囲】
【請求項１】
露出を変えて撮影された複数の画像を合成する画像処理装置において、
前記撮影された画像から被写体領域を検出する被写体検出手段と、
前記検出された被写体領域の中から主被写体領域を決定する主被写体決定手段と、
前記検出された被写体領域について、前記主被写体領域と当該主被写体領域以外の他の被写体領域との間の光軸方向での距離に関する被写体距離情報を算出する距離算出手段と、
前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成手段と、を有し、
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、前記被写体領域の画像の合成において、前記主被写体領域と他の被写体領域との間の被写体距離が遠いほど、前記第２の画像の合成比率を小さくすることを特徴とする画像処理装置。
【請求項２】
露出を変えて撮影された複数の画像を合成する画像処理装置において、
前記撮影された画像から被写体領域を検出する被写体検出手段と、
前記検出された被写体領域の中から主被写体領域を決定する主被写体決定手段と、
前記検出された被写体領域について、前記主被写体領域と当該主被写体領域以外の他の被写体領域との間の光軸方向での距離に関する被写体距離情報を算出する距離算出手段と、
前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成手段と、を有し、
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、前記被写体領域の画像の合成において、撮影位置からの被写体距離が前記主被写体領域の被写体距離よりも近い他の被写体領域の画像では、前記主被写体領域の被写体距離よりも遠い他の被写体領域の画像よりも前記第２の画像の合成比率を小さくすることを特徴とする画像処理装置。
【請求項３】
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、前記被写体領域の画像の合成において、前記主被写体領域からの被写体距離が第１の距離にある前記他の被写体領域には前記第２の画像を出力し、前記主被写体領域からの被写体距離が前記第１の距離より遠い第２の距離である前記他の被写体領域には前記第１の画像を出力することで前記ハイダイナミックレンジ画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成手段は、前記被写体領域の画像の合成において、撮影位置からの被写体距離が前記主被写体領域の被写体距離よりも近い他の被写体領域には前記第１の画像を出力し、前記主被写体領域の被写体距離よりも遠い他の被写体領域には前記第２の画像を出力することで、前記ハイダイナミックレンジ画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記合成手段は、前記被写体領域の明るさが所定の明るさより暗く、前記被写体領域と前記被写体領域以外の背景領域との明るさの差が所定以上であった場合に、前記被写体距離情報に応じた合成方法を行うことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
前記被写体検出手段は、前記被写体領域を顔検出処理によって顔を検出することで検出することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記距離算出手段は、前記被写体検出手段によって検出される各被写体領域の顔の大きさに基づいて前記主被写体領域と前記他の被写体領域との間の被写体距離を推定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
被写体を撮像する撮像手段と、
前記撮像手段の撮像する画像の露出値を算出する露出算出手段と、をさらに有することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
【請求項９】
露出を変えて撮影された複数の画像を合成する画像処理装置における画像処理方法であって、
前記撮影された画像から被写体領域を検出する被写体検出ステップと、
前記検出された被写体領域の中から主被写体領域を決定する主被写体決定ステップと、
前記検出された被写体領域について、前記主被写体領域と当該主被写体領域以外の他の被写体領域との間の光軸方向での距離に関する被写体距離情報を算出する距離算出ステップと、
前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成ステップと、を有し、
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成ステップでは、前記被写体領域の画像の合成において、前記主被写体領域と他の被写体領域との間の光軸方向での被写体距離が遠いほど、前記第２の画像の合成比率を小さくすることを特徴とする画像処理方法。
【請求項１０】
露出を変えて撮影された複数の画像を合成する画像処理装置における画像処理方法であって、
前記撮影された画像から被写体領域を検出する被写体検出ステップと、
前記検出された被写体領域の中から主被写体領域を決定する主被写体決定ステップと、
前記検出された被写体領域について、前記主被写体領域と当該主被写体領域以外の他の被写体領域との間の光軸方向での距離に関する被写体距離情報を算出する距離算出ステップと、
前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成ステップと、を有し、
前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、
前記合成ステップでは、前記被写体領域の画像の合成において、撮影位置からの被写体距離が前記主被写体領域の被写体距離よりも近い他の被写体領域の画像では、前記主被写体領域の被写体距離よりも遠い他の被写体領域の画像よりも前記第２の画像の合成比率を小さくすることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１ないし８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項１ないし８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。
【背景技術】
【０００２】
近年、明暗差が大きいことに起因する白飛びや暗部の黒潰れを低減する技術として、露出を変えつつ複数枚の画像を撮影し、これらを合成して幅広いダイナミックレンジを持つ画像を生成するハイダイナミックレンジ（ＨＤＲ）合成機能が注目されている。一般的に、ＣＭＯＳイメージセンサ等のダイナミックレンジ（最明部と最暗部との明暗の比）は、自然界のダイナミックレンジよりも狭いため、太陽などの飛び抜けて明るい部分は白く飛び、暗部は黒く潰れることがある。
【０００３】
この白飛びに対して、露出を低くして撮影すれば、全体的に暗くなるため白飛びは抑制できるが、暗部が黒く潰れてしまう。一方、黒潰れに対して、露出を高くすると、全体的に明るくなるため黒潰れは抑制できるが、明部に白飛びが発生してしまう。
【０００４】
ＨＤＲ合成では、同じ構図で高い露出と低い露出で複数枚の画像を撮影し、明るい領域（白飛び等）は、低露出画像に重みをかけ、暗い領域は、高露出画像に重みをかけて合成することにより、白飛びや暗部の黒潰れを改善できる。
【０００５】
ここで、水族館等のように全体的に暗い屋内にライトアップされた水槽が存在する場所で、水槽を背景に人物を撮影する場合（逆光シーン）を考える。通常の撮影では、人物が適正露出となるように撮影するため水槽が白飛びする一方、水槽が適正露出となるように撮影すると人物が黒潰れしてしまう。
【０００６】
このような場合、ＨＤＲ合成機能によって、人物が黒潰れしないような露出で撮影した画像と、水槽が白飛びしないような露出で撮影した画像を合成することで、白飛びや黒潰れのない画像を生成することが可能となる。しかしながら、従来のＨＤＲ合成機能では、人物が黒潰れしないような露出で撮影する際に、建物の壁や床等の人物以外の暗部まで明るくなってしまい、水族館独特の雰囲気を損ねてしまう。
【０００７】
これに対し、特許文献１では、人物の顔領域について適正露出で撮影した画像と高露出で撮影した画像を合成する際に、人物の顔領域については高露出で撮影した画像を合成する割合（以下、合成比率）を高くし、人物から遠ざかるにつれて露出の高い画像の合成比率を小さくしていくことにより人物のみを明るくしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−０６５３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、上記特許文献１における人物からの距離は画像平面上の距離であって、シーンの奥行きを考慮して合成比率を変更するものではない。このため、主被写体より奥の背景に存在する人物を、背景の一部として明るくしたり、主被写体の手前に存在する無関係の人物を暗いままにする、というような柔軟な画像合成は不可能であった。
【００１０】
本発明は、上記課題に鑑みてなされ、その目的は、撮影環境の雰囲気を保ちながら、主被写体からの距離に応じて、露出を変えて撮影した画像の合成比率を変更しつつＨＤＲ合成を行える技術を実現することである。
【課題を解決するための手段】
【００１１】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、露出を変えて撮影された複数の画像を合成する画像処理装置において、前記撮影された画像から被写体領域を検出する被写体検出手段と、前記検出された被写体領域の中から主被写体領域を決定する主被写体決定手段と、前記検出された被写体領域について、前記主被写体領域と当該主被写体領域以外の他の被写体領域との間の光軸方向での距離に関する被写体距離情報を算出する距離算出手段と、前記算出された被写体距離情報に応じた合成方法で前記複数の画像の前記被写体領域の合成を行い、ハイダイナミックレンジ画像を生成する合成手段と、を有し、前記複数の画像は、前記被写体領域以外の背景領域の明るさが適正となる露出で撮影された第１の画像と、前記被写体領域の明るさが適正となる露出で撮影された第２の画像とを含み、前記合成手段は、前記被写体領域の画像の合成において、前記主被写体領域と他の被写体領域との間の被写体距離が遠いほど、前記第２の画像の合成比率を小さくする。
【発明の効果】
【００１２】
本発明によれば、撮影環境の雰囲気を保ちながら、主被写体からの距離に応じて、露出を変えて撮影した画像の合成比率を変更しつつＨＤＲ合成を行えるようになる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の画像処理装置のブロック図。
【図２】レンズ位置と被写体距離との関係を示す図。
【図３】本実施形態の画像生成処理を示すフローチャート（ａ）及び背景が適正露出となるように撮影された画像の例示する図（ｂ）。
【図４】本実施形態の画像撮影処理（ａ）及び距離情報取得処理（ｂ）を示すフローチャート。
【図５】図４（ｂ）の距離情報取得処理において、（ａ）は画像をブロック分割した状態を示す図、（ｂ）はブロックごとの距離情報を格納するリストを例示する図。
【図６】本実施形態の合成対象領域判定処理を示すフローチャート。
【図７】主被写体が適正露出となるように撮影された画像を例示する図。
【図８】本実施形態のＨＤＲ合成処理を示すフローチャート（ａ）、主被写体の背景に存在する被写体に対する合成比率を示す図（ｂ）、主被写体の手前に存在する被写体に対する合成比率を示す図（ｃ）、及びＨＤＲ合成結果を例示する図（ｄ）。
【発明を実施するための形態】
【００１４】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１５】
以下、本発明の画像処理装置を、画像を撮影するデジタルカメラ等の撮像装置に適用した実施形態について説明する。
【００１６】
＜装置構成＞図１を参照して、本実施形態の撮像装置１００の構成について説明する。
【００１７】
図１において、１０１は撮像装置全体の制御を司るシステム制御部である。システム制御部１０１は後述する各ブロックを制御して、ユーザの設定と操作に応じて画像を処理する。
【００１８】
１０２は絞り・ズーム・フォーカス機能を備えた光学レンズユニットである。
【００１９】
１０３はシステム制御部１０１からの指示に従い、光学レンズユニット１０２を制御するための光学制御部である。具体的には、光学レンズユニット１０２の絞り・ズーム・フォーカスを変更することができる。
【００２０】
１０４は光学レンズユニット１０２を経て導入された被写体の画像を光電変換する撮像素子であり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが適用される。
【００２１】
１０５はシステム制御部１０１からの指示に従い、撮像素子１０４を制御するための撮像制御部である。具体的には、撮像素子の感度調整（ゲインコントロール）、シャッター時間に従った撮像素子からのデータの読み取りなどを行う（撮像手段）。
【００２２】
撮像装置１００は、光学制御部１０３や撮像制御部１０５により、絞りやシャッタースピードを変更することで露出を制御する（露出算出処理）。
【００２３】
ここで、光学制御部１０３は、撮像素子１０４から出力されるコントラスト電圧が最大になるようにフォーカスモータを駆動してオートフォーカス機能を実現する。詳述すると、このオートフォーカス機能は、光学レンズユニット１０２を移動してピント位置を動かしていくと、撮像される画像のコントラストが変化していき、合焦位置でコントラストが最大になるという性質を利用している。また、光学制御部１０３は、例えば、図２に示すような、光学レンズユニット１０２の位置と、被写体までの距離との関係を示す数式データを位置−距離テーブルとして格納している。これにより、撮像素子１０４から出力されるコントラスト電圧が最大となる場合の光学レンズユニット１０２の位置に対応する距離を、システム制御部１０１に出力することが可能である（距離取得処理）。
【００２４】
記録媒体１０６はシステム制御部１０１からの指示に従いデータを保持する。具体的にはＳＤメモリカード・コンパクトフラッシュカード（登録商標）・メモリスティックなどのカード型で取り外し可能なメモリが用いられる。記録媒体１０６には、撮像制御部１０５が出力する画像データ（ＲＡＷデータ）か、その画像データからシステム制御部１０１が生成した画像データ（ＪＰＥＧデータ）が格納される。
【００２５】
１０７は本実施形態の撮像装置を制御するプログラムと、当該プログラムが使用するデータを格納するための不揮発性メモリ（ＲＯＭ）である。撮像装置に電源が投入されると、システム制御部１０１はＲＯＭ１０７からプログラムを読み込み、撮像装置の制御を開始する。
【００２６】
１０８は撮像装置を制御するプログラムが作業領域として使用するための書き換え可能な揮発性メモリ（ＲＡＭ）である。また、撮像制御部１０５の出力する画像データを一時的に保持するバッファとしても使用される。
【００２７】
１０９は、後述するＵＩユニット１１０でユーザの指定した設定値や、本実施形態の撮像装置がパワーサイクルを超えて保持する必要のあるパラメータを保持するための書き換え可能な不揮発性メモリ（ＮＶＲＡＭ）である。
【００２８】
１１０はユーザの操作・指示を受け付けて撮像装置に伝達するＵＩユニットである。ＵＩユニット１１０は撮影ボタン、メニューボタン等を含む複数のボタン、ダイヤル、タッチパネル等を有する。
【００２９】
１１１はシステム制御部１０１からの指示に従い、画像を表示するための表示部である。表示部１１１は液晶表示装置（ＬＣＤ）のような薄型ディスプレイとそのディスプレイをコントロールするディスプレイドライバから構成される。
【００３０】
表示部１１１には、撮像装置の各種設定を行うためのメニュー、撮像制御部１０５が出力する画像のデータ（構図決定用のファインダとしての利用）、撮影した画像（撮影画像の確認としての利用）、記録媒体１０６に格納された画像（画像ビューアとしての利用）がそれぞれ表示される。それぞれの画像には任意のグラフィクス画像を重畳して表示することが可能である。
【００３１】
＜動作説明＞図３を参照して、本実施形態の撮像装置１００による画像生成処理について説明する。
【００３２】
なお、図３の処理は、システム制御部１０１が、ＲＯＭ１０７に格納された制御プログラムを、ＲＡＭ１０８のワークエリアに展開し、実行することで実現される。
【００３３】
本実施形態では、撮影環境の雰囲気として、水族館で人物を撮影するシーンを想定して説明する。
【００３４】
図３（ａ）において、ステップＳ３０１では、システム制御部１０１は、撮像制御部１０５により背景の水槽が白飛びしないように露出を調整して画像を撮影する。図３（ｂ）の３１０は背景が適正露出になるように撮影された画像であり、３１１は水槽、３１２は水族館の床、３２１〜３２３は人物である。
【００３５】
ステップＳ３０２では、システム制御部１０１は、撮影した画像から、ＨＤＲ合成処理の対象となる領域（以下、合成対象領域）を判定する。
【００３６】
ステップＳ３０３では、システム制御部１０１は、ステップＳ３０２で判定された合成対象領域から主被写体を決定し（主被写体決定処理）、主被写体の明るさが適正となるように露出を調整して画像を撮影する。
【００３７】
ステップＳ３０４では、システム制御部１０１は、ステップＳ３０１とＳ３０３で撮影した２枚の画像をＨＤＲ合成する（画像合成処理）。
【００３８】
ここで、図４を参照して、図３のＳ３０１での処理について詳述する。
【００３９】
図４（ａ）において、ステップＳ４０１では、システム制御部１０１は、光学レンズユニット１０２から入力された画像を撮像素子１０４により光電変換して撮像制御部１０５へ出力する。撮像制御部１０５は得られたアナログ画像信号をデジタル画像データに変換してシステム制御部１０１へ出力する。
【００４０】
ステップＳ４０２では、システム制御部１０１は、ステップＳ４０１で取得した画像データを表示部１１１に構図決定用（プレビュー用）の画像として表示する。このとき、ステップＳ４０１で撮像制御部１０５から出力された画像データは、表示部１１１の解像度に調整して表示される。
【００４１】
ステップＳ４０３では、システム制御部１０１は、ステップＳ４０１で取得した画像データから、対象とする被写体を検出し、被写体の数および被写体領域を特定する（被写体検出処理）。
【００４２】
本実施形態で対象とする被写体は、人物の顔である。検出方法は公知の顔検出方法を用いる。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがあり、検出精度向上のためにこれらを組み合わせて顔検出を行うのが一般的である。具体的には特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出により出力される情報としては、検出数分の被写体の位置、大きさ、傾き、検出結果の信頼度などが挙げられる。顔領域を特定した後、顔以外の人物領域を抽出し、被写体領域に含める。上記抽出方法については周知の方法を利用する。例えば、顔領域の座標の画素と、隣接する画素との画素値の差分を計算し、予め定めた閾値以下であれば、同一の人物領域と判定し被写体領域に含める。システム制御部１０１は、抽出した被写体領域の座標情報を、領域ごとにＲＡＭ１０８に格納する。
【００４３】
ステップＳ４０４では、システム制御部１０１は、光学制御部１０３によりシャッタースピードや絞りを調節して、水槽３１１の明るさが適正となるよう露出値を決定する。
【００４４】
ステップＳ４０５では、システム制御部１０１は、ＵＩユニット１１０から合焦指示の有無を確認する。具体的には、ユーザがレリーズボタンを半押しした場合を合焦指示とみなす。合焦指示がされた場合はステップＳ４０６に進み、合焦指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。
【００４５】
ステップＳ４０６では、システム制御部１０１は、主被写体（図３（ｂ）の人物３２１とする）に対して合焦する制御において、主被写体までの距離情報を取得する。
【００４６】
ここで、ステップＳ４０６での距離情報取得処理について図４（ｂ）を参照して説明する。
【００４７】
図４（ｂ）において、ステップＳ４０７では、システム制御部１０１は、撮像素子１０４の画素を、１ブロックＬ×Ｌ画素として、Ｍ（Ｘ座標）×Ｎ（Ｙ座標）のブロックに分割し、これに対応させて取り込んだ画像データを図５（ａ）のように複数のブロックに分割する。
【００４８】
ステップＳ４０８では、システム制御部１０１は、光学制御部１０３により光学レンズユニット１０２を焦点位置が無限遠になる位置に移動させる。
【００４９】
ステップＳ４０９では、システム制御部１０１は、光学制御部１０３により焦点位置が小さくなる方向へ光学レンズユニット１０２を１ステップずつ移動させる。
【００５０】
ステップＳ４１０では、システム制御部１０１は、各ブロックの高周波成分をＲＡＭ１０８に記憶する。
【００５１】
ステップＳ４１１では、光学制御部１０３は、焦点位置が最小となるまで光学レンズユニット１０２を移動させたか判定し、判定結果をシステム制御部１０１に通知する。光学レンズユニット１０２の移動が完了した場合には、ステップＳ４１２へ進み、完了していない場合にはステップＳ４０９へ戻る。
【００５２】
ステップＳ４１２では、システム制御部１０１は、各ブロックの高周波成分がピークとなるレンズ位置を算出する。
【００５３】
ステップＳ４１３では、システム制御部１０１は、図２のレンズ位置と被写体距離との関係から各ブロックの距離を算出する。
【００５４】
ステップＳ４１４では、システム制御部１０１は、ステップＳ４１３で算出した距離情報を、図５（ｂ）のように各ブロックの座標情報と対応させてＲＡＭ１０８に保存する。この距離情報は、画像データのヘッダ部に格納してもよいし、別ファイルとして、画像データに対応付けて記録媒体１０６に保存してもよい。ここではブロック単位で距離情報を算出したが、Ｌ＝１として画素単位で距離情報を算出してもよい。
【００５５】
ステップＳ４１５では、光学制御部１０３は、主被写体に合焦する位置に光学レンズユニット１０２を移動させる。
【００５６】
図４（ａ）に戻り、ステップＳ４１６では、システム制御部１０１は、ＵＩユニット１１０から撮影指示の有無を確認する。具体的には、ユーザがレリーズボタンを押下した場合、あるいは、セルフタイマーが完了した場合を撮影指示とみなす。撮影指示がなされた場合はステップＳ４１７に進み、撮影指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。
【００５７】
ステップＳ４１７では、システム制御部１０１は、撮像制御部１０５を介して撮影指示時の画像データを取得し、ＲＡＭ１０８に格納する。
【００５８】
次に、図３のＳ３０２での処理について、図６を参照して説明する。
【００５９】
図６において、ステップＳ６０１では、システム制御部１０１は、ステップＳ４０３において特定した被写体領域をＲＡＭ１０８から読み出す。
【００６０】
ステップＳ６０２では、システム制御部１０１は、ステップＳ６０１で読み出した被写体領域ごとに画素の輝度の平均値を算出する。
【００６１】
ステップＳ６０３では、システム制御部１０１は、ステップＳ６０２において算出した平均輝度値が、予め決められた閾値以下か否かを判定する。平均輝度値が閾値以下の場合はステップＳ６０４へ進み、閾値以下でない場合には本処理を終了する。
【００６２】
ステップＳ６０４では、システム制御部１０１は、平均輝度値が閾値以下の被写体領域を合成対象領域と判定する。上記判定方法の他にも、被写体領域のヒストグラムにおいて、所定の輝度以下の画素数が一定以上である場合や、ピークの輝度が閾値以下の場合に、被写体領域を合成対象領域と判定してもよい。ここでは、人物領域３２１〜３２３が合成対象領域となる。
【００６３】
図３に戻り、ステップＳ３０３では、システム制御部１０１は、主被写体（人物３２１）の明るさが適正になるように露出を調整し、撮像制御部１０５により主被写体の画像を撮影し（Ｓ３０３）、撮像された画像データをＲＡＭ１０８に格納する。ここで撮影された画像を図７の７００に示す。図３（ｂ）の画像３１０と比較して、撮影画像７００は、人物領域７１１〜７１３や床７０２の黒潰れが解消された一方、背景の水槽７０１が白飛びしている。
【００６４】
ステップＳ３０４では、システム制御部１０１は、撮影画像７００と、ステップＳ３０１で撮影した画像３１０とをＨＤＲ合成する。
【００６５】
次に、図３のＳ３０４でのＨＤＲ合成処理について、図８（ａ）を参照して説明する。
【００６６】
図８（ａ）において、ステップＳ８０１では、システム制御部１０１は、ＲＡＭ１０８から画像３１０と画像７００のデータを読み出す。
【００６７】
ステップＳ８０２では、システム制御部１０１は、ステップＳ８０１で読み出した２枚の画像の位置合わせを行う。この位置合わせは、公知の方法を用いて実施する。例えば、複数枚の画像から、特開２００８−０４６７５０に記載されているような、一般的な特徴点抽出方法であるＨａｒｒｉｓオペレータ等を用いて特徴点を抽出し、画像間の特徴点の対応付けを行う。その後、特徴点の対応から射影変換行列を推定し、画像を変形することで画像の位置合わせを行う。なお、複数枚の画像の位置合わせは上記の方法のみに限定されず、他の公知の手段を用いても良い。ここでは、画像３１０に対し画像７００を変形して位置合わせする。位置合わせのために画像７００を変形した画像を画像７１０とする。
【００６８】
ステップＳ８０３では、システム制御部１０１は、ステップＳ３０２にて判定した合成対象領域をＲＡＭ１０８から読み出す。
【００６９】
ステップＳ８０４では、システム制御部１０１は、撮影位置から合成対象領域までの距離情報をＲＡＭ１０８から読み出す。ここでは、合成対象領域における各被写体の顔領域の中心座標での距離を撮影位置から合成対象領域までの距離とする。
【００７０】
ステップＳ８０５では、システム制御部１０１は、主被写体の位置を基準として、主被写体からの距離Ｚに対する画像７１０の合成比率Ｒを決定する。この合成比率Ｒは、主被写体位置（距離Ｚ＝０）において、Ｒ＝１となり、主被写体位置から遠ざかるにつれて単調減少するように設定される。ここで、主被写体よりも奥に存在する被写体は、主被写体の背景の一部として扱われる可能性がある。例えば、水槽の前に群衆ができているシーンを撮影したい場合には、人物も背景の一部となる一方、主被写体よりも手前に存在する被写体は、偶然写り込んだ通行人等、不要物である可能性が高い。このため、主被写体の手前に存在する被写体よりも、主被写体の背景に存在する被写体を明るくするよう合成比率Ｒを設定する。
【００７１】
具体的には、合成対象領域の被写体が主被写体よりも手前に存在するか奥に存在するかに応じて合成比率Ｒの単調減少の割合を変更する。図８の（ｂ）と（ｃ）はそれぞれ、主被写体よりも奥の領域（背景）に対する合成比率Ｒのグラフ、主被写体よりも手前の領域（前景）に対する合成比率Ｒのグラフである。図８（ｂ）、（ｃ）のように、Ｚ＝ｋにおいて、主被写体よりも奥の領域に対する合成比率（Ｒｂ）が、主被写体よりも手前の領域に対する合成比率（Ｒｆ）よりも高くなるように合成比率Ｒが設定される。
【００７２】
ステップＳ８０６では、システム制御部１０１は、ステップＳ８０５で決定した合成比率Ｒを用いて、画像３１０と画像７１０をＨＤＲ合成する。具体的には、下記式により、合成結果の画素値を算出する。
【００７３】
ｐ2＝Ｒ・ｐ1＋（１−Ｒ）・ｐ0
ｐ0は、背景の水槽が白飛びしないように露出を調整して撮影した画像３１０中の合成対象領域の画素（Ｘ0、Ｙ0）における画素値である。ｐ1は、主被写体の明るさが適正になるように露出を調整して撮影した画像７１０中の、画素（Ｘ0、Ｙ0）に対応する画素の画素値である。ｐ2は、合成結果の画素値である。ｐ2算出後、画像３１０の画素（Ｘ0、Ｙ0）の画素値をｐ2で置き換える。これを全ての合成対象領域の画素に対して行う。
【００７４】
ステップＳ８０７では、システム制御部１０１は、ステップＳ８０６で合成した画像８１０を記録媒体１０６に保存し、本処理を終了する。
【００７５】
本実施形態での合成結果は、図８（ｄ）に示すように、水槽８１１が白飛びせず、被写体領域８２１〜８２３が黒潰れしない一方で、床８１２のような被写体以外の暗部は暗いままとなり、水族館の雰囲気を保持した画像となる。
【００７６】
なお、本実施形態では、２枚の画像の露出値を、主被写体３２１の明るさが適正となる露出値と、それよりも低い露出値（水槽３１１の明るさが適正となる露出値）に設定した。これに対して、主被写体の背景に存在する被写体を明るくする必要がある場合には、上記主被写体の適正露出値より高い露出値に設定して撮影してもよい。
【００７７】
また、撮影位置から被写体までの距離の算出方法については、以下の方法としてもよい。すなわち、画像中の人物の顔領域の大きさに対する、当該人物の撮影装置からの距離を予めデータベース化しておく。そして、人物の顔領域が検出されたときに人物の顔領域の大きさを取得し、上記データベースに問い合わせることで、撮影位置から被写体までの距離を推定可能である。
【００７８】
また、本実施形態では、主被写体が適正露出となるように撮影した場合に背景が白飛びする例について説明したが、背景が黒潰れするような場合にも本発明は適用可能である。すなわち、背景が適正露出となるように撮像された画像を、この露出値よりも高い値で撮像した画像の人物領域に対して、上述の方法でＨＤＲ合成する。また、本実施形態では、被写体を人物としたが、人物以外のオブジェクトに対しても、公知のオブジェクト検出の方法を用いることにより実現可能である。
【００７９】
上述した実施形態によれば、撮影環境の雰囲気を保ちながら、主被写体からの距離に応じて、露出を変えて撮影した画像の合成比率を変更しつつＨＤＲ合成を行えるようになる。
【００８０】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
0005713885.tif 000002
【図２】
0005713885.tif 000003
【図３】
0005713885.tif 000004
【図４】
0005713885.tif 000005
【図５】
0005713885.tif 000006
【図６】
0005713885.tif 000007
【図８】
0005713885.tif 000008
【図７】
0005713885.tif 000009