(57)【要約】【課題】  撮影条件の異なる複数の画像から生成された合成画像に適したトリミング範囲を設定する。【解決手段】  合成画像内の位置と該位置における複数の画像の合成比率との関係を表す合成情報に基づいて、合成に用いられた複数の画像のうち特定の画像の合成比率が予め定めた比率以上の領域を特定する。そして、特定した領域が含まれる位置を優先して予め定めた大きさのトリミング領域を設定する。【選択図】図２
2015126299.tif 000002
【特許請求の範囲】
【請求項１】
撮影条件の異なる複数の画像を合成して生成された合成画像と、前記合成画像内の位置と該位置における前記複数の画像の合成比率との関係を表す合成情報を取得する取得手段と、
前記合成情報に基づいて、前記複数の画像のうち、特定の画像の合成比率が予め定めた閾値以上の領域を前記合成画像から特定する特定手段と、
前記特定手段が特定した領域に基づいて、前記合成画像から、予め定めた大きさの領域を切り出す位置を設定する設定手段と、を有し、
前記設定手段は、前記予め定めた大きさの領域に、前記特定手段が特定した領域が含まれる位置を前記切り出す位置として設定することを特徴とする画像処理装置。
【請求項２】
前記複数の画像が、適正露出で撮影された画像と、適正露出で撮影されていない画像とを含み、
前記特定手段は、前記適正露出で撮影されていない画像の合成比率が前記予め定めた閾値以上の領域を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像が、発光装置を発光させて撮影された画像と、発光装置を発光させずに撮影された画像とを含み、
前記特定手段は、前記発光装置を発光させて撮影された画像の合成比率が前記予め定めた閾値以上の領域を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記設定手段は、前記合成画像に予め定めた被写体の領域が含まれる場合、前記予め定めた大きさの領域が前記被写体の領域を含む位置であって、かつ前記特定手段が特定した領域を含む位置を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記設定手段は、前記予め定めた大きさの領域に含まれる前記特定手段が特定した領域の割合が高い順に、予め定めた数の位置を設定することを特徴とした請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記合成情報が、画素ごとに前記合成比率を表す情報であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の撮影条件の異なる複数の画像を取得し、前記合成画像を生成するとともに、前記合成情報を生成する生成手段を更に有し、
前記取得手段は、前記生成手段から前記合成画像と前記合成情報を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記複数の画像を撮像する撮像手段と、
請求項７記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項９】
取得手段が、撮影条件の異なる複数の画像を合成して生成された合成画像と、前記合成画像内の位置と該位置における前記複数の画像の合成比率との関係を表す合成情報を取得する取得工程と、
特定手段が、前記合成情報に基づいて、前記複数の画像のうち、特定の画像の合成比率が予め定めた閾値以上の領域を前記合成画像から特定する特定工程と、
設定手段が、前記特定工程が特定した領域に基づいて、前記合成画像から、予め定めた大きさの領域を切り出す位置を設定する設定工程と、を有し、
前記設定工程は、前記予め定めた大きさの領域に、前記特定工程が特定した領域が含まれる位置を前記切り出す位置として設定することを特徴とする画像処理装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、その制御方法およびプログラムに関し、特には合成画像のトリミング技術に関するものである。
【背景技術】
【０００２】
従来、撮像装置やその付属ソフトウェアにおいて、画像からユーザの指示に基づいて特定の領域を抽出するトリミング機能が提供されている。また、自動でトリミング画像を生成する方法も提案されている（特許文献１）。
【０００３】
一方、複数の画像を用いて合成画像を生成することにより、１回の露出で得られる画像と比べてより表現力の豊かな画像を生成する画像合成技術が知られている。画像合成技術の１つであるＨＤＲ合成（High Dynamic Range Imaging）技術は、露出を変えて撮影された複数の画像のうちの特定の露出となる領域をそれぞれ抽出して合成画像を生成する技術として知られている。ＨＤＲ合成技術によれば、１回の露出で得られる画像で生じる白とびや黒潰れの発生を抑え、より広いダイナミックレンジを持つ合成画像を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法は、撮影時のフォーカス位置に基づき、予め決められている所定の設定条件に従って撮影画像からトリミング領域を設定する方法を開示している。しかし、合成画像に対してフォーカス位置を考慮してトリミング領域を設定しても、合成効果の得られた領域がトリミング領域に含まれるとは限らない。このため、特許文献１記載の方法では、撮影条件の異なる複数の画像から生成された合成画像に適したトリミング領域の設定ができない場合がある。
【０００６】
本発明では、上述の従来技術の問題点に鑑みてなされたものであり、撮影条件の異なる複数の画像から生成された合成画像に適したトリミング範囲の設定が可能な画像処理装置、その制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この目的を達成するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮影条件の異なる複数の画像を合成して生成された合成画像と、合成画像内の位置と該位置における複数の画像の合成比率との関係を表す合成情報を取得する取得手段と、合成情報に基づいて、複数の画像のうち、特定の画像の合成比率が予め定めた閾値以上の領域を合成画像から特定する特定手段と、特定手段が特定した領域に基づいて、合成画像から、予め定めた大きさの領域を切り出す位置を設定する設定手段と、を有し、設定手段は、予め定めた大きさの領域に、特定手段が特定した領域が含まれる位置を切り出す位置として設定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影条件の異なる複数の画像から生成された合成画像に適したトリミング画像の生成が可能になる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像処理装置の一例としてデジタルカメラの構成例を示すブロック図
【図２】実施形態に係るデジタルカメラの一連の処理を表すフローチャート
【図３】ＨＤＲ画像における合成マップの一例を示す図
【図４】ＨＤＲ画像における合成マップの領域毎の合成比率の一例を示す図
【図５】ストロボブラケット撮影した複数の画像を用いて生成した合成画像における合成マップの一例を示す図
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理装置の一例としての、合成画像を生成可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明は合成画像の生成機能を有する電子機器はもとより、合成画像の撮影や記録に関する機能を有さない電子機器にも適用可能である。これらの電子機器には、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれるが、これらは単なる例示である。
【００１１】
（１  デジタルカメラの構成）
図１は本実施形態のデジタルカメラの機能構成例を示すブロック図である。
【００１２】
なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、実際には同じハードウェアが主体として実現されうる。
【００１３】
図１において、撮影レンズ１０１は、ズーム機構を有し、被写体からの入射光を撮像面上に結像する光学系を構成する。絞り及びシャッタ１０２は、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）処理部１０３からの指示に従って入射光の撮像素子１０６への入射光量と電荷蓄積時間を制御する。撮像素子１０６は、受光面に結像した光学像をＣＣＤ素子或いはＣＭＯＳ素子等の光電変換処理によって電気信号に変換してＡ／Ｄ変換部１０７へ出力する。Ａ／Ｄ変換部１０７は、撮像素子１０６から出力された電気信号（アナログ信号）をデジタル信号に変換する。Ａ／Ｄ変換部１０７は、受信した電気信号からノイズを除去するＣＤＳ回路や、受信した電気信号をデジタル信号に変換する前に非線形増幅するための非線形増幅回路を含む。
【００１４】
ＡＥ処理部１０３は、システム制御部１１２からの指示に応じて絞り及びシャッタ１０２の動作を制御して、露出状態を変更する。
【００１５】
フォーカスレンズ１０４は、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）処理部１０５からの制御信号にしたがって、撮像素子１０６の撮像面上に焦点を合わせて光学像を結像させる。
【００１６】
画像処理部１０８は、Ａ／Ｄ変換部１０７から出力されたデジタル信号に対して所定の画素補間や画像縮小等のリサイズ処理および色変換処理を行って、画像データを出力する。また、画像処理部１０８は、フォーマット変換部１０９を経由して画像記録部１１１からの画像データの読み込みおよび書き出しを行う。画像処理部１０８は、システム制御部１１２の指示に基づいて複数の画像データを読み出して、合成画像を生成する。本実施形態における合成画像は、ＨＤＲ合成技術による合成画像やストロボブラケット撮影により得られた画像を用いた合成画像がある。また、画像処理部１０８は、生成した合成画像に対するトリミング領域の設定およびトリミング画像の生成を行い、生成したトリミング画像のデータをフォーマット変換部１０９へ出力する。
【００１７】
フォーマット変換部１０９は、画像データをＤＲＡＭ１１０に記憶するために、画像処理部１０８において生成された画像データのフォーマット変換を行う。ＤＲＡＭ１１０は、高速な内蔵メモリの一例であり、画像データの一時的な記憶を司る高速バッファとして、あるいは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。
【００１８】
画像記録部１１１は、撮影画像（静止画、動画）を記録するメモリーカード等の記録媒体とそのインターフェースを有し、記録媒体および記録媒体にデータを読み書きするための回路を備えている。
【００１９】
システム制御部１１２は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラの全体的な動作制御を行う。１回の露光に対応した画像データを得るための各機能部の制御に加え、撮影条件の異なる複数回の露光に対応した画像データを取得するためのＡＥ処理部１０３の制御やストロボ１１６の光量を制御する。また、撮像素子１０６の有する複数の撮像駆動モードから使用するモードの制御を行う。ＶＲＡＭ１１３は画像表示用のメモリである。
【００２０】
表示部１１４は、例えば、ＬＣＤ等であり、画像の表示や操作補助のための表示、カメラ状態の表示を行う他、撮影時には撮影画面と焦点検出領域を表す指標などを表示する。
【００２１】
操作部１１５は、例えば、露出補正や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ等を有する。ユーザは、操作部１１５を操作することによりデジタルカメラに各種の設定や指示を与える。
【００２２】
発光装置であるストロボ１１６は、システム制御部１１２の指示により適切なタイミングと発光量で発光する。なお、ストロボ１１６は、デジタルカメラに内蔵されていても、デジタルカメラに着脱可能でもよい。第１スイッチ（ＳＷ１）１１７は、ＡＥ処理やＡＦ処理等の撮影準備動作を行うためのスイッチであり、第２スイッチ（ＳＷ２）１１８は、第１スイッチ１１７の操作後に、システム制御部１１２に対して撮影開始指示を行うスイッチである。
【００２３】
（２  トリミング画像生成処理）
本実施形態における合成画像からトリミング画像を生成するまでの一連の処理を図２乃至図４を用いて説明する。
【００２４】
図２は、本実施形態に係るデジタルカメラの一連の処理を表すフローチャートである。図２のフローチャートに対応する処理は、システム制御部１１２が、例えばＲＯＭに記憶されている処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。本処理は、例えば自動トリミングを行う設定がなされている状態で、合成画像の生成指示がなされた場合に実施されてよい。例えば、ＨＤＲ撮影モードにおいて撮影指示がなされ、かつ自動トリミングオプションが設定されている場合に実施されてよい。あるいは、デジタルカメラが閲覧モードで動作している状態で、ユーザによる操作部１１５のボタン等の押下により画像記録部１１１に記録された複数の画像データが選択され、合成画像の生成指示がなされた場合に開始されてもよい。
【００２５】
まずＳ２０１において画像処理部１０８は、複数の撮影画像を取得して合成画像および合成マップを生成する。本実施形態において合成画像とは、合成画像の各画素値を、合成に用いる複数の画像のいずれか１つの画素値とするか、複数の画素値を混合しても求めることにより生成された画像をいう。また、本実施形態において合成マップとは、合成画像内の位置と、該位置における合成に使用された複数の画像の合成比率との関係を表す合成情報をいう。合成マップを参照することにより、合成画像の各領域において複数の画像のうち使用された画像とその合成比率を特定することができる。
【００２６】
上述のように、合成に用いる画像データは、撮影によって取得しても良いし、既に記録されている画像データを読み出して取得しても良い。撮影によって取得する場合には、ＨＤＲ合成画像を生成する場合には露出量を変えたブラケット撮影を、ストロボ発光量を変えた画像から合成画像を生成する場合にはストロボブラケット撮影を行うよう、システム制御部１１２が撮影動作を制御する。
【００２７】
既に記録されている画像データを用いる場合、画像処理部１０８が、システム制御部１１２の指示により、フォーマット変換部１０９を経由して画像記録部１１１から対象となる複数の画像データを読み出す。
【００２８】
画像処理部１０８は、読み出した画像データを用いて合成画像を生成する。本実施形態ではＨＤＲ合成技術を用いた合成画像（ＨＤＲ画像）を生成するものとする。上述のように、ＨＤＲ合成技術は、露出を変えて撮影した複数の画像のうち、黒つぶれや白とびをしていない領域を合成することによって合成画像を生成する技術である。ＨＤＲ合成技術としては様々な方法が知られており、本実施形態は公知のＨＤＲ合成技術を用いることができるため、合成の具体的な方法についての説明は省略する。
【００２９】
ＨＤＲ画像を生成する処理において、画像処理部１０８は、合成画像の所定領域ごとに、合成に使用した画像とその割合（合成比率）を特定する情報を合成マップとして記録する。例えば画像処理部１０８は、予め定めた、１画素以上を含む分割領域単位で、かつ分割領域ごとに複数の画像のうち１つの対応領域を選択することにより合成画像を生成する場合がある。この場合は、使用した１つの画像を特定する情報が対応付けられた合成マップを生成することができる。また、複数の画像の画素値をある比率で混合して合成画素の画素値を生成する場合には、各画素について混合に用いられた画像と該画像の比率を表す合成マップを生成することができる。画像処理部１０８は、合成画像の生成処理および合成マップの生成を終えると、処理をＳ２０２へ進める。
【００３０】
図３を用いて本実施形態における合成マップの具体例を説明する。例えば図３（ａ）乃至（ｃ）は、ＨＤＲ画像を生成する際に使用した画像の例を示し、図３（ａ）は、露出オーバーの画像、図３（ｂ）は適正露出の画像、図３（ｃ）は露出アンダーの画像をそれぞれ示している。また、図３（ｄ）は、図３（ａ）〜（ｃ）の画像をＨＤＲ合成した際に生成した合成マップを視覚的に表している。図３の例において合成処理は合成画像を分割した矩形領域ごとに、図３（ａ）〜（ｃ）の画像の１つの対応領域を選択することによって行われている。この場合、合成マップは、領域ごとにどの画像が選択されているかを表す情報であってよいが、本実施形態では、領域ごとに、各画像が使用されているか否かを示す情報を対応付けた合成マップを生成している。例えば、露出オーバーの画像、適正露出の画像、露出アンダーの画像のそれぞれについて、使用（選択）されていれば１、使用されていなければ０を割り当てた情報を各領域に対応付けた合成マップを生成する。従って、（０，１，０）が対応付けられた領域は、露出オーバーの画像と露出アンダーの画像は用いられず、適正露出の画像が用いられている（合成比率１００％）であることを示す。
【００３１】
図４は、図３（ｄ）における領域（ｅ）乃至（ｇ）に対応付けられた、合成比率を表す情報と、この情報が表す画像の対応関係を示す。図４の例では、領域（ｅ）は露出オーバーおよび適正露出の画像は用いられず、露出アンダーの画像が用いられているため、合成比率は０％：０％：１００％である。従って合成比率を表す情報として（０，０，１）が対応付けられている。同様に領域（ｆ）は各画像が０％，１００％，０％の比率で合成されていることを示す。また、合成処理が複数の画像の混合により行われた場合は、例えば（１０％，８０％，１０％）のように各画像の合成比率をパーセンテージで表した情報で合成マップを生成してもよい。
【００３２】
次にＳ２０２において画像処理部１０８は、Ｓ２０１で生成された合成マップを用いてトリミング優先領域の設定を行う。具体的には、画像処理部１０８は、生成された合成画像において合成効果が表れていると判定される領域をトリミング優先領域して設定する。トリミング優先領域を含むようにトリミング領域を設定することにより、合成効果が表れている領域が含まれたトリミング領域を設定することが可能となる。
【００３３】
合成効果が表れているかどうかの判定方法には特に制限はないが、合成をしない場合と比較して変化している領域は合成効果が表れていると考えられる。例えば、ＨＤＲ画像の場合、合成処理をしない場合が適正露出の画像とすれば、合成画像の例では、適正露出の画像の合成比率が１００％未満の領域は、合成処理によって変化している領域である。図３および図４を用いて示した例では、領域ごとに１つの画像が選択されるため、適正露出画の画像が使用されていない領域が、合成による効果が表れている領域と判定することができる。従って、図３（ｄ）の例では適正露出である図３（ｂ）の画像を合成している領域(ｆ)を除いた、領域（ｅ）および（ｇ）の領域がトリミング優先領域として設定される。
【００３４】
画像処理部１０８は、トリミング優先領域の設定において、合成マップが示す領域ごとの合成比率を参照し、領域ごとにトリミング優先領域とするか否かを判定する。例えば処理対象の領域が図３（ｇ）に含まれる場合、この領域の合成比率は露出オーバーの画像が１００％であることが特定できるため、対象の領域はトリミング優先領域であると判断する。画像処理部１０８は、合成画像の領域ごとに、トリミング優先領域かどうかを表すフラグを設定する。また、前述のように合成処理が複数の画像の混合により行われた場合は、適正露出でない画像の混合割合を領域ごとに算出してトリミング優先領域かどうかを判定する。即ち、画像処理部１０８は、ある矩形領域における露出オーバー画像と露出アンダー画像の合成比率の和が所定の閾値以上となる場合にトリミング優先領域と判定する。画像処理部１０８は、合成画像における全ての領域に対して判定処理を終えると処理をＳ２０３へ進める。
【００３５】
Ｓ２０３において画像処理部１０８は、Ｓ２０２において設定したトリミング優先領域に基づいてトリミングを行う領域を設定する。例えば画像処理部１０８は、含まれるトリミング優先領域の割合が最大となるようにトリミング領域を設定することができる。
【００３６】
画像処理部１０８は、予めトリミング画像の大きさとして定められる所定の範囲の領域を設定する。画像処理部１０８は、予め定められたステップ数でトリミング領域の位置を水平方向および垂直方向に移動させながら、トリミング領域に含まれる、フラグの立っている領域（トリミング優先領域）の割合を算出し、位置と関連付けて記憶する。ステップ数は任意であるが、矩形領域ごとに合成処理を行っている場合は矩形領域のサイズに合わせて行うことができる。また、画素単位で合成処理を行っている場合は、所定の複数画素数をステップ数とすることができる。合成画像全体についてトリミング領域の移動とトリミング領域の割合の算出を終えると、画像処理部１０８は、トリミング優先領域の割合の高い順にトリミング領域の優先順位づけを行う。そして、予め定められた抽出すべきトリミング領域の数に応じて、優先順の高いトリミング領域を選択する。また、画像処理部１０８はトリミング領域の大きさを変更して同様の処理を繰り返しても良い。また、トリミング画像の大きさとして定められる所定の範囲の領域は、トリミング優先領域の分布などに応じて設定されてもよい。
【００３７】
なお、トリミング優先領域の割合に加え、顔検出技術などの公知の被写体検出によって検出された被写体領域を考慮してトリミング領域を設定しても良い。例えば顔領域の検出がなされている場合は、顔領域を含むトリミング領域の中で、トリミング優先領域の割合が高いものから順にトリミング領域を設定するようにしてもよい。画像処理部１０８は、トリミングする領域の設定を終えると処理をＳ２０４へ進める。
【００３８】
Ｓ２０４において画像処理部１０８は、Ｓ２０４で設定されたトリミング領域に基づいてトリミング画像の生成を行う。Ｓ２０３で設定したトリミング領域に基づいてトリミングを行い、トリミング画像を生成する。生成されたトリミング画像は、フォーマット変換部１０９によってフォーマットが変換され、画像記録部１１１に記録される。トリミング画像が記録されると本実施形態の一連の処理は終了する。
【００３９】
なお、画像処理部１０８が設定したトリミング領域をユーザに提示し、選択されたトリミング領域についてのトリミング画像を生成するように構成しても良い。
【００４０】
本実施形態によれば、合成画像に対して自動的にトリミング領域を設定する際、合成画像のうち、合成の効果が得られていると判定される領域が含まれるようにトリミング領域を設定するため、合成画像に適したトリミング画像の生成が可能となる。また、特定の被写体が検出されている場合には、特定の被写体を含んだトリミング領域のうち、合成の効果が得られていると判定される領域が含まれる領域をトリミング領域に設定するため、主被写体が含まれ、かつ合成画像に適したトリミング領域を設定できる。
【００４１】
（第２の実施形態） 
次に本発明の第２の実施形態について説明する。第１の実施形態ではＨＤＲ画像からトリミング画像を生成する方法に関して説明した。本実施形態では、ストロボブラケット撮影を行った画像から生成した合成画像からトリミング画像の生成について説明する。本実施形態のデジタルカメラは第１の実施形態と同一の構成であってよく、図２におけるＳ２０１およびＳ２０２（合成画像および合成マップの生成、トリミング優先領域の設定）に係る動作以外共通である。このため、重複する説明は省略し、相違点について重点的に説明する。
【００４２】
図２に示すＳ２０１において画像処理部１０８は、ストロボブラケット撮影により得られた複数の撮影画像を取得して合成画像および合成マップを生成する。本実施形態における合成画像は、露出を変えて撮影した複数の画像のうちストロボ発光により撮影された画像とストロボ非発光により撮影された画像を合成する。なお、本実施形態では、ストロボブラケット撮影により得られた画像を用いて合成した画像をストロボブラケット合成画像（ストロボＢＫＴ合成画像）と呼ぶ。
【００４３】
画像処理部１０８は、システム制御部１１２の指示により、ストロボブラケット撮影の後に合成画像の生成指示がなされると該撮影により取得した画像データを用いて合成画像を生成する。あるいは画像処理部１０８は、フォーマット変換部１０９を経由して画像記録部１１１に既に記録されている複数の画像データを読み出し、読み出した画像データを用いて合成画像を生成する。ストロボＢＫＴ合成画像は例えば、ストロボ発光によりストロボ照射された被写体領域を、ストロボ非発光により撮影された画像に合成することにより生成される。ストロボ照射された被写体領域は、例えば、ストロボ発光により撮影された画像内の平均輝度との差分、もしくはストロボ非発光で撮影された画像の対応領域との輝度の差分が実験的に定められた所定の値を上回る明るい領域として求めることができる。
【００４４】
ストロボＢＫＴ合成画像を生成する処理において、画像処理部１０８は、合成する際に使用した画像とその割合（合成比率）を特定する情報を合成マップとして記録する。例えば、予め定めた１画素以上を含む分割領域単位で、かつ分割領域ごとに合成に用いられた画像を合成マップとして記録する。
【００４５】
本実施形態における合成マップの例について、図５を用いて説明する。例えば図５における（ａ）および（ｂ）は、ストロボＢＫＴ合成画像を生成する際に使用した画像を示す。図５（ａ）は、露出オーバーで撮影したストロボ非発光の画像、図５（ｂ）は適正露出で撮影したストロボ発光の画像を示している。また、図５（ｃ）はストロボＢＫＴ合成画像の合成時に生成した合成マップを視覚的に表したものであり、ストロボＢＫＴ合成画像を生成した際に図５（ａ）および（ｂ）の画像の１つの対応領域が選択されていることを表す。例えば、輝度差分からストロボ光が照射された領域を抽出した場合は、図５（ｃ）の画像の（ｄ）、（ｅ）の領域は、それぞれストロボ非発光の画像、ストロボ発光の画像が使用（選択）されていることを示す。本実施形態における合成マップは、ストロボ非発光の画像、ストロボ発光の画像のそれぞれについて、使用（選択）していれば１、使用されていなければ０を領域ごとに割り当てて生成する。あるいは、使用している画像に対する１の代わりにパーセンテージを用いてもよいし、画像が混合により合成される場合は各画像の合成比率を用いて表してもよい。画像処理部１０８は、合成画像と合成マップの生成を完了すると処理をＳ２０２へ進める。
【００４６】
次にＳ２０２において画像処理部１０８は、Ｓ２０１で生成された合成マップを用いてトリミング優先領域の設定を行う。具体的には、画像処理部１０８は、ストロボ光が照射されている領域を合成効果が表れている領域と判定することによりトリミング優先領域を設定する。例えばストロボ光が照射されている領域図５（ｅ）は、図５（ａ）の画像の対応領域との輝度差分が所定値を超え、かつ最も輝度差分の大きな領域である。従って、この領域は合成効果が表れていると判定され、該領域をトリミング優先領域として設定する。そして、トリミング優先領域を含むようにトリミング領域を設定することにより、ストロボＢＫＴ合成画像の合成効果が表れている、合成画像に適したトリミングした画像を生成することができる。画像処理部１０８は、合成マップを分割領域単位で参照して、使用されている画像がストロボ発光の画像であるときは、対象領域をトリミング優先領域として設定する。具体的には、画像処理部１０８は、対象領域がトリミング優先領域となる場合には優先領域かどうかを表すフラグを設定する。画像処理部１０８は、合成マップにおける全ての対象領域に対する処理を終えると処理をＳ２０３へ進める。なお、Ｓ２０３以降のトリミング領域の設定処理は第１の実施形態と同様であるので説明を省略する。
【００４７】
なお、本実施形態においても、人物の顔など特定の特徴を有する領域が検出されている場合には、特徴領域が含まれる範囲の中で上述したトリミング優先領域の設定を行うことができる。
【００４８】
本実施形態によっても、第１の実施形態と同様の効果が得られる。即ち、合成画像に対して自動的にトリミング領域を設定する際、合成画像のうち、合成効果の得られていると判断される領域が含まれるようにトリミング領域を設定するため、合成画像に適したトリミング画像の生成が可能となる。
【００４９】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015126299.tif 000003
【図２】
2015126299.tif 000004
【図４】
2015126299.tif 000005
【図３】
2015126299.tif 000006
【図５】
2015126299.tif 000007