(57)【要約】【課題】撮影者が意図しない画像データだけを効果的に除外できる画像処理装置を提供する。【解決手段】画像処理装置としてのデジタルカメラ１００は、領域分割部１１６及び画像合成部１１７を有し、領域分割部１１６は画像データを複数の領域に分割し、画像合成部１１７は領域分割部１１６によって画像データから分割された夜空以外の領域及び夜空の領域の各々を比較明合成又は比較暗合成によって合成する。【選択図】図４
2015216604.tif 000002
【特許請求の範囲】
【請求項１】
異なるタイミングで撮影された第１の画像データ及び第２の画像データを明るさに基づいて合成する合成手段と、
前記第１の画像データを第１の領域及び第２の領域に分割すると共に、前記第２の画像データを前記第１の領域及び前記第２の領域の夫々に対応するように第３の領域及び第４の領域に分割する分割手段とを備え、
前記合成手段は、前記第１の領域及び前記第３の領域、並びに前記第２の領域及び前記第４の領域を夫々明るさに基づいて合成することを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記第１の画像データ及び前記第２の画像データを比較明合成又は比較暗合成によって合成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の領域及び前記第２の領域の面積を比較し、前記第１の領域の面積が前記第２の領域の面積よりも大きいときは前記第１の領域及び前記第３の領域を前記比較明合成によって合成し、前記第２の領域の面積が前記第１の領域の面積よりも大きいときは前記第２の領域と前記第４の領域を前記比較明合成によって合成することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１の領域、前記第２の領域、前記第３の領域、及び前記第４の領域の輝度値を算出する算出手段と、
前記算出された前記第１の領域の輝度値及び前記第３の領域の輝度値の輝度差、又は前記算出された前記第２の領域の輝度値及び前記第４の領域の輝度値の輝度差を算出する輝度差算出手段とを更に備え、
前記第１の領域の輝度値及び前記第３の領域の輝度値の輝度差、又は前記第２の領域の輝度値及び前記第４の領域の輝度値の輝度差が予め設定された閾値よりも大きいときは、前記比較暗合成によって前記第１の領域及び前記第３の領域を合成し、又は前記第２の領域及び前記第４の領域を合成することを特徴とする請求項２又は３記載の画像処理装置。
【請求項５】
前記分割手段は、前記第１の画像データ及び前記第２の画像データを前記比較暗合成によって合成し、前記合成した画像データから明暗の境界部を検出し、前記境界部を境界として前記第１の画像データを高輝度の領域及び低輝度の領域に分割することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記合成手段は、前記高輝度の領域を前記比較暗合成によって合成し、前記低輝度の領域を前記比較明合成によって合成することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記画像処理装置が撮像装置であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
異なるタイミングで撮影された第１の画像データ及び第２の画像データを明るさに基づいて合成する合成ステップと、
前記第１の画像データを第１の領域及び第２の領域に分割すると共に、前記第２の画像データを前記第１の領域及び前記第２の領域の夫々に対応するように第３の領域及び第４の領域に分割する分割ステップとを有し、
前記合成ステップでは、前記第１の領域及び前記第３の領域、並びに前記第２の領域及び前記第４の領域が夫々明るさに基づいて合成されることを特徴とする画像処理方法。
【請求項９】
画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、異なるタイミングで撮影された第１の画像データ及び第２の画像データを明るさに基づいて合成する合成ステップと、
前記第１の画像データを第１の領域及び第２の領域に分割すると共に、前記第２の画像データを前記第１の領域及び前記第２の領域の夫々に対応するように第３の領域及び第４の領域に分割する分割ステップとを有し、
前記合成ステップでは、前記第１の領域及び前記第３の領域、並びに前記第２の領域及び前記第４の領域が夫々明るさに基づいて合成されることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその方法、並びにプログラムに関する。
【背景技術】
【０００２】
夜空を移動する星の光跡を撮影するために、一定の時間間隔で撮影された複数の画像データを比較明合成する撮像装置が知られている（例えば、特許文献１参照）。
【０００３】
ところで、比較明合成に使用される画像データには、撮影者が意図しない高輝度の画像データ、例えば、車のヘッドライトの光に照らされた建物の画像データが含まれるときがある。このような高輝度の画像データを含む画像データを使用して比較明合成を行うときは、比較明合成後の画像データに撮影者が意図しない高輝度の画像データが含まれて比較明合成後の画像データの一部の輝度が上昇するため、比較明合成後の画像データ全体において比較的輝度の低い星の光跡の画像データの鮮明さが失われる場合がある。
【０００４】
これに対応して、特許文献１の撮像装置では、比較明合成する２つの画像データの夫々が複数の領域に分割され、分割された領域毎の輝度平均値が算出されると共に２つの画像データにおいて対応する領域の輝度平均値の差が算出され、当該算出された輝度平均値の差がユーザによって予め設定された閾値を超えた領域は２つの画像データを比較明合成するときに使用されない。車のヘッドライトの光に照らされた建物の画像データは一時的に高輝度となるのみであり、異なるタイミングで撮影された第１の画像データと第２の画像データとのいずれにおいても当該建物の画像データが高輝度であることがないため、特許文献１の撮像装置は高輝度の建物の画像データを合成後の画像データから除外することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１７２３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の撮像装置では、算出された輝度平均値の差がユーザによって予め設定された閾値を超えた領域は２つの画像データを比較明合成するときに使用されないため、閾値次第、例えば、閾値を比較的小さい値に設定した場合、比較明合成の際に撮影者が意図しないような高輝度の建物の画像データだけでなく比較的高輝度な星の画像データも合成後の画像データから除外される可能性があり、撮影者が意図しない画像データだけを効果的に除外できないおそれがある。
【０００７】
本発明の目的は、撮影者が意図しない画像データだけを効果的に除外できる画像処理装置及びその方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、異なるタイミングで撮影された第１の画像データ及び第２の画像データを比較明合成又は比較暗合成によって合成する合成手段と、前記第１の画像データを第１の領域及び第２の領域に分割すると共に、前記第２の画像データを前記第１の領域及び前記第２の領域の夫々に対応するように第３の領域及び第４の領域に分割する分割手段とを備え、前記合成手段は、前記第１の領域及び前記第３の領域、並びに前記第２の領域及び前記第４の領域を夫々前記比較明合成又は前記比較暗合成によって合成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影者が意図しない画像データだけを効果的に除外できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る画像処理装置としてのデジタルカメラの内部構成を示すブロック図である。
【図２Ａ】図１のデジタルカメラによって露光開始時間がｔ０のときに撮影された画像データを説明するために用いられる図である。
【図２Ｂ】図１のデジタルカメラによって露光開始時間がｔ１のときに撮影された画像データを説明するために用いられる図である。
【図２Ｃ】図２Ａ及び図２Ｂの各画像データを比較暗合成した画像データを説明するために用いられる図である。
【図２Ｄ】図２Ｃの画像データから領域分割部によってエッジを検出したエッジ検出画像データを説明するために用いられる図である。
【図３Ａ】図１のデジタルカメラによって露光開始時間がｔ０のときに撮影された画像データを説明するために用いられる図である。
【図３Ｂ】図１のデジタルカメラによって露光開始時間がｔ１のときに撮影された画像データを説明するために用いられる図である。
【図３Ｃ】図３Ａ及び図３Ｂの各画像データを比較明合成又は比較暗合成した画像データを説明するために用いられる図である。
【図３Ｄ】図１のデジタルカメラによって露光開始時間がｔ２のときに撮影された画像データを説明するために用いられる図である。
【図３Ｅ】図３Ｃ及び図３Ｄの各画像データを比較明合成又は比較暗合成した画像データを説明するために用いられる図である。
【図４】図１におけるＣＰＵによって実行されるインターバル撮影処理の手順を示すフローチャートである。
【図５】図４のステップＳ４０６で実行される分割処理の手順を示すフローチャートである。
【図６】図４のステップＳ４０８で実行される領域別合成処理の手順を示すフローチャートである。
【図７】図６のステップＳ６０３で実行される領域判定処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１２】
図１は、本発明の実施の形態に係る画像処理装置としてのデジタルカメラ１００の内部構成を示すブロック図である。
【００１３】
デジタルカメラ１００は、撮影レンズ１０１、絞り１０２，１０３、撮像部１０４、Ａ／Ｄ変換部１０５、タイミングジェネレータ（以下、「ＴＧ」という）１０６、メモリ１０７、画像処理部１０８、記録Ｉ／Ｆ１０９、表示Ｉ／Ｆ１１０、モニタ１１１、操作部１１２、ＣＰＵ１１３、システムバス１１４、記録媒体１１５、領域分割部１１６、及び画像合成部１１７を備える。
【００１４】
Ａ／Ｄ変換部１０５、メモリ１０７、画像処理部１０８、記録Ｉ／Ｆ１０９、表示Ｉ／Ｆ１１０、ＣＰＵ１１３、領域分割部１１６、及び画像合成部１１７は、システムバス１１４を介して互いに接続され、記録Ｉ／Ｆ１０９及び表示Ｉ／Ｆ１１０には記録媒体１１５及びモニタ１１１が夫々接続されている。また、ＣＰＵ１１３には絞り１０２，１０３、ＴＧ１０６、及び操作部１１２が接続され、ＴＧ１０６には撮像部１０４及びＡ／Ｄ変換部１０５が接続され、Ａ／Ｄ変換部１０５には撮像部１０４が接続されている。
【００１５】
撮影レンズ１０１は、例えば、ズームレンズ及びフォーカスレンズを含む複数のレンズから構成され、レンズ駆動部（不図示）によって光軸方向に移動される。絞り１０２，１０３は撮影レンズ１０１を介して入射される光量を調節する。撮像部１０４は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子で構成される。Ａ／Ｄ変換部１０５はアナログ信号をデジタル信号に変換する。ＴＧ１０６は撮像部１０４及びＡ／Ｄ変換部１０５に対してタイミングパルスを供給し、撮像部１０４及びＡ／Ｄ変換部１０５の駆動タイミングを制御する。メモリ１０７は撮影された画像データや複数の画像データが合成された画像データを格納すると共にＡ／Ｄ変換部１０５によって変換されたデジタル信号を記録する。
【００１６】
画像処理部１０８は画像データに対する処理、例えば、画像データの諧調輝度の変更を実行する。モニタ１１１は、例えば、液晶モニタであり、撮影された画像データ、並びに明るさ及びコントラストの調整を行うための画面が表示される。ＣＰＵ１１３は、ＲＯＭ（不図示）に格納されたシーケンスプログラムを実行して、デジタルカメラ１００を制御する。記録媒体１１５はハードディスクや半導体メモリを内蔵したメモリカードであり、例えば、画像データを格納する。操作部１１２はレリーズボタンや操作ボタンを有する。
【００１７】
領域分割部１１６はメモリ１０７に格納された画像データを分割する。また、領域分割部１１６は画像データにおける明暗の境界部であるエッジを検出する。画像合成部１１７はメモリ１０７に格納された、例えば、２つの画像データを合成する。画像合成部１１７は、領域分割部１１６によって分割された領域毎に画像データを合成してもよく、２つの画像データは、例えば、比較明合成又は比較暗合成によって合成される。
【００１８】
なお、比較明合成とは、異なるタイミングで撮影された２つの画像データを合成する際に、同じアドレスの一方の画像データを構成する画素の各々と他方の画像データを構成する画素の各々とを比較し、より輝度の高い画素の輝度を採用して画像データを合成する方法である。また、比較暗合成とは、異なるタイミングで撮影された２つの画像データを合成する際に、同じアドレスの一方の画像データを構成する画素の各々と他方の画像データを構成する画素の各々とを比較し、より輝度の低い画素の輝度を採用して画像データを合成する方法である。
【００１９】
図２Ａ乃至図２Ｄは、図１の領域分割部１１６によって画像データを複数の領域に分割する方法を説明するために用いられる図である。
【００２０】
図２Ａ及び図２Ｂは、図１のデジタルカメラ１００によって撮影された画像データを説明するために用いられる図である。図２Ａの画像データは撮影時にデジタルカメラ１００が露光を開始する時間（以下、「露光開始時間」という）がｔ０のときに撮影されており、図２Ｂの画像データは露光開始時間ｔ０から一定の時間が経過した露光開始時間ｔ１のときに撮影されている。図２Ａの画像データには星２０１，２０２及び建物２０３が存在し、図２Ｂの画像データには星２０１，２０２と夫々同一である星２０４，２０５及び建物２０３が存在する。なお、星２０１，２０２は地球の自転に起因して時間の経過とともに星２０４，２０５の位置に移動する。
【００２１】
図２Ｃは、図２Ａ及び図２Ｂの各画像データを比較暗合成した画像データを説明するために用いられる図である。露光開始時間ｔ０から露光開始時間ｔ１までの間に星２０１，２０２は星２０４，２０５の位置に移動しているので、図２Ｂにおいて星２０１，２０２の位置に対応する位置には星２０１，２０２は存在せず、当該位置の輝度は極めて低い。同様に、図２Ａにおいて星２０４，２０５の位置に対応する位置には星２０４，２０５は存在せず、当該位置の輝度は極めて低い。そのため、図２Ａ及び図２Ｂの画像データが比較暗合成された場合、合成された画像データにおいて、星２０１，２０２に対応する位置及び星２０４，２０５に対応する位置には、星２０１，２０２及び星２０４，２０５は存在せず、合成された画像データには建物２０３のみが存在する（図２Ｃ）。
【００２２】
図２Ｄは、図２Ｃの画像データから領域分割部１１６によってエッジを検出したエッジ検出画像データを説明するために用いられる図である。図２Ｃの画像データには建物２０３のみが存在しており、エッジを検出したときは画像データの明暗の境界部として建物２０３の輪郭のみが検出される（図２Ｄ）。
【００２３】
上述したように、図２Ａ及び図２Ｂの画像データを比較暗合成することによって合成された画像データには星２０１，２０２及び星２０４，２０５が存在しないので、図２Ａ及び図２Ｂの画像データを星が存在する領域（以下、「夜空の領域」という）及び星が存在しない領域（以下、「夜空以外の領域」という）に分割する場合、エッジが検出された領域は夜空以外の領域であると特定できる。すなわち、エッジを境界として画像データを夜空以外の領域及び夜空の領域に分割できる。
【００２４】
図２Ａ乃至図２Ｄの画像データを複数の領域に分割する方法によれば、図２Ａの画像データ及び図２Ｂの画像データが比較暗合成によって合成され、合成された画像データ（図２Ｃ）からエッジが検出され（図２Ｄ）、エッジを境界として画像データを夜空以外の領域及び夜空の領域に分割できるので、後述する図３Ａ乃至図３Ｅにおいて画像データを合成する際に、比較暗合成を適用すべき夜空以外の領域（高輝度の領域）及び比較明合成を適用すべき夜空の領域（低輝度の領域）を正確に区分することができ、これにより、画像データに依存しない所定の法則、例えば、画像データを所定のブロックに区分けする方法に従って画像データを複数の領域に分割し、分割された各領域に比較暗合成又は比較明合成を適用する場合に比べて、比較暗合成及び比較明合成の適用の正確性を向上することができる。
【００２５】
なお、画像データは、デジタルカメラ１００から被写体までの距離に基づいて分割されてもよい。例えば、図２Ａの画像データにおいて、被写体として星２０１，２０２及び建物２０３が検出され、デジタルカメラ１００から星２０１，２０２及び建物２０３までの夫々の距離が三角測距や位相差方式等によって測定される。デジタルカメラ１００から星２０１，２０２までの距離はデジタルカメラ１００から建物２０３までの距離に比べて極めて長いので、画像データは星２０１，２０２を含む領域及び建物２０３を含む領域に分割される。このとき、星２０１，２０２を含む領域が夜空の領域に該当し、建物２０３を含む領域が夜空以外の領域に該当する。
【００２６】
図３Ａ乃至図３Ｅは、画像合成部１１７が複数の画像データを合成する際に、領域分割部１１６によって画像データから分割された領域の各々について合成する方法を説明するために用いられる図である。
【００２７】
図３Ａ、図３Ｂ、及び図３Ｄは図１のデジタルカメラ１００によって撮影された画像データを説明するために用いられる図である。図３Ａの画像データは露光開始時間がｔ０のときに撮影されており、図２Ｂの画像データは露光開始時間ｔ０から一定の時間が経過した露光開始時間ｔ１のときに撮影されており、図３Ｄの画像データは露光開始時間ｔ１から更に一定の時間が経過した露光開始時間ｔ２のときに撮影されている。
【００２８】
図３Ａの画像データには星３０１，３０２及び建物２０３が存在し、図３Ｂの画像データには星３０３，３０４と建物２０３が存在し、図３Ｄの画像データには星３０５，３０６、建物２０３、及び偶然通りがかった車（不図示）によって照射された高輝度光３０７が存在する。
【００２９】
図３Ａ乃至図３Ｅの複数の画像データを合成する方法では、前提として上述の図２Ａ乃至図２Ｄの画像データを複数の領域に分割する方法により、画像データが夜空以外の領域及び夜空の領域に分割されており、分割された夜空以外の領域及び夜空の領域の各々について図３Ａ、図３Ｂ、及び図３Ｄの画像データを合成する。具体的には、図３Ａの夜空の領域及び図３Ｂの夜空の領域を比較明合成し、図３Ａの夜空以外の領域及び図３Ｂの夜空以外の領域を比較暗合成する。これにより、星３０１〜３０４及び建物２０３が存在する画像データが得られる（図３Ｃ）。
【００３０】
次に、夜空以外の領域及び夜空の領域の各々について図３Ｃ及び図３Ｄの画像データを合成する。具体的には、図３Ｃの夜空の領域及び図３Ｄの夜空の領域を比較明合成し、図３Ｃの夜空以外の領域及び図３Ｄの夜空以外の領域を比較暗合成する。このとき、高輝度光３０７によって一時的に図３Ｃ又は図３Ｄの夜空以外の領域が高輝度の領域となった場合であっても、図３Ｃの夜空以外の領域及び図３Ｄの夜空以外の領域は比較暗合成によって合成されるので、合成後の画像データから高輝度光３０７が除外され、星３０１〜３０６及び建物２０３のみが存在する画像データが得られる（図３Ｅ）。
【００３１】
図３Ａ乃至図３Ｅの複数の画像データを合成する方法によれば、図３Ａ、図３Ｂ、図３Ｄの夜空以外の領域は比較明合成によって合成され、図３Ａ、図３Ｂ、図３Ｄの夜空の領域は比較暗合成によって合成される。このように、分割された領域毎に比較明合成又は比較暗合成を使い分けすることができるので、撮影者が意図しない高輝度光３０７が発生した場合、当該高輝度光３０７を含む分割された領域（夜空以外の領域）の合成に比較暗合成を用いることによって合成された画像データから高輝度光３０７だけを効果的に除外できる。
【００３２】
図４は、図１におけるＣＰＵ１１３によって実行されるインターバル撮影処理の手順を示すフローチャートである。インターバル撮影とは、例えば、夜空を移動する星の光跡を撮影する際に、予め設定された時間間隔で露光動作が開始される撮影である。
【００３３】
図４において、インターバル撮影を実行するために、露光動作が開始される時間間隔がユーザによって設定され（ステップＳ４０１）、露光動作を開始する時間が経過したか否かを判別する（ステップＳ４０２）。ステップＳ４０２の判別の結果、露光動作を開始する時間が経過していないときはステップＳ４０２に戻り、露光動作を開始する時間が経過したときは後述する分割処理が実行されているか否かを判別する（ステップＳ４０３）。
【００３４】
ステップＳ４０３の判別の結果、既に分割処理が実行されているときは、露光動作を開始し（ステップＳ４０４）、分割処理が実行されていないときは、分割処理を実行できるか否かを判別する（ステップＳ４０５）。ステップＳ４０５の判別の結果、分割処理を実行できるときは分割処理を実行して画像データを複数の領域に分割し（ステップＳ４０６）、ステップＳ４０４に進む。一方、分割処理を実行できないとき（ステップＳ４０５でＮＯ）は露光動作を開始して（ステップＳ４０７）、ステップＳ４０２に戻る。
【００３５】
次に、後述する領域別合成処理を実行して画像データから分割された領域毎に画像データを合成し（ステップＳ４０８）、インターバル撮影の終了が指示されたか否かを判別する（ステップＳ４０９）。インターバル撮影の終了が指示されていないときはステップＳ４０２に戻り、インターバル撮影の終了が指示されたときは本処理を終了する。
【００３６】
図５は、図４のステップＳ４０６で実行される分割処理の手順を示すフローチャートである。
【００３７】
図５において、まず、図２Ａ乃至図２Ｄの画像データを複数の領域に分割する方法に従い、分割処理に使用する２つの画像データを取得し（ステップＳ５０１）、取得された２つの画像データを比較暗合成によって合成し（ステップＳ５０２）、合成した画像データのエッジを検出し（ステップＳ５０３）、検出されたエッジを境界として画像データを複数の領域、例えば、夜空以外の領域及び夜空の領域に分割して（ステップＳ５０４）、本処理を終了する。
【００３８】
図６は、図４のステップＳ４０８で実行される領域別合成処理の手順を示すフローチャートである。領域別合成処理では、原則として図３Ａ乃至図３Ｅの複数の画像データを合成する方法に従い、図５の分割処理によって画像データから分割された領域毎に画像データを合成する。
【００３９】
図６において、分割された複数の領域のうち合成する２つの領域を特定し（ステップＳ６０１）、特定された領域に対して後述する領域判定処理を実行して当該領域に比較明合成又は比較暗合成のいずれを適用するかを決定し（ステップＳ６０２）、特定された画像データの領域に対して比較明合成又は比較暗合成を行い（ステップＳ６０３）、合成後の画像データをメモリ１０７に格納し（ステップＳ６０４）、画像データから分割された全ての領域の合成が完了したか否かを判別する（ステップＳ６０５）。
【００４０】
ステップＳ６０５の判別の結果、画像データから分割された全ての領域の合成が完了していないときは、未だ合成が完了していない別の領域について合成を実行するためにステップＳ６０１に戻り、画像データから分割された全ての領域の合成が完了したときは本処理を終了する。
【００４１】
図７は、図６のステップＳ６０３で実行される領域判定処理の手順を示すフローチャートである。
【００４２】
図７において、ステップＳ６０１で特定された２つの領域の夫々の輝度値を算出すると共に、算出された輝度値に基づいて２つの領域の輝度差を算出し（ステップＳ７０１）、算出された輝度差がユーザによって予め設定された閾値（Ｙｔｈ）よりも大きいか否かを判別する（ステップＳ７０２）。算出された輝度差が閾値よりも大きいときは比較暗合成によって２つの領域を合成し（ステップＳ７０３）、算出された輝度差が閾値よりも小さいときは比較明合成によって２つの領域を合成する（ステップＳ７０４）。
【００４３】
次いで、分割された全ての領域が合成されたか否かを判別する（ステップＳ７０５）。分割された全ての領域が合成されていないときはステップＳ７０１に戻り、分割された全ての領域が合成されているときは本処理を終了する。
【００４４】
図４乃至図７の処理によれば、画像データが複数の領域に分割され（ステップＳ４０６，Ｓ５０４）、画像データから分割された領域毎に比較明合成又は比較暗合成のいずれかを適用して２つの画像データが合成される（ステップＳ４０８，Ｓ６０１〜６０３，Ｓ７０３，Ｓ７０４）ので、分割された領域毎に比較明合成又は比較暗合成を使い分けすることができる。なお、図４乃至図７の処理はデジタルカメラ１００が有するＣＰＵ１１３によって実行されるので、デジタルカメラ１００によって撮影された画像データを直ちに比較明合成又は比較暗合成に使用できる。
【００４５】
また、図７の処理によれば、合成する２つの領域の夫々の輝度値を算出し、算出された輝度値に基づいて当該２つの領域の輝度差を算出し（ステップＳ７０１）、算出された輝度差がユーザによって予め設定された閾値よりも大きいときは比較暗合成によって画像データを合成する（ステップＳ７０３）。設定された閾値よりも或る領域の輝度差が大きいときは撮影者の意図しない画像データ、例えば、高輝度光３０７が当該画像データに含まれていると推定されるが、これにより、高輝度光３０７が含まれていると推定される領域を比較暗合成によって合成でき、もって、合成後の画像データから撮影者が意図しない画像データだけを効果的に除外できる。
【００４６】
なお、図７の処理において、各領域で合成される２つの画像データの輝度差が予め設定された閾値を超えるか否かに基づいて各領域に適用される合成方法（比較暗合成、若しくは比較明合成）が決定されるが、分割された各領域の面積に基づいて合成方法が決定されてもよい。例えば、画像データが夜空の領域及び夜空以外の領域に分割された場合、２つの領域の面積を比較し、より面積の大きい領域が比較明合成によって合成される。夜空を移動する星の光跡を撮影する際、画像において夜空が大きい面積を占めるため、大きい面積の領域が夜空であると推定することができ、さらに、夜空であると推定された領域が比較明合成によって画像データが合成されるので、合成後の画像データから星の画像データが除外される可能性を回避できる。
【００４７】
上述した実施の形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理において、そのプログラム、及び該プログラムを格納するコンピュータ読み取り可能な記憶媒体は本発明を構成する。
【符号の説明】
【００４８】
１００  デジタルカメラ
１１３  ＣＰＵ
１１６  領域分割部
１１７  画像合成部
２０１〜２０２，２０４〜２０５，３０１〜３０６  星
２０３  建物
３０７  高輝度光
【図１】
2015216604.tif 000003
【図２Ａ】
2015216604.tif 000004
【図２Ｂ】
2015216604.tif 000005
【図２Ｃ】
2015216604.tif 000006
【図２Ｄ】
2015216604.tif 000007
【図３Ａ】
2015216604.tif 000008
【図３Ｂ】
2015216604.tif 000009
【図３Ｃ】
2015216604.tif 000010
【図３Ｄ】
2015216604.tif 000011
【図３Ｅ】
2015216604.tif 000012
【図４】
2015216604.tif 000013
【図５】
2015216604.tif 000014
【図６】
2015216604.tif 000015
【図７】
2015216604.tif 000016