(57)【要約】【課題】複数の画像を明るさに応じて合成する際に、明るさの順序に関わらず、所望の被写体を合成画像に残すことができる画像処理装置等を提供する。【解決手段】合成画像と比較画像とにおいて対応するピクセルの内の値が例えば大きい方を該当位置の新たなピクセルとして合成画像を再構成する累積比較合成処理を、比較画像が更新される毎に繰り返し行う比較合成処理部１５と、例外画像を選択する操作部２０と、例外画像におけるスレッシュレベル以上のピクセルを累積比較合成処理の例外とし該当位置の新たなピクセルとして合成画像を比較合成処理部１５に再構成させる例外処理部２６と、を備えた画像処理装置。【選択図】図１
2015130059.tif 000002
【特許請求の範囲】
【請求項１】
合成処理の対象とする画像データ群中の、ある画像データを合成画像データ、他の画像データを比較画像データとし、上記合成画像データと上記比較画像データとにおけるピクセル位置が対応するピクセルデータ同士を比較して値が大きい方と小さい方との何れか一方のみを選択する比較選択を行い、比較選択されたピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを再構成する累積比較合成処理を、上記比較画像データが更新される毎に繰り返し行う比較合成処理部と、
上記画像データ群の中から例外画像データを選択する画像データ選択部と、
上記例外画像データを構成するピクセルデータが、上記比較選択において値が大きい方を選択する場合には所定のスレッシュレベル以上であるとき、上記比較選択において値が小さい方を選択する場合には所定のスレッシュレベル以下であるときに、該当ピクセルについては上記累積比較合成処理の例外とし、該ピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを上記比較合成処理部に再構成させる例外処理を行う例外処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
上記画像データ選択部は、上記例外画像データを優先順位を付けて複数設定可能であって、
上記例外処理部は、複数の上記例外画像データにおいて同一ピクセル位置に上記累積比較合成処理の例外とするピクセルデータが複数存在する場合には、上記優先順位が最も高いピクセルデータを該当ピクセル位置の新たなピクセルデータとすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記例外処理部は階調変換処理部を備え、上記累積比較合成処理の例外とするピクセルデータを、上記比較選択において値が大きい方を選択する場合には値をより大きくするように、上記比較選択において値が小さい方を選択する場合には値をより小さくするように、上記階調変換処理部が階調変換することにより、上記例外処理を行うものであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記比較合成処理部は、画像データ中の暗時ノイズの大きさを示すノイズレベル以下のピクセルデータについては上記累積比較合成処理を行わないことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記例外処理部は、上記所定のスレッシュレベルが、画像データ中の暗時ノイズの大きさを示すノイズレベル以上となるように自動設定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記例外処理部は、上記比較選択において値が小さい方を選択する場合であっても、上記ノイズレベル以下のピクセルデータについては上記例外処理を行わないことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
被写体を撮像して画像データを生成する撮像部をさらに備え、
上記画像データ群は、上記撮像部により順次生成されるものであり、
上記比較合成処理部による上記累積比較合成処理および上記例外処理部による上記例外処理は、上記撮像部により画像データが生成される毎に行われることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記比較画像データによって表される画像を表示する表示部をさらに備え、
上記画像データ選択部は、上記撮像部による撮像の対象となっている被写体を観察しているタイミングで上記例外画像データを選択するか、上記表示部に表示されている上記比較画像データによって表される画像を観察しているタイミングで上記例外画像データを選択するか、を設定可能であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
データを記録する記録部をさらに備え、
上記画像データ群は、上記記録部に記録されたデータであり、
上記比較合成処理部による上記累積比較合成処理および上記例外処理部による上記例外処理は、上記記録部から上記画像データ群を読み出して行われることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
合成処理の対象とする画像データ群中の、ある画像データを合成画像データ、他の画像データを比較画像データとし、上記合成画像データと上記比較画像データとにおけるピクセル位置が対応するピクセルデータ同士を比較して値が大きい方と小さい方との何れか一方のみを選択する比較選択を行い、比較選択されたピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを再構成する累積比較合成処理を、上記比較画像データが更新される毎に繰り返し行う比較合成処理ステップと、
上記画像データ群の中から例外画像データを選択する画像データ選択ステップと、
上記例外画像データを構成するピクセルデータが、上記比較選択において値が大きい方を選択する場合には所定のスレッシュレベル以上であるとき、上記比較選択において値が小さい方を選択する場合には所定のスレッシュレベル以下であるときに、該当ピクセルについては上記累積比較合成処理の例外とし、該ピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを上記比較合成処理ステップに再構成させる例外処理を行う例外処理ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データにおけるピクセル位置が対応するピクセルデータ同士を値に応じて比較選択し合成画像データを得る画像処理装置、画像処理方法に関する。
【背景技術】
【０００２】
従来より、複数の画像を合成する際に、同一画素（ピクセル）位置のピクセル同士の内の、明るいピクセルを採用する比較明合成と、暗いピクセルを採用する比較暗合成と、が知られている。
【０００３】
そして、ライブビューにより合成画像を観察しながら、比較明合成撮影や比較暗合成撮影を行うことが可能な撮像装置が提案されている。
【０００４】
例えば、特開２０１３−６２７４０号公報には、撮像センサと記憶部と表示部とを備えた撮像装置において、撮像センサの露光および読み出しを所定の周期で繰り返し行って複数枚の画像を順次取得する処理であるインターバル撮影処理を行うインターバル撮影手段と、インターバル撮影処理により順次取得される複数枚の画像のうち、１枚目の画像と２枚目の画像とを用いて比較明合成処理を行って処理結果を合成画像として記憶部に記憶し、３枚目以降の画像については、画像と記憶部に記憶された合成画像とを用いて比較明合成処理を行って処理結果を新たな合成画像として記憶部に記憶する処理を繰り返し行う比較明合成手段と、第１の操作が行われた場合に、インターバル撮影処理を停止させることなく、記憶部に記憶された合成画像を表示部に表示させる合成画像表示手段と、を備える撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−６２７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば比較明合成を行う場合には、順次撮影された複数の画像における、同一ピクセル位置の複数のピクセルの中の最も明るいピクセルが採用されて合成画像に用いられるために、例えば被写体が花火である場合には、同じ位置に順次打ち上げられた輝度の高い花火と輝度の低い花火を撮影して比較明合成しても、輝度の低い花火は合成画像に残らない。また、比較暗合成を行う場合には、逆に、同一位置の輝度の高い被写体は合成画像に残らないことになる。
【０００７】
本発明は上記事情に鑑みてなされたものであり、複数の画像を明るさに応じて合成して合成画像を得る際に、明るさの順序に関わらず、所望の被写体を合成画像に残すことができる画像処理装置、画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明のある態様による画像処理装置は、合成処理の対象とする画像データ群中の、ある画像データを合成画像データ、他の画像データを比較画像データとし、上記合成画像データと上記比較画像データとにおけるピクセル位置が対応するピクセルデータ同士を比較して値が大きい方と小さい方との何れか一方のみを選択する比較選択を行い、比較選択されたピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを再構成する累積比較合成処理を、上記比較画像データが更新される毎に繰り返し行う比較合成処理部と、上記画像データ群の中から例外画像データを選択する画像データ選択部と、上記例外画像データを構成するピクセルデータが、上記比較選択において値が大きい方を選択する場合には所定のスレッシュレベル以上であるとき、上記比較選択において値が小さい方を選択する場合には所定のスレッシュレベル以下であるときに、該当ピクセルについては上記累積比較合成処理の例外とし、該ピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを上記比較合成処理部に再構成させる例外処理を行う例外処理部と、を備えている。
【０００９】
本発明のある態様による画像処理方法は、合成処理の対象とする画像データ群中の、ある画像データを合成画像データ、他の画像データを比較画像データとし、上記合成画像データと上記比較画像データとにおけるピクセル位置が対応するピクセルデータ同士を比較して値が大きい方と小さい方との何れか一方のみを選択する比較選択を行い、比較選択されたピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを再構成する累積比較合成処理を、上記比較画像データが更新される毎に繰り返し行う比較合成処理ステップと、上記画像データ群の中から例外画像データを選択する画像データ選択ステップと、上記例外画像データを構成するピクセルデータが、上記比較選択において値が大きい方を選択する場合には所定のスレッシュレベル以上であるとき、上記比較選択において値が小さい方を選択する場合には所定のスレッシュレベル以下であるときに、該当ピクセルについては上記累積比較合成処理の例外とし、該ピクセルデータを該当ピクセル位置の新たなピクセルデータとして上記合成画像データを上記比較合成処理ステップに再構成させる例外処理を行う例外処理ステップと、を有している。
【発明の効果】
【００１０】
本発明の画像処理装置、画像処理方法によれば、複数の画像を明るさに応じて合成して合成画像を得る際に、明るさの順序に関わらず、所望の被写体を合成画像に残すことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１において、撮像装置により撮像される第１の画像を示す図。
【図３】上記実施形態１において、撮像装置により撮像される第２の画像を示す図。
【図４】上記実施形態１において、撮像装置により撮像される第３の画像を示す図。
【図５】上記実施形態１において、撮像装置により撮像される第４の画像を示す図。
【図６】上記実施形態１において、第１の画像と第２の画像とを比較明合成して得られる第１の合成画像を示す図。
【図７】上記実施形態１において、第１の合成画像と第３の画像とを比較明合成して得られる第２の合成画像を示す図。
【図８】上記実施形態１において、第２の合成画像と第４の画像とを比較明合成して得られる第３の合成画像を示す図。
【図９】上記実施形態１において、第３の画像を例外画像として第１の合成画像と特殊比較明合成して得られる第２の合成画像を示す図。
【図１０】上記実施形態１において、第３の画像を例外画像としたまま、第４の画像と第２の合成画像と特殊比較明合成して得られる第３の合成画像を示す図。
【図１１】上記実施形態１における撮影画像合成の処理を示すフローチャート。
【図１２】上記実施形態１の図１１のステップＳ５における比較明合成の処理を示すフローチャート。
【図１３】上記実施形態１の図１１のステップＳ９における特殊比較明合成の処理を示すフローチャート。
【図１４】上記実施形態１において、撮像素子のＯＢ領域から読み出されたデータのヒストグラムの一例を示す線図。
【図１５】上記実施形態１において、表示部に表示されている画像を観察しながら例外画像の選択操作を行う例を示すタイミングチャート。
【図１６】上記実施形態１において、実際の被写体を観察しながら例外画像の選択操作を行う例を示すタイミングチャート。
【図１７】本発明の実施形態２における特殊比較明合成の処理を示すフローチャート。
【図１８】上記実施形態２において、例外画像が選択される前の表示部における画像の表示例を示す図。
【図１９】上記実施形態２において、例外画像が選択された後の表示部における画像の表示例を示す図。
【図２０】上記実施形態２の比較明合成において用いられる階調変換曲線の例を示す線図。
【図２１】上記実施形態２の比較暗合成において用いられる階調変換曲線の例を示す線図。
【図２２】上記実施形態２において、輝度ヒストグラムを参照しながらスレッシュレベル設定バーによりスレッシュレベルを手動で設定するときの例を示す図。
【図２３】上記実施形態２において、図２２に示したような輝度ヒストグラムの例外画像データを、図２０に示したような階調変換曲線で階調変換したときの輝度ヒストグラムの例を示す線図。
【図２４】本発明の実施形態３において、携帯情報機器を、撮像装置により画像合成を行う際の表示部および操作部として利用するときの表示部の表示例を示す図。
【図２５】上記実施形態３における記録画像合成処理を示すフローチャート。
【図２６】上記実施形態３において、図２５のステップＳ５６における画像合成の処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１３】
図１から図１６は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１４】
本実施形態は、画像処理装置を、例えば、デジタルカメラ等の撮像装置１（後述する図１８、図１９等も参照）、あるいは撮像装置１とスマートフォンやタブレットＰＣ等の携帯情報機器３（後述する図２４参照）との組み合わせ、などに適用したものとなっている。
【００１５】
図１に示すように、撮像装置１は、レンズ１１と、シャッタ１２と、撮像素子１３と、信号処理部１４と、比較合成処理部１５と、メモリ部１６と、画像処理部１７と、記録部１８と、表示部１９と、操作部２０と、システム制御部２１と、を備えている。
【００１６】
レンズ１１は、被写体の光学像を撮像素子１３上に結像する撮像光学系である。このレンズ１１の焦点位置（あるいはさらに焦点距離）は、図示しないレンズ駆動系を介してシステム制御部２１により制御される。
【００１７】
シャッタ１２は、例えば、フォーカルプレーンシャッタなどのメカニカルシャッタである。このシャッタ１２の動作は、図示しないシャッタ駆動系を介してシステム制御部２１により制御される。ただし、撮像素子１３の露光開始タイミングや露光終了タイミングを制御する素子シャッタを用いても良いし、メカニカルシャッタと素子シャッタとを組み合わせた構成であっても構わない。ここに、素子シャッタを用いる場合には、複数の画像を連続して撮影するときの画像間の撮影間隔をできるだけ小さくすることができ、撮影された画像に基づき合成処理を行えば高速で移動する被写体の軌跡を連続させることが可能になる利点がある。
【００１８】
撮像素子１３は、複数の画素（ピクセル）が２次元状に配列され、光学像を撮像して画像データを生成する撮像部である。この撮像素子１３は、例えば、ＲＧＢベイヤ配列のカラーフィルタを備えた単板式のＣＭＯＳ撮像素子（ただし、ＣＣＤ撮像素子やその他の方式の撮像素子を用いても構わない）として構成され、レンズ１１により結像された被写体の光学像を光電変換して画像データを生成し出力する。この撮像素子１３には、レンズ１１からの光が照射されないように遮光されたＯＢ（オプティカル・ブラック）領域が設けられている。そして、撮像素子１３は、図示しない撮像素子駆動回路を介してシステム制御部２１により制御されるようになっている。システム制御部２１は、累積比較合成処理を行う画像合成モードが設定されているときに撮影操作がなされると、一連の画像データ群を撮像素子１３に順次生成させるように制御する。
【００１９】
信号処理部１４は、撮像素子１３から出力された画像データに対して、相関二重サンプリング等のノイズ低減、Ａ／Ｄ変換、信号増幅などの各処理を行う。なお、図１には信号処理部１４を撮像素子１３の外部に設けた例を示したが、撮像素子１３の内部において同様の処理を行う構成であっても構わない。
【００２０】
比較合成処理部１５は、例外処理部２６と、比較部２７と、合成部２８と、を備えている。
【００２１】
例外処理部２６は、操作部２０により選択された例外画像データを構成するピクセルデータが、比較選択において値が大きい方を選択する場合には所定のスレッシュレベル以上であるとき、比較選択において値が小さい方を選択する場合には所定のスレッシュレベル以下であるときに、当ピクセルについては累積比較合成処理の例外とし、ピクセルデータを当ピクセル位置の新たなピクセルデータとして合成画像データを比較合成処理部１５に再構成させる例外処理を行う。
【００２２】
比較部２７は、２つの画像の同じピクセル位置のピクセル値の大小を比較する。
【００２３】
合成部２８は、比較部２７の判定結果に基づき、ピクセル値の置き換えによる合成処理を行う。
【００２４】
そして比較合成処理部１５は、合成処理の対象とする画像データ群中の、ある画像データを合成画像データ、他の画像データを比較画像データとし、合成画像データと比較画像データとにおけるピクセル位置が対応するピクセルデータ同士を比較部２７により比較して、値が大きい方と小さい方との何れか一方のみを選択する比較選択を行い、比較選択されたピクセルデータを当ピクセル位置の新たなピクセルデータとして合成部２８により合成画像データを再構成する累積比較合成処理を、比較画像データが更新される毎に繰り返し行う。
【００２５】
ここに、画像合成モードには、比較選択において、値が大きい方を選択する比較明合成モードと、値が小さい方を選択する比較暗合成モードとがある。以下においては、主として比較明合成モードにおける比較合成処理部１５の動作について説明するが、比較暗合成モードにおける比較合成処理部１５の動作についてもほぼ同様に考えることができる。
【００２６】
なお、比較合成処理部１５が処理する画像データがベイヤ画像データである場合には、比較部２７によるピクセル値の比較に関して例えば２通りの方法が考えられる。第１の方法は、ベイヤ画像のピクセル配列のまま１ピクセル毎にピクセル値を比較する方法である。この場合には、同一ピクセル位置であればＲＧＢの内の同一色のピクセルデータ同士を比較することができる。そして、ある画像データにおける被写体はＲ色成分が強く、他の画像データにおける被写体はＢ色成分が強い、といった場合に、比較明合成を行っても両方の被写体を残すことが可能となる。一方、第２の方法は、比較するピクセル位置における輝度信号を、周辺の他の色成分のピクセル信号を用いて生成し、生成した輝度信号同士を比較する方法である。この場合には、色味によることなく画像同士の明るさで比較することができ、比較明合成であれば明るい方の被写体を残すことが可能となる。
【００２７】
メモリ部１６は、画像データを一時的に格納するものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）などにより構成されている。このメモリ部１６は、第１メモリ領域１６ａと第２メモリ領域１６ｂとを含んでおり、さらに図示はしないが他の画像処理等に使用するメモリ領域も含んでいる。
【００２８】
第１メモリ領域１６ａは、本実施形態においては、画像合成モードが設定されているときに撮影操作がなされて順次得られる一連の画像データ群の内の、まず、１枚目の画像データが得られたところでその画像データを格納する。続いて、２枚目の画像データが得られたら、比較合成処理部１５により第１メモリ領域１６ａから読み出した１枚目の画像データと合成処理され、その合成結果が再び第１メモリ領域１６ａに上書きして格納される。３枚目以降の画像データが得られたときにもこのような処理を繰り返して行い、第１メモリ領域１６ａ内の合成画像データを順次更新していく。
【００２９】
第２メモリ領域１６ｂは、本実施形態においては、操作部２０により選択された例外画像データを格納する。ここに、第２メモリ領域１６ｂが１枚の画像のみを記憶可能である場合には、例外画像データの選択が複数回行われたときに、選択される毎に記憶する画像を更新することが一処理例として考えられる。また、後述する実施形態３で説明するように、複数枚の画像を記憶可能となるように第２メモリ領域１６ｂを構成しても良い。
【００３０】
画像処理部１７は、シェーディング補正、ホワイトバランス処理、ガンマ補正、欠陥補正などの各種の補正処理や、１ピクセルに１色成分のみが存在する単板画像から１ピクセルに３色成分が揃ったカラー画像を構成するデモザイキング処理などの画像処理を行う。この画像処理部１７は、さらに、比較合成処理部１５により生成された合成画像のＲＡＷデータを記録部１８に記録することも可能となっている。
【００３１】
記録部１８は、画像データや画像データに関連する情報等を記録する記録媒体であり、具体例としては、撮像装置１の内蔵フラッシュメモリ、あるいは撮像装置１に着脱自在に構成されたメモリカードなどが挙げられる。従って、記録部１８は、撮像装置１に固有の構成でなくても構わない。
【００３２】
表示部１９は、画像データにより表される画像や、撮像装置１に係る各種の情報などを表示するものであり、例えば、ＥＶＦ（電子ビューファインダ）や、撮像装置１の背面に設けられた表示パネルなどにより構成されている。また、表示部１９として、例えば無線ＬＡＮ等を介して撮像装置１に接続されているスマートフォンやタブレットＰＣなどの携帯情報機器の表示部を利用しても構わない。この表示部１９は、後述するように、合成処理中の合成画像データによって表される合成画像や、合成画像データに対してさらに合成される新規の画像データ（比較画像データ）によって表される比較画像を表示するようになっている（図１８、図１９等参照）。
【００３３】
操作部２０は、この撮像装置１に関する各種の操作入力を行うためのものであり、具体的には、押しボタンやダイヤルなどの操作スイッチ、あるいは撮像装置１の背面に設けられた表示パネルに設けられているタッチパネルなどが幾つかの例として挙げられる。また、操作部２０として、撮像装置１の外部に設けられた装置、例えば、遠隔制御装置（リモートコントローラ）や、上述したスマートフォンやタブレットＰＣなどの携帯情報機器の遠隔コントローラ機能などを利用しても構わない。このような操作部２０は、画像データ群の中から例外処理の対象とする例外画像データを選択する画像データ選択部としても機能するようになっている。
【００３４】
システム制御部２１は、例えばＣＰＵを含んで構成され、この撮像装置１全体を統括的に制御するものである。
【００３５】
次に、図２〜図５は、撮像装置１により撮像される画像データ群の各画像の例を示す図であり、図２は撮像装置１により撮像される第１の画像Ｐ１を示す図、図３は撮像装置１により撮像される第２の画像Ｐ２を示す図、図４は撮像装置１により撮像される第３の画像Ｐ３を示す図、図５は撮像装置１により撮像される第４の画像Ｐ４を示す図である。
【００３６】
図２〜図５に示す第１〜第４の画像Ｐ１〜Ｐ４は、この順に撮像して取得されたものとし、第１〜第４の画像Ｐ１〜Ｐ４に記録されている被写体Ｑ１〜Ｑ４は例えば夜空に打ち上げられた花火を示している。ここに、被写体Ｑ１〜Ｑ４の明るさには、次のような輝度（明るさ）の大小関係
Ｑ２＞Ｑ１＞Ｑ３＞Ｑ４
があるものとする。
【００３７】
続いて、図６〜図８は、図２〜図５に示した第１〜第４の画像Ｐ１〜Ｐ４を、撮影された時刻の順に、比較明合成処理したときの合成画像の様子を示している。
【００３８】
図６は、第１の画像Ｐ１と第２の画像Ｐ２とを比較明合成して得られる第１の合成画像ＳＰ１を示す図である。被写体Ｑ２は被写体Ｑ１よりも明るいために、被写体Ｑ１と被写体Ｑ２とが重なっている部分には被写体Ｑ２のみが第１の合成画像ＳＰ１に残っている。
【００３９】
図７は、第１の合成画像ＳＰ１と第３の画像Ｐ３とを比較明合成して得られる第２の合成画像ＳＰ２を示す図である。被写体Ｑ３は被写体Ｑ１，Ｑ２よりも暗いために、被写体Ｑ１または被写体Ｑ２と重なっている被写体Ｑ３の部分は、第２の合成画像ＳＰ２には残らない。
【００４０】
図８は、第２の合成画像ＳＰ２と第４の画像Ｐ４とを比較明合成して得られる第３の合成画像ＳＰ３を示す図である。被写体Ｑ４は被写体Ｑ１〜Ｑ３よりも暗いために、被写体Ｑ１、被写体Ｑ２、または被写体Ｑ３と重なっている被写体Ｑ４の部分は、第３の合成画像ＳＰ３には残らない。
【００４１】
このように、比較明合成処理では、明るい画像部分ほど上に重なるように画像合成が行われる。
【００４２】
一方、図９および図１０は、第３の画像Ｐ３が例外画像として選択されたときの合成画像の様子を示している。
【００４３】
まず、第１の画像Ｐ１と第２の画像Ｐ２とを比較明合成して得られる第１の合成画像は、図６に示した第１の合成画像ＳＰ１と同一である。
【００４４】
次に、図９は、第３の画像Ｐ３を例外画像として第１の合成画像ＳＰ１と特殊比較明合成して得られる第２の合成画像ＳＰ４を示す図である。このときには、第３の画像Ｐ３は例外画像として選択されているために、被写体同士の明るさ順序に関わらず、被写体Ｑ３（この被写体Ｑ３はスレッシュレベル以上であるものとする）が最も上に重なるように画像合成が行われる。従って、被写体Ｑ１〜Ｑ３の上から下へ向かっての重ね合わせ順序はＱ３，Ｑ２，Ｑ１となり、被写体Ｑ３の画像部分は基本的に全て第２の合成画像ＳＰ４に残ることになる。
【００４５】
そして、図１０は、第３の画像Ｐ３を例外画像としたまま、第４の画像Ｐ４と第２の合成画像ＳＰ４と特殊比較明合成して得られる第３の合成画像ＳＰ５を示す図である。第３の画像Ｐ３は例外画像であるために、第３の合成画像ＳＰ５においても被写体Ｑ３が最も上に重なるように画像合成が行われる。従って、被写体Ｑ１〜Ｑ４の上から下へ向かっての重ね合わせ順序はＱ３，Ｑ２，Ｑ１，Ｑ４となり、被写体Ｑ３の画像部分は基本的に全て第３の合成画像ＳＰ５に残ることになる。
【００４６】
次に、図１１は撮影画像合成の処理を示すフローチャートである。
【００４７】
撮像装置１が画像合成モードにおける比較明合成モードに設定されている状態において、操作部２０の例えばレリーズボタンが押下されるなどすると、この撮影画像合成の処理が開始される。
【００４８】
するとまず、メモリ部１６を初期化する（ステップＳ１）。
【００４９】
次に、設定されているＩＳＯ感度、シャッタ速度、撮影間隔、合成枚数などに従って、システム制御部２１が撮像素子１３を制御して露光を行い（ステップＳ２）、露光後の画像データを撮像素子１３から読み出す（ステップＳ３）。
【００５０】
システム制御部２１は、操作部２０からの操作入力を監視しており、例外画像の選択操作が行われた場合には、選択された画像を例外画像として処理するように制御する。ここに、例外画像の選択操作タイミングには、例えば図１５または図１６に示すような２つのタイミングがある。
【００５１】
まず、図１５は、表示部１９に表示されている画像を観察しながら例外画像の選択操作を行う例を示すタイミングチャートである。この場合には、表示部１９に第３の画像Ｐ３が写っているタイミングで、操作部２０から例外処理指示がなされることになる。
【００５２】
一方、図１６は、実際の被写体を観察しながら例外画像の選択操作を行う例を示すタイミングチャートである。この場合には、実際の被写体を観察しているタイミング、つまり撮像素子１３により第３の画像Ｐ３を露光しているタイミングで、操作部２０から例外処理指示がなされることになる。
【００５３】
図１５に示す操作タイミングと、図１６に示す操作タイミングと、の何れを利用するかは、操作部２０を介してユーザが所望に設定することができるようになっている。すなわち、画像データ選択部である操作部２０は、撮像素子１３による撮像の対象となっている被写体を観察しているタイミングで例外画像データを選択するか、表示部１９に表示されている比較画像データ（最新の撮影により得られた画像データ）によって表される画像を観察しているタイミングで例外画像データを選択するか、を設定可能となっている。
【００５４】
また、例外画像を選択する操作としては、操作ボタンの押下、表示部１９がタッチパネル付きである場合のタッチ操作、遠隔制御装置（リモートコントローラ）や後述する実施形態３で説明するような携帯情報機器３からの遠隔操作、音声入力による操作、等の何れを用いても構わない。
【００５５】
さらに、ユーザからの入力に基づき例外画像を選択するに限るものではなく、ストロボが発光されたとき、大きな音声が入力されたとき、などのタイミングで自動的に例外画像が選択されるようにしても構わない。
【００５６】
そして、システム制御部２１は、撮像素子１３から読み出された画像が、例外画像であるか否かを判定する（ステップＳ４）。
【００５７】
ここで、例外画像でないと判定された場合には、システム制御部２１は、比較合成処理部１５に、後で図１２を参照して説明するような比較明合成処理を行わせ（ステップＳ５）、合成処理の結果得られた合成画像データを第１メモリ領域１６ａに格納する（ステップＳ６）。
【００５８】
一方、ステップＳ４において例外画像であると判定された場合には、システム制御部２１は、画像データ中の暗時ノイズの大きさを示すノイズレベル以上のレベルが所定のスレッシュレベルとなるように、比較合成処理部１５の例外処理部２６に自動設定させる（ステップＳ７）。
【００５９】
ここに、図１４は撮像素子１３のＯＢ領域から読み出されたデータのヒストグラムの一例を示す線図である。
【００６０】
撮像素子１３のＯＢ領域は光学的に遮光されているために、ＯＢ領域から読み出されたデータは暗時ノイズを含んでいる。この暗時ノイズは、撮像素子１３から読み出しを行う読出回路のランダムノイズ、暗電流に起因するショットノイズや固定パターンノイズなどを含んでいる。信号処理部１４は、ＯＢ領域から読み出されたデータに基づいて、黒画像の輝度ヒストグラムやノイズ量（ノイズの標準偏差値など）を算出するようになっている。図１４における輝度レベルが低い領域での頻度は、このような暗時ノイズが発生した画素数を示している。そこで、システム制御部２１は、発生頻度がほぼ０に漸近する輝度レベル（暗時ノイズの上限の輝度レベル）をノイズレベルＮＬとして設定し、比較合成処理部１５へ出力する。システム制御部２１が自動的に設定したノイズレベルＮＬは、図１４に示すように、表示部１９において、ＯＢ領域から読み出されたデータの輝度ヒストグラムにマーカ表示される。このマーカ表示は、輝度レベル軸に沿って移動可能となっており、自動設定されたノイズレベルＮＬを、さらに手動で調整することができるようになっている。
【００６１】
比較合成処理部１５の例外処理部２６は、受信したノイズレベルＮＬ以上の範囲内において、比較明合成処理におけるスレッシュレベルを設定するようになっている。なお、例外処理部２６が設定するスレッシュレベルは、比較暗合成処理においてもノイズレベルＮＬ以上の範囲内において設定される。
【００６２】
そして、撮像素子１３から読み出された例外画像データを、第２メモリ領域１６ｂに格納する（ステップＳ８）。
【００６３】
ステップＳ６またはステップＳ８の処理を行ったら、次に、第２メモリ領域１６ｂに格納されている例外画像データを、比較明合成の例外として、第１メモリ領域１６ａに格納されている合成画像データと合成する特殊比較明合成処理を後で図１３を参照して説明するように行う（ステップＳ９）。ただし、第２メモリ領域１６ｂに例外画像データが格納されていない場合には、この処理はスキップされる。こうして得られた合成画像は、ステップＳ２〜Ｓ１０のループを回る毎に表示部１９に更新して表示される。これにより、分割露光された複数の画像の合成画像をライブビューで観察しながら撮影することができるコンポジットライブバルブ機能が実現されている。
【００６４】
その後、操作部２０により撮影終了の指示がなされたか否かを判定する（ステップＳ１０）。この撮影終了の指示は、操作ボタンの押下、表示部１９がタッチパネル付きである場合のタッチ操作、遠隔制御装置（リモートコントローラ）や後述する実施形態３で説明するような携帯情報機器３からの遠隔操作、音声入力による操作、等の何れを用いても構わない。また、撮影枚数が予め設定されている場合には、設定枚数の撮影が行われたところでこの処理が自動的に終了する。あるいは、撮像装置１のバッテリが消耗した場合などにも、この処理が自動的に終了することになる。
【００６５】
ここで、撮影をまだ終了しない場合にはステップＳ２へ戻って次の画像の撮像を行うために、比較合成処理部１５による累積比較合成処理および例外処理部２６による例外処理は、撮像素子１３により画像データが生成される毎に行われることになる。一方、撮影を終了する場合にはこの処理を終える。
【００６６】
続いて、図１２は図１１のステップＳ５における比較明合成の処理を示すフローチャートである。
【００６７】
この処理に入ると、撮像素子１３により取得された最新の画像データである比較画像データと、第１メモリ領域１６ａに格納されている合成画像データとを、ピクセル単位で、対応するピクセル位置毎に読み込む（ステップＳ２１）。
【００６８】
次に、読み込んだ比較画像のピクセルデータが、上述したノイズレベルＮＬよりも大きいか否かを判定する（ステップＳ２２）。
【００６９】
ここで、ノイズレベルＮＬよりも大きいと判定された場合には、さらに、比較画像のピクセルデータが合成画像のピクセルデータよりも大きいか否かを判定する（ステップＳ２３）。
【００７０】
そして、大きい場合には、比較画像のピクセルデータを合成画像における新たなピクセルデータとして設定する（ステップＳ２４）。
【００７１】
このステップＳ２４の処理が終了するか、ステップＳ２２において比較画像のピクセルデータがノイズレベルＮＬ以下であると判定されるか、またはステップＳ２３において比較画像のピクセルデータが合成画像のピクセルデータ以下であると判定された場合には、全てのピクセル位置のピクセルデータの処理が終了したか否かを判定する（ステップＳ２５）。
【００７２】
ここで、まだ終了していないと判定された場合にはステップＳ２１へ行って次のピクセル位置について同様の処理を行い、全てのピクセル位置のピクセルデータの処理が終了したと判定された場合には、この比較明合成処理から図１１に示した撮影画像合成処理にリターンする。
【００７３】
次に、図１３は図１１のステップＳ９における特殊比較明合成の処理を示すフローチャートである。
【００７４】
この処理に入ると、第１メモリ領域１６ａに格納されている合成画像データと、第２メモリ領域１６ｂに格納されている例外画像データとを、ピクセル単位で、対応するピクセル位置毎に読み込む（ステップＳ３１）。
【００７５】
そして、読み込んだ例外画像のピクセルデータが、スレッシュレベル以上であるか否かを判定する（ステップＳ３２）。
【００７６】
ここで、スレッシュレベル以上であると判定された場合には、例外画像のピクセルデータを合成画像における新たなピクセルデータとして設定する（ステップＳ３３）。
【００７７】
このステップＳ３３の処理が終了するか、ステップＳ３２において例外画像のピクセルデータがスレッシュレベル未満であると判定された場合には、全てのピクセル位置のピクセルデータの処理が終了したか否かを判定する（ステップＳ３４）。
【００７８】
ここで、まだ終了していないと判定された場合にはステップＳ３１へ行って次のピクセル位置について同様の処理を行い、全てのピクセル位置のピクセルデータの処理が終了したと判定された場合には、この特殊比較明合成処理から図１１に示した撮影画像合成処理にリターンする。
【００７９】
なお、図１２に示したように、比較明合成において、比較合成処理部１５は、画像データ中の暗時ノイズの大きさを示すノイズレベル以下のピクセルデータについてはステップＳ２４の累積比較合成処理を行わない。このことは、比較合成処理として比較暗合成処理を行う場合においても同様である（従って、比較暗合成の対象となるのはピクセル値がノイズレベルよりも高いピクセルであり、特殊比較暗合成の対象となるのはピクセル値がノイズレベルよりも高く比較暗合成用に設定されたスレッシュレベル以下のピクセルである）。
【００８０】
これは次の理由による。ピクセル値がノイズレベル以下のピクセルデータについて、もし比較明合成を行うと、よりレベルが高い暗時ノイズが残ることとなってノイズ感の大きな画像となってしまう。また、ピクセル値がノイズレベル以下のピクセルデータについて、もし比較暗合成を行うと、よりレベルが低い暗時ノイズが残ることとなって暗時ノイズがつぶれ、暗部が平坦でのっぺりとした不自然な画像となってしまう。従って、比較明合成と比較暗合成との何れの場合においても、ノイズレベル以下のピクセルについては累積比較合成処理を行わないようにしている。
【００８１】
また、特殊比較明合成を行う場合には、図１１のステップＳ７において説明したようにスレッシュレベルがノイズレベル以上に設定されていて、図１３のステップＳ３２に示したようにスレッシュレベル未満のピクセルデータについては例外処理を行っていないために、必然的に例外処理部２６は、ノイズレベル未満のピクセルデータについては例外処理を行わない。また、比較選択において値が小さい方を選択する比較暗合成の例外処理となる特殊比較暗合成を行う場合には、上述したように、ピクセル値がノイズレベルよりも高いピクセルを対象としているために、ノイズレベル以下のピクセルデータについては、同様に例外処理を行わないことになる。
【００８２】
このような実施形態１によれば、合成処理の対象とする画像データ群の中から例外画像データを選択可能とし、例外画像データについては、他の画像との明るさの順序に関わらず、ピクセルデータを合成画像に用いるようにしたために、複数の画像を明るさに応じて合成して合成画像を得る際に所望の被写体を合成画像に残すことができる。
【００８３】
このとき、比較明合成の場合には所定のスレッシュレベル以上であるとき、比較暗合成の場合には所定のスレッシュレベル以下であるときに例外処理を行うようにしたために、合成画像全体が例外画像に入れ替わるのを防止しして、スレッシュレベル以上または以下の被写体のみを例外処理として合成画像に残すことが可能となる。
【００８４】
また、ノイズレベル以下のピクセルデータについては累積比較合成処理を行わないようにしたために、暗時ノイズのレベルを通常の１枚撮影の画像と同レベルに維持し、見た目に自然な画像を得ることができる。
【００８５】
このとき、スレッシュレベルがノイズレベル以上となるように自動設定することにより、複雑な操作を必要とすることなく暗時ノイズのレベルを維持することが可能となる。
【００８６】
また、比較暗合成の場合であっても、ノイズレベル以下のピクセルデータについては例外処理を行わないために、合成画像の暗時ノイズレベルを維持することができる。
【００８７】
そして、撮像素子１３により画像データが生成される毎に累積比較合成処理および例外処理を行うようにしたために、撮影時に合成画像を得ることができるだけでなく、合成画像が更新される毎に表示部１９に表示することにより、ユーザは、合成画像が変化していく様子を観察することが可能となる。
【００８８】
加えて、例外画像データを選択するタイミングをユーザが設定できるようにしたために、所望のタイミングで例外画像中の被写体を記録画像に残すことが可能となる。
［実施形態２］
【００８９】
図１７から図２３は本発明の実施形態２を示したものであり、図１７は特殊比較明合成の処理を示すフローチャートである。
【００９０】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【００９１】
上述した実施形態１の特殊比較明合成処理は、図１３に示したように、例外画像のピクセルデータがスレッシュレベル以上である場合に合成画像の該当ピクセルデータを置き換えるものであった。これに対して本実施形態の特殊比較明合成処理は、例外画像のピクセルデータに、合成画像のピクセルデータよりも優先的に用いられるような階調変換を施して、比較部２７によるピクセルデータ同士の比較をそのまま利用しながら例外処理を行うようにしたものである。
【００９２】
すなわち、本実施形態における例外処理部２６は、階調変換処理部を備え、累積比較合成処理の例外とするピクセルデータを、比較選択において値が大きい方を選択する比較明合成の場合には値をより大きくするように、比較選択において値が小さい方を選択する比較暗合成の場合には値をより小さくするように、階調変換処理部が階調変換することにより、例外処理を行うものとなっている。
【００９３】
ここで、図１８および図１９を参照して、表示部１９における画像の表示例について説明する。図１８は例外画像が選択される前の表示部１９における画像の表示例を示す図、図１９は例外画像が選択された後の表示部１９における画像の表示例を示す図である。
【００９４】
撮像装置１の背面側には、表示部１９が設けられると共に、操作部２０に含まれる操作スイッチ類が配置されている。
【００９５】
例外画像が選択される前においては、図１８に示すように、表示部１９には、合成画像１９ａと、比較画像１９ｂと、比較画像１９ｂの輝度ヒストグラム１９ｄと、スレッシュレベル設定バー１９ｅと、が表示されている。
【００９６】
合成画像１９ａとして表示されるのは、第１メモリ領域１６ａに格納されている合成画像である。
【００９７】
比較画像１９ｂとして表示されるのは、撮像素子１３により撮影された最新の画像である。
【００９８】
輝度ヒストグラム１９ｄは、表示されている比較画像１９ｂの、輝度毎の出現頻度を示すグラフである。
【００９９】
スレッシュレベル設定バー１９ｅは、輝度ヒストグラム１９ｄの輝度レベル軸に沿って移動可能に設けられ、輝度ヒストグラム１９ｄを参照しながらスレッシュレベルを手動で設定するためのものであり、操作部２０の一部を構成している。なお、スレッシュレベルが手動で設定されない場合には、スレッシュレベルとして例外処理部２６により自動で設定された値を用いることになる。
【０１００】
また、例外画像が選択された後は、図１９に示すように、表示部１９に例外画像１９ｃが追加して表示（いわゆるフリーズ表示）される。例外画像１９ｃとして表示されるのは、第２メモリ領域１６ｂに格納されている例外画像である。図１９に示す例においては、比較画像１９ｂの大きさが図１８に示したときよりも縮小され、比較画像１９ｂの下側に例外画像１９ｃが表示されている。また、例外画像１９ｃが表示されると、輝度ヒストグラム１９ｄおよびスレッシュレベル設定バー１９ｅは、例外画像１９ｃに関する表示や操作を行う機能に変更され、合成画像１９ａとして表示されるのは特殊比較明合成処理がなされた画像となる。
【０１０１】
図２２は輝度ヒストグラム１９ｄを参照しながらスレッシュレベル設定バー１９ｅによりスレッシュレベルを手動で設定するときの例を示す図である。
【０１０２】
撮像素子１３により画像が次々に撮影されると、表示部１９に表示される輝度ヒストグラム１９ｄの分布も画像毎に変化する。例えば被写体が花火である場合には、背景の夜空を示す低輝度部分の出現頻度はあまり変化しないが、花火部分を示す中〜高輝度部分は花火毎に出現頻度が変化する。このような出現頻度が変化する部分が図２２における楕円で囲んで示した部分であるとする。この場合に、スレッシュレベル設定バー１９ｅを操作して、楕円で囲んだ部分の低輝度側端がスレッシュレベルとなるように設定すれば、所望の花火部分を例外処理の対象とし、背景の夜空を例外処理の対象から外すような選択を適切に行うことが可能となる。そして、スレッシュレベルが変更されると合成結果に随時反映されるようになっており、変更後のスレッシュレベルに応じた合成画像１９ａが表示部１９に表示される。
【０１０３】
次に、図１７を参照して、本実施形態における特殊比較明合成の処理について説明する。
【０１０４】
図１１のステップＳ９において、図１７に示す特殊比較明合成の処理に入ると、第１メモリ領域１６ａに格納されている合成画像データと、第２メモリ領域１６ｂに格納されている例外画像データとを、ピクセル単位で、対応するピクセル位置毎に読み込む（ステップＳ４１）。
【０１０５】
そして、読み込んだ例外画像のピクセルデータが、ノイズレベルＮＬよりも大きいか否かを判定する（ステップＳ４２）。
【０１０６】
ここで、ノイズレベルＮＬよりも大きいと判定された場合には、さらに、例外画像のピクセルデータが、スレッシュレベル以上であるか否かを判定する（ステップＳ４３）。
【０１０７】
ここで、スレッシュレベル以上であると判定された場合には、例外画像のピクセルデータを例外処理部２６の階調変換処理部により階調変換する（ステップＳ４４）。こうして、例外画像における、スレッシュレベル以上のピクセルデータについては例外処理がなされ、スレッシュレベル未満のピクセルデータについては通常の比較明合成処理と同様の処理がなされることになる。
【０１０８】
ここに、図２０は比較明合成において用いられる階調変換曲線の例を示す線図である。
【０１０９】
比較明合成において、合成画像のピクセルデータよりも比較画像のピクセルデータが優先的に用いられるような階調変換曲線は、例えばこの図２０に示すようになっている。すなわち、変換前のピクセル値（画素値）が、スレッシュレベルＴＬ未満である場合にはピクセル値を変化させず（すなわち、ステップＳ４３において階調変換を行わないと判定され）、スレッシュレベルＴＬ以上である場合にはピクセル値を大きくするような階調変換曲線である。
【０１１０】
図２３は、図２２に示したような輝度ヒストグラムの例外画像データを、図２０に示したような階調変換曲線で階調変換したときの輝度ヒストグラムの例を示す線図である。
【０１１１】
図示のように、図２２において楕円で囲んだ部分の頻度が図２３においては低下するとともに、より高輝度部分の頻度が図２３において点線の囲みで示すように大きくなっている。
【０１１２】
また、図２１は比較暗合成において用いられる階調変換曲線の例を示す線図である。
【０１１３】
比較暗合成において、合成画像のピクセルデータよりも比較画像のピクセルデータが優先的に用いられるような階調変換曲線は、例えばこの図２１に示すようになっている。すなわち、変換前のピクセル値（画素値）が、スレッシュレベルＴＬよりも大きい場合にはピクセル値を変化させず（すなわち、ステップＳ４３と同様に階調変換を行わないと判定され）、スレッシュレベルＴＬ以下である場合にはピクセル値を小さくするような階調変換曲線である。ただし、この図２１には示していないが、ピクセル値がノイズレベルＮＬ以下であるピクセルデータについては、上述したように暗時ノイズを平坦化させないことが好ましいために、図１７のステップＳ４２における判定と同様に、階調変換を行わないようにすると良い。
【０１１４】
なお、これら図２０または図２１に示したような階調変換曲線は、ユーザが曲線形状を所望に設定することができるようにしても良い。
【０１１５】
このステップＳ４４の処理が終了するか、ステップＳ４３において例外画像のピクセルデータがスレッシュレベル未満であると判定された場合には、ステップＳ４４の処理を経たピクセルであれば階調変換後の例外画像のピクセルデータ、ステップＳ４４の処理を経ていないピクセルであれば例外画像のピクセルデータが、合成画像のピクセルデータよりも大きいか否かを比較部２７が判定する（ステップＳ４５）。
【０１１６】
ここで合成画像のピクセルデータよりも大きいと判定された場合には、階調変換前の例外画像のピクセルデータを合成画像における新たなピクセルデータとして設定する（ステップＳ４６）。このようにステップＳ４４において階調変換された例外画像のピクセルデータはステップＳ４５における比較にのみ用いられ、合成画像への置き換えデータとしては階調変換前の例外画像のピクセルデータが用いられる。
【０１１７】
このステップＳ４６の処理が終了するか、ステップＳ４２において例外画像のピクセルデータがノイズレベル以下であると判定された場合、あるいはステップＳ４５において合成画像のピクセルデータ以下であると判定された場合には、全てのピクセル位置のピクセルデータの処理が終了したか否かを判定する（ステップＳ４７）。
【０１１８】
ここで、まだ終了していないと判定された場合にはステップＳ４１へ行って次のピクセル位置について同様の処理を行い、全てのピクセル位置のピクセルデータの処理が終了したと判定された場合には、この特殊比較明合成処理から図１１に示した撮影画像合成処理にリターンする。
【０１１９】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、例外画像のピクセルデータに、合成画像のピクセルデータよりも優先的に用いられるような階調変換を施すことで例外処理を行うようにしたために、通常の比較明／暗合成と同様の比較部２７によるピクセルデータ同士の比較をそのまま利用しながら、特殊比較明／暗合成処理を行うことが可能となる。これにより、通常の比較明／暗合成に係る比較部２７の構成を特殊比較明／暗合成においても利用可能となり、比較合成処理部１５の構成を複雑にすることがない利点がある。
【０１２０】
また、合成画像のピクセル値と階調変換後の例外画像のピクセル値とを比較して何れのピクセルデータを合成画像に残すかを決定しているために、例えば比較明合成の場合、スレッシュレベル未満の明るさの例外画像のピクセルでも合成画像に残るかもしれないし、スレッシュレベル以上の明るさの例外画像のピクセルでも合成画像には残らないかもしれないことになる。従って、例外画像におけるスレッシュレベル以上の明るさ部分が切り取られて合成されるような不自然な画像でなく、輪郭が周囲に溶け込んでいくような、より自然な画像を合成することが可能となる。
［実施形態３］
【０１２１】
図２４から図２６は本発明の実施形態３を示したものであり、図２４は携帯情報機器３を撮像装置１により画像合成を行う際の表示部および操作部として利用するときの表示部の表示例を示す図である。
【０１２２】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１２３】
上述した実施形態１，２は撮影時に合成画像を生成する処理を行っていたが、本実施形態は、記録部１８に既に記録されている画像を選択して画像合成処理を行うものとなっている。さらに、本実施形態においては、画像合成処理は撮像装置１により行うが、合成対象となる画像の選択や例外画像の選択操作、合成処理を開始するための操作等は携帯情報機器３により行うようにしたものとなっている。
【０１２４】
まず、携帯情報機器３は、撮像装置１に内蔵される図示しないカメラ通信部と、例えば無線ＬＡＮ等を介して通信し、データや命令の授受を行うことができるようになっている。
【０１２５】
そして、図２４に示すように、携帯情報機器３の表示部３１は、例えばタッチパネルを備え、操作部としても機能するようになっている。この表示部３１には、撮像装置１の記録部１８から読み出した複数の画像３３が配列して再生表示されている。配列された複数の画像３３の何れかをタッチすると、タッチされた画像３３を合成処理の対象とする画像として選択することができるようになっており、ここでは画像３３ａおよび画像３３ｂが選択された画像データ群を示している。
【０１２６】
さらに、この画像データ群の内の、画像３３ｂは、チェックマークを入れることにより例外画像として選択された画像となっている。この図２４に示す例では、２つの画像３３ｂが例外画像として選択されており、例外画像としての優先順位がつけられ、つけられた優先順位が例えば数字を用いて表示されている。従って、携帯情報機器３のタッチパネル付き表示部３１は、画像データ群の中から例外処理の対象とする例外画像データを選択する画像データ選択部として機能し、例外画像データを優先順位を付けて複数設定可能である。
【０１２７】
また、表示部３１には、合成画像３４と、例外画像３５と、輝度ヒストグラム３６と、スレッシュレベル設定バー３７と、が表示されている。
【０１２８】
ここに、例外画像３５として表示されているのは、この図２４に示す例では、点線枠で囲んだ優先順位２位の画像３３ｂである。なお、本実施形態においては複数の例外画像データを設定可能であるために、例外画像３５をスライド操作すると、他の例外画像データ（例えば、優先順位１位の画像３３ｂ）を表示させることが可能となっている。
【０１２９】
そして、輝度ヒストグラム３６が例外画像３５に係る情報を示し、スレッシュレベル設定バー３７がスレッシュレベルを手動で設定するためのものであることは、図１８や図１９に示した例と同様である。
【０１３０】
さらに、表示部３１には、タッチパネルを利用することにより操作部としての機能を果たすように構成された、設定メニューボタン３２ａと、合成キャンセルボタン３２ｂと、合成開始ボタン３２ｃと、を含む操作ボタン３２が表示されている。
【０１３１】
設定メニューボタン３２ａは、合成処理として比較明合成処理と比較暗合成処理との何れを行うかを設定する操作や、例外画像として選択された画像が複数である場合に優先順位を設定する操作などを行うために用いられる。
【０１３２】
合成キャンセルボタン３２ｂは、合成処理を中止する操作を行う場合に用いられる。
【０１３３】
合成開始ボタン３２ｃは、設定されている内容で画像合成を開始する操作を行う場合に用いられる。この合成開始ボタン３２ｃが押されると、画像合成処理開始命令が携帯情報機器３から撮像装置１へ送信され、撮像装置１において図２６に示すような画像合成処理が行われる。この画像合成処理の結果得られた画像は、撮像装置１から携帯情報機器３へ送信され、上述したように合成画像３４として表示される。
【０１３４】
図２５は、記録画像合成処理を示すフローチャートである。
【０１３５】
この処理を開始すると、撮像装置１の記録部１８に記録されている画像を読み出して、携帯情報機器３の表示部３１に画像３３として表示する（ステップＳ５１）。
【０１３６】
その後、ユーザにより、複数の画像３３の内の幾つかの画像がタッチされ、合成対象として選択される（画像３３ａおよび画像３３ｂ参照）（ステップＳ５２）。
【０１３７】
さらに、合成対象として選択された画像の中から、ユーザにより、必要に応じて例外画像が選択される（画像３３ｂ参照）（ステップＳ５３）。ここに選択される例外画像は、上述したように、複数であっても構わない。
【０１３８】
選択された例外画像は、選択される毎に表示部３１に例外画像３５として表示され、スレッシュレベル設定バー３７を用いたスレッシュレベルの設定（もしくは、輝度ヒストグラム等に基づく自動処理によるスレッシュレベルの設定）が、例外画像３５毎に行われる（ステップＳ５４）。なお、スレッシュレベルの自動設定におけるノイズレベル算出に関しては、例えば記録画像を生成する画像処理の段階でＯＢ領域のノイズレベル（ノイズの標準偏差値など）をタグ情報に記録しておき、例外画像として選択された場合に、タグ情報から読み出したノイズレベルをスレッシュレベルとするようにしても良い。従って、スレッシュレベルは、例外画像毎に異なる値となっても構わない。
【０１３９】
さらに、例外画像として選択された画像３３ｂに対して、ユーザにより、優先順位が設定される（ステップＳ５５）。
【０１４０】
こうして、合成処理の対象となる画像データ群と、画像データ群中における例外画像データと、例外画像データが複数である場合の優先順位と、が設定されたところで、合成開始ボタン３２ｃが押される（タッチされる）と、合成処理を行い（ステップＳ５６）、合成画像が生成されたら表示部３１に合成画像３４として表示してから、この処理を終了する。
【０１４１】
なお、ステップＳ５６の処理を開始する前の何れかの段階で合成キャンセルボタン３２ｂが押された場合には、ステップＳ５６の合成処理を行うことなく、この記録画像合成処理を終了する。
【０１４２】
次に、図２６は、図２５のステップＳ５６における画像合成の処理を示すフローチャートである。
【０１４３】
この処理に入ると、まず、メモリ部１６を初期化する（ステップＳ６１）。
【０１４４】
次に、記録部１８から、合成処理の対象となった画像を１枚ずつ順次読み出す（ステップＳ６２）。
【０１４５】
すると、システム制御部２１は、読み出された画像が例外画像であるか否かを判定する（ステップＳ６３）。
【０１４６】
ここで、例外画像でないと判定された場合には、システム制御部２１は、比較合成処理部１５に、図１２に示したような比較明合成処理を行わせ（ステップＳ６４）、合成処理の結果得られた合成画像データを第１メモリ領域１６ａに格納する（ステップＳ６５）。
【０１４７】
一方、ステップＳ６３において例外画像であると判定された場合には、システム制御部２１は、例外画像を、優先順位に従って第２メモリ領域１６ｂに格納する（ステップＳ６６）。ここに、第２メモリ領域１６ｂは、複数の例外画像を、優先順位に従って振り分けて記憶可能であるものとする。
【０１４８】
ステップＳ６５またはステップＳ６６の処理を行ったら、合成処理の対象となる全ての画像について処理を行ったか否かを判定し（ステップＳ６７）、まだ全ての対象画像の処理が終了していない場合にはステップＳ６２へ戻って次の画像の処理を行う。
【０１４９】
こうして、ステップＳ６７において全ての対象画像の処理が終了したと判定された場合には、次に、第２メモリ領域１６ｂに記憶されている例外画像を、優先順位が低い順に処理対象に設定する（ステップＳ６８）。
【０１５０】
そして、図１３または図１７に示したような特殊比較明合成処理を行い（ステップＳ６９）、全ての例外画像についての処理が終了したか否かを判定する（ステップＳ７０）。
【０１５１】
このステップＳ７０においてまだ全ての例外画像の処理が行われていないと判定された場合には、次に優先順位が低い例外画像、つまりステップＳ６９の処理がまだ行われていない例外画像中の最も優先順位が低い画像について、ステップＳ６９の処理を行う。
【０１５２】
このような処理を行うことにより、例外処理部２６は、複数の例外画像データにおいて同一ピクセル位置に累積比較合成処理の例外とするピクセルデータが複数存在する場合には、優先順位が最も高いピクセルデータを当ピクセル位置の新たなピクセルデータとすることになる。つまり、図１３または図１７に示したような特殊比較明合成処理が最後に行われるのは最も優先順位が高い例外画像となり、最も優先順位が高い例外画像が最も優先的に合成結果の記録画像として残ることになる。
【０１５３】
こうして、ステップＳ７０において全ての例外画像の処理が行われたと判定された場合には、この処理から図２５に示した処理に復帰する。
【０１５４】
なお、上述では記録部１８に記録済みの画像に基づく合成処理を、撮像装置１と携帯情報機器３との組み合わせにより行ったが、勿論これは一例であり、撮像装置１単体で行っても良いし、記録部１８に記録されている画像データを撮像装置１からパーソナルコンピュータ等に転送してパーソナルコンピュータにより画像処理プログラムを実行し合成するようにしても構わないし、撮像装置１で取得された画像データをネットワーク等を経由して転送し例えばインターネット上において合成処理するようにしても良いし、特定の構成に限定されるものではない。
【０１５５】
このような実施形態３によれば、比較合成処理部１５による累積比較合成処理および例外処理部２６による例外処理を、記録部１８から読み出した画像データ群に基づいて行うことによっても、上述した実施形態１，２とほぼ同様の効果を奏することができる。
【０１５６】
そして、優先順位が高い例外画像ほど特殊比較明合成処理が後に行われるようにしたために、記録画像として残したい例外画像が順位に従って優先された合成画像を得ることが可能となる。
【０１５７】
なお、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行う画像処理方法であっても良いし、コンピュータに画像処理方法を実行させるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１５８】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１５９】
１…撮像装置
３…携帯情報機器
１１…レンズ
１２…シャッタ
１３…撮像素子（撮像部）
１４…信号処理部
１５…比較合成処理部
１６…メモリ部
１６ａ…第１メモリ領域
１６ｂ…第２メモリ領域
１７…画像処理部
１８…記録部
１９…表示部
１９ａ，３４…合成画像
１９ｂ…比較画像
１９ｃ，３５…例外画像
１９ｄ，３６…輝度ヒストグラム
１９ｅ，３７…スレッシュレベル設定バー
２０…操作部（画像データ選択部）
２１…システム制御部
２６…例外処理部（階調変換処理部を含む）
２７…比較部
２８…合成部
３１…表示部（画像データ選択部）
３２…操作ボタン
３２ａ…設定メニューボタン
３２ｂ…合成キャンセルボタン
３２ｃ…合成開始ボタン
３３，３３ａ，３３ｂ…画像
【図１】
2015130059.tif 000003
【図２】
2015130059.tif 000004
【図３】
2015130059.tif 000005
【図４】
2015130059.tif 000006
【図５】
2015130059.tif 000007
【図６】
2015130059.tif 000008
【図７】
2015130059.tif 000009
【図８】
2015130059.tif 000010
【図９】
2015130059.tif 000011
【図１０】
2015130059.tif 000012
【図１１】
2015130059.tif 000013
【図１２】
2015130059.tif 000014
【図１３】
2015130059.tif 000015
【図１４】
2015130059.tif 000016
【図１５】
2015130059.tif 000017
【図１６】
2015130059.tif 000018
【図１７】
2015130059.tif 000019
【図１８】
2015130059.tif 000020
【図１９】
2015130059.tif 000021
【図２０】
2015130059.tif 000022
【図２１】
2015130059.tif 000023
【図２２】
2015130059.tif 000024
【図２３】
2015130059.tif 000025
【図２４】
2015130059.tif 000026
【図２５】
2015130059.tif 000027
【図２６】
2015130059.tif 000028