(57)【特許請求の範囲】
【請求項１】
被写体像を撮像して画像を取得する撮像手段と、
前記撮像手段によって連続して撮像された複数の画像の中から、１つの画像を基準画像として選択する選択手段と、
前記選択手段によって選択された前記基準画像と、前記撮像手段によって連続して撮像された複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、
前記算出手段によって算出された前記位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手段とを備え、
前記選択手段は、前記位置ズレ量が前記所定のズレ量以下の画像が多くなるように、前記基準画像を選択することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像のうちの、最初に撮像された画像と最後に撮像された画像とを除いた画像の中から前記基準画像を選択することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像の数が奇数である場合には、前記複数の画像を時系列で並べたときの中央に位置する１枚の画像を前記基準画像として選択し、前記撮像手段によって連続して撮像された複数の画像の数が偶数である場合には、前記複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを前記基準画像として選択することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像の数が偶数である場合には、前記複数の画像を時系列で並べたときの中央に位置する２枚の画像のうち、遅い時刻に撮像された方の画像を前記基準画像として選択することを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した前記候補画像の中から、前記他の画像との位置ズレ量が最も小さい画像を前記基準画像として選択することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記選択手段は、選択した前記基準画像にブレが生じている場合には、前記候補画像の中から、前記他の画像との位置ズレ量が２番目に小さい画像を前記基準画像として選択することを特徴とする撮像装置。
【請求項７】
請求項１〜６のいずれか一項に記載の撮像装置において、
前記撮像手段によって撮像される画像は、手ブレ補正が行なわれた画像であることを特徴とする撮像装置。
【請求項８】
被写体像を撮像して画像を取得する撮像手順と、
前記撮像手順で連続して撮像した複数の画像の中から、１つの画像を基準画像として選択する選択手順と、
前記選択手順で選択した前記基準画像と、前記撮像手順で連続して撮像した複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、
前記算出手順で算出した前記位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手順とをコンピュータに実行させるための画像合成プログラムであって、
前記選択手順は、前記位置ズレ量が前記所定のズレ量以下の画像が多くなるように、前記基準画像を選択することを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および画像合成プログラムに関する。
【背景技術】
【０００２】
本撮像を複数回の連続した露光に分けて行い、各回ごとに得られた画像信号を合成して１つの露光画像を得る技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−８６３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、連続して撮像された画像間での位置ズレ量が大き過ぎる場合には、画像間で位置合わせすることができず、画像を合成できない。このため、位置合わせをすることができない画像を合成の対象から除外し、除外した画像の代わりに他の画像を用いることも考えられるが、この場合、基準画像が適切に選択されないと、合成の対象から除外される画像が多くなってしまう可能性があった。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は、被写体像を撮像して画像を取得する撮像手段と、撮像手段によって連続して撮像された複数の画像の中から、１つの画像を基準画像として選択する選択手段と、選択手段によって選択された基準画像と、撮像手段によって連続して撮像された複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、算出手段によって算出された位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手段とを備え、選択手段は、位置ズレ量が所定のズレ量以下の画像が多くなるように、基準画像を選択することを特徴とする。
本発明による画像合成プログラムは、被写体像を撮像して画像を取得する撮像手順と、撮像手順で連続して撮像した複数の画像の中から、１つの画像を基準画像として選択する選択手順と、選択手順で選択した基準画像と、撮像手順で連続して撮像した複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、算出手順で算出した位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手順とをコンピュータに実行させるための画像合成プログラムであって、選択手順は、位置ズレ量が前記所定のズレ量以下の画像が多くなるように、基準画像を選択することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、合成の対象から除外される画像が少なくなるように基準画像を選択することができる。
【図面の簡単な説明】
【０００７】
【図１】カメラの一実施の形態の構成を示すブロック図である。
【図２】６回に分けて連写撮影した場合を例示する図である。
【図３】７枚の画像を撮影した場合の各画像のズレ量を２次元座標上に配置して示した図である。
【図４】第１の実施の形態における基準画像の選択処理の流れを示すフローチャート図である。
【図５】第２の実施の形態における基準画像の選択処理の流れを示すフローチャート図である。
【図６】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。図１において、カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、バッファメモリ１４と、表示部材１５と、ＣＰＵ１６と、フラッシュメモリ１７と、カードインターフェース（Ｉ／Ｆ）１８と、操作部材１９とを備える。
【０００９】
ＣＰＵ１６、フラッシュメモリ１７、カードインターフェース１８、画像処理部１３、バッファメモリ１４および表示部材１５は、それぞれがバス２０を介して接続されている。
【００１０】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１１】
撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。
【００１２】
画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。また、後述する手持ち夜景撮影モードにおける合成処理（位置合わせ、加算）も行う。
【００１３】
表示部材１５は液晶パネルなどによって構成され、ＣＰＵ１６からの指示に応じて画像や操作メニュー画面などを表示する。バッファメモリ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する。フラッシュメモリ１７は、ＣＰＵ１６に実行させるプログラムを記憶する他に、後述するテーブルデータを記憶する。
【００１４】
ＣＰＵ１６は、フラッシュメモリ１７が記憶するプログラムを実行することにより、カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。スルー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（たとえば６０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１５】
メモリカードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。メモリカードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１６】
操作部材１９は、レリーズボタンやメニュースイッチなどを含む。操作部材１９は、撮影操作、モード切替え操作やメニュー選択操作など、各操作に応じた操作信号をＣＰＵ１６へ送出する。
【００１７】
本実施形態のカメラ１は、手持ち夜景撮影モードという撮影モードを有する。この撮影モードは、カメラ１を三脚に固定することなく、手持ちした状態で手軽に夜景撮影を行うモードである。本実施形態は、手持ち夜景撮影モード時の撮影制御に特徴を有するので、手持ち夜景撮影モード時の処理を中心に以降の説明を行う。
【００１８】
一般に、夜景撮影は被写体が暗いため、長秒時の露光時間が必要である。一方、手持ち撮影する場合は、いわゆる手ブレ限界とよばれる露光時間Ｔｌｉｍｉｔより長い露光時間では撮影画像にブレが生じるおそれがある。露光時間Ｔｌｉｍｉｔは、たとえば、撮影光学系１１の焦点距離をｆ(ｍｍ)とする場合に、１／ｆ(秒)といわれている（３５ｍｍ版カメラシステムに換算時）。
【００１９】
通常の夜景撮影では露光時間Ｔｌｉｍｉｔより長い露光時間を必要とするので、手ブレが生じないように手持ち撮影することは困難である。そこで、手持ち夜景撮影モードでは、本撮影を複数回（Ｎ回とする）の連続した露光に分けて行ない（連写撮影）、各回の撮影で得られたＮ枚分の画像信号を公知のデジタル演算技術により加算して１つの長秒時露光画像とする。なお、手持ち夜景撮影モード時の連写による撮影回数Ｎは、あらかじめ設定された固定回数でもよいし、使用者が任意に変更可能であってもよいし、ＣＰＵ１６が撮影条件に応じて変更するようにしてもよい。
【００２０】
ＣＰＵ１６は、各回の撮影における露光時間Ｔｄｉｖを、上記露光時間Ｔｌｉｍｉｔより短く、かつ連写回数Ｎを最少とするように必要な露光時間Ｔを等分することにより決定する。ここで、露光時間Ｔは、自動露出演算（ＡＥ）によって適正露出が得られるように決定される露光時間である。ＣＰＵ１６は、たとえば、上記スルー画像を構成する画像信号値に基づいて自動露出演算（ＡＥ）を行い、該スルー画像の平均的な明るさに基づいて露光時間Ｔを決定する。そして、Ｔ＝Ｎ×Ｔｄｉｖが成立し、各回の露光時間ＴｄｉｖがＴｌｉｍｉｔより短く、かつ連写回数Ｎを最小にする露光時間Ｔｄｉｖを求める。
【００２１】
ＣＰＵ１６は、Ｎ回に分けて連写撮影したＮ枚の画像について、それぞれ位置合わせをした上で加算する。例えば、各画像において所定の領域（共通の被写体を含む領域）に含まれる画像信号（約６０画素分）に基づいてエッジ検出を行い、該エッジを構成する画素位置を揃えるように位置合わせを行う。
【００２２】
ところが、Ｎ回に分けて連写撮影したＮ枚の画像のうち、前後の画像に比べてブレが大きい特異な画像が撮影される場合がある。この場合のＣＰＵ１６は、当該特異な画像に代えて、Ｎ枚の画像のうち特異でない他の画像の複製を加算に用いる。例えば、ＣＰＵ１６は、Ｎ枚の画像のうちのいずれか１枚を基準画像とし、該基準画像と他の画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定する。そして、ＣＰＵ１６は、特定した特異な画像を加算対象から除外し、該特異な画像の代わりに他の画像のいずれかを複製した画像を用いて、それらを位置合わせして加算する。
【００２３】
図２は、Ｎ＝６回に分けて連写撮影した場合を例示する図である。図２において、４枚目の画像に大きなブレが生じたと仮定する。ＣＰＵ１６は、Ｎ＝６枚の画像のうち特異でない１〜３枚目および５，６枚目の画像の中から、たとえば１枚目の画像を複製し、該複製画像で４枚目の特異な画像を代替する。これにより、複製された１枚目の画像は、他のコマの画像に比べて数多く（本例では２回）加算されることになる。
【００２４】
一般に、カメラ１による撮影画像には、アナログノイズとよばれるランダムノイズが含まれている。ランダムノイズであることから時々刻々と変化するため、連写撮影された各コマの画像には、それぞれ異なる時刻で発生した異なる状態のノイズが含まれる。一般に、互いに異なるコマの画像を加算する場合、各コマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されるので、ランダムノイズの影響は低減する。
【００２５】
しかしながら、上述したようにブレ画像を他のコマの複製画像で代替する場合、複製に用いられたコマの画像は他のコマに比べて加算回数が多くなることから、複製に用いられたコマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されにくくなる。すなわち、加算後の画像において、複製に用いられたコマに含まれるランダムノイズが目立ちやすくなるおそれが生じる。
【００２６】
本実施の形態では、このようなランダムノイズの影響を低減するために、できるだけ同じコマが複数回加算されることを防ぐように、上述した特異な画像を特定するために用いる基準画像の選択方法を工夫する。換言すると、ＣＰＵ１６は、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように基準画像の選択方法を工夫する。すなわち、本実施の形態では、ＣＰＵ１６は、基準画像を、撮影したＮ枚の画像のうちの最初に撮像された画像と最後に撮像された画像とを除いた画像の中から選択するようにする。例えば、図２に示すように６枚の画像を撮影した場合には、１枚目の画像と６枚目の画像とを除いた２〜４枚目の画像の中から基準画像を選択する。
【００２７】
なお、できるだけ同じコマが複数回加算されることを防ぐためには、Ｎ枚の画像を時系列で並べたときにできるだけ中央に位置する１枚の画像を基準画像として選択するのが好ましい。例えば、Ｎが奇数である場合には、複数の画像を時系列で並べたときの中央に位置する１枚の画像を基準画像として選択することが好ましい。また、Ｎが偶数である場合には、Ｎ枚の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択することが好ましい。以下、その理由について説明する。
【００２８】
図３は、７枚の画像を撮影した場合の各画像のズレ量を２次元座標上に配置して示した図である。この図３を用いて、本実施の形態における基準画像の選択方法によって得られるメリットを説明する。図３では、縦軸が基準画像からの縦方向のズレ量（ピクセル）、横軸が基準画像からの横方向のズレ量（ピクセル）を示している。また、円３ｃは、特異な画像を判定するための閾値を示しており、基準画像とのズレ量が該閾値よりも大きい画像、すなわち基準画像とのズレ量を示す点が円３ｃの外側に位置する画像は特異な画像と判定される。
【００２９】
この図３では、点３ａ−１から点３ａ−７、および点３ｂ−１から点３ｂ−７が７枚の画像を撮影した場合の基準画像と他の画像とのズレ量を表している。なお、点３ａ−１から点３ａ−７は、４枚目の画像を基準画像とした場合の基準画像と他の画像とのズレ量を表しており、点３ｂ−１から点３ｂ−７は、１枚目の画像を基準画像とした場合の基準画像と他の画像とのズレ量を表している。すなわち、撮影された７枚の画像は、時系列で一定の方向（ここでは右上方向）にズレ量が増加していることがわかる。例えば、レンズ１１がレンズシフト方式の手ブレ補正機構を備える場合には、手ブレ補正が行われた後の連写画像は、このように時系列で一定の方向にズレ量が増加する傾向にある。
【００３０】
まず、点３ｂ−１から点３ｂ−７に示す１枚目の画像を基準画像とした場合の特異な画像の判定例について説明する。この場合、基準画像のズレ量は０となるため、基準画像のズレ量を示す点３ｂ−１は原点に位置している。そして、２枚目の画像のズレ量を示す点３ｂ−２、３枚目の画像のズレ量を示す点３ｂ−３、４枚目の画像のズレ量を示す点３ｂ−４、５枚目の画像のズレ量を示す点３ｂ−５、６枚目の画像のズレ量を示す点３ｂ−６、７枚目の画像のズレ量を示す点３ｂ−７というように、基準画像からのズレ量は一定方向に増加していく。
【００３１】
この場合、基準画像からのズレ量が閾値より大きくなる画像、すなわち基準画像からのズレ量を示す点が円３ｃよりも外側に位置している画像は、上述した特異な画像と判定される。ここでは、点３ｂ−５、点３ｂ−６、点３ｂ−７が円３ｃの外側にあるため、５枚目、６枚目、７枚目の画像が特異な画像として判定されることになる。このように、撮影された画像のズレ量が時系列で一定の方向に増加する場合には、１枚目の画像を基準画像として選択すると、後に撮影された画像ほど基準画像からのズレ量が大きくなっていくため、これらは特異な画像と判定され易くなる。このため、特異な画像を他の画像の複製画像で代替して加算する可能性が高くなるため、上述したようにランダムノイズが増加する可能性が高くなる。これは最後に撮影された画像を基準画像として選択した場合も同様である。
【００３２】
次に、点３ａ−１から点３ａ−７に示す４枚目の画像を基準画像とした場合の特異な画像の判定例について説明する。この場合、基準画像のズレ量は０となるため、基準画像のズレ量を示す点３ａ−４は原点に位置している。そして、１枚目の画像のズレ量を示す点３ａ−１、２枚目の画像のズレ量を示す点３ａ−２、３枚目の画像のズレ量を示す点３ａ−３、５枚目の画像のズレ量を示す点３ａ−５、６枚目の画像のズレ量を示す点３ａ−６、７枚目の画像のズレ量を示す点３ａ−７は、原点に位置する点３ａ−４を中心として一定方向に増加している。
【００３３】
この場合、基準画像からのズレ量を示す全ての点が円３ｃ内に収まっており、特異な画像と判定される画像は存在しない。このため、ＣＰＵ１６は、７枚の画像全てを位置合わせの後に加算することができる。このように、撮影された画像のズレ量が時系列で一定の方向に増加する場合には、７枚の画像のうちの中ほどで撮影された画像（ここでは４枚目の画像）を基準画像として選択すると、その前後に撮影された画像の基準画像からのズレ量は小さくなるため、他の画像が特異な画像と判定され難くなる。このため、特異な画像を他の画像の複製画像で代替して加算する可能性が低くなるため、ランダムノイズの増加を防ぐことができる。
【００３４】
図４は、第１の実施の形態における基準画像の選択処理の流れを示すフローチャートである。図４に示す処理は、手持ち夜景撮影モード時に複数の画像が連写撮影されると起動するプログラムとして、ＣＰＵ１６によって実行される。
【００３５】
ステップＳ１０において、ＣＰＵ１６は、連写が完了したか否かを判断する。ステップＳ１０で肯定判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、ＣＰＵ１６は、連写によって得た画像の枚数は奇数であるか否かを判断する。
【００３６】
ステップＳ２０で肯定判断した場合には、ステップＳ３０へ進み、ＣＰＵ１６は、連写によって得た複数の画像を時系列で並べたときの中央に位置する１枚の画像を基準画像として選択して、ステップＳ５０へ進む。これに対して、ステップＳ２０で否定判断した場合には、ステップＳ４０へ進み、ＣＰＵ１６は、連写によって得た複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択して、ステップＳ５０へ進む。
【００３７】
ステップＳ５０では、ＣＰＵ１６は、上述したように、基準画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定し、特定した特異な画像を合成の対象から除外する。その後、ステップＳ６０へ進み、ＣＰＵ１６は、特異な画像以外の連写画像を位置合わせをした上で加算して、処理を終了する。
【００３８】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）ＣＰＵ１６は、位置ズレ量が所定のズレ量以下の画像が多くなるように、基準画像を選択し、該基準画像を基準として位置合わせを行って、画像を加算するようにした。具体的には、ＣＰＵ１６は、撮影したＮ枚の画像のうちの最初に撮像された画像と最後に撮像された画像とを除いた画像の中から基準画像を選択するようにするようにした。これによって、できるだけ同じコマが複数回加算されることを防いで、合成画像におけるランダムノイズの影響を低減することができる。
【００３９】
（２）ＣＰＵ１６は、連写画像の枚数が奇数である場合には、複数の画像を時系列で並べたときの中央に位置する１枚の画像を基準画像として選択し、連写画像の枚数が偶数である場合には、複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択するようにした。これによって、時系列で一定の方向にズレ量が増加する場合に、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように基準画像を選択することができる。
【００４０】
―第２の実施の形態―
上述した第１の実施の形態では、ＣＰＵ１６は、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように、Ｎ枚の画像を時系列で並べたときにできるだけ中央に位置する１枚の画像を基準画像として選択する例について説明した。これに対して、第２の実施の形態では、ＣＰＵ１６は、連写によって得た複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した候補画像の中から、他の画像との位置ズレ量が最も小さい画像を基準画像として選択する。なお、第２の実施の形態では、図１および図２は、第１の実施の形態と同様のため、説明を省略する。
【００４１】
以下、第２の実施の形態における基準画像の選択方法について説明する。例えば、連写により６枚の画像を撮影した場合には、ＣＰＵ１６は、１枚目の画像を候補画像とし、該候補画像と２〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第１の組み合わせ）を特定する。また、２枚目の画像を候補画像とし、該候補画像と３〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第２の組み合わせ）を特定する。
【００４２】
また、３枚目の画像を候補画像とし、該候補画像と４〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第３の組み合わせ）を特定する。また、４枚目の画像を候補画像とし、該候補画像と５〜６枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第４の組み合わせ）を特定する。また、５枚目の画像を候補画像とし、該候補画像と６枚目の画像との位置ズレ量を算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ（第５の組み合わせ）を特定する。
【００４３】
そして、ＣＰＵ１６は、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択する。例えば、両画像間の位置ズレ量が最も小さくなる組み合わせが、第３の組み合わせ（例えば３枚目の画像と６枚目の画像との組み合わせ）である場合には、該第３の組み合わせにおける候補画像である３枚目の画像を基準画像として選択する。これによって、最も位置ズレ量が大きい画像との位置ズレ量が最も小さくなる画像を基準画像として選択することができるため、基準画像との位置ズレ量が所定のズレ量以下となる画像を多くして、できるだけ同じコマが複数回加算されることを防ぐことができる。
【００４４】
図５は、第２の実施の形態における基準画像の選択処理の流れを示すフローチャートである。図５に示す処理は、手持ち夜景撮影モード時に複数の画像が連写撮影されると起動するプログラムとして、ＣＰＵ１６によって実行される。なお、図５においては、図４と同様の処理については、図４と同じステップ番号を付加し、ここでは図４との相違点を中心に説明する。
【００４５】
ステップＳ２１において、上述したように、ＣＰＵ１６は、各画像をそれぞれ候補画像に設定した場合の他の画像との位置ズレ量が最も大きくなる画像の組み合わせを特定する。その後、ステップＳ３１へ進み、ＣＰＵ１６は、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定する。その後、ステップＳ４１へ進む。ステップＳ４１では、ＣＰＵ１６は、ステップＳ３１で特定した組み合わせにおける候補画像を基準画像として選択し、ステップＳ５０へ進む。
【００４６】
以上説明した第２の実施の形態によれば、上述した第１の実施の形態における効果に加えて、以下のような作用効果を得ることができる。すなわち、ＣＰＵ１６は、連写によって得られた複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した候補画像の中から、他の画像との位置ズレ量が最も小さい画像を基準画像として選択するようにした。これによって、最も位置ズレ量が大きい画像との位置ズレ量が最も小さくなる画像を基準画像として選択することができるため、できるだけ同じコマが複数回加算されることを防ぐことができ、合成画像におけるランダムノイズの影響を低減することができる。
【００４７】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、ＣＰＵ１６は、連写画像の枚数が偶数である場合には、複数の画像を時系列で並べたときの中央に位置する２枚の画像のうちのいずれかを基準画像として選択するようにした。このとき、ＣＰＵ１６は、該２枚の画像のうち、遅い時刻に撮像された方の画像を基準画像として選択するようにしてもよい。これは、使用者がレリーズボタンを押下したことによって生じる像ブレは、レリーズボタンを押下した直後ほど大きく、時間の経過とともに小さくなるため、該２枚の画像のうちレリーズボタンを押下してからの経過時間が長い方の画像を基準画像とすることにより、レリーズボタン押下に伴う像ブレが小さい画像を基準画像として選択できるためである。
【００４８】
（２）上述した第２の実施の形態では、ＣＰＵ１６は、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択する例について説明した。しかしながら、ＣＰＵ１６は、両画像間の位置ズレ量が最も小さくなる組み合わせにおける候補画像に像ブレが生じているか否かを判定し、像ブレが生じている場合には、第１の組み合わせ〜第５の組み合わせの中から、両画像間の位置ズレ量が２番目に小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択するようにしてもよい。これによって、像ブレが生じている画像が基準画像として選択されることを防ぐことができる。
【００４９】
なお、両画像間の位置ズレ量が２番目に小さくなる組み合わせにおける候補画像にも像ブレが生じている場合には、両画像間の位置ズレ量が３番目に小さくなる組み合わせにおける候補画像を基準画像として選択するようにしてもよい。また、第１の実施の形態においても、同様に、ＣＰＵ１６は、選択した基準画像に像ブレが生じている場合には、該基準画像の前または後に撮影された画像（連写で最初に撮像された画像と最後に撮像された画像とを除く）を基準画像として選択するようにしてもよい。なお、画像に像ブレが生じているか否かを判定する方法は、公知のため説明を省略する。
【００５０】
（３）上述した第１および第２の実施の形態では、本発明をカメラに適用する例について説明した。しかしながら、図４や図５に示した処理を行う画像合成プログラムを図６に示すコンピュータ装置１００に実行させることにより、夜景画像合成処理装置を構成してもよい。画像合成プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像合成処理装置として使用する。この場合のコンピュータ装置１００のワークメモリ（不図示）には、連写によって得られたＮ枚の連写撮影画像が一時的に記憶される。
【００５１】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像合成プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００５２】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００５３】
１  カメラ、１１  撮影光学系、１２  撮像素子、１３  画像処理部、１４  バッファメモリ、１５  表示部材、１６  ＣＰＵ、１７  フラッシュメモリ、１８  カードインターフェース、１９  操作部材、３０  記憶媒体
【図１】
0005471917.tif 000002
【図２】
0005471917.tif 000003
【図３】
0005471917.tif 000004
【図４】
0005471917.tif 000005
【図５】
0005471917.tif 000006
【図６】
0005471917.tif 000007