(57)【要約】【課題】連続撮影された画像に対するぶれ補正を安価且つ高精度に実現する。連続撮影される通常露光画像のぶれを短露光画像を用いて補正する際に生じる必要メモリ容量の増大を低減する。【解決手段】連写撮影指示に従ってｍ枚の通常露光画像とｎ枚の短露光画像とから成る被記録画像列を連続的に撮影し、それらの画像データを記録媒体に記録する（ｍ及びｎは整数）。この際、ｍ＞ｎが成立するように、通常露光画像と短露光画像との撮影枚数割合を設定する。更に、連写撮影前に得られたプレビュー画像間の位置ずれ量（ＤA）に基づいて、ｍに対するｎの比を可変設定する。その位置ずれ量が大きい場合はその比を増大させ、その位置ずれ量が小さい場合はその比を減少させる。【選択図】図７
2009153046.tif 000002
【特許請求の範囲】
【請求項１】
所定の連写撮影指示に従う撮像手段の連続的な撮影によって得られた時系列で並ぶ画像列中に、ｍ枚の第１画像及び前記第１画像の露光時間よりも短い露光時間の撮影によるｎ枚の第２画像が含まれるように前記撮像手段を制御する撮影制御手段と（但し、ｍ及びｎは整数であって且つｍ＞ｎ≧１）、
前記ｍ枚の第１画像の中から１枚の第１画像を補正対象画像として抽出する補正対象画像抽出手段と、
前記ｎ枚の第２画像の中から１枚の第２画像を参照画像として抽出する参照画像抽出手段と、
前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えた
ことを特徴とするぶれ補正装置。
【請求項２】
前記画像列の撮影前に前記撮像手段から得られた複数の画像間の位置ずれ量を検出する第１位置ずれ検出手段を更に備え、
前記撮影制御手段は、第１位置ずれ検出手段の検出結果に基づいて、ｍに対するｎの比を設定する
ことを特徴とする請求項１に記載のぶれ補正装置。
【請求項３】
前記ｍ枚の第１画像は、ｍA枚の第１画像と前記ｍA枚の第１画像よりも後に撮影されるｍB枚の第１画像から形成され（但し、ｍA及びｍBは整数であって、ｍA≧２、ｍB≧１、ｍ＝ｍA＋ｍB）、
当該ぶれ補正装置は、前記ｍA枚の第１画像間の位置ずれ量を検出する第１位置ずれ検出手段を更に備え、
前記撮影制御手段は、第１位置ずれ検出手段の検出結果に基づいて、ｍBに対するｎの比を設定する
ことを特徴とする請求項１に記載のぶれ補正装置。
【請求項４】
前記撮影制御手段は、ｎ＝１とし、前記ｍ枚の第１画像の撮影前又は撮影後に１枚だけ第２画像が取得されるように、或いは、ｎ＝２とし、前記ｍ枚の第１画像の撮影前と撮影後に１枚ずつ第２画像が取得されるように、前記撮像手段を制御する
ことを特徴とする請求項１に記載のぶれ補正装置。
【請求項５】
前記補正対象画像と前記参照画像との間の位置ずれ量を検出する第２位置ずれ検出手段を更に備え、
前記補正処理手段は、前記第２位置ずれ検出手段の検出結果を用いた、前記補正対象画像と前記参照画像との間の位置ずれ補正を介して、前記補正対象画像のぶれを補正し、
前記第２位置ずれ検出手段は、前記ｍ枚の第１画像及び前記ｎ枚の第２画像を時系列で並べた場合において前記補正対象画像としての前記第１画像と前記参照画像としての前記第２画像との間に他の画像が存在するとき、前記他の画像と前記補正対象画像と前記参照画像とから成る累積対象画像列を特定し、累積対象画像列を形成する時間的に隣接する２枚の画像間の位置ずれ量を夫々に求めて累積することにより前記補正対象画像と前記参照画像との間の前記位置ずれ量を検出する
ことを特徴とする請求項１〜請求項４の何れかに記載のぶれ補正装置。
【請求項６】
前記ｍ枚の第１画像の画像データを夫々に記録したｍ個の画像ファイルを記録手段に保存する記録制御手段を更に備え、
前記記録制御手段は、前記ｎ枚の第２画像に含まれる１枚の第２画像の画像データを、前記ｍ個の画像ファイルの内の何れか１つにのみ記録する
ことを特徴とする請求項１〜請求項５の何れかに記載のぶれ補正装置。
【請求項７】
撮影によって画像を表す信号を出力する撮像手段と、
前記撮像手段の出力信号を受ける、請求項１〜請求項６の何れかに記載のぶれ補正装置と、を備えた
ことを特徴とする撮像装置。
【請求項８】
撮影によって画像を表す信号を出力する撮像手段と、
所定の連写撮影指示を受け付ける指示受付手段と、
前記撮像手段の出力信号に基づく画像の画像データを記録する記録手段と、を備え、
前記連写撮影指示に従ってｍ枚の第１画像を前記撮像手段に連続的に撮影させて、前記ｍ枚の第１画像の画像データを前記記録手段に記録させる撮像装置において（但し、ｍは整数）、
前記連写撮影指示に従う連続的な撮影によって得られる時系列で並ぶ画像列中に、前記ｍ枚の第１画像及び前記第１画像の露光時間よりも短い露光時間の撮影によるｎ枚の第２画像が含まれるように前記撮像手段を制御する撮影制御手段と（但し、ｎは整数であって且つｍ＞ｎ≧１）、
前記画像列の画像データを前記記録手段に記録させる記録制御手段と、
前記ｍ枚の第１画像の中から１枚の第１画像を補正対象画像として抽出する補正対象画像抽出手段と、
前記ｎ枚の第２画像の中から１枚の第２画像を参照画像として抽出する参照画像抽出手段と、
前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えた
ことを特徴とする撮像装置。
【請求項９】
所定の連写撮影指示に従う撮像手段の連続的な撮影によって得られた時系列で並ぶ画像列中に、ｍ枚の第１画像及び前記第１画像の露光時間よりも短い露光時間の撮影によるｎ枚の第２画像が含まれるように前記撮像手段を制御し（但し、ｍ及びｎは整数であって且つｍ＞ｎ≧１）、
前記ｍ枚の第１画像の中から１枚の第１画像を補正対象画像として抽出する一方で、
前記ｎ枚の第２画像の中から１枚の第２画像を参照画像として抽出し、
前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する
ことを特徴とするぶれ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれ等に由来する画像のぶれを補正するぶれ補正装置及びぶれ補正方法並びに撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の一種として、手ぶれ検出センサで手ぶれを検出しその検出結果に基づいて補正レンズや撮像素子を駆動する光学式手ぶれ補正がある。
【０００３】
一方において、静止画に対する特殊撮影として、ＣＣＤ等から成る撮像部に連続的に撮影を行わせる連写撮影（所謂ブラケット撮影を含む）がある。このような連写撮影に光学式手ぶれ補正を適用することも考えられる。しかし、連写撮影回数が多いと連写撮影の開始から終了までのトータルの手ぶれ量が非常に大きくなって、補正レンズや撮像素子の必要駆動量がそれらの可動範囲を超えることがあり、この場合は連写撮影の後半部において手ぶれ補正が全く効かなくなる。また、手ぶれ検出センサの使用自体がコストアップを招いてしまう。
【０００４】
他方、手ぶれ検出センサを用いない電子式手ぶれ補正も開発されている。この電子式手ぶれ補正では、撮影によって得られた画像を解析して手ぶれを検出しその検出結果に基づいて手ぶれ補正を行う。
【０００５】
電子式手ぶれ補正に関する従来手法として、以下のものがある。ある従来手法では、補正されるべき主画像の撮影前後に副画像を複数枚撮影して、その複数の副画像から主画像撮影時のぶれ情報を推定し、そのぶれ情報から主画像のぶれを補正する（例えば、特許文献１参照）。但し、この手法では、主画像前後に得られる副画像間の動き量（露光間隔をも含んだ動き量）から主画像のぶれが推定されるため、ぶれの検出精度が低くなってしまう。
【０００６】
また他の従来手法では、手ぶれ画像を２次元周波数空間へ変換した画像から手ぶれを検出している（例えば、特許文献２参照）。具体的には、変換によって得られた画像を周波数座標の原点を中心とした円に投影し、その投影データからぶれの大きさと方向を求めるようにしている。但し、この手法では、直線的且つ等速的なぶれしか推定できず、また、被写体の特定方向における周波数成分が小さい場合、ぶれ方向の検出を失敗してしまうことがある。
【０００７】
尚、１枚の手ぶれ画像から、撮影中の手ぶれを表す手ぶれ情報（点広がり関数或いは画像復元フィルタ）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像をデジタル信号処理で生成する方式も提案されている。この種の方式の中で、フーリエ反復法を用いた方式が下記非特許文献１に開示されている。図２６にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（Point Spread Function；ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【０００８】
【特許文献１】特開２００１−３４６０９３号公報
【特許文献２】特開平１１−２７５７４号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【０００９】
手ぶれ検出センサを必要としない電子式手ぶれ補正によれば、光学式手ぶれ補正に比べて低コスト化が図れるが、連写撮影に適したものは未だ提案されていないのが実情である。
【００１０】
そこで本発明は、連続的に撮影された画像に対するぶれ補正を安価且つ高精度に実現することのできるぶれ補正装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るぶれ補正装置は、所定の連写撮影指示に従う撮像手段の連続的な撮影によって得られた時系列で並ぶ画像列中に、ｍ枚の第１画像及び前記第１画像の露光時間よりも短い露光時間の撮影によるｎ枚の第２画像が含まれるように前記撮像手段を制御する撮影制御手段と（但し、ｍ及びｎは整数であって且つｍ＞ｎ≧１）、前記ｍ枚の第１画像の中から１枚の第１画像を補正対象画像として抽出する補正対象画像抽出手段と、前記ｎ枚の第２画像の中から１枚の第２画像を参照画像として抽出する参照画像抽出手段と、前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えたことを特徴とする。
【００１２】
これにより、連続的な撮影によって得られた画像に対するぶれ補正が行われる。手ぶれ検出センサが不要であるため安価にぶれ補正装置を形成できる。また、露光時間が短いことに由来してぶれが少ないと想定される参照画像を用い、参照画像のエッジ状態を目標に補正対象画像を補正することができるため、ぶれ補正の高精度化も見込める。
【００１３】
一方で、手ぶれや被写体の動きの影響を低減するためには、ぶれ補正の目標となる第２画像を各第１画像の直前又は直後に撮影することが望ましい。しかし、第１画像を１枚撮影する度に第２画像を１枚撮影すると、第２画像を撮影しない場合と比べて２倍のメモリ容量が必要となる。また、ｍ枚の第１画像を得るために必要な撮影時間が長くなる。これを考慮し、第２画像の枚数（即ち、ｎ）を第１画像の枚数（即ち、ｍ）よりも小さくする。これにより、必要メモリ容量の増大が抑制されると共にｍ枚の第１画像を得るための撮影時間の増大が抑制される。
【００１４】
具体的には例えば、前記画像列の撮影前に前記撮像手段から得られた複数の画像間の位置ずれ量を検出する第１位置ずれ検出手段を更に備え、前記撮影制御手段は、第１位置ずれ検出手段の検出結果に基づいて、ｍに対するｎの比を設定する。
【００１５】
これに代えて例えば、前記ｍ枚の第１画像は、ｍA枚の第１画像と前記ｍA枚の第１画像よりも後に撮影されるｍB枚の第１画像から形成され（但し、ｍA及びｍBは整数であって、ｍA≧２、ｍB≧１、ｍ＝ｍA＋ｍB）、当該ぶれ補正装置は、前記ｍA枚の第１画像間の位置ずれ量を検出する第１位置ずれ検出手段を更に備え、前記撮影制御手段は、第１位置ずれ検出手段の検出結果に基づいて、ｍBに対するｎの比を設定する。
【００１６】
第１位置ずれ検出手段を用いてｍに対するｎの比又はｍBに対するｎの比を設定するようにすれば、高精度のぶれ補正を維持しつつ、必要メモリ容量の増大等を極力抑制することが可能となる。
【００１７】
或いは例えば、前記撮影制御手段は、ｎ＝１とし、前記ｍ枚の第１画像の撮影前又は撮影後に１枚だけ第２画像が取得されるように、或いは、ｎ＝２とし、前記ｍ枚の第１画像の撮影前と撮影後に１枚ずつ第２画像が取得されるように、前記撮像手段を制御する。
【００１８】
これによれば、第２画像の撮影に由来する、第１画像の撮影間隔の増大を回避することができる。
【００１９】
また具体的には例えば、前記補正対象画像と前記参照画像との間の位置ずれ量を検出する第２位置ずれ検出手段を更に備え、前記補正処理手段は、前記第２位置ずれ検出手段の検出結果を用いた、前記補正対象画像と前記参照画像との間の位置ずれ補正を介して、前記補正対象画像のぶれを補正し、前記第２位置ずれ検出手段は、前記ｍ枚の第１画像及び前記ｎ枚の第２画像を時系列で並べた場合において前記補正対象画像としての前記第１画像と前記参照画像としての前記第２画像との間に他の画像が存在するとき、前記他の画像と前記補正対象画像と前記参照画像とから成る累積対象画像列を特定し、累積対象画像列を形成する時間的に隣接する２枚の画像間の位置ずれ量を夫々に求めて累積することにより前記補正対象画像と前記参照画像との間の前記位置ずれ量を検出する。
【００２０】
これにより、補正対象画像と参照画像との間の位置ずれ量を高精度に求めることが可能となり、結果、高精度のぶれ補正が期待される。
【００２１】
また例えば、前記ｍ枚の第１画像の画像データを夫々に記録したｍ個の画像ファイルを記録手段に保存する記録制御手段を更に備え、前記記録制御手段は、前記ｎ枚の第２画像に含まれる１枚の第２画像の画像データを、前記ｍ個の画像ファイルの内の何れか１つにのみ記録する。
【００２２】
これにより、第２画像の画像データが重複記録されず、第２画像の記録に由来する必要記録容量の増大が抑制される。
【００２３】
また、本発明に係る撮像装置は、撮影によって画像を表す信号を出力する撮像手段と、前記撮像手段の出力信号を受ける上記ぶれ補正装置と、を備えたことを特徴とする。
【００２４】
また、本発明に係る他の撮像装置は、撮影によって画像を表す信号を出力する撮像手段と、所定の連写撮影指示を受け付ける指示受付手段と、前記撮像手段の出力信号に基づく画像の画像データを記録する記録手段と、を備え、前記連写撮影指示に従ってｍ枚の第１画像を前記撮像手段に連続的に撮影させて、前記ｍ枚の第１画像の画像データを前記記録手段に記録させる撮像装置において（但し、ｍは整数）、前記連写撮影指示に従う連続的な撮影によって得られる時系列で並ぶ画像列中に、前記ｍ枚の第１画像及び前記第１画像の露光時間よりも短い露光時間の撮影によるｎ枚の第２画像が含まれるように前記撮像手段を制御する撮影制御手段と（但し、ｎは整数であって且つｍ＞ｎ≧１）、前記画像列の画像データを前記記録手段に記録させる記録制御手段と、前記ｍ枚の第１画像の中から１枚の第１画像を補正対象画像として抽出する補正対象画像抽出手段と、前記ｎ枚の第２画像の中から１枚の第２画像を参照画像として抽出する参照画像抽出手段と、前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えたことを特徴とする。
【００２５】
また、本発明に係るぶれ補正方法は、所定の連写撮影指示に従う撮像手段の連続的な撮影によって得られた時系列で並ぶ画像列中に、ｍ枚の第１画像及び前記第１画像の露光時間よりも短い露光時間の撮影によるｎ枚の第２画像が含まれるように前記撮像手段を制御し（但し、ｍ及びｎは整数であって且つｍ＞ｎ≧１）、前記ｍ枚の第１画像の中から１枚の第１画像を補正対象画像として抽出する一方で、前記ｎ枚の第２画像の中から１枚の第２画像を参照画像として抽出し、前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正することを特徴とする。
【発明の効果】
【００２６】
本発明によれば、連続的に撮影された画像に対するぶれ補正を安価且つ高精度に実現することができる。
【００２７】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２９】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画を撮影及び記録可能なデジタルスチルカメラ、又は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。
【００３０】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。
【００３１】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの駆動制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
【００３２】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。
【００３３】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００３４】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。また、主制御部１３は、撮像素子３３の露光時間を制御するための露光時間制御信号を撮像部１１に出力する。
【００３５】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
【００３６】
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、画像の撮影及び記録を指示するためのボタンである。
【００３７】
シャッタボタン１７ａは２段階の押下操作が可能に形成されている。撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。
【００３８】
撮影画像は、手ぶれに起因するぶれを含みうる。主制御部１３にはぶれ補正処理を実行するぶれ補正部（ぶれ補正装置）が内在されており、このぶれ補正部は、角速度センサ等の手ぶれ検出センサを用いることなく、撮像部１１の出力信号から得られる画像データに基づいて撮影画像のぶれを補正する機能を備える。以下、ぶれ補正部によってぶれが補正されるべき撮影画像を、特に「補正対象画像」と呼び、そのぶれの補正後の画像を「ぶれ補正画像」と呼ぶ。
【００３９】
撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画または動画を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００４０】
撮影モードにおいて、ユーザが撮像装置１に連写撮影指示を与えると、記録媒体１６に記録されるべき時系列で並ぶ撮影画像列が連写撮影によって得られる。この撮影画像列を、以下「被記録画像列」と呼ぶ。連写撮影指示は、シャッタボタン１７ａに対する所定操作によって撮像装置１に与えられるものとする。被記録画像列は時系列で並ぶ複数の撮影画像から成り、その複数の撮影画像の中に補正対象画像となるべき撮影画像が含まれる。尚、勿論、操作部１７に対する所定操作によって撮像装置１に単写撮影指示を与えることも可能であり、単写撮影指示が与えられると、１枚の撮影画像が取得されて記録媒体１６に記録される。以下の説明では、シャッタボタン１７ａの押下操作によって連写撮影指示が撮像装置１に与えられるものとする。
【００４１】
連写撮影指示又は単写撮影指示の有無に拘らず、撮影モードにおいて、撮像部１１は所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行っており、この撮影によって得られた被記録画像列以外の各撮影画像を、プレビュー画像と呼ぶ。次々と得られるプレビュー画像は、順次、表示部１５上で更新表示される。
【００４２】
図３に、撮影モードにおける、プレビュー画像の撮影期間と被記録画像列の撮影期間との時間的関係を示す。順次撮影によってプレビュー画像列を取得している状態において、連写撮影指示が与えられると被記録画像列の撮影が行われ、被記録画像列の撮影が終わると、再度、プレビュー画像列が撮影される状態に移行する。
【００４３】
以下、撮像装置１の動作を詳細に説明する実施例として、第１〜第４実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。
【００４４】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図４及び図５を参照する。図４は、第１実施例に係る、撮像装置１の一部ブロック図である。図４の符号５１〜５７によって参照される各部位は、主制御部１３に含まれるぶれ補正部（図１参照）内に設けられる。
【００４５】
[撮影時の動作]
まず、撮影時の動作について説明する。図５は、第１実施例に係り、撮影モードにおける撮像装置１の撮影動作の流れを表すフローチャートである。撮影動作時には、図４の第１位置ずれ検出部５１、撮影制御部５２及び記録制御部５３が有意に機能する。
【００４６】
まず、ステップＳ１１において、主制御部１３は、シャッタボタン１７ａが半押しの状態となっているか否かを確認する。それが半押しの状態となっているとステップＳ１１からステップＳ１２に移行し、その後、シャッタボタン１７ａが全押しの状態となるまでに得られる複数のプレビュー画像を参照して、プレビュー画像間の位置ずれ量ＤAが算出される。シャッタボタン１７ａが半押しの状態となってから、それが全押しの状態となるまでの期間を「撮影準備期間」と呼ぶ。本例において、シャッタボタン１７ａを全押しの状態とする操作は連写撮影指示に相当する。尚、撮影準備期間中において公知のオートフォーカス制御がなされ、撮像素子３３上に被写体の光学像を結像するようにフォーカスレンズ３１の位置が駆動制御される（図２参照）。
【００４７】
第１位置ずれ検出部５１には、順次取得される各撮影画像の画像データが与えられる。第１実施例において、第１位置ずれ検出部５１は、撮影準備期間中に得られる、時間的に隣接するプレビュー画像間の位置ずれ量を求めることによって、位置ずれ量ＤAを算出する。位置ずれ量は、水平成分と垂直成分を含む二次元のベクトル量であり、動き量、動きベクトル又はオプティカルフローとも呼ばれる（位置ずれ量ＤA以外の、後述する各位置ずれ量についても同様）。
【００４８】
例えば、図６に示す如く、撮影準備期間中に１０枚のプレビュー画像Ｐ1、Ｐ2、・・・Ｐ8、Ｐ9及びＰ10がこの順番で撮影され、プレビュー画像Ｐ10が得られた直後にシャッタボタン１７ａが全押しの状態となって、プレビュー画像Ｐ10の次には被記録画像列を形成する１枚目の撮影画像の露光が行われる場合を考える。
【００４９】
この場合、第１位置ずれ検出部５１は、位置ずれ検出方法を用いて、時間的に隣接するプレビュー画像Ｐiとプレビュー画像Ｐi+1との間の位置ずれ量を算出する（ここで、ｉは１以上９以下の整数）。位置ずれ検出方法には、公知の代表点マッチング法、ブロックマッチング法、勾配法が含まれる。そして、例えば、被記録画像列の撮影期間の直前に得られた２枚のプレビュー画像間の位置ずれ量、即ち、プレビュー画像Ｐ9とプレビュー画像Ｐ10との間の位置ずれ量を位置ずれ量ＤAとする。或いは、３枚以上のプレビュー画像に基づく複数の位置ずれ量から位置ずれ量ＤAを求めるようにしてもよい。例えば、プレビュー画像Ｐ8とプレビュー画像Ｐ9との間の位置ずれ量とプレビュー画像Ｐ9とプレビュー画像Ｐ10との間の位置ずれ量との平均を位置ずれ量ＤAとして求めても構わない。
【００５０】
プレビュー画像間の位置ずれ量の算出と並行し、ステップＳ１３において、主制御部１３は、シャッタボタン１７ａが半押しの状態から全押しの状態に遷移したか否かを確認する。全押しの状態への遷移が確認されると、ステップＳ１４に移行する。尚、図５では、この遷移の確認前に位置ずれ量ＤAが算出されるかのように図示されているが、実際には、この遷移が確認された後に位置ずれ量ＤAが決定される。尚、位置ずれ量ＤAは、画素を単位として算出される。
【００５１】
ステップＳ１４において、撮影制御部５２は、位置ずれ量ＤAに基づいて被記録画像列の撮影パターンを決定する。被記録画像列は、ｍ枚の通常露光画像とｎ枚の短露光画像から形成される。被記録画像列の撮影パターンとは通常露光画像と短露光画像の撮影パターンとも言い換えられる。ここで、ｍは２以上の整数であり、ｎは１以上の整数であり、更に、不等式「ｍ＞ｎ」が成立する。ｍの値は、例えば操作部１７に対するユーザの操作に従って決定される。通常露光画像とは、後述の適正な露光時間ＴEPによる露光によって得られた撮影画像を意味する。一方、短露光画像は、通常露光画像の露光時間よりも短い露光時間にて得られた撮影画像を意味する。
【００５２】
以下、通常露光画像を得るための撮影を「通常露光撮影」と、短露光画像を得るための撮影を「短露光撮影」と呼ぶことがある。また、通常露光画像を表す画像データを「通常露光画像データ」と、短露光画像を表す画像データを「短露光画像データ」と呼ぶことがある。尚、本明細書では、或る画像の画像データに対して何らかの処理（記録、保存、読み出し等）を行うことを説明する文章において、記述の簡略化上、画像データの記述を省略することがある。例えば、通常露光画像の画像データの記録と、通常露光画像の記録は同義である。
【００５３】
具体的にはステップＳ１４において、撮影制御部５２は、位置ずれ量ＤAに基づいて、通常露光画像と短露光画像の撮影枚数割合、即ち、ｍとｎの比を決定する。
【００５４】
ｍ＝６である場合を想定して具体例を挙げる。以下の説明では、特に断りなき限り、ｍ＝６である場合を想定する。
【００５５】
位置ずれ量ＤAの大きさが２０画素以上である場合は、１枚の通常露光画像と１枚の短露光画像を交互に撮影する。但し、被記録画像列の内、最後に得られる撮影画像は通常露光画像であるとする。このため、６枚の通常露光画像Ａ1〜Ａ6と５枚の短露光画像Ｂ1〜Ｂ5とから成る被記録画像列が得られる。より具体的には、図７（ａ）に示す如く、画像Ａ1、Ｂ1、Ａ2、Ｂ2、Ａ3、Ｂ3、Ａ4、Ｂ4、Ａ5、Ｂ5及びＡ6の順番で連写撮影がなされる。この連写撮影に対応する撮影パターンを、以下「第１撮影パターン」と呼ぶ。
【００５６】
位置ずれ量ＤAの大きさが１０画素以上であって且つ２０画素未満である場合は、２枚の通常露光画像の撮影後に１枚の短露光画像を撮影するという撮影動作を繰り返す。但し、被記録画像列の内、最後に得られる撮影画像は通常露光画像であるとする。このため、６枚の通常露光画像Ａ1〜Ａ6と２枚の短露光画像Ｂ1及びＢ2とから成る被記録画像列が得られる。より具体的には、図７（ｂ）に示す如く、画像Ａ1、Ａ2、Ｂ1、Ａ3、Ａ4、Ｂ2、Ａ5及びＡ6の順番で連写撮影がなされる。この連写撮影に対応する撮影パターンを、以下「第２撮影パターン」と呼ぶ。
【００５７】
位置ずれ量ＤAの大きさが１０画素未満である場合は、３枚の通常露光画像の撮影後に１枚の短露光画像を撮影するという撮影動作を繰り返す。但し、被記録画像列の内、最後に得られる撮影画像は通常露光画像であるとする。このため、６枚の通常露光画像Ａ1〜Ａ6と１枚の短露光画像Ｂ1とから成る被記録画像列が得られる。より具体的には、図７（ｃ）に示す如く、画像Ａ1、Ａ2、Ａ3、Ｂ1、Ａ4、Ａ5及びＡ6の順番で連写撮影がなされる。この連写撮影に対応する撮影パターンを、以下「第３撮影パターン」と呼ぶ。
【００５８】
尚、図７（ａ）〜（ｃ）では、画像の明るさを濃淡によって表現している。短露光画像の露光時間は短いため、短露光画像の明るさ（輝度レベル）は、通常露光画像のそれよりも低い。通常露光撮影時と短露光撮影時との間で、絞り３２の開度及びＡＦＥ１２における信号増幅度は同じであるとする（但し、それらを異ならせることも可能である）。
【００５９】
このように、撮影制御部５２は、位置ずれ量ＤAに基づいて、被記録画像列に含めるべき通常露光画像の枚数と短露光画像の枚数との比を決定し、通常露光画像と短露光画像の撮影順序を上述の如く定める。
【００６０】
上述の具体例では、ｍが６であるが故に、位置ずれ量ＤAの大きさが２０画素以上である場合はｍ：ｎ＝６：５となり、位置ずれ量ＤAの大きさが１０画素以上であって且つ２０画素未満である場合はｍ：ｎ＝３：１となり、位置ずれ量ＤAの大きさが１０画素未満である場合はｍ：ｎ＝６：１となっているが、ｍを十分に大きくすると、位置ずれ量ＤAの大きさが２０画素以上である場合における比ｍ：ｎは１：１に収束してゆき、位置ずれ量ＤAの大きさが１０画素以上であって且つ２０画素未満である場合における比ｍ：ｎは２：１に収束してゆき、位置ずれ量ＤAの大きさが１０画素未満である場合における比ｍ：ｎは３：１に収束してゆく。
【００６１】
ステップＳ１４に続くステップＳ１５において、撮影制御部５２は、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づき、撮像素子３３の露光量が適正となる露光時間ＴEPを算出する。
【００６２】
続くステップＳ１６において、露光時間ＴEPと閾値時間ＴTHとを比較し、露光時間ＴEPが閾値時間ＴTHよりも短い場合、通所露光画像に手ぶれに由来するぶれは含まれない（或いは極めて軽微である）とみなして、後述のステップＳ１７に移行することなく、通常連写撮影を実行する。通常連写撮影では、被記録画像列にｍ枚の通常露光画像のみが含まれるように撮像部１１が制御される。閾値時間ＴTHとしては、例えば、手ぶれ限界露光時間を用いる。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、撮像部１１の焦点距離ｆDの逆数から算出される。
【００６３】
一方、露光時間ＴEPが閾値時間ＴTHよりも長い場合はステップＳ１７に移行する。ステップＳ１７において、撮影制御部５２は、ステップＳ１４にて決定した撮影パターンにてｍ枚の通常露光画像及びｎ枚の短露光画像が連写撮影されるように、露光時間制御信号を生成して撮像部１１による撮影動作を制御する。各通常露光画像の露光時間は露光時間ＴEPとされ、各短露光画像の露光時間は、例えば、ＴEP／４とされる。
【００６４】
各通常露光画像の露光時間は比較的長いため、各通常露光画像には手ぶれ等に由来するぶれが含まれる可能性が高いが、各短露光画像の露光時間は比較的短いため、各短露光画像には手ぶれ等に由来するぶれが殆ど含まれない。
【００６５】
ステップＳ１７の連写撮影によって得られた各通常露光画像データ及び各短露光画像データは、図４の記録制御部５３に送られる。ステップＳ１８において、記録制御部５３は、これらの画像データを記録媒体１６に記録するための記録制御を行う。尚、被記録画像列の連写撮影が完了してから記録制御を行うことも可能であるし、ステップＳ１７の連写撮影とステップＳ１８の記録制御を並行して行うことも可能である。
【００６６】
ステップＳ１８の記録制御において、記録制御部５３は、通常露光画像データを記録するための画像ファイルを作成する。例えば、Ｅｘｉｆ（Exchangeable image file format）のファイルフォーマットに準拠するように画像ファイルを作成する。図８に、１つの画像ファイルの構造を示す。画像ファイルは、本体領域とヘッダ領域から形成されている。Ｅｘｉｆのファイルフォーマットに準拠する場合、ヘッダ領域はＥｘｉｆタグ又はＥｘｉｆ領域とも呼ばれる。
【００６７】
説明の具体化のため、図７（ｂ）に対応する第２撮影パターンによって連写撮影がなされた場合を例にとり、ステップＳ１８の記録制御にて作成される画像ファイル群を説明する。図９は、この画像ファイル群のデータ構造の模式図である。第２撮影パターンによって連写撮影がなされた場合、６つの画像ファイルＦＩ1〜ＦＩ6が作成されて記録媒体１６に保存される。画像ファイルＦＩ1〜ＦＩ6の本体領域には、夫々、通常露光画像Ａ1〜Ａ6の画像データが記録される。
【００６８】
一方、短露光画像の画像データを記録するための専用の画像ファイルは作成されない。或る短露光画像の画像データは、その短露光画像の直前の撮影によって得られた通常露光画像が記録されるべき画像ファイルのヘッダ領域に記録される。従って、図９に示す如く、短露光画像Ｂ1の画像データは画像ファイルＦＩ2のヘッダ領域に記録され、短露光画像Ｂ2の画像データは画像ファイルＦＩ4のヘッダ領域に記録される。また、短露光画像データが記録されない画像ファイルのヘッダ領域には、その画像ファイルの本体領域に記録される通常露光画像の撮影時点を基準として時間的に最も近接して撮影された短露光画像が記録される画像ファイル名だけを記録する。従って、画像ファイルＦＩ1及びＦＩ3のヘッダ領域には画像ファイルＦＩ2の画像ファイル名だけが記録され、画像ファイルＦＩ5及びＦＩ6のヘッダ領域には画像ファイルＦＩ4の画像ファイル名だけが記録されることになり、画像ファイルＦＩ1、ＦＩ3、ＦＩ5及びＦＩ6のヘッダ領域には、短露光画像データが記録されない。但し、各画像ファイルのヘッダ領域には、画像データ又は画像ファイル名以外の付加データ（撮影日時や撮影時の焦点距離など）も記録される。また、通常露光画像又は短露光画像の画像データを画像ファイルに記録する際、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式を用いて画像データは圧縮される。
【００６９】
図１０に、上述の記録制御を実現する処理のフローチャートを示す。図１０は、図５のステップＳ１８の詳細フローチャートに相当し、ステップＳ１８の処理は、図１０のステップＳ２１〜Ｓ２８の各処理から形成される。
【００７０】
ステップＳ１８の記録制御では、まず、変数ｉを導入し、変数ｉに１を代入してから（ステップＳ２１）ステップＳ２２に移行する。ステップＳ２２では、被記録画像列を形成する各撮影画像の内、第ｉ番目に取得された撮影画像を画像Ｉiとして選択してからステップＳ２３に移行する。図７（ｂ）に対応する第２撮影パターンにて連写撮影がなされた場合、画像Ｉ1、Ｉ2、Ｉ3、Ｉ4、Ｉ5、Ｉ6、Ｉ7及びＩ8は、夫々、画像Ａ1、Ａ2、Ｂ1、Ａ3、Ａ4、Ｂ2、Ａ5及びＡ6に対応する。そして、画像Ｉiが通常露光画像である場合は、ステップＳ２３からステップＳ２４に移行し、画像ファイルを作成して該画像ファイルの本体領域にＪＰＥＧ圧縮後の画像Ｉiの画像データを出力して記録させる。更にステップＳ２５にて、その画像ファイルのヘッダ領域に、画像Ｉiに対応する短露光画像データが記録されるべき画像ファイル名を出力して記録させる。ステップＳ２５の処理後、ステップＳ２７に移行する。一方、画像Ｉiが短露光画像である場合は、ステップＳ２３からステップＳ２６に移行する。ステップＳ２６では、画像Ｉi-1の画像データが記録されている画像ファイルのヘッダ領域にＪＰＥＧ圧縮後の画像Ｉiの画像データを出力して記録させ、その後、ステップＳ２７に移行する。ステップＳ２７では、全画像データの記録が完了したかが確認され、完了していない場合はステップＳ２８にて変数ｉに１を加えてからステップＳ２２に戻り、上述のステップＳ２２以降の各処理を繰り返し実行する。一方、全画像データの記録が完了した場合は、記録制御を終了する。
【００７１】
実際には、上述の如く画像ファイルの記録時に画像データが圧縮されるのであるが、以下の説明では、説明の簡略化上、画像データに対する圧縮処理の存在を無視する。
【００７２】
[ぶれ補正時の動作]
次に、ぶれ補正時の動作について説明する。図１１は、第１実施例に係り、撮像装置１のぶれ補正動作の流れを表すフローチャートである。ぶれ補正動作は、例えば、再生モードにおいて実行される。ぶれ補正動作時には、図４の補正対象画像抽出部５４、参照画像抽出部５５、第２位置ずれ検出部５６及び補正処理部５７が有意に機能する。
【００７３】
ぶれ補正動作の実行時にはステップＳ３１〜Ｓ３６の各処理が順次実行される。まず、ステップＳ３１において、主制御部１３は、記録媒体１６に保存されているｍ枚の通常露光画像の内、何れの通常露光画像のぶれを補正するべきかを表す指示（以下、補正対象指示という）を受ける。補正対象指示は、例えば、ユーザの操作部１７に対する所定操作によって与えられる。補正対象指示の内容に従って、補正対象画像抽出部５４は、ｍ枚の通常露光画像の内の１枚を選択し、選択した１枚の通常露光画像の画像データを記録媒体１６に保存されている画像ファイルの本体領域から内部メモリ１４上に読み出す。補正対象画像抽出部５４によって選択された１枚の通常露光画像は、以後、補正対象画像として取り扱われる。
【００７４】
続くステップＳ３２において、参照画像抽出部５５は、補正対象画像として選択された通常露光画像のぶれ補正に参照される１枚の短露光画像を参照画像として特定し、補正対象画像が記録されている画像ファイルのヘッダ領域の記録内容に基づいて、その参照画像の画像データを記録媒体１６から読み出す。補正対象画像が記録されている画像ファイルのヘッダ領域に短露光画像の画像データが記録されている場合は、その短露光画像が参照画像として特定される。補正対象画像が記録されている画像ファイルのヘッダ領域に短露光画像の画像データが記録されていない場合は、そのヘッダ領域に記録されている画像ファイル名が参照され、その画像ファイル名で指し示される画像ファイルのヘッダ領域に記録された短露光画像が参照画像として特定される。
【００７５】
図９に示す６つの画像ファイルＦＩ1〜ＦＩ6が作成されて記録媒体１６に保存されている場合を想定して具体例を挙げる。この場合において、補正対象画像が通常露光画像Ａ2であるときは、通常露光画像Ａ2を記憶する画像ファイルＦＩ2のヘッダ領域に短露光画像Ｂ1の画像データが記録されているため、短露光画像Ｂ1が参照画像として選択されて画像ファイルＦＩ2のヘッダ領域から短露光画像Ｂ1の画像データが内部メモリ１４上に読み出される。同様にして、補正対象画像が通常露光画像Ａ4であるときは、短露光画像Ｂ2が参照画像として選択されて画像ファイルＦＩ4のヘッダ領域から短露光画像Ｂ2の画像データが内部メモリ１４上に読み出される。
【００７６】
一方、補正対象画像が通常露光画像Ａ1であるときは、通常露光画像Ａ1を記憶する画像ファイルＦＩ1のヘッダ領域に記憶されている画像ファイル名によって指し示される画像ファイルＦＩ2が着目される。そして、画像ファイルＦＩ2のヘッダ領域内の短露光画像Ｂ1が参照画像として選択されて、画像ファイルＦＩ2のヘッダ領域から短露光画像Ｂ1の画像データが内部メモリ１４上に読み出される。同様にして、補正対象画像が通常露光画像Ａ3、Ａ5及びＡ6であるときは、夫々、画像ファイルＦＩ3、ＦＩ5及びＦＩ6のヘッダ領域内の画像ファイル名に基づいて短露光画像Ｂ1、Ｂ2、Ｂ2が参照画像として選択されて、参照画像の画像データが内部メモリ１４上に読み出される。
【００７７】
ステップＳ３１及びＳ３２にて補正対象画像及び参照画像の各画像データが読み出された後、ステップＳ３３に移行する。ステップＳ３３では、第２位置ずれ検出部５６が、代表点マッチング法等の位置ずれ検出方法を用いて、補正対象画像と参照画像との間の位置ずれ量ＤBを算出する。
【００７８】
図１２を参照して、この算出方法をより詳細に説明する。図１２は、ステップＳ３３の詳細フローチャートである。ステップＳ３３の処理は、ステップＳ４１〜Ｓ４３の各処理から形成される。まず、ステップＳ４１にて、時系列で並べた被記録画像列において補正対象画像と参照画像との間に他の画像が存在するか否かを判別する。即ち、補正対象画像と参照画像との撮影間に他の通常露光画像の撮影がなされているか否かを判別する。そして、他の画像が存在しない場合はステップＳ４２に移行する一方、他の画像が存在する場合はステップＳ４３に移行する。
【００７９】
例えば、図７（ｃ）に対応する第３撮影パターンによって連写撮影がなされた場合において、補正対象画像が通常露光画像Ａ3又はＡ4であるならば参照画像は短露光画像Ｂ1であるためステップＳ４１からステップＳ４２に移行し、補正対象画像が通常露光画像Ａ1、Ａ2、Ａ5又はＡ6であるならば参照画像は短露光画像Ｂ1であるためステップＳ４１からステップＳ４３に移行する。
【００８０】
ステップＳ４２では、補正対象画像と参照画像の各画像データに基づいて補正対象画像と参照画像を直接対比し、代表点マッチング法等の位置ずれ検出方法を用いて両画像間の位置ずれ量ＤB1を求める。そして、この位置ずれ量ＤB1を位置ずれ量ＤBとして取り扱う。
【００８１】
一方、ステップＳ４３に移行した場合は、補正対象画像及び参照画像と、それら両画像間に存在する他の通常露光画像と、から成る画像列が累積対象画像列として特定される。そして、代表点マッチング法等の位置ずれ検出方法を用い、累積対象画像列に含まれる時間的に隣接する２つの画像間の位置ずれ量を順次求め、求めた位置ずれ量を累積することによって位置ずれ量ＤB2を求める。そして、この位置ずれ量ＤB2を位置ずれ量ＤBとして取り扱う。
【００８２】
例えば、図７（ｃ）に対応する第３撮影パターンによって連写撮影がなされた場合において、通常露光画像Ａ1が補正対象画像として選択された時、累積対象画像列は、通常露光画像Ａ1〜Ａ3及び短露光画像Ｂ1から形成されることとなる。そして、この場合、画像Ａ1を基準とした画像Ａ1と画像Ａ2との間の位置ずれ量ＤBa、画像Ａ2を基準とした画像Ａ2と画像Ａ3との間の位置ずれ量ＤBb、及び、画像Ａ3を基準とした画像Ａ3と画像Ｂ1との間の位置ずれ量ＤBcを求め、位置ずれ量ＤBa、ＤBb及びＤBcを累積した位置ずれ量を位置ずれ量ＤB2として求める。上述したように、位置ずれ量は二次元のベクトル量であるため、位置ずれ量ＤB2、ＤBa、ＤBb及びＤBcを夫々ベクトルＤB2、ＤBa、ＤBb及びＤBcと読み替える。そして、図１３に示す如く、ベクトルＤBaの終点とベクトルＤBbの始点を繋ぎ合わせ且つベクトルＤBbの終点とベクトルＤBcの始点とを繋ぎ合わせると、ベクトルＤBaの始点及びベクトルＤBcの終点はベクトルＤB2の始点及び終点と合致することになる。
【００８３】
補正対象画像と参照画像との間の撮影間隔が長いと、それらの撮影間に、被写体の変化や撮像装置１の周辺照度等の変化が生じやすくなる。被写体の変化等が生じると、補正対象画像と参照画像との間で画像一致度が低下し、原理的に、両画像間の位置ずれ検出精度が低下する。また、補正対象画像と参照画像との間の撮影間隔が長いと、手ぶれが累積して両画像の撮影間の全体手ぶれ量が大きくなる。対比画像間で生じる手ぶれ量の増大は、対比画像間の位置ずれ検出精度を低下させる方向に作用する。例えば、対比画像間で大きな回転方向の位置ずれがある場合は、通常の、並進方向の位置ずれ検出方法では、正しい位置ずれ量を検出できない。ぶれ補正は、検出された位置ずれ量に基づく、補正対象画像と参照画像との間の位置ずれ補正を介して実行されるため、位置ずれ検出精度が低下すると、位置ずれ補正の精度が劣化して最終的にはぶれ補正の精度劣化を招く。これを考慮し、ステップＳ４３の処理の如く、時間的に隣接する画像間の位置ずれ量を累積することで、補正対象画像と参照画像との間の位置ずれ量ＤBを求めるようにする。時間的に隣接する画像間の位置ずれ量は小さく且つ被写体の変化等も少ないため、位置ずれ量を高精度に求めることが可能であり、結果、それらの累積量に相当する位置ずれ量ＤBの精度も高くなる。
【００８４】
尚、上述の手法と異なるが、ステップＳ４３に至った場合でも、補正対象画像と参照画像との直接対比により両画像間の位置ずれ量ＤB1を算出するようにし、その直接対比に基づく位置ずれ量ＤB1と累積演算に基づく位置ずれ量ＤB2との平均量又は何れか一方を、位置ずれ量ＤBとして求めるようにしてもよい。また或いは、ステップＳ４３に至った場合でも、直接対比に基づく位置ずれ量ＤB1を算出するようにし、その位置ずれ量ＤB1の算出時におけるマッチング誤差の最小値が大きい場合にのみ、位置ずれ量ＤB2を位置ずれ量ＤBとして求めるようにしてもよい。マッチング誤差の最小値は、算出された位置ずれ量の信頼性を示す指標であり、それが大きいと該信頼性は低くなる。マッチング誤差とは、代表点マッチング法やブロックマッチング法を用いる場合に求められる、対比画像間のＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Square Difference）である。
【００８５】
また、大きな位置ずれ量を求めるためにはマッチング位置の探索範囲を大きくする必要がある。探索範囲の拡大は処理負担を増大させる。また、探索範囲が不足すれば位置ずれ量を正確に検出できない。これを考慮し、ステップＳ４３に至った場合、まず、上述の位置ずれ量ＤB2を算出し、その位置ずれ量ＤB2を基準として補正対象画像と参照画像との直接対比により両画像間の位置ずれ量を求め、それを最終的に求めるべき位置ずれ量ＤBとして取り扱うようにしてもよい。つまり、位置ずれ量ＤB2が打ち消されるようにマッチング位置の探索範囲をずらした上で補正対象画像と参照画像を直接対比し、その直接対比によって得られた両画像間の位置ずれ量を最終的に位置ずれ量ＤBとして求めるようにしてもよい。
【００８６】
図１１のフローチャートの説明に戻る。位置ずれ量ＤBが求められると、ステップＳ３４に移行する。補正対象画像及び参照画像の各画像データ及び位置ずれ量ＤBは、図４の補正処理部５７に与えられる。ステップＳ３４において、補正処理部５７は、位置ずれ量ＤBに基づいて補正対象画像と参照画像との間の位置ずれを補正する。
【００８７】
今、位置ずれ量ＤBが、補正対象画像を基準として求められたものであるとする。そうすると、参照画像は、補正対象画像を基準として位置ずれ量ＤBに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、この位置ずれ量ＤBが打ち消されるように参照画像に座標変換（アフィン変換など）を施すことによって参照画像を位置ずれ補正する。例えば、この座標変換を行うための幾何変換パラメータを求め、補正対象画像が定義される座標面上に参照画像を座標変換することによって位置ずれ補正を行う。位置ずれ補正前の参照画像内の座標（ｘ＋ＤBx，ｙ＋ＤBy）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。ＤBx及びＤByは、夫々、ＤBの水平成分及び垂直成分である。尚、補正対象画像を座標変換することによって、或いは、補正対象画像と参照画像の双方を座標変換することによって、同様の位置ずれ補正を実現してもよい。
【００８８】
ステップＳ３４による位置ずれ補正後の補正対象画像及び参照画像を、夫々、補正対象画像Ｌｗ及び参照画像Ｒｗと呼ぶ。補正対象画像Ｌｗは位置ずれ補正後の補正対象画像の全体画像を表し、参照画像Ｒｗは位置ずれ補正後の参照画像の全体画像を表している。ステップＳ３４に続くステップＳ３５において、補正処理部５７は、補正対象画像Ｒｗ及び参照画像Ｌｗに基づいて補正対象画像Ｌｗに対するぶれ補正処理を行うことで、補正対象画像Ｌｗのぶれが低減されたぶれ補正画像Ｑｗを生成する。ぶれ補正画像Ｑｗの生成方法については後述する。その後、ステップＳ３６において、主制御部１３は、ぶれ補正画像Ｑｗの画像データを記録するための画像ファイルを新たに生成して、その画像ファイルを記録媒体１６に記憶する。或いは、画像ファイルを新たに生成することなく、補正対象画像の画像データが上書きされるように、補正対象画像の画像データを記録していた画像ファイルの本体領域にぶれ補正画像Ｑｗの画像データを記憶してもよい。また、ぶれ補正画像Ｑｗは、表示部１５に表示される。
【００８９】
［作用・効果等］
上述のように処理することによる作用又は効果について考察する。基本的に、通常露光画像よりも短露光画像の方がぶれは小さく、短露光画像のエッジ状態を目標に通常露光画像を補正すれば、通常露光画像のぶれは低減される。手ぶれや被写体の動きは連写撮影中にも生じるため、ぶれ補正の目標となる短露光画像は通常露光画像の直前又は直後に撮影されることが望ましい。しかし、通常露光画像を１枚撮影する度に短露光画像を１枚撮影すると、通常の連写撮影に比べて２倍のメモリ容量が必要となる。また、ｍ枚の通常露光画像を得るために必要な撮影時間が長くなると共に隣接する通常露光画像の撮影間隔が長くなってしまう。
【００９０】
第１実施例では、これを考慮し、ｍ枚の通常露光画像の撮影に付随して撮影されるべき短露光画像の枚数（即ち、ｎ）を通常露光画像の枚数（即ち、ｍ）よりも小さくしている。これにより、短露光画像の撮影に由来する必要メモリ容量の増大が抑制されると共にｍ枚の通常露光画像を得るための撮影時間の増大も抑制される。
【００９１】
但し、短露光画像の枚数が少ないと、通常露光画像と短露光画像との撮影間隔が大きくなる組み合わせが発生することになる。このとき、更に、被写体の動きが大きかったり大きな手ぶれが発生したりすると、補正対象画像としての通常露光画像と参照画像としての短露光画像との間の位置ずれ量が大きくなって、位置ずれ量の検出精度が悪くなり、最終的にはぶれ補正の精度が悪くなる。そこで、本実施例では、プレビュー画像間の位置ずれ量ＤAに基づいて通常露光画像の枚数に対する短露光画像の枚数の比を設定する。つまり、位置ずれ量ＤAが大きい場合は、補正対象画像と参照画像との間の位置ずれ量も大きくなると推定されるため、その比を大きくして高精度の位置ずれ量検出を確保する。一方、位置ずれ量ＤAが小さい場合は、補正対象画像と参照画像との間の位置ずれ量は小さいと推定されるため、その比を減少させることで、必要メモリ容量の増大抑制、ｍ枚の通常露光画像を得るための撮影時間の増大抑制及び隣接する通常露光画像の撮影間隔の増大抑制を図る。
【００９２】
また、本実施例では、図９に示す如く、１枚の短露光画像の画像データを１つの画像ファイルにのみ記録するようにし、短露光画像の画像データが記録されない画像ファイルには、参照すべき画像ファイルのリンク情報（画像ファイル名）のみをヘッダ領域に記録しておく。これにより、短露光画像データの重複記録がなくなり、ファイルサイズの増加を低減できる。
【００９３】
また更に、短露光画像の画像データをそれの直前に撮影された通常露光画像の画像ファイルに記録することで、ファイルの開閉に関わるファイルアクセス回数を低減することができる。例えば、図７（ｂ）に対応する第２撮影パターンで連写撮影がなされた場合は、図９に示す画像ファイルＦＩ1〜ＦＩ6が順次生成されて記録媒体１６に保存されるが、本実施例によれば、図１４（ａ）に示すような記録動作がなされる。つまり、画像ファイルＦＩ1が開かれて画像Ａ1の画像データが記録された後、画像ファイルＦＩ1が閉じられる。その後、画像ファイルＦＩ2が開かれて画像Ａ2及びＢ1の画像データが記録された後、画像ファイルＦＩ2が閉じられる。仮に、画像Ｂ1の画像データを、画像ファイルＦＩ2ではなく画像ファイルＦＩ1のヘッダ領域に記録したとするならば、図１４（ｂ）に示す如く、画像Ａ1の画像データの記録後に一旦閉じた画像ファイルＦＩ1を、画像Ｂ1の画像データの記録時に、再度、開閉しなければならない。ファイルの開閉には有限の時間がかかるため、ファイルアクセス回数の低減は記録動作時間の短縮に寄与する。
【００９４】
尚、本実施例では、短露光画像の全体の画像データを記録媒体１６に記録することとしているが、図１１のステップＳ３５におけるぶれ補正処理で必要な部分の画像データのみを、記録媒体１６に記録するようにしてもよい。これにより、ファイルサイズの増加を更に低減することができる。例えば、短露光画像の一部に相当する、短露光画像内における特徴的な小領域を抽出し、その小領域内の画像の画像データを短露光画像の全体の画像データの代わりに記録媒体１６に記録するようにしてもよい。但し、これは、後述の第２の補正方法（第４実施例参照）には適用できない。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。
【００９５】
＜＜第２実施例＞＞
第１実施例では、プレビュー画像間の位置ずれ量ＤAに基づいて被記録画像列の撮影パターンを決定しているが、被記録画像列の撮影開始近辺に得られた通常露光画像間の位置ずれ量に基づいて、その後の、撮影パターンを決定してもよい。これを説明する実施例として、第２実施例を説明する。第２実施例は、第１実施例の一部を変形した実施例に相当するため第１実施例と相違する部分だけを説明する。撮影パターンの決定方法以外の動作及び構成等は、第１実施例のそれと同じであり、第１実施例の記載事項が矛盾なき限り第２実施例にも適用される。
【００９６】
撮影モードにおいて、シャッタボタン１７ａが半押しの状態となった後、フォーカスレンズ３１の駆動制御を介してシャッタボタン１７ａが全押しの状態となると、被記録画像列の取得のための連写撮影が開始される。撮影制御部５２は、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づき、撮像素子３３の露光量が適正となる露光時間ＴEPを算出する。そして、露光時間ＴEPと閾値時間ＴTHとを比較し、露光時間ＴEPが閾値時間ＴTHよりも短い場合、通常連写撮影を実行する。通常連写撮影では、被記録画像列にｍ枚の通常露光画像のみが含まれるように撮像部１１が制御される。
【００９７】
一方、露光時間ＴEPが閾値時間ＴTHよりも長い場合、撮影制御部５２は、まず、露光時間ＴEPの通常露光撮影によってｍA枚の通常露光画像を連写撮影する。ここで、ｍAは２以上の整数である。最終的に、被記録画像列にはｍ枚の通常露光画像が含まれることになるが、ｍA枚の通常露光画像はｍ枚の通常露光画像の一部である。即ち、不等式「ｍA＜ｍ」が成立する。また、ｍ＝ｍA＋ｍBであるとする。ｍBは、１以上の整数である。
【００９８】
今、ｍAは２であるとし、２枚の通常露光画像Ａ1及びＡ2がこの順番で連写撮影されたものとする。第１位置ずれ検出部５１は、代表点マッチング法等の位置ずれ検出方法を用いて、時間的に隣接する通常露光画像Ａ1と通常露光画像Ａ2との間の位置ずれ量を位置ずれ量ＤA2として算出する。尚、位置ずれ量ＤA2は、画素を単位として算出される。
【００９９】
その後、撮影制御部５２は、位置ずれ量ＤA2に基づいて被記録画像列の撮影パターンを決定する。但し、当然のことながら、ここで決定される撮影パターンは通常露光画像Ａ
1及びＡ2を除く撮影パターンである。第１実施例と同様、被記録画像列は、ｍ枚の通常露光画像とｎ枚の短露光画像から形成され且つｍは２以上の整数であり、ｎは１以上の整数である。更に、不等式「ｍ＞ｎ」が成立する。具体的には、撮影制御部５２は、位置ずれ量ＤA2に基づいて、通常露光画像Ａ1及びＡ2を除く通常露光画像と短露光画像の撮影枚数割合を決定する。つまり、位置ずれ量ＤA2に基づいてｍBとｎの比を決定する。尚、ｍ＝ｍA＋ｍBが成立するのであるから、ｍBとｎの比が定まれば自動的にｍとｎの比も定まる。従って、撮影制御部５２は、位置ずれ量ＤA2に基づいてｍとｎの比を定めているとも言える。
【０１００】
ｍ＝６である場合を想定して具体例を挙げる。
位置ずれ量ＤA2の大きさが２０画素以上である場合は、通常露光画像Ａ1及びＡ2の撮影の後、１枚の通常露光画像と１枚の短露光画像を交互に撮影する。但し、被記録画像列の内、最後に得られる撮影画像は通常露光画像であるとし、通常露光画像Ａ1及びＡ2の撮影の直後に短露光撮影を行うものとする。このため、６枚の通常露光画像Ａ1〜Ａ6と４枚の短露光画像Ｂ1〜Ｂ4とから成る被記録画像列が得られる。より具体的には、図１５（ａ）に示す如く、画像Ａ1、Ａ2、Ｂ1、Ａ3、Ｂ2、Ａ4、Ｂ3、Ａ5、Ｂ4及びＡ6の順番で連写撮影がなされる。
【０１０１】
位置ずれ量ＤA2の大きさが１０画素以上であって且つ２０画素未満である場合は、通常露光画像Ａ1及びＡ2の撮影の後、２枚の通常露光画像の撮影後に１枚の短露光画像を撮影するという撮影動作を繰り返す。但し、被記録画像列の内、最後に得られる撮影画像は通常露光画像であるとし、通常露光画像Ａ1及びＡ2の撮影の直後に短露光撮影を行うものとする。このため、６枚の通常露光画像Ａ1〜Ａ6と２枚の短露光画像Ｂ1及びＢ2とから成る被記録画像列が得られる。より具体的には、図１５（ｂ）に示す如く、画像Ａ1、Ａ2、Ｂ1、Ａ3、Ａ4、Ｂ2、Ａ5及びＡ6の順番で連写撮影がなされる。この連写撮影による撮影パターンは、結果的に、図７（ｂ）に対応する第２撮影パターンのそれと同じである。
【０１０２】
位置ずれ量ＤA2の大きさが１０画素未満である場合は、通常露光画像Ａ1及びＡ2の撮影の後、３枚の通常露光画像の撮影後に１枚の短露光画像を撮影するという撮影動作を繰り返す。但し、被記録画像列の内、最後に得られる撮影画像は通常露光画像であるとし、通常露光画像Ａ1及びＡ2を含む３枚の通常露光画像の撮影直後に１回目の短露光撮影を行うものとする。このため、６枚の通常露光画像Ａ1〜Ａ6と１枚の短露光画像Ｂ1とから成る被記録画像列が得られる。より具体的には、図１５（ｃ）に示す如く、画像Ａ1、Ａ2、Ａ3、Ｂ1、Ａ4、Ａ5及びＡ6の順番で連写撮影がなされる。この連写撮影による撮影パターンは、結果的に、図７（ｃ）に対応する第３撮影パターンのそれと同じである。
【０１０３】
このように、撮影制御部５２は、位置ずれ量ＤA2に基づいてｍBとｎの比（及びｍとｎの比）を決定し、通常露光画像と短露光画像の撮影順序を上述の如く定める。
【０１０４】
得られた各通常露光画像の画像データ及び各短露光画像の画像データは、第１実施例と同様の記録制御（図５のステップＳ１８；図１０参照）によって記録媒体１６に記録される。ぶれ補正時における撮像装置１の動作も、第１実施例と同じである。
【０１０５】
本実施例によっても第１実施例と同様の効果を得ることができる。但し、上述の例では、位置ずれ量ＤA2の大きさが２０画素以上である場合、通常露光画像Ａ1と、それに最も時間的に近接する短露光画像Ｂ1との間に他の通常露光画像が挿入される。従って、位置ずれ量ＤA2の大きさが２０画素以上であって且つ通常露光画像Ａ1が補正対象画像となった場合にのみ第１実施例に比べてぶれ補正精度が悪くなる。
【０１０６】
尚、ｍAが２である例を上述したが、ｍAを３以上の任意の整数としてもよい。例えば、ｍAを３とする場合、撮影制御部５２は、被記録画像列を形成する１番目、２番目、３番目の撮影画像をそれぞれ通常露光画像Ａ1、Ａ2及びＡ3とする。そして、この場合、第１位置ずれ検出部５１は、画像Ａ1と画像Ａ2との間の位置ずれ量と画像Ａ2と画像Ａ3との間の位置ずれ量を求めて両位置ずれ量を平均化したものを位置ずれ量ＤA2として算出し、その位置ずれ量ＤA2に基づいて、撮影制御部５２は通常露光画像Ａ1〜Ａ3を除く被記録画像列の撮影パターンを決定する。
【０１０７】
＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、撮影パターンの変形例について説明する。第３実施例は、第１実施例の一部を変形した実施例に相当するため第１実施例と相違する部分だけを説明する。撮影パターンの設定方法以外の動作及び構成等は、第１実施例のそれと同じであり、第１実施例の記載事項が矛盾なき限り第３実施例にも適用される。
【０１０８】
撮影モードにおいて、シャッタボタン１７ａが全押しの状態となると、被記録画像列の取得のための連写撮影が開始される。撮影制御部５２は、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づき、撮像素子３３の露光量が適正となる露光時間ＴEPを算出する。そして、露光時間ＴEPと閾値時間ＴTHとを比較し、露光時間ＴEPが閾値時間ＴTHよりも短い場合、通常連写撮影を実行する。通常連写撮影では、被記録画像列にｍ枚の通常露光画像のみが含まれるように撮像部１１が制御される。
【０１０９】
一方、露光時間ＴEPが閾値時間ＴTHよりも長い場合、撮影制御部５２は、次に示す第４〜第６撮影パターンの何れかを用い、ｍ枚の通常露光画像とｎ枚の短露光画像とから成る被記録画像列を撮像部１１に連写撮影させる。第４撮影パターンでは、短露光画像を１枚だけ撮影した後、ｍ枚の通常露光画像を連写撮影する。第５撮影パターンでは、ｍ枚の通常露光画像を連写撮影した後、短露光画像を１枚だけ撮影する。第６撮影パターンでは、短露光画像を１枚だけ撮影した後、ｍ枚の通常露光画像を連写撮影し、更にその後、短露光画像を１枚だけ撮影する。
【０１１０】
ｍ＝６である場合を想定して具体例を挙げる。
第４撮影パターンを採用する場合、６枚の通常露光画像Ａ1〜Ａ6と１枚の短露光画像Ｂ1とから成る被記録画像列が得られる。より具体的には、図１６（ａ）に示す如く、画像Ｂ1、Ａ1、Ａ2、Ａ3、Ａ4、Ａ5及びＡ6の順番で連写撮影がなされる。
第５撮影パターンを採用する場合、６枚の通常露光画像Ａ1〜Ａ6と１枚の短露光画像Ｂ1とから成る被記録画像列が得られる。より具体的には、図１６（ｂ）に示す如く、画像Ａ1、Ａ2、Ａ3、Ａ4、Ａ5、Ａ6及びＢ1の順番で連写撮影がなされる。
第６撮影パターンを採用する場合、６枚の通常露光画像Ａ1〜Ａ6と２枚の短露光画像Ｂ1及びＢ2とから成る被記録画像列が得られる。より具体的には、図１６（ｃ）に示す如く、画像Ｂ1、Ａ1、Ａ2、Ａ3、Ａ4、Ａ5、Ａ6及びＢ2の順番で連写撮影がなされる。
【０１１１】
得られた各通常露光画像の画像データ及び各短露光画像の画像データは、第１実施例と同様の記録制御（図５のステップＳ１８；図１０参照）によって記録媒体１６に記録される。但し、通常露光画像Ａ1の撮影前に短露光画像Ｂ1の撮影を行った場合、短露光画像Ｂ1の画像データは、通常露光画像Ａ1が記録される画像ファイルのヘッダ領域に記録される。一方で、第１実施例の記録制御で説明したように、第５撮影パターンを採用した場合における短露光画像Ｂ1の画像データは、通常露光画像Ａ6が記録される画像ファイルのヘッダ領域に記録され、第６撮影パターンを採用した場合における短露光画像Ｂ2の画像データは、通常露光画像Ａ6が記録される画像ファイルのヘッダ領域に記録される。そして、短露光画像が記録されない画像ファイルのヘッダ領域には、その画像ファイルの本体領域に記録される通常露光画像の撮影時点を基準として時間的に最も近接して撮影された短露光画像が記録される画像ファイル名だけを記録する。ぶれ補正時における撮像装置１の動作は、第１実施例と同じである。
【０１１２】
ｍ＞ｎを満たすべく、撮影制御部５２は、ｍが３以上の場合にのみ、第６撮影パターンを採用する。ｍの値に応じて採用する撮影パターンの切替制御を行うようにしてもよい。例えば、ｍが３以上の所定値以上である場合に第６撮影パターンを採用するようにし、ｍが該所定値未満である場合には第４又は第５撮影パターンを採用するようにする。
【０１１３】
第３実施例においても、ｍ枚の通常露光画像の撮影に付随して撮影されるべき短露光画像の枚数（即ち、ｎ）を通常露光画像の枚数（即ち、ｍ）よりも小さくしている。これにより、短露光画像の撮影に由来する必要メモリ容量の増大が抑制されると共にｍ枚の通常露光画像を得るための撮影時間の増大も抑制される。また、ｍ枚の通常露光画像の撮影間に短露光画像の撮影を行うと隣接する通常露光画像の撮影間隔が広がってしまうが、第３実施例では、ｍ枚の通常露光画像の連写撮影の前又は後に短露光画像の撮影を行うため、隣接する通常露光画像の撮影間隔が短露光撮影によって増大することもない。また、第１実施例と同様、短露光画像データは重複記録されないため、ファイルサイズの増加を低減することができる。
【０１１４】
尚、第１実施例でも述べたように、短露光画像の全体の画像データの内、図１１のステップＳ３５におけるぶれ補正処理で必要な部分の画像データのみを、記録媒体１６に記録するようにしてもよい。これにより、ファイルサイズの増加を更に低減することができる。
【０１１５】
＜＜第４実施例＞＞
次に、第４実施例について説明する。第４実施例では、補正対象画像Ｌｗと参照画像Ｒｗに基づく、補正対象画像Ｌｗのぶれ補正方法を説明する。この補正を行うためのぶれ補正処理は、図１１のステップＳ３５にて実行される。補正対象画像Ｌｗのぶれ補正方法として、以下に、第１〜第３の補正方法を例示する。第１、第２、第３の補正方法は、夫々、画像復元方式、画像合成方式、画像鮮鋭化方式による補正方法である。
【０１１６】
［第１の補正方法］
図１７を参照して、第１の補正方法について説明する。図１７は、第１の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。第１の補正方法を採用する場合、図１１のステップＳ３５の処理は、図１７のステップＳ７１〜Ｓ７８の各処理から形成される。尚、第１の補正方法の記述において、画像などが記憶される「メモリ」とは、内部メモリ１４を意味するものとする。
【０１１７】
まず、ステップＳ７１において、補正対象画像Ｌｗの中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｌｓとしてメモリ上に記憶する。例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。尚、特徴的な小領域の意義は、上述したとおりである。
【０１１８】
次に、ステップＳ７２において、補正対象画像Ｌｗから抽出された小領域と同一座標の小領域を参照画像Ｒｗから抽出し、参照画像Ｒｗから抽出された小領域内の画像を小画像Ｒｓとしてメモリ上に記憶する。今、補正対象画像Ｌｗと参照画像Ｒｗの画像サイズは等しいものとする。そうすると、補正対象画像Ｌｗから抽出される小領域の中心座標（補正対象画像Ｌｗにおける中心座標）と参照画像Ｒｗから抽出される小領域の中心座標（参照画像Ｒｗにおける中心座標）は等しく、且つ、両小領域の画像サイズも等しい。
【０１１９】
参照画像Ｒｗの露光時間は比較的短いため、小画像Ｒｓの信号対雑音比（以下、Ｓ／Ｎ比という）は比較的低いと共に小画像Ｒｓの輝度は比較的低い。そこで、ステップＳ７３において、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像Ｒｓの輝度レベルを増加させる。即ち例えば、小画像Ｒｓの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。
【０１２０】
上述のようにして得られた小画像Ｌｓを劣化画像として且つ小画像Ｒｓ’を初期復元画像として取り扱った上で（ステップＳ７４）、ステップＳ７５にてフーリエ反復法を実施することにより、小画像Ｌｓのぶれによる劣化の状態を表す画像劣化関数を求める。
【０１２１】
フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。
【０１２２】
画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）を求める。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。手ぶれは画像全体に対して一様な劣化を与えるため、小画像Ｌｓに対して求めたＰＳＦは、補正対象画像Ｌｗの全体に対するＰＳＦとして利用することができる。
【０１２３】
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図１８及び図１９を参照して詳細に説明する。図１８は、図１７のステップＳ７５の処理の詳細フローチャートである。図１９は、図４の補正処理部５７に内在する、フーリエ反復法を実施する部位のブロック図である。
【０１２４】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として小画像Ｒｓ’を用いるようにする。次に、ステップＳ１０２において、劣化画像（即ち、小画像Ｌｓ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【０１２５】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（Ａ−１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（Ａ−１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【０１２６】
【数１】
2009153046.tif 000003
【０１２７】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（Ａ−２ａ）の拘束条件で修正した後、更に式（Ａ−２ｂ）の拘束条件にて修正する。
【０１２８】
【数２】
2009153046.tif 000004
【０１２９】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ａ−２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（Ａ−２ｂ）の拘束条件による修正である。
【０１３０】
式（Ａ−２ａ）及び（Ａ−２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【０１３１】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（Ａ−３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（Ａ−３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【０１３２】
【数３】
2009153046.tif 000005
【０１３３】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（Ａ−４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【０１３４】
【数４】
2009153046.tif 000006
【０１３５】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ａ−４）の拘束条件による修正である。
【０１３６】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【０１３７】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【０１３８】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図１７のステップＳ７５で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図１９参照）は、順次、最新のものに更新されていく。
【０１３９】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（Ａ−２ａ）及び（Ａ−２ｂ）を用いたステップＳ１１３における修正量、或いは、式（Ａ−４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【０１４０】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像Ｌｗの補正は行われない。
【０１４１】
図１７の各ステップの説明に戻る。ステップＳ７５にて、ＰＳＦが算出された後、ステップＳ７６に移行する。ステップＳ７６では、ステップＳ７５で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（Ａ−３）の右辺の一部に相当する下記式（Ａ−５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ７５におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（Ａ−５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【０１４２】
【数５】
2009153046.tif 000007
【０１４３】
ステップＳ７６にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ７７に移行し、この画像復元フィルタを用いて補正対象画像Ｌｗの全体をフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを補正対象画像Ｌｗの各画素に適用して補正対象画像Ｌｗをフィルタリングする。これにより、補正対象画像Ｌｗに含まれるぶれを低減したフィルタリング画像が生成される。画像復元フィルタのサイズは補正対象画像Ｌｗの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像Ｌｗの全体に対して適用することによって、補正対象画像Ｌｗの全体のぶれが低減される。
【０１４４】
フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ７８において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的なぶれ補正画像Ｑｗを生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。
【０１４５】
ぶれ補正画像Ｑｗは、補正対象画像Ｌｗに含まれるぶれが低減され且つフィルタリングに伴うリンギングが低減された画像となる。但し、フィルタリング画像もぶれが低減された画像であるため、フィルタリング画像をぶれ補正画像Ｑｗとして捉えることも可能である。
【０１４６】
参照画像Ｒｗに含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この参照画像Ｒｗから得られる画像をフーリエ反復法における初期復元画像とする。
【０１４７】
フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０１４８】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０１４９】
この際、上述の如く、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、手ぶれ情報をより正確に検出することができるようになる。
【０１５０】
尚、図１８の処理では、空間領域上における劣化画像ｇ及び復元画像ｆ’がフーリエ変換によって周波数領域上に変換されることで、周波数領域上の劣化画像ｇを表す関数Ｇ及び周波数領域上の復元画像ｆ’を表す関数Ｆ’が求められる（尚、周波数領域とは、勿論、二次元の周波数領域である）。求められた関数Ｇ及びＦ’から周波数領域上のＰＳＦを表す関数Ｈが求められ、この関数Ｈは逆フーリエ変換によって空間領域上の関数、即ち、ＰＳＦ ｈに変換される。このＰＳＦ ｈは、所定の拘束条件を用いて修正され、修正後のＰＳＦ ｈ'が求められる。このＰＳＦを修正する処理を、以下「第１の修正処理」と呼ぶ。
【０１５１】
ＰＳＦ ｈ'はフーリエ変換によって再度、周波数領域上に変換されて関数Ｈ’が求められ、関数Ｈ’と関数Ｇから周波数領域上の復元画像を表す関数Ｆが求められる。この関数Ｆを逆フーリエ変換することによって空間領域上の復元画像ｆが得られ、この復元画像ｆが所定の拘束条件を用いて修正されて、修正後の復元画像ｆ’が求められる。この復元画像を修正する処理を、以下「第２の修正処理」と呼ぶ。
【０１５２】
上述の例では、この後、図１８のステップＳ１１８にて収束条件が満たされるまで、修正後の復元画像ｆ’を用いて上述の処理が反復されると述べた。また、反復処理が収束に向かえば修正量が小さくなるという特性を考慮し、この収束条件の成立／不成立を、第１の修正処理に対応するステップＳ１１３での修正量、又は、第２の修正処理に対応するステップＳ１１７での修正量に基づいて判断しても良いとも述べた。この判断を修正量に基づいて行う場合、基準修正量を予め設定しておき、ステップＳ１１３での修正量又はステップＳ１１７での修正量と基準修正量とを比較して、前者が後者よりも小さい場合に収束条件が成立すると判断することになるが、基準修正量を十分に大きく設定しておけば、ステップＳ１１０〜Ｓ１１７の処理は反復実行されない。つまり、この場合、第１の修正処理を１回だけ行って得たＰＳＦ ｈ'が、図１７のステップＳ７５で導出されるべき最終的なＰＳＦとなる。このように、図１８の処理を用いたとしても、第１及び第２の修正処理が繰り返し実行されるとは限らない。
【０１５３】
第１及び第２の修正処理の繰り返し実行回数の増大は、最終的に求まるＰＳＦの精度向上に寄与するが、本例では初期復元画像自体が既に手ぶれのない画像に近いため、第１の修正処理を１回だけ行って得たＰＳＦ ｈ’の精度も、実用上、問題ない程度に高い。これを考慮すれば、ステップＳ１１８の判定処理自体を省略することも可能である。この場合、１回だけステップＳ１１３の処理を実行することで求まるＰＳＦ ｈ’が図１７のステップＳ７５で導出されるべき最終的なＰＳＦとなり、１回だけステップＳ１１４の処理を実行することで求まる関数Ｈ’から、図１７のステップＳ７６で導出されるべき画像復元フィルタの各フィルタ係数が求まる。故に、ステップＳ１１８の処理を省略する場合は、ステップＳ１１５〜Ｓ１１７の処理も割愛される。
【０１５４】
また、第１の補正方法を採用する場合、参照画像Ｒｗの生成元の短露光画像の全画像データを記録媒体１６に記録しておく必要は必ずしもなく、短露光画像の全画像データの内、小画像Ｒｓの画像データのみを記録媒体１６に記録しておくようにすれば、ぶれ補正画像Ｑｗの生成は可能である。これを実現するための処理例を以下に説明する。尚、この処理例は、後述の第３の補正方法に対しても適用可能である。説明の具体化のため、図７（ｂ）に対応する第２撮影パターンを用いて被記録画像列が取得され、参照画像Ｒｗの元となる短露光画像が短露光画像Ｂ1であって且つ補正対象画像Ｌｗの元となる通常露光画像が通常露光画像Ａ1である場合を考える。
【０１５５】
この場合、撮影動作時において、図４の記録制御部５３は、ハリスのコーナ検出器等を用いることによって短露光画像Ｂ1の中から特徴的な小領域を抽出し、この抽出された小領域内の画像の画像データを、その小領域の中心座標（短露光画像Ｂ1における中心座標）と共に画像ファイルＦＩ2のヘッダ領域に記録する。そして、この抽出された画像に、エッジ除去処理、及び、通常露光撮影と短露光撮影との間における露光時間の相違に由来する輝度レベル差を打ち消すための輝度正規化処理を施して得た画像を、小画像Ｒｓ’として取り扱うようにする。尚、小画像Ｒｓの画像データではなく、この小画像Ｒｓ’の画像データを画像ファイルＦＩ2のヘッダ領域に記録するようにしてもよい。図１１に対応するぶれ補正動作時には、図４の補正処理部５７が、小画像Ｒｓ’をテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を補正対象画像Ｌｗとしての通常露光画像Ａ1内から探索する。探索範囲は、画像ファイルＦＩ2のヘッダ領域に記録された中心座標（小画像Ｒｓ’についての中心座標）に基づいて設定される。そして、探索された小領域内の画像を小画像Ｌｓとして取り扱うようにする。小画像Ｒｓ’及び小画像Ｌｓが得られた後の動作は上述した通りである。
【０１５６】
［第２の補正方法］
次に、図２０及び図２１を参照して、第２の補正方法について説明する。図２０は、第２の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。図２１は、このぶれ補正処理の流れを表す概念図である。第２の補正方法を採用する場合、図１１のステップＳ３５の処理は、図２０のステップＳ１５１〜Ｓ１５４の各処理から形成される。
【０１５７】
図１の撮像部１１の撮影によって得られる画像は、輝度に関する情報と色に関する情報を含むカラー画像となっている。従って、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号と、画素の色を表す色信号から形成される。今、各画素の画素信号がＹＵＶ形式で表現されているものとする。この場合、色信号は２つの色差信号Ｕ及びＶから形成されることなる。そして、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号Ｙと、画素の色を表す２つの色差信号Ｕ及びＶと、から形成される。
【０１５８】
そうすると、補正対象画像Ｌｗは、図２１に示す如く、画素信号として輝度信号Ｙのみを含む画像ＬｗYと、画素信号として色差信号Ｕのみを含む画像ＬｗUと、画素信号として色差信号Ｖのみを含む画像ＬｗVと、に分解することができる。同様に、参照画像Ｒｗも、画素信号として輝度信号Ｙのみを含む画像ＲｗYと、画素信号として色差信号Ｕのみを含む画像ＲｗUと、画素信号として色差信号Ｖのみを含む画像ＲｗVと、に分解できる（図２１では、画像ＲｗYのみ図示）。
【０１５９】
図２０のステップＳ１５１では、まず、補正対象画像Ｌｗの輝度信号及び色差信号を抽出することにより、画像ＬｗY、ＬｗU及びＬｗVを生成する。続くステップＳ１５２では、参照画像Ｒｗの輝度信号を抽出することにより、画像ＲｗYを生成する。
【０１６０】
画像ＲｗYは低輝度であるため、ステップＳ１５３おいて、画像ＲｗYの輝度レベルを増加させる。即ち例えば、画像ＲｗYの輝度レベルが画像ＬｗYの輝度レベルと等しくなるように（画像ＲｗYの平均輝度と画像ＬｗYの平均輝度が等しくなるように）、画像ＲｗYの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。更に、この輝度正規化処理後の画像ＲｗYに対して、メディアンフィルタ等を用いたノイズ除去処理を施す。輝度正規化処理及びノイズ除去処理後の画像ＲｗYは画像ＲｗY’としてメモリ上に記憶される。
【０１６１】
その後、ステップＳ１５４において、画像ＬｗU及びＬｗVと画像ＲｗY’が合成され、この合成によって得られた画像がぶれ補正画像Ｑｗとして出力される。ぶれ補正画像Ｑｗ内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する画像ＬｗU内の画素の画素信号と、座標（ｘ，ｙ）に位置する画像ＬｗV内の画素の画素信号と、座標（ｘ，ｙ）に位置する画像ＲｗY’内の画素の画素信号と、から形成されることとなる。
【０１６２】
カラー画像において、見た目のぶれは主に輝度のぶれによって引き起こされ、輝度のエッジ成分がぶれのない理想画像のそれに近ければ、観察者はぶれが少ないと感じる。従って、本補正方法では、ぶれ量の比較的少ない参照画像Ｒｗの輝度信号を補正対象画像Ｌｗの色信号に合成することによって擬似的な手ぶれ補正効果を得る。この方法によれば、エッジ近傍で色ずれが生じることとなるが、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０１６３】
［第３の補正方法］
次に、図２２及び図２３を参照して、第３の補正方法について説明する。図２２は、第３の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。図２３は、このぶれ補正処理の流れを表す概念図である。第３の補正方法を採用する場合、図１１のステップＳ３５の処理は、図２２のステップＳ２０１〜Ｓ２０７の各処理から形成される。
【０１６４】
まず、ステップＳ２０１において、補正対象画像Ｌｗから特徴的な小領域を抽出することによって小画像Ｌｓを生成し、ステップＳ２０２において、参照画像Ｒｗから小画像Ｌｓに対応する小領域を抽出することによって小画像Ｒｓを生成する。このステップＳ２０１及びＳ２０２の処理は、図１７のステップＳ７１及びＳ７２の処理と同じである。続いてステップＳ２０３おいて、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像Ｒｓの輝度レベルを増加させる。即ち例えば、小画像Ｒｓの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。
【０１６５】
次に、ステップＳ２０４において、互いに異なる８種類の平滑化フィルタを用いて小画像Ｒｓ’をフィルタリングすることにより、平滑化度合いの異なる８つの平滑化小画像ＲｓG1、ＲｓG2、・・・、ＲｓG8を生成する。今、８つの平滑化フィルタとして互いに異なる８つのガウシアンフィルタを用いるものとし、各ガウシアンフィルタによって表されるガウス分布の分散をσ2で表す。
【０１６６】
一次元の画像に着目し、その一次元の画像における画素の位置をｘで表した場合、平均が０且つ分散がσ2のガウス分布は下記式（Ｂ−１）によって表されることが一般的に知られている（図２４参照）。このガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ）で表される。つまり、ガウシアンフィルタを位置０の画素に適用する時、位置ｘにおけるフィルタ係数はｈg（ｘ）で表される。換言すれば、ガウシアンフィルタによるフィルタリング後の位置０の画素値に対する、フィルタリング前の位置ｘの画素値の寄与率はｈg（ｘ）で表される。
【０１６７】
【数６】
2009153046.tif 000008
【０１６８】
この考え方を二次元に拡張し、二次元の画像における画素の位置を（ｘ，ｙ）で表した場合、二次元ガウス分布は、下記式（Ｂ−２）によって表される。尚、ｘ及びｙは、それぞれ、水平方向の位置及び垂直方向の位置を表している。この二次元ガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ，ｙ）で表され、ガウシアンフィルタを位置（０，０）の画素に適用する時、位置（ｘ，ｙ）におけるフィルタ係数はｈg（ｘ，ｙ）で表される。つまり、ガウシアンフィルタによるフィルタリング後の位置（０，０）の画素値に対する、フィルタリング前の位置（ｘ，ｙ）の画素値の寄与率はｈg（ｘ，ｙ）で表される。
【０１６９】
【数７】
2009153046.tif 000009
【０１７０】
ステップＳ２０４では、８つのガウシアンフィルタとして、σ＝１，３，５，７，９，１１，１３，１５のガウシアンフィルタを用いることとする。続くステップＳ２０５では、小画像Ｌｓと平滑化小画像ＲｓG1〜ＲｓG8の夫々との間で画像マッチングを行い、平滑化小画像ＲｓG1〜ＲｓG8の内、最もマッチング誤差が小さくなる平滑化小画像（即ち、小画像Ｌｓとの相関性が最も高い平滑化小画像）を特定する。
【０１７１】
平滑化小画像ＲｓG1に着目し、小画像Ｌｓと平滑化小画像ＲｓG1を対比した時のマッチング誤差（マッチング残差）の算出法を簡単に説明する。小画像Ｌｓと平滑化小画像ＲｓG1の画像サイズは同じであり、それらの水平方向の画素数及び垂直方向の画素数を夫々ＭN及びＮNとする（ＭN及びＮNは、２以上の整数）。小画像Ｌｓ内の位置（ｘ，ｙ）における画素の画素値をＶLs（ｘ，ｙ）にて表し、平滑化小画像ＲｓG1内の位置（ｘ，ｙ）における画素の画素値をＶRs（ｘ，ｙ）にて表す。（但し、ｘ及びｙは、０≦ｘ≦ＭN−１且つ０≦ｙ≦ＮN−１、を満たす整数）。そうすると、対比画像間におけるＳＡＤ（Sum of Absolute Difference）を表すＲSADは下記式（Ｂ−３）に従って算出され、対比画像間におけるＳＳＤ（Sum of Square Difference）を表すＲSSDは下記式（Ｂ−４）に従って算出される。
【０１７２】
【数８】
2009153046.tif 000010
【０１７３】
このＲSAD又はＲSSDを、小画像Ｌｓと平滑化小画像ＲｓG1との間におけるマッチング誤差とする。同様にして、小画像Ｌｓと平滑化小画像ＲｓG2〜ＲｓG8の夫々との間におけるマッチング誤差も求め、最もマッチング誤差が小さくなる平滑化小画像を特定する。今、σ＝５に対応する平滑化小画像ＲｓG3が特定されたとする。ステップＳ２０５では、平滑化小画像ＲｓG3に対応するσをσ’とする。即ち、σ’の値は５となる。
【０１７４】
続くステップＳ２０６では、このσ’によって表されるガウスぼけを補正対象画像Ｌｗの劣化の状態を表す画像劣化関数として取り扱うことにより、補正対象画像Ｌｗの劣化除去を図る。
【０１７５】
具体的には、ステップＳ２０６では、σ’に基づいて補正対象画像Ｌｗの全体にアンシャープマスクフィルタを適用することにより、補正対象画像Ｌｗのぶれを除去する。アンシャープマスクフィルタの適用前の画像を入力画像ＩINPUTとし、アンシャープマスクフィルタの適用後の画像を出力画像ＩOUTPUTとして、アンシャープマスクフィルタの処理内容を説明する。まず、アンシャープフィルタとしてσ’のガウシアンフィルタ（即ち、σ＝５のガウシアンフィルタ）を採用し、このσ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングすることにより、ぼかし画像ＩBLURを生成する。次に、入力画像ＩINPUTの各画素値からぼかし画像ＩBLURの各画素値を差し引くことにより、入力画像ＩINPUTとぼかし画像ＩBLURとの間の差分画像ＩDELTAを生成する。最後に、入力画像ＩINPUTの各画素値に差分画像ＩDELTAの各画素値を加算することによって得られた画像を、出力画像ＩOUTPUTとする。入力画像ＩINPUTと出力画像ＩOUTPUTとの関係式を式（Ｂ−５）に示す。式（Ｂ−５）において、(ＩINPUT・Gauss)は、σ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングした結果を表している。
ＩOUTPUT ＝ＩINPUT＋ＩDELTA
＝ＩINPUT＋(ＩINPUT−ＩBLUR)
＝ＩINPUT＋(ＩINPUT−(ＩINPUT・Gauss)        ・・・（Ｂ−５）
【０１７６】
ステップＳ２０６では、補正対象画像Ｌｗを入力画像ＩINPUTとして取り扱うことにより、出力画像ＩOUTPUTとしてのフィルタリング画像を得る。そして、ステップＳ２０７において、このフィルタリング画像のリンギングを除去してぶれ補正画像Ｑｗを生成する（ステップＳ２０７の処理は、図１７のステップＳ７８の処理と同じである）。
【０１７７】
アンシャープマスクフィルタを用いることにより、入力画像（ＩINPUT）のエッジが強調され、画像鮮鋭化効果が得られる。但し、ぼかし画像（ＩBLUR）生成時におけるぼかし度合いが入力画像に含まれる実際のぼけ量と大きく異なると、適切なぼけ補正効果が得られない。例えば、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも大きいと、出力画像（ＩOUTPUT）は、極端に鮮鋭化された不自然な画像となる。一方、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも小さいと、鮮鋭化効果が弱すぎる。本補正方法では、アンシャープフィルタとしてσにてぼかし度合いが規定されるガウシアンフィルタを用い、そのガウシアンフィルタのσとして画像劣化関数に対応するσ’を用いる。このため、最適な鮮鋭化効果が得られ、ぼけが良好に除去された補正画像が得られる。即ち、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０１７８】
図２５に、入力画像ＩINPUTとしての手ぶれ画像３００と共に、最適なσのガウシアンフィルタを用いた場合に得られる画像（即ち、本来の補正画像）３０２と、小さすぎるσのガウシアンフィルタを用いた場合に得られる画像３０１と、大きすぎるσのガウシアンフィルタを用いた場合に得られる画像３０３と、を示す。σが小さすぎると鮮鋭化効果が弱く、σが大きすぎると極端に鮮鋭化された不自然な画像が生成されることが分かる。
【０１７９】
また、第３の補正方法を採用する場合、第１の補正方法を採用する場合と同様、参照画像Ｒｗの生成元の短露光画像の全画像データを記録媒体１６に記録しておく必要は必ずしもなく、短露光画像の全画像データの内、小画像Ｒｓ又はＲｓ’の画像データのみを記録媒体１６に記録しておくようにすれば、ぶれ補正画像Ｑｗの生成は可能である。
【０１８０】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１８１】
［注釈１］
上述の連写撮影は連続撮影（即ち、連続的な撮影）と同義であるが、この連続撮影の期間中に、撮影に関する諸条件は固定されていてもよいし変更されてもよい。撮影に関する諸条件とは、撮像部１１の焦点位置、撮像部１１の露出量、ホワイトバランスなどである。撮影に関する諸条件を変更しながら行われる連続撮影は、一般的に、ブラケット撮影とも呼ばれる。例えば、焦点位置に対するブラケット撮影を行う場合には、複数枚の撮影画像が異なる焦点位置（ピント位置）にて取得されるように、図２のフォーカスレンズ３１の位置を順次変更させながら連続的に撮影を行う。
【０１８２】
［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、主制御部１３の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。主制御部１３にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【図面の簡単な説明】
【０１８３】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】プレビュー画像の撮影期間と被記録画像列の撮影期間との時間的関係を示す図である。
【図４】図１の撮像装置の一部ブロック図である。
【図５】本発明の第１実施例に係り、撮像装置の撮影動作の流れを表すフローチャートである。
【図６】本発明の第１実施例に係り、撮影準備期間中に得られたプレビュー画像列を示す図である。
【図７】本発明の第１実施例に係る被記録画像列の撮影パターンを例示する図である。
【図８】本発明の第１実施例に係り、図１の記録媒体に記録される１つの画像ファイルの構造を示す図である。
【図９】本発明の第１実施例に係り、図１の記録媒体に記録される画像ファイル群のデータ構造の模式図である。
【図１０】図５のステップＳ１８における記録制御の詳細フローチャートである。
【図１１】本発明の第１実施例に係り、撮像装置のぶれ補正動作の流れを表すフローチャートである。
【図１２】図１１のステップＳ３３における位置ずれ量算出処理の詳細フローチャートである。
【図１３】本発明の第１実施例に係り、位置ずれ量（ベクトル）が累積される様子を示す図である。
【図１４】本発明の第１実施例に係り、画像ファイルに対するアクセスの様子を示す図である。
【図１５】本発明の第２実施例に係る被記録画像列の撮影パターンを例示する図である。
【図１６】本発明の第３実施例に係る被記録画像列の撮影パターンを例示する図である。
【図１７】本発明の第４実施例に係り、第１の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。
【図１８】図１７のぶれ補正処理の一部である、フーリエ反復法の詳細フローチャートである。
【図１９】図１８のフーリエ反復法を実施する部位のブロック図である。
【図２０】本発明の第４実施例に係り、第２の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。
【図２１】図２０に対応するぶれ補正処理の概念図である。
【図２２】本発明の第４実施例に係り、第３の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。
【図２３】図２２に対応するぶれ補正処理の概念図である。
【図２４】本発明の第４実施例に係り、一次元のガウス分布を示す図である。
【図２５】図２２に対応するぶれ補正処理の効果を説明するための図である。
【図２６】従来のフーリエ反復法を実現する構成のブロック図である。
【符号の説明】
【０１８４】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  主制御部
１６  記録媒体
３３  撮像素子
５１  第１位置ずれ検出部
５２  撮影制御部
５３  記録制御部
５４  補正対象画像抽出部
５５  参照画像抽出部
５６  第２位置ずれ検出部
５７  補正処理部
【図１】
2009153046.tif 000011
【図２】
2009153046.tif 000012
【図３】
2009153046.tif 000013
【図４】
2009153046.tif 000014
【図５】
2009153046.tif 000015
【図６】
2009153046.tif 000016
【図７】
2009153046.tif 000017
【図８】
2009153046.tif 000018
【図９】
2009153046.tif 000019
【図１０】
2009153046.tif 000020
【図１１】
2009153046.tif 000021
【図１２】
2009153046.tif 000022
【図１３】
2009153046.tif 000023
【図１４】
2009153046.tif 000024
【図１５】
2009153046.tif 000025
【図１６】
2009153046.tif 000026
【図１７】
2009153046.tif 000027
【図１８】
2009153046.tif 000028
【図１９】
2009153046.tif 000029
【図２０】
2009153046.tif 000030
【図２１】
2009153046.tif 000031
【図２２】
2009153046.tif 000032
【図２３】
2009153046.tif 000033
【図２４】
2009153046.tif 000034
【図２６】
2009153046.tif 000035
【図２５】
2009153046.tif 000036