(57)【要約】【課題】ぶれの大きさに応じて画像復元式手ぶれ補正を行う。【解決手段】適正露光と短時間露光の連続撮影により補正対象画像Ｌｗと参照画像Ｒｗを取得する。参照画像Ｒｗから小画像Ｒｓを抽出する共に小画像Ｒｓに対応する小画像Ｌｓを補正対象画像Ｌｗから抽出する。補正対象画像Ｌｗと参照画像Ｒｗとの対比から補正対象画像Ｌｗのぶれの大きさを推定し、そのぶれの大きさが大きいと推定された場合は、２つの小画像Ｌｓ及びＲｓと補正対象画像Ｌｗの画像サイズを縮小する。そして、小画像Ｌｓ及びＲｓの各縮小画像からＰＳＦを算出して、そのＰＳＦに基づく画像復元フィルタを用いて補正対象画像Ｌｗの縮小画像のぶれを補正し、その後、画像拡大処理によって補正画像Ｑｗを生成する。ぶれの大きさが小さいと推定された場合は、画像縮小処理を行うことなくＰＳＦを求めて補正対象画像Ｌｗのぶれを補正する。【選択図】図５
2009111596.tif 000002
【特許請求の範囲】
【請求項１】
入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、
前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、
前記第１及び第２画像に基づいて前記第１画像に含まれるぶれを補正し、その補正後の前記第１画像を補正画像として出力するぶれ補正手段と、を備え、
前記ぶれ補正手段は、前記撮像素子の出力信号に基づく２枚の画像の比較結果に基づいて前記第１画像のぶれに対する補正処理を変更する
ことを特徴とする撮像装置。
【請求項２】
前記ぶれ補正手段は、前記２枚の画像の比較結果に基づいて前記第１画像のぶれの大きさを推定し、推定した前記ぶれの大きさに応じて前記補正処理を変更する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ぶれ補正手段は、
前記第１画像及び前記第２画像を縮小することなく、前記第１及び第２画像に基づいて前記第１画像に含まれるぶれを補正して前記補正画像を生成する第１補正処理手段と、
前記第１画像の縮小画像及び前記第２画像の縮小画像に基づいて前記第１画像の縮小画像に含まれるぶれを補正した後、補正後の前記第１画像の縮小画像を拡大することにより前記補正画像を生成する第２補正処理手段と、
前記ぶれの大きさに応じて前記第１及び第２補正処理手段の何れか一方を択一的に機能させることにより前記補正処理を変更する補正処理切替手段と、を備えた
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２補正処理手段は、前記第１画像の一部の縮小画像及び前記第２画像の一部の縮小画像に基づいて前記第１画像の全体の縮小画像に含まれるぶれを補正した後、補正後の前記第１画像の全体の縮小画像を拡大することにより前記補正画像を生成する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記２枚の画像は、前記第１画像及び第２画像であり、
前記ぶれ補正手段は、前記第１画像と前記第２画像の比較結果から前記第１画像と前記第２画像との間の動きベクトルを導出して、前記動きベクトルの大きさから前記ぶれの大きさを推定する
ことを特徴とする請求項２〜請求項４の何れかに記載の撮像装置。
【請求項６】
前記２枚の画像は、前記第１画像及び第２画像であり、
前記ぶれ補正手段は、所定の高域周波数成分を前記第１及び第２画像から抽出し、前記第１及び第２画像から抽出された高域周波数成分の強度の比に基づいて前記ぶれの大きさを推定する
ことを特徴とする請求項２〜請求項４の何れかに記載の撮像装置。
【請求項７】
前記２枚の画像は、前記第１画像及び第２画像であり、
前記ぶれ補正手段は、前記第１画像内に設定された小画像と前記第２画像内に設定された小画像との類似度を検出する類似度検出手段を備え、前記第１又は前記第２画像内に設定される前記小画像の位置を順次ずらしていくことにより各位置における前記類似度を検出し、検出された複数の類似度に基づいて前記ぶれの大きさを推定する
ことを特徴とする請求項２〜請求項４の何れかに記載の撮像装置。
【請求項８】
前記類似度検出手段は、前記類似度を表す相関値を導出し、
前記ぶれ補正手段は、前記複数の類似度の内の最大の類似度を特定して、その最大の類似度に対応する相関値の大きさに基づいて前記ぶれの大きさを推定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記２枚の画像は、前記第１画像の撮影前又は撮影後に前記撮像素子から取得され、
前記ぶれ補正手段は、前記２枚の画像の比較結果から前記２枚の画像間の動きベクトルを導出して、前記動きベクトルの大きさから前記ぶれの大きさを推定する
ことを特徴とする請求項２〜請求項４の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、手ぶれに由来する画像のぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の方式として様々な方式が提案されているが、その中に、画像復元式手ぶれ補正が存在する。
【０００３】
画像復元式手ぶれ補正では、ぶれによる画像の劣化を画像復元処理によって除去する。例えば、撮像素子から得た画像データに基づいて、或いは、手ぶれ検出センサの検出データに基づいて、撮影中の手ぶれの状態を表す手ぶれ情報を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像を復元処理によって生成する。
【０００４】
手ぶれ情報は、一般的には、点広がり関数（Point Spread Function；ＰＳＦ）によって表される。理想的な点像が撮像装置のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。ＰＳＦは行列で表現されており、そのＰＳＦの逆行列の各要素を各フィルタ係数として有する画像復元フィルタを用いて手ぶれ画像をフィルタリングすれば、ぶれのない画像が復元される。図１９に、手ぶれの軌跡とＰＳＦと画像復元フィルタの関係を示すと共に手ぶれ画像から復元画像が生成される様子を示す。尚、ＰＳＦの図示において、斜線が付された部分は重み付けがなされた要素を表している。
【０００５】
角速度センサなどの手ぶれ検出センサを用いてＰＳＦを作成し、そのＰＳＦに基づく画像復元フィルタを用いて画像復元式手ぶれ補正を行う技術が、下記特許文献１に開示されている。但し、手ぶれ検出センサを用いれば撮像装置のコストアップを招くため、手ぶれ検出センサを必要とすることなく、画像復元式手ぶれ補正を行うことのできる技術が求められている。
【０００６】
また、第１画像と第１画像の露光時間よりも短い露光時間にて撮影された第２画像とに基づいて第１画像に含まれるぶれを補正するという手法も提案されている（例えば、下記特許文献２参照）。
【０００７】
尚、フーリエ反復法を用いた画像復元式手ぶれ補正も提案されている（例えば、下記非特許文献１参照）。図２０にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像として、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【０００８】
【特許文献１】特開２００６−１２９２３６号公報
【特許文献２】特開２００１−３４６０９３号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、撮像装置内の画像処理部の回路規模と画像復元演算にかけることのできる時間に依存して、通常、画像復元フィルタのフィルタサイズ（タップ数）の上限は決められている。ＰＳＦは画像復元フィルタの逆行列に相当するのであるから、ＰＳＦの行列サイズも画像復元フィルタのフィルタサイズの上限に応じて定められている。そうすると、仮に、ＰＳＦの行列サイズを超えるような大きな手ぶれが生じた場合は、正確なＰＳＦを求めることができず、結果、良好な手ぶれ補正を実行することができない。しかしながら、この問題に対応する技術が未だ提案されていないのが実情である。また、上述したように、手ぶれ検出センサの削減による低コスト化も重要である。
【００１０】
そこで本発明は、低コストで、ぶれ補正すべき画像の状態に適応したぶれ補正処理を実現可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る撮像装置は、入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、  前記第１及び第２画像に基づいて前記第１画像に含まれるぶれを補正し、その補正後の前記第１画像を補正画像として出力するぶれ補正手段と、を備え、前記ぶれ補正手段は、前記撮像素子の出力信号に基づく２枚の画像の比較結果に基づいて前記第１画像のぶれに対する補正処理を変更することを特徴とする。
【００１２】
これにより、例えば、撮像素子の出力信号に基づく２枚の画像の比較結果から第１画像のぶれの大きさを推定し、その推定結果に応じた適当な補正処理を実現することが可能となる。また、手ぶれ検出センサが不要となるため、撮像装置の低コストが図られる。
【００１３】
即ち、具体的には例えば、前記ぶれ補正手段は、前記２枚の画像の比較結果に基づいて前記第１画像のぶれの大きさを推定し、推定した前記ぶれの大きさに応じて前記補正処理を変更する。
【００１４】
より具体的には例えば、前記ぶれ補正手段は、前記第１画像及び前記第２画像を縮小することなく、前記第１及び第２画像に基づいて前記第１画像に含まれるぶれを補正して前記補正画像を生成する第１補正処理手段と、前記第１画像の縮小画像及び前記第２画像の縮小画像に基づいて前記第１画像の縮小画像に含まれるぶれを補正した後、補正後の前記第１画像の縮小画像を拡大することにより前記補正画像を生成する第２補正処理手段と、前記ぶれの大きさに応じて前記第１及び第２補正処理手段の何れか一方を択一的に機能させることにより前記補正処理を変更する補正処理切替手段と、を備えている。
【００１５】
これにより、ぶれが比較的小さいと判断される時には第１補正処理手段を用いて高精度の手ぶれ補正を実施し、ぶれが比較的大きいと判断される時には第２補正処理手段を用いることで補正可能なぶれ量を実質的に拡大することが可能となる。つまり、ぶれの大きさに適応した補正処理を切替実行することが可能となる。
【００１６】
また例えば、前記第２補正処理手段は、前記第１画像の一部の縮小画像及び前記第２画像の一部の縮小画像に基づいて前記第１画像の全体の縮小画像に含まれるぶれを補正した後、補正後の前記第１画像の全体の縮小画像を拡大することにより前記補正画像を生成する。
【００１７】
また具体的には例えば、前記２枚の画像は、前記第１画像及び第２画像であり、前記ぶれ補正手段は、前記第１画像と前記第２画像の比較結果から前記第１画像と前記第２画像との間の動きベクトルを導出して、前記動きベクトルの大きさから前記ぶれの大きさを推定する。
【００１８】
或いは例えば、前記２枚の画像は、前記第１画像及び第２画像であり、前記ぶれ補正手段は、所定の高域周波数成分を前記第１及び第２画像から抽出し、前記第１及び第２画像から抽出された高域周波数成分の強度の比に基づいて前記ぶれの大きさを推定する。
【００１９】
更に或いは例えば、前記２枚の画像は、前記第１画像及び第２画像であり、前記ぶれ補正手段は、前記第１画像内に設定された小画像と前記第２画像内に設定された小画像との類似度を検出する類似度検出手段を備え、前記第１又は前記第２画像内に設定される前記小画像の位置を順次ずらしていくことにより各位置における前記類似度を検出し、検出された複数の類似度に基づいて前記ぶれの大きさを推定する。
【００２０】
そして例えば、前記類似度検出手段は、前記類似度を表す相関値を導出し、前記ぶれ補正手段は、前記複数の類似度の内の最大の類似度を特定して、その最大の類似度に対応する相関値の大きさに基づいて前記ぶれの大きさを推定する。
【００２１】
また例えば、前記２枚の画像は、前記第１画像の撮影前又は撮影後に前記撮像素子から取得され、前記ぶれ補正手段は、前記２枚の画像の比較結果から前記２枚の画像間の動きベクトルを導出して、前記動きベクトルの大きさから前記ぶれの大きさを推定する。
【発明の効果】
【００２２】
本発明によれば、低コストで、ぶれ補正すべき画像の状態に適応したぶれ補正処理が実現可能となる。
【００２３】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第５実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２５】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。
【００２６】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００２７】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。
【００２８】
ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。内部メモリ１７は、フレームメモリとして機能し、撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００２９】
図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。
【００３０】
ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて絞り３２の開口量（開口部の大きさ）を制御する。光学系３５に入射する光学像が同じである場合、絞り３２の開口量が大きくなるに従って、撮像素子３３への単位時間当たりの入射光量は増大する。
【００３１】
被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００３２】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。光学系３５に入射する光学像が同じであり且つ絞り３２の開口量が同じである場合、撮像素子３３（各画素）からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。
【００３３】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度（以下、ゲインという）は可変となっている。ＡＦＥ１２のゲインは、ＣＰＵ２３によって制御される。
【００３４】
映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。映像信号処理部１３にて生成された映像信号は、圧縮処理部１６と映像出力回路２０に送られる。
【００３５】
図３に映像信号処理部１３の内部ブロック図を示す。映像信号処理部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値を検出するＡＦ評価値検出部４１、撮影画像の明るさに応じたＡＥ評価値を検出するＡＥ評価値検出部４２、及び、撮影画像中の物体の動きを検出する動き検出部４３などを含む。着目した撮影画像についてのＡＥ評価値は、例えば、着目した撮影画像を形成する各画素の輝度値の平均値とされる。
【００３６】
ＡＦ評価値等を含む、映像信号処理部１３にて生成された各種の信号は、必要に応じてＣＰＵ２３に伝達される。ＣＰＵ２３は、ＡＦ評価値に応じて図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３上に結像させる。また、ＣＰＵ２３は、ＡＥ評価値に応じて図２のドライバ３４を介して絞り３２の開口量（及び必要に応じてＡＦＥ１２のゲイン）を調節することにより、画像の明るさを制御する。
【００３７】
図１において、マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。
【００３８】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に送られる。
【００３９】
録画ボタン２６ａは、ユーザが動画の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影及び記録を指示するための押しボタンスイッチである。
【００４０】
撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、外部メモリ１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００４１】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。つまり、音声信号と共に、各フレームの撮影画像が順次外部メモリ１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画の撮影は完了する。
【００４２】
また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影及び記録が行われる。具体的には、ＣＰＵ２３の制御の下、その押下後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介して外部メモリ１８に記録される。
【００４３】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。
【００４４】
映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。
【００４５】
また、再生モードにおいて動画を再生する際、外部メモリ１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００４６】
ところで、撮像装置１は、静止画に対する手ぶれ補正機能を備えている。この機能によって、ぶれを含む撮影画像からぶれが補正された画像を得ることができる。以下、ぶれが補正されるべき撮影画像を「補正対象画像」と呼び、ぶれが補正された画像を「補正画像」と呼ぶ。また、詳細は後述するが、手ぶれ補正は、補正対象画像以外の撮影画像を参照した上で実施される。この参照される撮影画像を「参照画像」と呼ぶ。
【００４７】
補正画像を表す映像信号は、例えば、撮像装置１に設けられた外部出力端子（不図示）を介して外部の表示装置（不図示）に供給され、その表示装置上で補正画像が表示される。勿論、表示部２７にて補正画像を表示することも可能である。また、操作部２６に対する操作に応じて、補正画像は外部メモリ１８に記録される。
【００４８】
手ぶれ補正の方式として、画像復元式が採用される。但し、手ぶれ補正を実現するに当たり、角速度センサ等の手ぶれ検出センサは用いられない。即ち、撮像素子３３の出力信号に基づいて補正対象画像のぶれによる劣化の状態を表す劣化関数（画像劣化関数）を算出し、その劣化関数から補正対象画像の劣化を除去するための復元関数（画像復元関数）を算出する。そして、補正対象画像に復元関数を作用させることによって復元画像としての補正画像を生成する。
【００４９】
劣化関数は、補正対象画像の露光期間中に生じた手ぶれの状態を表す手ぶれ情報であり、劣化関数として点広がり関数（Point Spread Function；以下、「ＰＳＦ」という）が求められる。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。
【００５０】
復元関数は、２次元空間フィルタである画像復元フィルタによって表現される。例えば、ＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として採用する。この画像復元フィルタを用いたフィルタリングを補正対象画像に施すことにより、補正対象画像のぶれが除去される。尚、本明細書において、ぶれに関する除去とは、「完全な除去」又は「一部の除去」を意味する。従って、ぶれに関する除去を「低減」と読み替えることもできる。
【００５１】
図４を参照して、本実施形態に係る手ぶれ補正の基本原理を簡単に説明する。図４は、手ぶれ補正の流れを示す概念図である。図４には、補正対象画像、参照画像及び補正画像の例が示されている。補正対象画像、参照画像及び補正画像を表す記号を、夫々、Ｌｗ、Ｒｗ及びＱｗとする。
【００５２】
補正対象画像Ｌｗは、通常露光撮影によって取得される一方、参照画像Ｒｗは短時間露光撮影によって取得される。つまり、補正対象画像Ｌｗの撮影時における露光時間に比べて、参照画像Ｒｗの撮影時における露光時間は短い。補正対象画像Ｌｗの露光時間は比較的長いため、手ぶれに由来して補正対象画像Ｌｗに含まれるぶれは比較的多い。一方、参照画像Ｒｗの露光時間は比較的短いため、参照画像Ｒｗに含まれるぶれは軽微である。そこで、補正対象画像Ｌｗと参照画像Ｒｗの対比から、補正対象画像Ｌｗのぶれによる劣化の状態を推定し、その劣化を補正するための復元関数（即ち、画像復元フィルタの各フィルタ係数）を求める。
【００５３】
つまり例えば、補正対象画像Ｌｗ及び参照画像Ｒｗの取得後、参照画像Ｒｗからエッジ成分を多く含む小画像Ｒｓを抽出する一方で、その小画像Ｒｓに対応する小画像Ｌｓを補正対象画像Ｌｗから抽出する。小画像Ｌｓ及び小画像Ｒｓは、夫々、補正対象画像Ｌｗ及び参照画像Ｒｗの一部画像である。その後、小画像Ｌｓと小画像Ｒｓの対比結果から小画像Ｌｓに対するＰＳＦを算出し、そのＰＳＦから画像復元フィルタの各フィルタ係数を算出する。そして、算出された各フィルタ係数を有する画像復元フィルタを用いて補正対象画像Ｌｗの全体をフィルタリングすることにより補正画像Ｑｗを得る。手ぶれは画像全体に対して一様な劣化を与えるため、小画像Ｌｓに対して求めたＰＳＦは、補正対象画像Ｌｗの全体に対するＰＳＦとして利用することができる。
【００５４】
大きな手ぶれに対応するためには、通常、大きなフィルタサイズ（タップ数）を有する画像復元フィルタが必要となる。しかし、画像復元フィルタのフィルタサイズを大きくすれば、フィルタリングを行う回路の規模が増大すると共に処理時間も増大する。そこで、撮像装置１内の画像復元フィルタのフィルタサイズには上限が定められており、ＰＳＦの行列サイズも画像復元フィルタのフィルタサイズの上限に応じて定められている。そうすると、仮に、ＰＳＦの行列サイズを超えるような大きな手ぶれが生じた場合は、正確なＰＳＦを求めることができず、結果、良好な手ぶれ補正を実行することができなくなる、といったことが危惧される。しかし、このような危惧を解消すべく、撮像装置１は、手ぶれの大きさに適応した手ぶれ補正処理を切替実行する機能を備えている。
【００５５】
以下に、本実施形態に係る手ぶれ補正処理に関する実施例として、第１〜第５実施例を説明する。或る実施例に記載した内容は、矛盾なき限り、他の実施例にも適用することができる。尚、以下の説明において、単に「メモリ」といった場合、それは、映像信号処理部１３又は内部メモリ１７内のメモリを意味する。
【００５６】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図５は、第１実施例に係る手ぶれ補正動作の概念図である。図６は、第１実施例に係る、撮影モードにおいてシャッタボタン２６ｂが押下された時の動作の流れを表すフローチャートである。
【００５７】
撮影モードにおいてシャッタボタン２６ｂが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像Ｌｗとしてメモリ上に記憶する（ステップＳ１）。通常露光撮影とは、適正な画像明るさを得るための適正露光時間によって行われる撮影である。適正露光時間は、補正対象画像Ｌｗの撮影前に得られた撮影画像についてのＡＥ評価値に基づいて決定される。
【００５８】
また、補正対象画像Ｌｗを得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像Ｒｗとしてメモリ上に記憶する（ステップＳ１）。補正対象画像Ｌｗと参照画像Ｒｗは連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ｒｗを得る際の露光時間が補正対象画像Ｌｗを得る際の露光時間よりも短くなるように、ＣＰＵ２３は、撮像素子３３を制御する。尚、補正対象画像Ｌｗと参照画像Ｒｗの画像サイズは等しいものとする。
【００５９】
ステップＳ１にて補正対象画像Ｌｗ及び参照画像Ｒｗを取得した後、ステップＳ２において、撮像素子３３の出力信号に基づき補正対象画像Ｌｗに含まれるぶれの大きさを推定する。この推定手法は第２実施例において詳説する。
【００６０】
続くステップＳ３では、ステップＳ２にて推定されたぶれの大きさに基づく分岐判断を行う。具体的には、推定されたぶれの大きさを５段階に分類し、分類結果に応じてステップＳ４、Ｓ５、Ｓ６及びＳ７の何れか１つの処理を実行する。推定されたぶれの大きさは、第１〜第５の段階に分類される。ぶれの大きさが非常に小さいとき、第１の段階に分類され、ぶれの大きさが大きくなるにつれて分類される段階が、第１の段階から順に第２、第３、第４、第５の段階に向かうものとする。
【００６１】
そして、ぶれの大きさが「極めて小」であり第１の段階に分類された時は、手ぶれ補正が不要であると判断し、ステップＳ４に移行する。ステップＳ４では、手ぶれ補正を不実行とする。ぶれの大きさが「小」であり第２の段階に分類された時は、ステップＳ５に移行して通常補正処理を実行することにより、補正対象画像Ｌｗのぶれが補正された補正画像Ｑｗを生成する。ぶれの大きさが「中」であり第３の段階に分類された時は、ステップＳ６に移行して第１スケーリング補正処理を実行することにより、補正対象画像Ｌｗのぶれが補正された補正画像Ｑｗを生成する。ぶれの大きさが「大」であり第４の段階に分類された時は、ステップＳ７に移行して第２スケーリング補正処理を実行することにより、補正対象画像Ｌｗのぶれが補正された補正画像Ｑｗを生成する。ぶれの大きさが「極めて大」であり第５の段階に分類された時は、手ぶれ補正が不可能であると判断してステップＳ４に移行し、手ぶれ補正を不実行とする。勿論、「極めて小」、「小」、「中」、「大」、「極めて大」の順番でぶれの大きさが大きくなるものとする。
【００６２】
通常補正処理では、図４に対応する基本原理に従った手ぶれ補正処理がなされる（図５の「縮小」と記載された部位及び「拡大」と記載された部位は利用されない）。つまり、補正対象画像Ｌｗ及び参照画像Ｒｗから抽出される小画像Ｌｓ及びＲｓ並びに補正対象画像Ｌｗそのものに対して画像縮小処理を施すことなく、ＰＳＦの算出及び画像復元フィルタによるフィルタリングを介して手ぶれ補正がなされる。
【００６３】
一方、第１スケーリング補正処理では、小画像Ｌｓ及びＲｓの画像サイズを１／２に縮小してからＰＳＦ算出処理を行うことにより小画像Ｌｓの縮小画像に対するＰＳＦを算出し、そのＰＳＦから画像復元フィルタの各フィルタ係数を求める。このため、ＰＳＦにて表現することのできる手ぶれの大きさは実質的に２倍に拡大する。求められた画像復元フィルタの各フィルタ係数は小画像Ｌｓの縮小画像に適応したものであるため、補正対象画像Ｌｗの画像サイズも１／２に縮小してから画像復元フィルタによるフィルタリングを実行し、フィルタリング後の画像の画像サイズを２倍に拡大することで補正画像Ｑｗを得る。第２スケーリング補正処理は、第１スケーリング補正処理と同様の処理を、縮小比率及び拡大比率を１／４及び４倍にした上で実行する。
【００６４】
尚、露光時間の短い参照画像Ｒｗの高域周波数成分の方が、本来、補正対象画像Ｌｗのそれよりも大きいはずであるが、偶発的に参照画像Ｒｗの露光期間中に異常に大きな手ぶれが発生することもありうる。このような場合において、ＰＳＦの算出を介して手ぶれ補正を行うと良好な補正画像を得ることができない（改悪画像が得られてしまう）。従って、参照画像Ｒｗのぶれが補正対象画像Ｌｗのぶれよりも大きいと判断される場合は、例外的に、ステップＳ３からステップＳ４に移行して手ぶれ補正を不実行とするとよい。この判断方法は、第２実施例において説明される。
【００６５】
また、着目した画像（又は画像中の領域）の画像サイズとは、その着目した画像（又は画像中の領域）を形成する水平方向の画素数及び垂直方向の画素数を表す。従って、小画像Ｌｓと小画像Ｌｓの画像サイズを１／２に縮小することによって得られる縮小画像とを対比した場合、その縮小画像の水平方向の画素数は小画像Ｌｓのそれの１／２となり、その縮小画像の垂直方向の画素数も小画像Ｌｓのそれの１／２となる。画像サイズの縮小は、画素の間引きによって実現される。但し、補間処理を用いた解像度変換によって画像サイズの縮小を実現することも可能である。画像サイズの拡大は、補間処理を用いた解像度変換によって実現される。補間処理の手法として、ニアレストネイバー法、バイリニア法、バイキュービック法などの各種の手法を利用可能である。
【００６６】
［通常補正処理］
図７を参照して、ステップＳ５にて実行される通常補正処理について詳細に説明する。図７は、通常補正処理の流れを表すフローチャートである。図６のステップＳ５の処理は、図７のステップＳ１１〜Ｓ１５の各処理から形成される。
【００６７】
まず、ステップＳ１１において、参照画像Ｒｗの中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｒｓとしてメモリ上に記憶する。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。
【００６８】
次に、ステップＳ１２において、参照画像Ｒｗから抽出された小領域に対応する小領域を補正対象画像Ｌｗから抽出し、補正対象画像Ｌｗから抽出された小領域内の画像を小画像Ｌｓとしてメモリ上に記憶する。補正対象画像Ｌｗと参照画像Ｒｗの画像サイズは等しいため、両画像から抽出される両小領域の画像サイズも等しい。
【００６９】
補正対象画像Ｌｗと参照画像Ｒｗの撮影間において生じうる手ぶれを考慮し、ステップＳ１２では、テンプレートマッチング法などを利用した画像処理によって対応小領域の探索を行う。即ち例えば、参照画像Ｒｗから抽出された小画像Ｒｓをテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を補正対象画像Ｌｗ内から探索する。そして、探索された小領域内の画像を補正対象画像Ｌｗから抽出して小画像Ｌｓを生成する。尚、補正対象画像Ｌｗと参照画像Ｒｗの撮影間において生じうる手ぶれを無視するならば、参照画像Ｒｗから抽出された小領域と同一座標の小領域を補正対象画像Ｌｗから抽出して小画像Ｌｓを生成することも可能である。
【００７０】
また、参照画像Ｒｗの露光時間が短いことに起因して参照画像Ｒｗから抽出された小画像そのものの信号対雑音比（Ｓ／Ｎ比）が比較的低くなることを考慮し、参照画像Ｒｗから抽出された小領域内の画像に対してノイズ除去処理を施して得られる画像を小画像Ｒｓとして取り扱うようにしてもよい。また、参照画像Ｒｗの露光時間は補正対象画像Ｌｗの露光時間よりも短いのであるが、ＣＰＵ２３によるＡＦＥ１２のゲインの調整により、補正対象画像Ｌｗと参照画像Ｒｗの輝度レベルは同程度となっているものとする（即ち、補正対象画像Ｌｗの平均輝度と参照画像Ｒｗの平均輝度が同程度となっている）。尚、２つの小画像Ｌｓ及びＲｓを生成する順序を逆にしても良い。つまり、補正対象画像Ｌｗから特徴的な小領域を抽出して小画像Ｌｓを生成した後に、その小画像Ｌｓに対応する小画像Ｒｓを参照画像Ｒｗから抽出するようにしてもよい。
【００７１】
ステップＳ１３では、ステップＳ１２及びＳ１１にて生成された小画像Ｌｓ及びＲｓに基づいて小画像Ｌｓに対するＰＳＦを算出し、続くステップＳ１４では、このＰＳＦから画像復元フィルタの各フィルタ係数を算出する。ＰＳＦ及び画像復元フィルタのフィルタ係数の算出方法の例は、第４実施例で説明する。
【００７２】
そして、ステップＳ１５において、ステップＳ１４にて求められた各フィルタ係数を有する画像復元フィルタを用いたフィルタリング（空間フィルタリング）を補正対象画像Ｌｗの全体に施し、フィルタリング後の画像を補正画像Ｑｗとして得る。尚、フィルタリング後の画像に対してリンギング除去処理を施し、リンギング除去処理後の画像を補正画像Ｑｗとして生成するようにしても良い（後述のステップ２７及びＳ３７においても同様）。リンギング除去処理の手法して、例えば、特開２００６−１２９２３６号公報に記載された手法を利用可能である。
【００７３】
［第１スケーリング補正処理］
図８を参照して、図６のステップＳ６にて実行される第１スケーリング補正処理について詳細に説明する。図８は、第１スケーリング補正処理の流れを表すフローチャートである。図６のステップＳ６の処理は、図８のステップＳ２１〜Ｓ２７の各処理から形成される。
【００７４】
まず、ステップＳ２１及びＳ２２の各処理を実行することにより参照画像Ｒｗ及び補正対象画像Ｌｗから小画像Ｒｓ及びＬｓを生成する。ステップＳ２１及びＳ２２の各処理内容は、図７のステップＳ１１及びＳ１２のそれらと同じであり、小画像Ｒｓ及びＬｓの生成方法に関して上述された事項は、ステップＳ２１及びＳ２２にも適用される。但し、ステップＳ２１及びＳ２２において参照画像Ｒｗ及び補正対象画像Ｌｗから抽出される小領域の画像サイズは、ステップＳ１１及びＳ１２におけるそれらの２倍とされる。このため、通常補正処理と比較して、手ぶれの検出範囲の大きさは実質的に２倍に拡大する。
【００７５】
ステップＳ２３では、補正対象画像Ｌｗの画像サイズ並びにステップＳ２２及びＳ２１にて生成された小画像Ｌｓ及びＲｓの画像サイズを、夫々、１／２に縮小する。その後、ステップＳ２４において、ステップＳ２３にて得られた小画像Ｌｓ及びＲｓの各縮小画像に基づいて小画像Ｌｓの縮小画像に対するＰＳＦを算出し、続くステップＳ２５において、このＰＳＦから画像復元フィルタの各フィルタ係数を算出する。
【００７６】
ここで算出されたフィルタ係数は、小画像Ｌｓの縮小画像及び補正対象画像Ｌｗの縮小画像に適応する画像復元フィルタのフィルタ係数である。そこで、ステップＳ２６では、ステップＳ２５にて求められた各フィルタ係数を有する画像復元フィルタを用いたフィルタリング（空間フィルタリング）を、ステップＳ２３にて生成された補正対象画像Ｌｗの縮小画像の全体に対して施す。その後のステップＳ２７において、そのフィルタリング後の画像の画像サイズを２倍に拡大した画像を補正画像Ｑｗとして生成する。
【００７７】
［第２スケーリング補正処理］
図９を参照して、図６のステップＳ７にて実行される第２スケーリング補正処理について詳細に説明する。図９は、第２スケーリング補正処理の流れを表すフローチャートである。図６のステップＳ７の処理は、図９のステップＳ３１〜Ｓ３７の各処理から形成される。
【００７８】
まず、ステップＳ３１及びＳ３２の各処理を実行することにより参照画像Ｒｗ及び補正対象画像Ｌｗから小画像Ｒｓ及びＬｓを生成する。ステップＳ３１及びＳ３２の各処理内容は、図７のステップＳ１１及びＳ１２のそれらと同じであり、小画像Ｒｓ及びＬｓの生成方法に関して上述された事項は、ステップＳ３１及びＳ３２にも適用される。但し、ステップＳ３１及びＳ３２において参照画像Ｒｗ及び補正対象画像Ｌｗから抽出される小領域の画像サイズは、ステップＳ１１及びＳ１２におけるそれらの４倍とされる。このため、通常補正処理と比較して、手ぶれの検出範囲の大きさは実質的に４倍に拡大する。
【００７９】
ステップＳ３３では、補正対象画像Ｌｗの画像サイズ並びにステップＳ３２及びＳ３１にて生成された小画像Ｌｓ及びＲｓの画像サイズを、夫々、１／４に縮小する。その後、ステップＳ３４において、ステップＳ３３にて得られた小画像Ｌｓ及びＲｓの各縮小画像に基づいて小画像Ｌｓの縮小画像に対するＰＳＦを算出し、続くステップＳ３５において、このＰＳＦから画像復元フィルタの各フィルタ係数を算出する。
【００８０】
ここで算出されたフィルタ係数は、小画像Ｌｓの縮小画像及び補正対象画像Ｌｗの縮小画像に適応する画像復元フィルタのフィルタ係数である。そこで、ステップＳ３６では、ステップＳ３５にて求められた各フィルタ係数を有する画像復元フィルタを用いたフィルタリング（空間フィルタリング）を、ステップＳ３３にて生成された補正対象画像Ｌｗの縮小画像の全体に対して施す。その後のステップＳ３７において、そのフィルタリング後の画像の画像サイズを４倍に拡大した画像を補正画像Ｑｗとして生成する。
【００８１】
上述の如く、ＰＳＦ算出の前に補正対象画像Ｌｗのぶれの大きさを推定し、そのぶれの大きさに応じた最適な手ぶれ補正処理を実行する（或いは、手ぶれ補正処理を不実行とする）。ぶれの大きさが比較的小さい場合は、画像縮小処理を行わなくてもＰＳＦを正確に算出できる。そのため、ぶれの大きさが比較的小さいと判断される場合は、通常補正処理を行って高精度の手ぶれ補正を実現する。一方、ぶれの大きさが比較的大きいと判断される場合は、画像の縮小及び拡大処理を介した第１又は第２スケーリング補正処理を行う。これにより、手ぶれの検出範囲の大きさ及びＰＳＦにて表現することのできる手ぶれの大きさが実質的に拡大され、手ぶれが大きい場合でも、正確な手ぶれ補正を実現することができる。勿論、手ぶれ検出センサが不要であるため低コスト化も図られる。尚、画像の縮小及び拡大処理によって解像度劣化が発生するが、その劣化の程度は、ぶれによる解像度劣化に比べると遥かに軽微である。故に、本実施例の手法は有益である。
【００８２】
＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例では、補正対象画像Ｌｗに含まれるぶれの大きさの推定方法を説明する。この推定方法は、図６のステップＳ２の処理に利用される。ぶれの大きさの推定方法として、以下に、第１〜第３のぶれ推定方法を個別に説明する。
【００８３】
［第１のぶれ推定方法］
図１０を参照して、第１のぶれ推定方法を説明する。図１０には、シャッタボタン２６ｂの押下による静止画撮影指示近辺の各タイミングの関係が示されている。図１０のグラフの横軸は時間を表し、右方向は時間の進行方向に対応する。図１０において、時間の進行に伴って右斜め上方向に伸びる各実線は、撮像素子３３の各受光画素の蓄積電荷量を模式的に表したものである。例えば、タイミングＴ３からＴ４にかけて蓄積電荷量が増大していることが表されている。図１０は、補正対象画像Ｌｗを得るための通常露光撮影の直後に、参照画像Ｒｗを得るための短時間露光撮影がなされることを想定している。タイミングＴ３−Ｔ４間は補正対象画像Ｌｗの露光期間であり、タイミングＴ５−Ｔ６間は参照画像Ｒｗの露光期間である。尚、タイミングＴ１−Ｔ３間やタイミングＴ４―Ｔ５間などにおいても撮像素子３３の各受光画素には電荷が蓄積されてゆき、この電荷は不要電荷として適宜破棄されるが、図面の煩雑化防止のため、この不要電荷の蓄積及び破棄の様子の図示を省略している。
【００８４】
静止画撮影に着目した場合、撮影モードにおける全期間は、プレビュー期間と静止画撮影用期間に分類される。今、タイミングＴ１にてシャッタボタン２６ｂが押下されたとする。この場合、その後に訪れるタイミングＴ２からＴ７に至るまでの期間が静止画撮影用期間となり、タイミングＴ２以前の期間及びタイミングＴ７以降の期間はプレビュー期間に属する。タイミングＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６及びＴ７の順番で時間が進行するものとする。
【００８５】
プレビュー期間では、比較的短い所定のフレーム周期にて撮影画像を得るためのフレームが周期的に訪れ、各フレームにおいて１枚の撮影画像が得られる。得られた各撮影画像は、図１の表示部２７に更新表示される。今、タイミングＴ１の直前のフレームをＦ［−１］で表す。図１０に示されるフレームＦ［−１］以前の各フレームはプレビュー期間に属する。ｉを整数とした場合、フレームＦ［ｉ］の直後のフレームはＦ［ｉ＋１］にて表される。
【００８６】
フレームＦ［−１］の終了後、タイミングＴ１にてシャッタボタン２６ｂが押下されると、その後に静止画撮影用期間が設けられる。静止画撮影用期間では、比較的長い所定のフレーム周期にて撮影画像を得るためのフレームが周期的に訪れる。静止画撮影用期間に属する各フレームでも１枚の撮影画像を得ることができる。静止画撮影用期間には、３つのフレームＦ［０］、Ｆ［１］及びＦ［２］がこの順番で含まれる。フレームＦ［０］、Ｆ［１］及びＦ［２］のフレーム期間は、夫々、タイミングＴ２−Ｔ４間、タイミングＴ４−Ｔ６間及びタイミングＴ６−Ｔ７間に相当する。フレームＦ［２］の終了タイミングはタイミングＴ７に合致し、タイミングＴ７を起点としてフレームＦ［３］が開始される。
【００８７】
プレビュー期間における各フレームではフレーム期間の全体期間を露光期間として１枚の撮影画像が取得されるが、補正対象画像Ｌｗ及び参照画像Ｒｗの露光期間は、通常、対応するフレーム期間の一部期間となる。
【００８８】
タイミングＴ１にてシャッタボタン２６ｂが押下されると、フレーム［０］において通常露光撮影が実行されて補正対象画像Ｌｗが得られる。上述したように、タイミングＴ３−Ｔ４間は補正対象画像Ｌｗの露光期間であり、その露光期間の時間長さをＴLとする。そして、フレーム［０］の直後のフレーム［１］において、短時間露光撮影が実行されて参照画像Ｒｗが得られる。
【００８９】
また、補正対象画像Ｌｗの露光期間の中間タイミング（即ち、タイミングＴ３−Ｔ４間の中間タイミング）と、参照画像Ｒｗの露光期間の中間タイミング（即ち、タイミングＴ５−Ｔ６間の中間タイミング）と、の間の時間長さをＴCAにて表す。また、プレビュー期間におけるフレーム周期を表す時間長さをＴCBにて表す。プレビュー期間における各フレームではフレーム期間の全体期間が露光期間とされるため、ＴCBは、例えば、フレーム［−１］にて取得される撮影画像の露光期間の中間タイミングと、フレーム［−２］にて取得される撮影画像の露光期間の中間タイミングと、の間の時間長さに合致する。
【００９０】
以上のような想定の下、補正対象画像Ｌｗのぶれの大きさに応じた値を有するぶれ評価値ＶBLUR1を下記式（Ａ−１）に基づいて算出する。ぶれ評価値ＶBLUR1は、補正対象画像Ｌｗのぶれの大きさが増大するに従って増大し、そのぶれの大きさが減少するに従って減少する。
ＶBLUR1＝｜ＶＥＣLR｜×ＴL／ＴCA                    ・・・（Ａ−１）
【００９１】
ここで、｜ＶＥＣLR｜は、タイミングＴ３−Ｔ４間を露光期間として得られる補正対象画像Ｌｗと、タイミングＴ５−Ｔ６間を露光期間として得られる参照画像Ｒｗと、の間の動きベクトルＶＥＣLRの大きさである。動きベクトルは、一般的に移動ベクトル又はオプティカルフローとも呼ばれ、着目した２枚の画像間における各点の移動方向と移動距離を表すベクトル量である。２枚の画像間の動きベクトルは、周知の代表点マッチング法やブロックマッチング法を用いてその２枚の画像の画像データを対比することにより算出される。例えば、図３の動き検出部４３が、動きベクトルＶＥＣLRを含む動きベクトルを算出する。式（Ａ−１）に基づく推定方法は、タイミングＴ３−Ｔ６間において均一な手ぶれが生じているとの仮定に基づいている。
【００９２】
或いは、ぶれ評価値ＶBLUR1を下記式（Ａ−２）に基づいて算出してもよい。
ＶBLUR1＝｜ＶＥＣPP1｜×ＴL／ＴCB                    ・・・（Ａ−２）
【００９３】
ここで、｜ＶＥＣPP1｜は、静止画撮影用期間前に時間的に隣接して得られる２枚の撮影画像間の動きベクトルの大きさ、又は、静止画撮影用期間後に時間的に隣接して得られる２枚の撮影画像間の動きベクトルの大きさである。推定精度を高めるために、静止画撮影用期間になるだけ近いフレームの撮影画像を用いるとよい。即ち例えば、フレーム［−２］及びフレーム［−１］にて得られる２枚の撮影画像間の動きベクトルの大きさ、又は、フレーム［３］及びフレーム［４］にて得られる２枚の撮影画像間の動きベクトルの大きさを｜ＶＥＣPP1｜として採用するとよい。式（Ａ−２）に基づく推定方法は、静止画撮影用期間及びその近傍期間において均一な手ぶれが生じているとの仮定に基づいている。
【００９４】
また更に或いは、ぶれ評価値ＶBLUR1を下記式（Ａ−３）に基づいて算出してもよい。
ＶBLUR1＝｜ＶＥＣPP2｜×ＴL／ＴCC                    ・・・（Ａ−３）
【００９５】
ここで、｜ＶＥＣPP2｜は、フレームＦ［−１］及びＦ［３］にて取得される２枚の撮影画像間の動きベクトルの大きさである。ＴCCは、フレーム［−１］にて取得される撮影画像の露光期間の中間タイミングと、フレーム［３］にて取得される撮影画像の露光期間の中間タイミングと、の間の時間長さを表す。式（Ａ−３）に基づく推定方法も、静止画撮影用期間及びその近傍期間において均一な手ぶれが生じているとの仮定に基づいている。
【００９６】
また、式（Ａ−１）の右辺の値と式（Ａ−２）の右辺の値を参照し、両者の大きい方又は平均値をぶれ評価値ＶBLUR1として算出することも可能である。或いは、式（Ａ−１）、式（Ａ−２）及び式（Ａ−３）の各右辺の値の内の、最大値又は平均値をぶれ評価値ＶBLUR1として算出することも可能である。
【００９７】
第１のぶれ推定方法を図６のステップＳ２及びＳ３の処理に利用する場合、上述の如くして求めたぶれ評価値ＶBLUR1を所定の閾値ＴＨA1、ＴＨA2、ＴＨA3及びＴＨA4と比較し、その比較結果に応じてステップＳ３からステップＳ４、Ｓ５、Ｓ６及びＳ７の何れかのステップに移行するようにする。ここで、不等式「ＴＨA1＜ＴＨA2＜ＴＨA3＜ＴＨA4」が成立する。つまり、
不等式「ＶBLUR1≦ＴＨA1」が成立する場合には手ぶれ補正不要と判断し、ステップＳ４に移行して手ぶれ補正を不実行とし、
不等式「ＴＨA1＜ＶBLUR1≦ＴＨA2」が成立する場合にはステップＳ５に移行して通常補正処理を実行し、
不等式「ＴＨA2＜ＶBLUR1≦ＴＨA3」が成立する場合にはステップＳ６に移行して第１スケーリング補正処理を実行し、
不等式「ＴＨA3＜ＶBLUR1≦ＴＨA4」が成立する場合にはステップＳ７に移行して第２スケーリング補正処理を実行し、
不等式「ＴＨA4＜ＶBLUR1」が成立する場合には手ぶれ補正不可能と判断し、ステップＳ４に移行して手ぶれ補正を不実行とする。
【００９８】
［第２のぶれ推定方法］
次に、第２のぶれ推定方法について説明する。第２のぶれ推定方法では、補正対象画像Ｌｗと参照画像Ｒｗの高域周波数成分の比に基づいて、補正対象画像Ｌｗに含まれるぶれの大きさを推定する。尚、補正対象画像Ｌｗと参照画像Ｒｗの撮影時における露光時間は異なるが、上述したように、ＡＦＥ１２の増幅度の調整によって両画像の輝度レベル（平均輝度）は同程度となっているものとする。図１１を参照する。図１１は、第２のぶれ推定方法に係る処理を実行する部位のブロック図である。図１１の符号５１〜５４にて参照される各部位は図１の映像信号処理部１３内に設けられる。
【００９９】
補正対象画像Ｌｗは、ノイズ除去部５１に与えられる。ノイズ除去部５１は、メディアンフィルタ等を用いて補正対象画像Ｌｗをフィルタリングすることにより補正対象画像Ｌｗに含まれるノイズ成分を除去する。ＨＰＦ（ハイパスフィルタ）５２は、ノイズ成分除去後の補正対象画像Ｌｗの各画素の輝度信号を抽出して得られる濃淡画像の高域周波数成分を抽出する。このＨＰＦ５２は、濃淡画像に含まれる空間周波数成分の内の、所定の高域周波数成分のみを抽出する。絶対値演算部５３は、ＨＰＦ５２によって抽出された高域周波数成分の絶対値を算出し、積算部５４は、その絶対値を上記の濃淡画像の全体にわたって積算する。補正対象画像Ｌｗに対して得られた積算値をＨＦLにて表す。
【０１００】
ノイズ除去部５１に参照画像Ｒｗをも与えることにより、参照画像Ｒｗに対しても同様の処理を施す。即ち、ノイズ除去部５１は、メディアンフィルタ等を用いて参照画像Ｒｗをフィルタリングすることにより参照画像Ｒｗに含まれるノイズ成分を除去する。ＨＰＦ５２は、ノイズ成分除去後の参照画像Ｒｗの各画素の輝度信号を抽出して得られる濃淡画像の高域周波数成分を抽出する。絶対値演算部５３は、ＨＰＦ５２によって抽出された高域周波数成分の絶対値を算出し、積算部５４は、その絶対値を上記の濃淡画像の全体にわたって積算する。参照画像Ｒｗに対して得られた積算値をＨＦRにて表す。
【０１０１】
上述の処理内容から理解されるように、ＨＦLは補正対象画像Ｌｗの高域周波数成分の強度を表す評価値であり、ＨＦRは参照画像Ｒｗの高域周波数成分の強度を表す評価値である。露光時間の差異により補正対象画像Ｌｗに含まれるぶれは比較的多い一方で参照画像Ｒｗに含まれるぶれは比較的少ない（無視できる程度に小さい）。また、ぶれの大きさが増大すればするほど周辺画素との平滑化が進んで高域周波数成分は減少する。従って、評価値ＨＦLと評価値ＨＦRの比から補正対象画像Ｌｗに含まれるぶれの大きさを見積もることが可能である。即ち、第２の補正法法では、補正対象画像Ｌｗのぶれの大きさに応じた値を有するぶれ評価値ＶBLUR2を下記式（Ａ−４）に基づいて算出する。ぶれ評価値ＶBLUR2は、補正対象画像Ｌｗのぶれの大きさが増大するに従って減少し、そのぶれの大きさが減少するに従って増大する。
ＶBLUR2＝ＨＦL／ＨＦR                    ・・・（Ａ−４）
【０１０２】
第２のぶれ推定方法を図６のステップＳ２及びＳ３の処理に利用する場合、上述の如くして求めたぶれ評価値ＶBLUR2を所定の閾値ＴＨB1、ＴＨB2、ＴＨB3及びＴＨB4と比較し、その比較結果に応じてステップＳ３からステップＳ４、Ｓ５、Ｓ６及びＳ７の何れかのステップに移行するようにする。ここで、不等式「１＞ＴＨB1＞ＴＨB2＞ＴＨB3＞ＴＨB4」が成立する。つまり、
不等式「ＶBLUR2≧ＴＨB1」が成立する場合には手ぶれ補正不要と判断し、ステップＳ４に移行して手ぶれ補正を不実行とし、
不等式「ＴＨB1＞ＶBLUR2≧ＴＨB2」が成立する場合にはステップＳ５に移行して通常補正処理を実行し、
不等式「ＴＨB2＞ＶBLUR2≧ＴＨB3」が成立する場合にはステップＳ６に移行して第１スケーリング補正処理を実行し、
不等式「ＴＨB3＞ＶBLUR2≧ＴＨB4」が成立する場合にはステップＳ７に移行して第２スケーリング補正処理を実行し、
不等式「ＴＨB4＞ＶBLUR2」が成立する場合には手ぶれ補正不可能と判断し、ステップＳ４に移行して手ぶれ補正を不実行とする。
【０１０３】
尚、露光時間の短い参照画像Ｒｗの高域周波数成分の方が、本来、補正対象画像Ｌｗのそれよりも大きいはずであるが、偶発的に参照画像Ｒｗの露光期間中に異常に大きな手ぶれが発生することもありうる。このような場合において、ＰＳＦの算出を介して手ぶれ補正を行うと良好な補正画像を得ることができない（改悪画像が得られてしまう）。一方で、このような場合は、ぶれ評価値ＶBLUR2は１より大きくなることが想定される。従って、ぶれ評価値ＶBLUR2と１又は１より大きな所定値とを比較し、前者が後者よりも大きい場合は、参照画像Ｒｗのぶれが補正対象画像Ｌｗのぶれよりも大きいと判断し、ステップＳ４に移行して手ぶれ補正を不実行とするとよい。
【０１０４】
［第３のぶれ推定方法］
次に、第３のぶれ推定方法について説明する。補正対象画像Ｌｗから小画像Ｌｓを抽出する際、参照画像Ｒｗから抽出した特徴的な小領域をテンプレートとするテンプレートマッチングを実行する旨を第１実施例にて上述した（図７のステップＳ１１及びＳ１２等を参照）。第３のぶれ推定方法では、このテンプレートマッチングの実行時に導出される相関値を利用して補正対象画像Ｌｗのぶれの大きさを推定する。
【０１０５】
図１２を参照して、より具体的に説明する。図１２は、第３のぶれ推定方法の原理を説明するための図であり、対比画像間のテンプレートマッチングの様子を示す図である。小画像Ｒｓの中心点１０１の座標値と同じ座標値を有する、補正対象画像Ｌｗ上の点を点１０２とする。参照画像Ｒｗから小画像Ｒｓが抽出された後、補正対象画像Ｌｗ内に点１０２を中心とする探索領域１１１が設定される（図示の便宜上、図１２では、同一の探索領域１１１が２つ重複して示されている）。探索領域１１１は、小画像Ｒｓの画像サイズよりも大きな画像サイズを有する矩形領域である。探索領域１１１内に、小画像Ｒｓの画像サイズと同じ画像サイズを有する判定領域１１２が設けられる。小画像Ｒｓをテンプレート画像と呼び、判定領域１１２内の画像を判定画像と呼ぶ。
【０１０６】
始めは、この判定領域１１２を探索領域１１１の左上隅に配置した状態で、テンプレート画像と判定画像との間におけるＳＡＤ（Sum of Absolute Difference）を算出する。ＳＡＤの値を表す相関値ＲSADは下記式（Ａ−５）に従って算出される。相関値ＲSADは、一般に、マッチング誤差（又はマッチング残差）と呼ばれる。
【０１０７】
【数１】
2009111596.tif 000003
【０１０８】
ここで、Ｍはテンプレート画像及び判定画像の水平方向の画素数を表し、Ｎはテンプレート画像及び判定画像の垂直方向の画素数を表す（Ｍ及びＮは、２以上の整数）。テンプレート画像の位置（ｉ，ｊ）における画素の画素値をＴV（ｉ，ｊ）とし、判定画像の位置（ｉ，ｊ）における画素の画素値をＩV（ｉ，ｊ）とする（但し、ｉ及びｊは、０≦ｉ≦Ｍ−１且つ０≦ｊ≦Ｎ−１、を満たす整数）。尚、画素値とは着目した画素の画素信号の値である。或る画素についての画素値は、その画素の輝度、もしくは、色、または、輝度及び色の双方を表す。周知の如く、相関値ＲSADはテンプレート画像と判定画像の類似度を表し、該類似度が増大するに従って相関値ＲSADは減少する。
【０１０９】
この後、判定領域１１２を探索領域１１１内で一画素ずつ水平方向又は垂直方向にずらしながら、逐次、相関値ＲSADを算出してゆき、これによって得られた複数の相関値ＲSADの最小値及び平均値を算出する。
【０１１０】
図１３は、判定領域１１２の水平位置と相関値ＲSADとの関係を表している。但し、図１３は、着目した水平ライン上において相関値ＲSADが最小値をとる場合を想定している。図１３において、実線１２１は、補正対象画像Ｌｗに含まれるぶれの大きさが比較的少ない場合における上記関係を表し、破線１２２は、補正対象画像Ｌｗに含まれるぶれの大きさが比較的大きい場合における上記関係を表す。一般的に、補正対象画像Ｌｗのぶれが小さくなって参照画像Ｒｗとの差異がなくなるほど、相関値ＲSADの最小値は小さくなり、相関値ＲSADの平均値を相関値ＲSADの最小値で割った値は大きくなる。そこで、第３の補正方法では、相関値ＲSADの平均値を相関値ＲSADの最小値で割った値をぶれ評価値ＶBLUR3として算出する。ぶれ評価値ＶBLUR3は、補正対象画像Ｌｗのぶれの大きさが増大するに従って減少し、そのぶれの大きさが減少するに従って増大する。
【０１１１】
第３のぶれ推定方法を図６のステップＳ２及びＳ３の処理に利用する場合、上述の如くして求めたぶれ評価値ＶBLUR3を所定の閾値ＴＨC1、ＴＨC2、ＴＨC3及びＴＨC4と比較し、その比較結果に応じてステップＳ３からステップＳ４、Ｓ５、Ｓ６及びＳ７の何れかのステップに移行するようにする。ここで、不等式「ＴＨC1＞ＴＨC2＞ＴＨC3＞ＴＨC4」が成立する。つまり、
不等式「ＶBLUR3≧ＴＨC1」が成立する場合には手ぶれ補正不要と判断し、ステップＳ４に移行して手ぶれ補正を不実行とし、
不等式「ＴＨC1＞ＶBLUR3≧ＴＨC2」が成立する場合にはステップＳ５に移行して通常補正処理を実行し、
不等式「ＴＨC2＞ＶBLUR3≧ＴＨC3」が成立する場合にはステップＳ６に移行して第１スケーリング補正処理を実行し、
不等式「ＴＨC3＞ＶBLUR3≧ＴＨC4」が成立する場合にはステップＳ７に移行して第２スケーリング補正処理を実行し、
不等式「ＴＨC4＞ＶBLUR3」が成立する場合には手ぶれ補正不可能と判断し、ステップＳ４に移行して手ぶれ補正を不実行とする。
【０１１２】
尚、相関値ＲSADの代わりにＳＳＤ（Sum of Square Difference）の値を表す相関値ＲSSDを下記式（Ａ−６）に従って算出し、相関値ＲSSDに基づいてぶれ評価値ＶBLUR3を算出するようにしてもよい。この場合、上述の説明文中のＲSADをＲSSDに読み替えればよい。
【０１１３】
【数２】
2009111596.tif 000004
【０１１４】
また、補正対象画像Ｌｗと参照画像Ｒｗの関係を逆にすることも可能である。即ち、最初に補正対象画像Ｌｗから特徴的な小領域を抽出して小画像Ｌｓを生成する。その後、小画像Ｌｓをテンプレート画像として取り扱って、そのテンプレート画像と参照画像Ｒｗ内の判定画像との相関値ＲSAD又はＲSSDを算出し、その相関値からぶれ評価値ＶBLUR3を算出するようにしてもよい。
【０１１５】
＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、撮影モードにおける撮像装置１の動作の流れを説明する（一部説明は、第１実施例と重複する）。図１４は、この動作の流れを表すフローチャートである。尚、ステップＳ６２〜Ｓ６７及びＳ６９の処理は、操作部２６及び映像信号処理部１３から得られる情報を必要に応じて参照しつつ、ＣＰＵ２３によって実行される。ステップＳ７２〜Ｓ７７の処理は映像信号処理部１３にて実行される。
【０１１６】
撮像装置１の動作モードが撮影モードに設定されると、まず、プレビュー期間に移行し、所謂プレビューが行われる。プレビュー期間では、所定のフレーム周期にて取得される撮影画像が、順次、図１の表示部２７に更新表示される。
【０１１７】
ステップＳ６１では、図１のＴＧ２２から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点で生成及び出力される。垂直同期信号に同期して、撮像素子３３の出力信号が読み出されて撮影画像が順次取得される。ＴＧ２２から垂直同期信号が出力された場合はステップＳ６２に移行し、出力されていない場合はステップＳ６１の処理が繰り返される。
【０１１８】
ステップＳ６２では、順次取得される撮影画像についてのＡＥ評価値及びＡＦ評価値に基づいてＡＥ制御及びＡＦ制御がなされる（図３参照）。ＡＥ制御は、絞り３２の開口量、露光時間及びＡＦＥ１２のゲインに対する制御であり、ＡＦ制御は、フォーカスレンズ３１に対する制御である（図１及び図２参照）。また、ここで、オートホワイトバランス制御及びズーム倍率制御も実行される。
【０１１９】
図１のシャッタボタン２６ｂは、２段階の押下操作が可能となっており、撮影者がシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。ステップＳ６２に続くステップＳ６３において、ＣＰＵ２３は、シャッタボタン２６ｂが半押しの状態となっているかを確認する。シャッタボタン２６ｂが半押しの状態にある場合は、ステップＳ６３からＳ６４に移行する一方、そうでない場合はステップＳ６１に戻る。
【０１２０】
ステップＳ６４では、最新の撮影画像についてのＡＥ評価値に基づいて通常露光撮影に対するＡＥ設定値を決定する。このＡＥ設定値は、通常露光撮影時における絞り３２の開口量、露光時間、及び、ＡＦＥ１２のゲイン（以下、基準ゲインＧS1と呼ぶ）を規定する。続いて、ステップＳ６５では、最新の撮影画像についてのＡＦ評価値に基づいてＡＦ設定値を決定する。このＡＦ設定値は、通常露光撮影及び短時間露光撮影時におけるフォーカスレンズ３１の位置を規定する。
【０１２１】
そして、ステップＳ６６では、通常露光撮影に対するＡＥ設定値に従って、補正対象画像Ｌｗを取得する際の露光時間Ｔ１を決定する。この露光時間Ｔ１は、通常露光撮影に対するＡＥ設定値にて規定された露光時間に等しい。更に、参照画像Ｒｗを取得する際における露光時間Ｔ２を決定する。ここでは、手ぶれ限界露光時間を露光時間Ｔ２とする。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、撮像部１１の焦点距離の逆数から算出される。
【０１２２】
露光時間Ｔ２が決定された後、短時間露光撮影に対するＡＥ設定値も定められる。短時間露光撮影に対するＡＥ設定値は、短時間露光撮影時における絞り３２の開口量、露光時間Ｔ２及びＡＦＥ１２のゲインを規定する。この時、通常露光撮影によって得られるべき補正対象画像Ｌｗの輝度レベルと短時間露光撮影によって得られるべき参照画像Ｒｗの輝度レベルが同程度となるように、短時間露光撮影に対するＡＥ設定値を決定する。例えば、通常露光撮影時における絞り３２の開口量と短時間露光撮影時における絞り３２の開口量が同じであって且つ「Ｔ２＝Ｔ１／４」であれば、短時間露光撮影時におけるＡＦＥ１２のゲイン（以下、「参照画像用の設定ゲインＧS2」と呼ぶ）は、基準ゲインＧS1の４倍と規定される。勿論、通常露光撮影時における絞り３２の開口量よりも短時間露光撮影時におけるそれを大きくすることができるのであれば、参照画像用の設定ゲインＧS2を基準ゲインＧS1の４倍よりも小さくすることが可能である。
【０１２３】
その後、ステップＳ６７において、ＣＰＵ２３は、シャッタボタン２６ｂの状態が半押しの状態から全押しの状態に移行したか否かを確認し、全押しの状態に移行したのを確認後、ステップＳ６８に移行する。
【０１２４】
ステップＳ６８では、通常露光撮影を行って補正対象画像Ｌｗを取得する。この通常露光撮影の露出条件は、上述した通常露光撮影に対するＡＥ設定値に従う。
【０１２５】
続いて、ステップＳ６９において、ＣＰＵ２３は、通常露光撮影時における露光時間Ｔ１が、撮像部１１の焦点距離の逆数から求まる手ぶれ限界露光時間より長いか否かを判断する。露光時間Ｔ１が手ぶれ限界露光時間以下である場合は、手ぶれ補正が不要であるため、ステップＳ７４に移行し、手ぶれ補正を行うことなくステップＳ６１に戻る。一方、露光時間Ｔ１が手ぶれ限界露光時間より長い場合はステップＳ７０に移行する。
【０１２６】
ステップＳ７０では、短時間露光撮影を行って参照画像Ｒｗを取得する。この短時間露光撮影の露出条件は、上述した短時間露光撮影に対するＡＥ設定値に従う。
【０１２７】
ステップＳ７０にて参照画像Ｒｗが取得された後、ステップＳ７２に移行する。ステップＳ７２〜Ｓ７７の処理は、図６のステップＳ２〜Ｓ７の処理に対応している。即ち、ステップＳ７２では、ステップＳ６８で取得された補正対象画像Ｌｗのぶれの大きさに応じたぶれ評価値を算出する。ここで算出されるぶれ評価値は、第２実施例で述べたぶれ評価値ＶBLUR1、ＶBLUR2又はＶBLUR3である。そして、続くステップＳ７３では、ステップＳ７２で算出されたぶれ評価値に基づく分岐判断を行い、その判断結果に基づいてステップＳ７４、Ｓ７５、Ｓ７６及びＳ７７の何れかのステップに移行するようにする。
【０１２８】
ステップＳ７２で算出されたぶれ評価値がＶBLUR1である場合は、次のように処理する。
不等式「ＶBLUR1≦ＴＨA1」が成立する場合には手ぶれ補正不要と判断し、ステップＳ７４に移行して手ぶれ補正を不実行とし、
不等式「ＴＨA1＜ＶBLUR1≦ＴＨA2」が成立する場合にはステップＳ７５に移行して通常補正処理を実行し、
不等式「ＴＨA2＜ＶBLUR1≦ＴＨA3」が成立する場合にはステップＳ７６に移行して第１スケーリング補正処理を実行し、
不等式「ＴＨA3＜ＶBLUR1≦ＴＨA4」が成立する場合にはステップＳ７７に移行して第２スケーリング補正処理を実行し、
不等式「ＴＨA4＜ＶBLUR1」が成立する場合には手ぶれ補正不可能と判断し、ステップＳ７４に移行して手ぶれ補正を不実行とする。
ここで、上述したように不等式「ＴＨA1＜ＴＨA2＜ＴＨA3＜ＴＨA4」が成立する。
【０１２９】
ステップＳ７２で算出されたぶれ評価値がＶBLUR2である場合は、次のように処理する。
不等式「ＶBLUR2≧ＴＨB1」が成立する場合には手ぶれ補正不要と判断し、ステップＳ７４に移行して手ぶれ補正を不実行とし、
不等式「ＴＨB1＞ＶBLUR2≧ＴＨB2」が成立する場合にはステップＳ７５に移行して通常補正処理を実行し、
不等式「ＴＨB2＞ＶBLUR2≧ＴＨB3」が成立する場合にはステップＳ７６に移行して第１スケーリング補正処理を実行し、
不等式「ＴＨB3＞ＶBLUR2≧ＴＨB4」が成立する場合にはステップＳ７７に移行して第２スケーリング補正処理を実行し、
不等式「ＴＨB4＞ＶBLUR2」が成立する場合には手ぶれ補正不可能と判断し、ステップＳ７４に移行して手ぶれ補正を不実行とする。
ここで、上述したように不等式「１＞ＴＨB1＞ＴＨB2＞ＴＨB3＞ＴＨB4」が成立する。尚、第２実施例でも述べたように、ぶれ評価値ＶBLUR2と１又は１より大きな所定値とを比較し、前者が後者よりも大きい場合は、参照画像Ｒｗのぶれが補正対象画像Ｌｗのぶれよりも大きいと判断し、ステップＳ７４に移行して手ぶれ補正を不実行とするとよい。
【０１３０】
ステップＳ７２で算出されたぶれ評価値がＶBLUR3である場合は、次のように処理する。
不等式「ＶBLUR3≧ＴＨC1」が成立する場合には手ぶれ補正不要と判断し、ステップＳ７４に移行して手ぶれ補正を不実行とし、
不等式「ＴＨC1＞ＶBLUR3≧ＴＨC2」が成立する場合にはステップＳ７５に移行して通常補正処理を実行し、
不等式「ＴＨC2＞ＶBLUR3≧ＴＨC3」が成立する場合にはステップＳ７６に移行して第１スケーリング補正処理を実行し、
不等式「ＴＨC3＞ＶBLUR3≧ＴＨC4」が成立する場合にはステップＳ７７に移行して第２スケーリング補正処理を実行し、
不等式「ＴＨC4＞ＶBLUR3」が成立する場合には手ぶれ補正不可能と判断し、ステップＳ７４に移行して手ぶれ補正を不実行とする。
ここで、上述したように不等式「ＴＨC1＞ＴＨC2＞ＴＨC3＞ＴＨC4」が成立する。
【０１３１】
ステップＳ７４に移行した場合は、補正対象画像Ｌｗに対する手ぶれ補正を行うことなく、そのままステップＳ６１に戻る。ステップＳ７５、Ｓ７６及びＳ７７における処理内容は、夫々、図６のステップＳ５、Ｓ６及びＳ７における処理内容と同じである。ステップＳ７５、Ｓ７６又はＳ７７の処理を終えると、ステップＳ６１に戻る。ステップＳ７５、Ｓ７６又はＳ７７にて生成された補正画像Ｑｗは、表示部２７に表示されると共に外部メモリ１８に記録される。
【０１３２】
＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、ＰＳＦ及び画像復元フィルタのフィルタ係数の算出方法を説明する。第４実施例で述べる算出方法は、第１及び第３実施例における手ぶれ補正に利用される。説明の具体化のため、通常補正処理にて実行されるステップＳ１３及びＳ１４（図７参照）の処理に着目して、ＰＳＦ及び画像復元フィルタのフィルタ係数の算出方法を説明する。
【０１３３】
第４実施例では、フーリエ反復法に基づく、ＰＳＦ及び画像復元フィルタのフィルタ係数の算出方法を例示する。この場合、図７のステップＳ１３及びＳ１４の処理を、図１５に示す各ステップの処理に置き換えて考えることができる。フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。フーリエ反復法を利用する場合、まず、劣化画像と初期復元画像を設定する必要がある。
【０１３４】
そこで、図７のステップＳ１３では、まず、図１５に示す如く、ステップＳ１２にて生成された小画像Ｌｓを劣化画像として設定し且つステップＳ１１にて生成された小画像Ｒｓを初期復元画像として設定する。そして、設定した劣化画像と初期復元画像を用いてフーリエ反復法を実施する。フーリエ反復法を、図１６及び図１７を参照して詳細に説明する。図１６は、ステップＳ１３にて実行されるべきフーリエ反復法の詳細フローチャートである。図１７は、フーリエ反復法を実施する部位のブロック図である。
【０１３５】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として上記の初期復元画像（今の例において、小画像Ｒｓ）を用いるようにする。次に、ステップＳ１０２において、劣化画像（今の例において、小画像Ｌｓ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【０１３６】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（Ｂ−１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（Ｂ−１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【０１３７】
【数３】
2009111596.tif 000005
【０１３８】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（Ｂ−２ａ）の拘束条件で修正した後、更に式（Ｂ−２ｂ）の拘束条件にて修正する。
【０１３９】
【数４】
2009111596.tif 000006
【０１４０】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（Ｂ−２ｂ）の拘束条件による修正である。
【０１４１】
式（Ｂ−２ａ）及び（Ｂ−２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【０１４２】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（Ｂ−３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（Ｂ−３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【０１４３】
【数５】
2009111596.tif 000007
【０１４４】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（Ｂ−４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【０１４５】
【数６】
2009111596.tif 000008
【０１４６】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−４）の拘束条件による修正である。
【０１４７】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【０１４８】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【０１４９】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図７のステップＳ１３で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図１７参照）は、順次、最新のものに更新されていく。
【０１５０】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（Ｂ−２ａ）及び（Ｂ−２ｂ）を用いたステップＳ１１３における修正量、或いは、式（Ｂ−４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【０１５１】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像の補正は行われない。
【０１５２】
最終的なＰＳＦが算出された後、図７のステップＳ１３からステップＳ１４に移行する。ステップＳ１４では、最終的に求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。実際には、上記式（Ｂ−３）の右辺の一部に相当する下記式（Ｂ−５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、フーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（Ｂ−５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【０１５３】
【数７】
2009111596.tif 000009
【０１５４】
通常補正処理に対応する図７のステップＳ１３及びＳ１４に着目してＰＳＦ及び画像復元フィルタのフィルタ係数の算出方法を説明したが、この算出方法を、第１スケーリング補正処理にて実行される図８のステップＳ２４及びＳ２５の処理、並びに、第２スケーリング補正処理にて実行される図９のステップＳ３４及びＳ３５の処理にも適用することができる。図８のステップＳ２４及びＳ２５の処理に適用する場合は、図８のステップＳ２３にて生成された小画像Ｌｓの縮小画像及び小画像Ｒｓの縮小画像を夫々劣化画像及び初期復元画像に設定した上で、図１６のステップＳ１０１〜Ｓ１０３及びＳ１１０〜Ｓ１１８から成る処理を実行することにより、小画像Ｌｓの縮小画像に対するＰＳＦ及び画像復元フィルタの各フィルタ係数を求めればよい。図９のステップＳ３４及びＳ３５の処理に適用する場合は、図９のステップＳ３３にて生成された小画像Ｌｓの縮小画像及び小画像Ｒｓの縮小画像を夫々劣化画像及び初期復元画像に設定した上で、図１６のステップＳ１０１〜Ｓ１０３及びＳ１１０〜Ｓ１１８から成る処理を実行することにより、小画像Ｌｓの縮小画像に対するＰＳＦ及び画像復元フィルタの各フィルタ係数を求めればよい。
【０１５５】
参照画像Ｒｗは、短時間露光撮影によって得られるため、それのエッジ成分は、手ぶれのない画像のエッジ成分に近い。従って、上述の如く、この参照画像から得られる画像をフーリエ反復法における初期復元画像とする。フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０１５６】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報を作成し、それを画像全体に適用する。これにより、必要な演算量が低減されて処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０１５７】
この際、抽出すべき小領域を、上述の如く、エッジ成分を多く含む特徴的な小領域とする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、手ぶれ情報をより正確に検出することができるようになる。
【０１５８】
＜＜第５実施例＞＞
次に、第５実施例を説明する。第５実施例では、上述の各実施例に対応し且つ撮像装置１に内在する、手ぶれ補正に関与する部位の機能ブロック図を例示する。その機能ブロック図を、図１８に示す。
【０１５９】
画像取得部６０は、撮像素子３３の出力信号に基づいて補正対象画像Ｌｗ及び参照画像Ｒｗを取得する。画像取得部６０は、映像信号処理部１３に内在すると考えることができる。
【０１６０】
縮小部６１は補正対象画像Ｌｗの画像サイズを１／２又は１／４に縮小し、縮小部６２は小画像Ｒｓの画像サイズを１／２又は１／４に縮小し、縮小部６３は小画像Ｌｓの画像サイズを１／２又は１／４に縮小する。選択部７１は、補正対象画像Ｌｗと縮小部６１からの補正対象画像Ｌｗの縮小画像を受け、何れか一方の画像を選択して出力する。選択部７２は、小画像Ｒｓと縮小部６２からの小画像Ｒｓの縮小画像を受け、何れか一方の画像を選択して出力する。選択部７３は、小画像Ｌｓと縮小部６３からの小画像Ｌｓの縮小画像を受け、何れか一方の画像を選択して出力する。
【０１６１】
ＰＳＦ算出部７４は、選択部７２及び７３の各出力画像に基づいてＰＳＦを算出し、画像復元フィルタ処理部７５は、そのＰＳＦから画像復元フィルタの各フィルタ係数を算出して、その各フィルタ係数を有する画像復元フィルタを用いて選択部７１の出力画像をフィルタリングする。拡大部７６は、そのフィルタリング後の画像の画像サイズを２倍又は４倍に拡大して拡大画像を出力する。選択部７７は、画像復元フィルタ処理部７５からのフィルタリング後の画像と拡大部７６の出力画像を受け、何れか一方の画像を選択して出力する。選択部７７の出力画像そのもの又は該出力画像にリンギング除去処理を施した画像が補正画像Ｑｗとなる。
【０１６２】
ぶれ量推定部７８は、ぶれ評価値（ＶBLUR1等）を算出することによって補正対象画像Ｌｗのぶれの大きさを推定する。縮小部６１〜６３の縮小率、選択部７１〜７３及び７７の選択処理並びに拡大部７６の拡大率は、ぶれ量推定部７８の推定結果に依存して決定される。ぶれ補正部８０は、そのぶれ量推定部７８並びに符合６１〜６３及び７１〜７７にて参照される各部位を備える。ぶれ補正部８０は、主としてＣＰＵ２３及び映像信号処理部１３によって実現される。ぶれ補正部８０には、縮小部６１〜６３及び拡大部７６を用いない通常補正処理を実行する第１補正処理部と、縮小部６１〜６３及び拡大部７６を用いて第１また第２スケーリング補正処理を実行する第２補正処理部と、選択部７１〜７３及び７６を用いて第１及び第２補正処理部の何れか一方を択一的に機能させる補正処理切替部が内在している、と考えることができる。
【０１６３】
尚、第２実施例で示した第３のぶれ推定方法を採用する場合は（図１２参照）、マッチング処理にて算出される対比画像間の類似度を相関値（ＲSAD又はＲSSD）の算出によって検出する手段（類似度検出手段）がぶれ量推定部７８に内在している、と考えることができる。また、補正対象画像Ｌｗのぶれの大きさに応じて補正対象画像Ｌｗに対するぶれ補正処理の実行及び補正画像Ｑｗの出力を停止する手段（補正処理停止手段）が撮像装置１に備えられている、と考えることもできる（図６のステップＳ４等を参照）。
【０１６４】
また、上述の各例では、第１又は第２スケーリング補正処理を行う際、補正対象画像Ｌｗ及び参照画像Ｒｗから小画像Ｌｓ及びＲｓを抽出した後に小画像Ｌｓ及びＲｓの画像サイズを縮小することで、図８のステップＳ２４又は図９のステップＳ３４にて参照されるべき小画像Ｌｓ及びＲｓの各縮小画像を生成している。しかしながら、最初に補正対象画像Ｌｗ及び参照画像Ｒｗの全体の画像サイズを縮小し、その後に補正対象画像Ｌｗ及び参照画像Ｒｗの全体の縮小画像から小画像Ｌｓ及びＲｓに対応する小領域を抽出することによって、図８のステップＳ２４又は図９のステップＳ３４にて参照されるべき小画像Ｌｓ及びＲｓの各縮小画像を生成するようにしてもよい。
【０１６５】
また、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１８のぶれ補正部８０の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０１６６】
また、図１８のぶれ補正部８０の機能を撮像装置１の外部装置にて実現することも可能である。ぶれ補正部８０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１６７】
また、上述の実施形態で述べた具体的な数値は、あくまで例示であり、その数値を様々に変更できることはいうまでもない。例えば、第１スケーリング補正処理における縮小比率及び拡大比率を「１／２」及び「２」以外とすることもできる。また、上述の例では、スケーリング補正処理として２種類のスケーリング補正処理を実行できるようにしているが、１種類のスケーリング補正処理のみを実行可能に撮像装置１を形成することも可能であるし、３種類以上のスケーリング補正処理を実行可能に撮像装置１を形成することも可能である。スケーリング補正処理を実行するか否か、及び、どのスケーリング補正処理を実行するかは、補正対象画像Ｌｗに含まれるぶれの大きさに応じて決定される。
【図面の簡単な説明】
【０１６８】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部ブロック図である。
【図３】図１の映像信号処理部の内部ブロック図である。
【図４】本発明の実施形態に係る手ぶれ補正の基本原理を表す図である。
【図５】本発明の第１実施例に係る手ぶれ補正動作の概念図である。
【図６】本発明の第１実施例に係る手ぶれ補正動作のフローチャートである。
【図７】図６の手ぶれ補正動作にて実行される通常補正処理の詳細フローチャートである。
【図８】図６の手ぶれ補正動作にて実行される第１スケーリング補正処理の詳細フローチャートである。
【図９】図６の手ぶれ補正動作にて実行される第２スケーリング補正処理の詳細フローチャートである。
【図１０】本発明の第２実施例に係る第１のぶれ推定方法を説明するための図であり、静止画撮影指示近辺の各タイミングの関係を示す図である。
【図１１】本発明の第２実施例に係る第２のぶれ推定方法の処理を実行する部位のブロック図である。
【図１２】本発明の第２実施例に係る第３のぶれ推定方法を説明するための図であり、対比画像間のテンプレートマッチングの様子を示す図である。
【図１３】テンプレートマッチング実行時に算出される相関値の分布を示す図である。
【図１４】本発明の第３実施例に係る撮像装置の動作のフローチャートである。
【図１５】本発明の第４実施例に係り、ＰＳＦ及び画像復元フィルタのフィルタ係数の算出動作のフローチャートである。
【図１６】本発明の第４実施例に係るフーリエ反復法の詳細フローチャートである。
【図１７】本発明の第４実施例に係るフーリエ反復法を実施する部位のブロック図である。
【図１８】本発明の第５実施例に係り、図１の撮像装置に内在する、手ぶれ補正に関与する部位の機能ブロック図である。
【図１９】従来技術に係り、手ぶれの軌跡とＰＳＦと画像復元フィルタの関係を示すと共に手ぶれ画像から復元画像が生成される様子を示す図である。
【図２０】従来のフーリエ反復法を実現する構成のブロック図である。
【符号の説明】
【０１６９】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  映像信号処理部
３３  撮像素子
６０  画像取得部
７４  ＰＳＦ算出部
７５  画像復元フィルタ処理部
７８  ぶれ量推定部
８０  手ぶれ補正部
【図１】
2009111596.tif 000010
【図２】
2009111596.tif 000011
【図３】
2009111596.tif 000012
【図６】
2009111596.tif 000013
【図７】
2009111596.tif 000014
【図８】
2009111596.tif 000015
【図９】
2009111596.tif 000016
【図１０】
2009111596.tif 000017
【図１３】
2009111596.tif 000018
【図１４】
2009111596.tif 000019
【図１５】
2009111596.tif 000020
【図１６】
2009111596.tif 000021
【図１７】
2009111596.tif 000022
【図２０】
2009111596.tif 000023
【図４】
2009111596.tif 000024
【図５】
2009111596.tif 000025
【図１１】
2009111596.tif 000026
【図１２】
2009111596.tif 000027
【図１８】
2009111596.tif 000028
【図１９】
2009111596.tif 000029