(57)【要約】【課題】不要なぶれ補正処理の実行を抑制する。【解決手段】撮像装置は、撮像素子の出力信号に基づく補正対象画像のぶれを補正するぶれ補正処理部と、前記補正対象画像に含まれるぶれの均一性を推定し、その推定結果に基づいてぶれ補正処理部による補正の実行可否を制御するぶれ補正制御部を備えている。例えば、補正対象画像の撮影直前に得られた２枚のプレビュー画像の撮影間における撮像装置の動きを角速度センサによって検出する一方で、前記２枚のプレビュー画像の夫々から顔領域を抽出して、各プレビュー画像中の顔領域の位置変位を検出する。そして、撮像装置の動きを表すベクトルと顔領域の位置変位を表すベクトルを対比し、両者の差が大きければ、実空間上における顔の動きに由来して前記均一性が低くなっていると推定して、ぶれ補正処理部による補正を実行しないようにする。【選択図】図７
2009171341.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置に設けられた撮像素子の出力信号に基づく補正対象画像のぶれを補正する補正処理手段を備えたぶれ補正装置において、
前記補正対象画像に含まれるぶれの均一性を推定し、その推定結果に基づいて前記補正処理手段による補正の実行可否を制御する補正制御手段を備えた
ことを特徴とするぶれ補正装置。
【請求項２】
前記補正制御手段は、前記補正対象画像の撮影時点を基準とした特定時点における前記撮像素子の出力信号から２枚の推定用画像を取得し、前記２枚の推定用画像に基づいて前記均一性を推定する
ことを特徴とする請求項１に記載のぶれ補正装置。
【請求項３】
前記補正制御手段は、前記撮像装置の動きを検出するセンサの出力信号と、前記２枚の推定用画像と、に基づいて前記均一性を推定する
ことを特徴とする請求項２に記載のぶれ補正装置。
【請求項４】
前記補正制御手段は、
前記センサの出力信号に基づいて、前記撮像装置の動きを表す第１ベクトルを導出する第１ベクトル導出手段と、
前記２枚の推定用画像を比較することにより、前記２枚の推定用画像間における、画像全体の動き又は特定領域の動きを表す第２ベクトルを導出する第２ベクトル導出手段と、を備え、
前記第１ベクトルと前記第２ベクトルの差に基づいて前記均一性を推定する
ことを特徴とする請求項３に記載のぶれ補正装置。
【請求項５】
前記補正制御手段は、前記２枚の推定用画像を比較することにより、前記２枚の推定用画像間における、画像全体の動きと特定領域の動きを検出し、両者の動きの差に基づいて前記均一性を推定する
ことを特徴とする請求項２に記載のぶれ補正装置。
【請求項６】
前記補正制御手段は、前記２枚の推定用画像間のオプティカルフローを導出し、前記オプティカルフローに含まれる複数の動きベクトルのばらつきに基づいて前記均一性を推定する
ことを特徴とする請求項２に記載のぶれ補正装置。
【請求項７】
前記補正制御手段は、前記２枚の推定用画像間の相関性の高さに基づいて前記均一性を推定する
ことを特徴とする請求項２に記載のぶれ補正装置。
【請求項８】
前記２枚の推定用画像は、第１の推定用画像と、前記第１の推定用画像の撮影時点から所定時間が経過した後に撮影される第２の推定用画像と、から成り、
前記２枚の推定用画像の内の一方は、前記補正対象画像の撮影直前又は直後の撮影によって取得される
ことを特徴とする請求項２〜請求項７の何れかに記載のぶれ補正装置。
【請求項９】
撮影によって撮影対象を表す信号を出力する撮像素子と、
前記撮像素子の出力信号を受ける、請求項１〜請求項８の何れかに記載のぶれ補正装置と、を備えた
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影によって得られた画像に含まれるぶれを補正するぶれ補正装置及び撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の一種として、手ぶれ検出センサで手ぶれを検出しその検出結果に基づいて補正レンズや撮像素子を駆動する光学式手ぶれ補正がある。他方、手ぶれ検出センサ又は画像解析によって手ぶれを検出し、その検出結果を用いた画像処理によって画像中のぶれを補正する方法も提案されている。
【０００３】
静止画像のぶれを補正するための画像処理の例として、画像復元処理が提案されている。画像復元処理では、例えば、撮像装置に作用する手ぶれを検出するセンサの出力信号に基づいて補正対象画像のぶれの状態を表す点広がり関数（Point Spread Function）を求め、画像劣化関数としての点広がり関数から画像復元関数を生成して補正対象画像のぶれを補正する。この画像復元関数は、点広がり関数に基づく単一の画像復元フィルタとして表され、この単一の画像復元フィルタを用いた空間フィルタリングを補正対象画像の全体に対して施すことで、手ぶれに由来して生じた補正対象画像のぶれ（ぼけ）を補正することができる（下記特許文献１参照）。
【０００４】
補正対象画像のぶれが、補正対象画像の露光期間中に撮像装置に作用した手ぶれのみによって生じている場合、センサの出力によって表される手ぶれ情報に基づいて画像復元フィルタを生成して上記の空間フィルタリングを行えば補正対象画像のぶれを良好に補正することができる。
【０００５】
但し、撮像装置の被写体が補正対象画像の露光期間中に実空間上で動くことがあり、このような場合に、単一の画像復元フィルタを用いた画像復元処理を行うと、動く被写体のぶれが補正されないばかりか、改悪画像が得られる可能性すらある。逆に、特定の被写体の動き情報から画像復元フィルタを生成して画像復元処理を行うようにすると、その被写体のぶれは補正されても、実空間上で静止している背景のぶれが補正されない（改悪画像が得られる可能性もある）。また、手ぶれ情報と被写体の動き情報の平均に基づいて画像復元処理を行っても同様の問題が生じうる。
【０００６】
尚、或る従来方法では、被写体の移動速度を検出し、その検出情報を基にぶれ補正を行っている（下記特許文献２参照）。しかしながら、この方法では、被写体が動いていると必ずぶれ補正を行ってしまうため、上記の問題を解決することはできない。
【０００７】
また、他の従来方法では、シャッタ速度に基づきぶれ補正の必要性を判断している（下記特許文献３参照）。しかしながら、この方法では、被写体の動きに関係なくぶれ補正が行われるため、上記の問題を解決することはできない。
【０００８】
また、更に他の従来方法では、画像から顔が検出された場合は被写体ぶれ補正を行い、顔が検出されなかった場合は手ぶれ補正を行うようにしている（下記特許文献４参照）。しかしながら、被写体ぶれ補正を行うと背景に対して、手ぶれ補正を行うと被写体に対して不要な補正を行ってしまうため、この方法によっても上記の問題を解決することはできない。
【０００９】
また、フーリエ反復法を用いた画像復元処理が提案されている（下記非特許文献１参照）。図３４にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【００１０】
また、ぶれ補正を行うための処理として画像復元処理を用いる場合に着目して従来の問題点を上述したが、画像復元処理に分類されない他の処理によってぶれ補正を行う場合も同様の問題が生じる。
【００１１】
【特許文献１】特開２００６―２７９８０７号公報
【特許文献２】特開平０４―１３４３１６号公報
【特許文献３】特開平０８―３１３９５６号公報
【特許文献４】特開２００７―２０１５３４号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したように、場合によっては、ぶれ補正処理は有効に機能しない。ぶれ補正処理が有効に機能しない場合にぶれ補正処理を行うことは望ましくなく、また、ぶれ補正処理によって改悪画像が得られてしまうような状況の発生は回避されるべきである。
【００１３】
そこで本発明は、不要なぶれ補正処理の実行抑制に寄与するぶれ補正装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係るぶれ補正装置は、撮像装置に設けられた撮像素子の出力信号に基づく補正対象画像のぶれを補正する補正処理手段を備えたぶれ補正装置において、前記補正対象画像に含まれるぶれの均一性を推定し、その推定結果に基づいて前記補正処理手段による補正の実行可否を制御する補正制御手段を備えたことを特徴とする。
【００１５】
補正対象画像に含まれるぶれが均一であれば、例えば単一の画像復元フィルタを用いた画像復元処理によって、良好なぶれ補正を実現可能である。そこで、補正対象画像に含まれるぶれの均一性を推定し、その推定結果に基づいて補正の実行可否を制御する。これにより、不要なぶれ補正処理の実行を抑制することが可能となる。
【００１６】
具体的には例えば、前記補正制御手段は、前記補正対象画像の撮影時点を基準とした特定時点における前記撮像素子の出力信号から２枚の推定用画像を取得し、前記２枚の推定用画像に基づいて前記均一性を推定する。
【００１７】
より具体的には例えば、前記補正制御手段は、前記撮像装置の動きを検出するセンサの出力信号と、前記２枚の推定用画像と、に基づいて前記均一性を推定する。
【００１８】
そして例えば、前記補正制御手段は、前記センサの出力信号に基づいて、前記撮像装置の動きを表す第１ベクトルを導出する第１ベクトル導出手段と、前記２枚の推定用画像を比較することにより、前記２枚の推定用画像間における、画像全体の動き又は特定領域の動きを表す第２ベクトルを導出する第２ベクトル導出手段と、を備え、前記第１ベクトルと前記第２ベクトルの差に基づいて前記均一性を推定する。
【００１９】
或いは、具体的には例えば、前記補正制御手段は、前記２枚の推定用画像を比較することにより、前記２枚の推定用画像間における、画像全体の動きと特定領域の動きを検出し、両者の動きの差に基づいて前記均一性を推定する。
【００２０】
或いは、具体的には例えば、前記補正制御手段は、前記２枚の推定用画像間のオプティカルフローを導出し、前記オプティカルフローに含まれる複数の動きベクトルのばらつきに基づいて前記均一性を推定する。
【００２１】
或いは、具体的には例えば、前記補正制御手段は、前記２枚の推定用画像間の相関性の高さに基づいて前記均一性を推定する。
【００２２】
また具体的には例えば、前記２枚の推定用画像は、第１の推定用画像と、前記第１の推定用画像の撮影時点から所定時間が経過した後に撮影される第２の推定用画像と、から成り、前記２枚の推定用画像の内の一方は、前記補正対象画像の撮影直前又は直後の撮影によって取得される。
【００２３】
本発明に係る撮像装置は、撮影によって撮影対象を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受ける上記のぶれ補正装置と、を備えたことを特徴とする。
【発明の効果】
【００２４】
本発明によれば、不要なぶれ補正処理の実行抑制に寄与するぶれ補正装置及び撮像装置を提供することができる。
【００２５】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２７】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、動画像及び静止画像を撮影及び記録可能なデジタルビデオカメラである。
【００２８】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク部１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、センサ部２９と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００２９】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。内部メモリ１７は、フレームメモリとして機能し、撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００３０】
図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。
【００３１】
ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００３２】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。
【００３３】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は可変となっている。その増幅度は、撮像素子３３の出力信号レベルに基づき、ＣＰＵ２３によって制御される。
【００３４】
映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。マイク部１４は、撮像装置１の周辺音をアナログの電気信号に変換して出力する。音声信号処理部１５は、マイク部１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換し、マイク部１４に対して入力された音を表す音声信号を生成する。映像信号処理部１３にて生成された映像信号及び音声信号処理部１５にて生成された音声信号は、必要に応じ、圧縮処理部１６にて圧縮されてから外部メモリ１８に記録される。尚、この記録の際、圧縮処理部１６による圧縮を実行しないことも可能である。
【００３５】
録画ボタン２６ａは、ユーザが動画像の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画像の撮影及び記録を指示するための押しボタンスイッチである。
【００３６】
撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像または静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３７】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各撮影画像の映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。その後、再度ユーザが録画ボタン２６ａを押下すると、動画像撮影は終了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。具体的には、ＣＰＵ２３の制御の下、その押下後に得られる撮影画像の映像信号が、静止画像を表す映像信号として、圧縮処理部１６を介して外部メモリ１８に記録される。
【００３８】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像または静止画像を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。
【００３９】
映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。
【００４０】
また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音として外部に出力する。
【００４１】
尚、映像出力回路２０からの映像信号及び音声出力回路２１からの音声信号を、撮像装置１に設けられた外部出力端子（不図示）を介して外部機器（外部の表示装置など）に供給することも可能である。
【００４２】
また、シャッタボタン２６ｂは、２段階の押下操作が可能となっており、撮影者がシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。
【００４３】
図３に、撮像装置１の外観斜視図を示し、図４に、図１のセンサ部２９の内部ブロック図を示す。図３における一点鎖線２００は、撮像部１１の光軸を表している。今、光軸は水平面に平行であるとする。
【００４４】
センサ部２９は、２つの角速度センサ２９ａ及び２９ｂを有し、撮像装置１に作用する所謂手ぶれを検出する。角速度センサ２９ａは、所定のサンプリング周期にて撮像装置１のヨー方向（水平方向）の角速度を計測して各サンプリング周期における撮像装置１のヨー方向の角速度を表す信号を出力し、角速度センサ２９ｂは、所定のサンプリング周期にて撮像装置１のピッチ方向（垂直方向）の角速度を計測して各サンプリング周期における撮像装置１のピッチ方向の角速度を表す信号を出力する。
【００４５】
ヨー方向とピッチ方向は、互いに直交し、且つ、光軸にも直交する。撮像装置１にヨー方向のぶれを与えれば、撮像装置１の光軸は水平面に平行な面上で回転し、撮像装置１にピッチ方向のぶれを与えれば、撮像装置１の光軸は鉛直面に平行な面上で回転する。ヨー方向の手ぶれによって撮像素子３３の撮像面上に結像する像は撮像面上で左右方向（撮像面の水平方向）に移動し、ピッチ方向の手ぶれによって撮像素子３３の撮像面上に結像する像は撮像面上で上下方向（撮像面の垂直方向）に移動する。各角速度センサの出力信号を表すセンサ情報は、ＣＰＵ２３に伝達される。センサ情報は、撮像装置１の動き（即ち、撮像装置１のヨー方向及びピッチ方向の動き）を表す情報である。
【００４６】
尚、説明の簡略化上、ヨー方向とピッチ方向のみに着目しているが、撮像装置１のロール方向の角速度（撮像装置１の、光軸回りの角速度）を計測する角速度センサを更に設けて、合計３つの角速度センサの出力信号からセンサ情報を生成するようにしてもよい。以下の説明では、説明の簡略化上、２つの角速度センサ２９ａ及び２９ｂのみに着目する。
【００４７】
また、以下の説明における撮像装置１の動作は、特に記述しない限り、撮影モードにおける動作である。また、以下の説明では、或る画像を表す映像信号を画像データとも呼ぶ。
【００４８】
［ぶれ補正の説明］
ところで、撮像装置１は、静止画像に対する手ぶれ補正機能を備えている。この機能によって、静止画像としてのぶれを含む撮影画像からぶれが補正された静止画像を得ることができる。以下、ぶれが補正されるべき撮影画像を「補正対象画像」と呼び、ぶれが補正された静止画像を「ぶれ補正画像」と呼ぶ。
【００４９】
シャッタボタン２６ｂに対する押下操作に応じて補正対象画像は取得される。図５に示す如く、シャッタボタン２６ｂが半押しの状態となってからそれが全押しの状態となるまでの期間を準備期間と呼び、シャッタボタン２６ｂが全押しの状態となってから設けられる、１枚又は複数枚の撮影画像を得るための期間を実撮影期間と呼ぶ。実撮影期間中において、補正対象画像の撮影が行われる。撮像部１１は所定のフレーム周期（例えば、１／３０秒）にて順次撮影を行っており、実撮影期間に属さない期間（準備期間を含む）中の撮影によって得られた各撮影画像を、プレビュー画像と呼ぶ。次々と得られるプレビュー画像は、順次、表示部１５上で更新表示される。
【００５０】
図６に、撮像装置１に内在する手ぶれ補正部４０の内部ブロック図を示す。手ぶれ補正部４０は、主として、図１の映像信号処理部１３によって、或いは、映像信号処理部１３とＣＰＵ２３の組み合わせによって実現される。手ぶれ補正部４０は、画像処理によって補正対象画像のぶれを補正してぶれ補正画像を生成するぶれ補正処理部４１を含んでいる。ぶれ補正処理部４１によって実行される、補正対象画像からぶれ補正画像を生成するための処理を、以下、ぶれ補正処理と呼ぶ。
【００５１】
このぶれ補正処理は、例えば、単一の画像復元フィルタを用いた画像復元処理によって実現される。画像復元フィルタは、補正対象画像のぶれの状態を表す点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）の逆関数を表しており、ＰＳＦ及び画像復元フィルタの各フィルタ係数は、手ぶれの状態を表す手ぶれ情報から生成される。手ぶれ情報は、例えば、上記のセンサ情報（図４参照）である。
【００５２】
補正対象画像のぶれが、補正対象画像の露光期間中に撮像装置１に作用した手ぶれのみによって生じている場合、手ぶれ情報に基づいてＰＳＦ及び画像復元フィルタの各フィルタ係数を生成し、その画像復元フィルタを用いて補正対象画像の全体をフィルタリングすることにより、補正対象画像のぶれを良好に補正することができる。但し、撮像装置１の被写体が補正対象画像の露光期間中に実空間上で動くことがあり、このような場合に、単一の画像復元フィルタを用いた画像復元処理を行うと、動く被写体のぶれが補正されないばかりか、改悪画像が得られる可能性すらある。逆に、特定の被写体の動き情報からＰＳＦ及び画像復元フィルタの各フィルタ係数を生成して画像復元処理を行うようにすると、その被写体のぶれは補正されても、実空間上で静止している背景のぶれが補正されない（改悪画像が得られる可能性もある）。尚、手ぶれ情報と被写体の動き情報の平均に基づいて画像復元処理を行っても同様の問題が生じうる。
【００５３】
これを考慮し、手ぶれ補正部４０には、ぶれ補正処理部４１にてぶれ補正処理を実行するか否かを制御するぶれ補正実行可否制御部４２（以下、ぶれ補正制御部４２と略記する）が備えられている。
【００５４】
補正対象画像に含まれるぶれの方向及び大きさが補正対象画像の全体に亘って均一であれば、単一の画像復元フィルタを用いた画像復元処理によって良好なぶれ補正を実現可能である。そこで、ぶれ補正制御部４２は、補正対象画像に含まれるぶれの均一性を推定し、その推定結果に基づいてぶれ補正処理の実行可否を決定する。補正対象画像の露光期間中における被写体の動き（実空間上の動き）は、この均一性を低下させる方向に作用する。ぶれ補正制御部４２は、上記均一性が比較的高いと推定した場合、ぶれ補正処理が実行されるようにぶれ補正処理部４１を制御し、上記均一性が比較的低いと推定した場合、ぶれ補正処理が実行されないようにぶれ補正処理部４１を制御する。
【００５５】
上述の如くぶれ補正処理の実行／不実行を切替制御することにより、ぶれ補正処理が良好に機能する場合にのみぶれ補正処理が実行され、ぶれ補正処理の実行によって、かえって画質が劣化するといった弊害の発生を回避することができる。
【００５６】
ぶれ補正制御部４２は、上記の均一性の推定を行うために、少なくとも２枚の推定用画像を参照する。図６に示す例では、ぶれ補正制御部４２に、推定用画像の画像データとセンサ部２９からのセンサ情報が与えられているが、ぶれ補正処理の実行可否判断にセンサ情報の参照が不要な場合もある（詳細は後述）。
【００５７】
２枚の推定用画像は、補正対象画像の撮影時点を基準として得られる、時間的に隣接するフレームの２枚の撮影画像であり、２枚の推定用画像の内の一方が補正対象画像であっても構わない。例えば、図７（ａ）に示す如く、実撮影期間中に補正対象画像２２３のみの撮影が行われ、その実撮影期間を中心として、プレビュー画像２２１、２２２、補正対象画像２２３、プレビュー画像２２４及び２２５が、この順番で連続的に撮影された場合、２枚の推定用画像を、画像２２１及び２２２、画像２２２及び２２３、画像２２３及び２２４、又は、画像２２４及び２２５とすることができる。
【００５８】
実撮影期間中に複数の撮影画像が連続的に撮影される場合も同様である。例えば、図７（ｂ）に示す如く、実撮影期間中に２回の撮影を行うことで撮影画像２３３及び２３４が得られ、その実撮影期間を中心として、プレビュー画像２３１、２３２、撮影画像２３３、２３４、プレビュー画像２３５及び２３６が、この順番で連続的に撮影された場合、２枚の推定用画像を、画像２３１及び２３２、画像２３２及び２３３、画像２３３及び２３４、画像２３４及び２３５、又は、画像２３５及び２３６とすることができる。ここで、撮影画像２３３又は２３４は、補正対象画像である。
【００５９】
尚、実撮影期間に取得される撮影画像の画像サイズ（即ち、水平及び垂直方向の画素数）に比べて、プレビュー画像のそれは小さいことがある。２枚の推定用画像間で画像サイズが異なる場合、ぶれ補正制御部４２は、両画像間の画像サイズの差異を打ち消すための画像サイズ正規化処理を実行し、画像サイズ正規化処理後の２枚の推定用画像に基づいて上記均一性を推定する。
【００６０】
また、以下の説明では、説明の明確化及び簡略化上、準備期間及び実撮影期間を含む全期間においてフレーム周期が１／３０秒であるとし、角速度センサ２９ａ及び２９ｂのサンプリング周期がフレーム周期の３３分の１（約１／１０００秒）であるとする。また、図８に示す如く、２枚の推定用画像が第１及び第２の推定用画像から成るものとし、第１及び第２の推定用画像の露光期間の中間時刻を、夫々、ｔ1及びｔ2にて表す。時刻ｔ1−ｔ2間（即ち、時刻ｔ1と時刻ｔ2との間）の時間長さは、１／３０秒である。第２の推定用画像の撮影よりも先に、第１の推定用画像の撮影がなされるものとする。また更に、実空間上で静止している点を「実静止点」と呼ぶ。
【００６１】
以下、手ぶれ補正部４０に特に着目した、撮像装置１の詳細な動作を説明するための実施例として第１〜第６実施例を説明する。各実施例に記載した事項は、矛盾なき限り他の実施例にも適用可能である。
【００６２】
＜＜第１実施例＞＞
まず、第１実施例を説明する。第１実施例では、補正対象画像に含まれるぶれの均一性を推定する方法を説明する。この推定を、様々な指標に基づいて行うことができる。図９に、均一性の推定に用いられる指標の例を表として示す。図９に示される内容は、後述の説明から明らかとなる。上記均一性の推定方法として、以下に、第１〜第６の推定方法を例示する。
【００６３】
［第１の推定方法］
まず、第１の推定方法を説明する。第１の推定方法では、センサ部２９からのセンサ情報と２枚の推定用画像とを参照する。
【００６４】
或る基準時刻において撮像部１１の撮像面の中心に結像していた実静止点の像は、ヨー方向又はピッチ方向における撮像装置１の回転により撮像面上において該中心から移動する。今、その移動の方向及び大きさを表すベクトルを移動軌跡ベクトルと呼ぶ。移動軌跡ベクトルの向きは、撮像装置１側から被写体側を見たときにおける撮像装置１の動きの向きと反対であるとする。従って例えば、被写体に正対した撮影者が右斜め下方向に撮像装置１に振ると、上記移動軌跡ベクトルの向きは左斜め上向きとなる。２つの角速度センサ２９ａ及び２９ｂの出力信号に基づき、各サンプリング周期における移動軌跡ベクトルが求まる。移動軌跡ベクトルの水平成分及び垂直成分は、夫々、角速度センサ２９ａ及び２９ｂの出力信号にて決まる。
【００６５】
時刻ｔ1−ｔ2間の時間長さが１／３０秒であって且つ角速度センサ２９ａ及び２９ｂのサンプリング周期の長さがフレーム周期の長さの３３分の１であるから、時刻ｔ1−ｔ2間において３３個の移動軌跡ベクトルが求められる。ぶれ補正制御部４２は、図１０に示す如く、時刻ｔ1−ｔ2間の移動軌跡ベクトルｍ1〜ｍ33の始点と終点を順次繋ぎ合わせることにより得た合成ベクトルをベクトルＶSNとして求める。ベクトルＶSN（又はそれの逆ベクトル）は、時刻ｔ1−ｔ2間における撮像装置１の動きを表し、ベクトルＶSNの始点及び終点は、手ぶれに由来して実静止点の像が時刻ｔ1−ｔ2間において撮像面上で描く軌跡の始点及び終点と合致する。
【００６６】
ベクトルＶSNを、推定用画像上のベクトルとして捉えることができる。第１と第２の推定用画像間において、手ぶれに由来して実静止点の像が１画素分だけ上方に移動した場合、ベクトルＶSNの向きは上向きであって且つベクトルＶSNの大きさは１画素分となるものとする（上向き以外の向きについても同様）。
【００６７】
一方において、ぶれ補正制御部４２は、代表点マッチング法、ブロックマッチング法又は勾配法などを用いて、２枚の推定用画像間における、複数の動きベクトルから成るオプティカルフローを求め、その複数の動きベクトルの平均ベクトルをベクトルＶAVEとして求める。動きベクトルは、周知の如く、水平成分及び垂直成分を有する二次元のベクトル量である。
【００６８】
例えば、図１１に示す如く、第１の推定用画像の全体領域を水平及び垂直方向に夫々２分割することにより第１の推定用画像内に第１〜第４のブロックを設定し、同様にして第２の推定用画像内に第１〜第４のブロックを設定する。そして、第１及び第２の推定用画像間における、各ブロックの動きベクトルを代表点マッチング法等によって求め、第１〜第４のブロックについて求められた４つの動きベクトルＶBL[1]〜ＶBL[4]の平均ベクトルをベクトルＶAVEとする。尚、当然、第１の推定用画像内における第１〜第４のブロックの位置は互いに異なる。第２の推定用画像についても同様である。第１の推定用画像内における第ｉのブロックの位置と、第２の推定用画像内における第ｉのブロックの位置は同じである（ここで、ｉは１、２、３又は４）。ベクトルＶAVEは２枚の推定用画像間における画像全体の動きベクトルを表すこととなる。
【００６９】
第１の推定方法では、上記のベクトルＶSN及びＶAVEを、夫々ベクトルＶA及びＶBとして取り扱う。
【００７０】
時刻ｔ1−ｔ2間において、手ぶれが撮像装置１に作用する一方で被写体が実空間で完全に静止していた場合、第１〜第４のブロックについて求められた４つの動きベクトルの大きさ及び向きは均一となって、ベクトルＶAとＶBは略同じとなるはずである。一方で、時刻ｔ1−ｔ2間において被写体が実空間上で動いていると、上記の４つの動きベクトルの大きさ及び向きは不均一となって、ベクトルＶAとＶBは大きく相違してくる。
【００７１】
従って、ぶれ補正制御部４２は、ベクトルＶAとＶBの差に基づいて補正対象画像に含まれるぶれの均一性の推定する。具体的には例えば、ベクトルＶAの水平成分及び垂直成分を夫々ＶAX及びＶAYで表し且つベクトルＶBの水平成分及び垂直成分を夫々ＶBX及びＶBYで表した場合、下記の不等式（Ａ−１）が満たされるか否かを判断し、満たされる場合はぶれの均一性が比較的高いと推定してぶれ補正処理を実行可とする一方で、満たされない場合はぶれの均一性が比較的低いと推定してぶれ補正処理を実行不可とする。尚、これに代えて、下記の２つの不等式（Ａ−２ａ）及び（Ａ−２ｂ）が満たされるか否かを判断し、双方が満たされる場合はぶれの均一性が比較的高いと推定してぶれ補正処理を実行可とする一方で、何れか一方でも満たされない場合はぶれの均一性が比較的低いと推定してぶれ補正処理を実行不可とするようにしてもよい。ここで、ＴＨ1〜ＴＨ3は所定の閾値である。
【００７２】
【数１】
2009171341.tif 000003
【数２】
2009171341.tif 000004
【００７３】
［第２の推定方法］
次に、第２の推定方法を説明する。第２の推定方法では、センサ部２９からのセンサ情報と２枚の推定用画像とを参照する。更に、人物の顔領域を検出する顔検出処理を利用する。このため、第２の推定方法を採用する場合は、図６のぶれ補正部４０又は図１の映像信号処理部１３に、顔検出部（不図示）が内在するものとする。
【００７４】
この顔検出部は、各推定用画像の画像データに基づき、各推定用画像から人物の顔部分を含む領域である顔領域を検出して抽出する。図１２に、各推定用画像から顔領域が抽出される様子を示す。そして、第１の推定用画像内における顔領域の中心位置から第２の推定用画像内における顔領域の中心位置へ向かうベクトルを、ベクトルＶSBJとして求める。ベクトルＶSBJは、第１及び第２の推定用画像間における顔領域の動きを表す。
【００７５】
尚、画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように各推定用画像から肌色領域を抽出することによって顔領域を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔領域を検出しても良い。
【００７６】
一方で、ぶれ補正制御部４２は、センサ部２９の出力信号に基づいて、第１の推定方法で述べたものと同じベクトルＶSNを求める。
【００７７】
ベクトルＶSBJを、時刻ｔ1−ｔ2間における被写体の動きを表す情報として利用することができる。そこで、第２の推定方法では、上記のベクトルＶSN及びＶSBJを、夫々ベクトルＶA及びＶBとして取り扱う。
【００７８】
時刻ｔ1−ｔ2間において、手ぶれが撮像装置１に作用する一方で被写体が実空間で完全に静止していた場合、ベクトルＶAとＶBは略同じとなるはずである。一方で、時刻ｔ1−ｔ2間において被写体としての人物が実空間上で動いていると、通常、ベクトルＶAとＶBは大きく相違してくる。従って、ぶれ補正制御部４２は、ベクトルＶAとＶBの差に基づいて補正対象画像に含まれるぶれの均一性の推定する。その差に基づく均一性の推定方法及びぶれ補正処理の実行可否の決定方法は、第１の推定方法で述べたものと同じである。
【００７９】
尚、推定用画像を用いることなく、図１のマイク部１４の出力信号に基づいてベクトルＶSBJに推定するようにしてもよい。例えば、マイク１４部を、撮像装置１の筐体上の互いに異なる位置に配置された複数のマイクロホンにて形成しておき、音声信号処理部１５が、複数のマイクロホンの出力信号間の位相差等に基づいて、その出力信号の生成元の音の到来方向を推定する。この到来方向は、撮像装置１の光軸の方向を基準とする方向である。そして、その音を発する音源が上記の顔領域に対応する人物の口であるとみなし、第１の推定用画像の撮影時における推定到来方向と第２の推定用画像の撮影時における推定到来方向とに基づいて実空間上における時刻ｔ1−ｔ2間の音源の動きを推定し、その推定した動きを撮像面上の動きに対応付けることによってベクトルＶSBJを推定する。
【００８０】
［第３の推定方法］
次に、第３の推定方法を説明する。第３の推定方法では、センサ部２９からのセンサ情報と２枚の推定用画像とを参照する。更に、オートアイリス制御に利用されるＡＥ評価値、オートフォーカス制御に利用されるＡＦ評価値、又は、オートホワイトバランス制御に利用されるＡＷＢ評価値を利用する。まず、各評価値の導出方法について説明する。
【００８１】
（１）ＡＥ評価値
ＡＥ評価値は、図１の映像信号処理部１３に内在するＡＥ評価部（不図示）によって算出される。各撮影画像の映像信号は、ＡＥ評価部に与えられ、各撮影画像の全体領域内に複数の評価領域が設定される。今、図１３に示す如く、撮影画像の全体領域を水平方向に６分割し且つ垂直方向に４分割することにより、１枚の撮影画像中に合計２４個の評価領域が設定されるものとする。各評価領域の画像サイズは同じであるとする。
【００８２】
ＡＥ評価部は、各評価領域に着目し、評価領域内の各画素の輝度値を積算して積算値を出力する。この積算値をＡＥ評価値と呼ぶ。ＡＥ評価値の算出は、撮影画像ごとに且つ評価領域ごとに行われる。輝度値とは輝度信号の値を意味し、輝度値が大きいほど、その輝度値を有する画素の輝度は大きい。
【００８３】
図１のＣＰＵ２３は、例えば、撮影画像内の特定位置における評価領域（例えば、撮影画像の中央付近の評価領域又は顔領域に対応する評価領域）のＡＥ評価値に基づいて、所望の明るさの撮影画像が得られるように、図２の絞り３２の開度や図１のＡＦＥ１２における信号増幅の増幅度を制御する。
【００８４】
図１４に、第１及び第２の推定用画像に対して求められたＡＥ評価値の様子を示す。図１４では、ＡＥ評価値が大きい領域ほど白く、ＡＥ評価値が小さい領域ほど黒く示している。
【００８５】
ＡＥ評価値を利用する場合、ぶれ補正制御部４２は、第１及び第２の推定用画像間における、ＡＥ評価値が大きい領域の重心の動きからベクトルＶAEを求める。具体的には例えば、第１の推定用画像のＡＥ評価値に基づき、第１の推定用画像内において、基準ＡＥ値よりも大きなＡＥ評価値を有する１又は複数の評価領域を特定し、特定された評価領域の重心位置を求める。基準ＡＥ値は、例えば、第１の推定用画像に対して求められた全ＡＥ評価値の平均値及び最大値に基づいて定められる。尚、特定された評価領域が１つである場合、特定された評価領域の重心位置は、その評価領域の中心位置に合致する。同様に、第２の推定用画像のＡＥ評価値に基づき、第２の推定用画像内において、基準ＡＥ値よりも大きなＡＥ評価値を有する１又は複数の評価領域を特定し、特定された評価領域の重心位置を求める。そして、第１の推定用画像に対して求められた重心位置から第２の推定用画像に対して求められた重心位置へ向かうベクトルを、ベクトルＶAEとして求める。ベクトルＶAEは、第１及び第２の推定用画像間における、特定領域（今の例において、高輝度領域）の動きを表す。
【００８６】
（２）ＡＦ評価値
ＡＦ評価値は、図１の映像信号処理部１３に内在するＡＦ評価部によって算出される。図１５にＡＦ評価部５０の内部ブロック図を示す。各撮影画像の映像信号は、ＡＦ評価部５０に与えられ、各撮影画像の全体領域内に複数の評価領域が設定される。今、上述したように（図１３参照）、１枚の撮影画像中に合計２４個の評価領域が設定されるものとする。各評価領域の画像サイズは同じであるとする。
【００８７】
ＡＦ評価部５０は、抽出部５１、ＨＰＦ（ハイパスフィルタ）５２及び積算部５３を有して構成される。ＡＦ評価部５０は、１つの評価領域に対して１つのＡＦ評価値を算出する。従って、１枚の撮影画像に対して２４個のＡＦ評価値が算出される。
【００８８】
抽出部５１には、撮影画像の映像信号が与えられる。抽出部５１は、その映像信号の中から輝度信号を抽出する。ＨＰＦ５２は、抽出部５１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。例えば、ＨＰＦ５２を所定のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタを撮影画像の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ５２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。
【００８９】
積算部５３は、ＨＰＦ５２によって抽出された高域周波数成分の大きさ（即ち、ＨＰＦ５２の出力値の絶対値）を積算する。この積算は評価領域ごとに個別に行われ、或る評価領域内における高域周波数成分の大きさの積算値を、その評価領域のＡＦ評価値とする。
【００９０】
図１のＣＰＵ２３は、撮影画像内の特定位置における評価領域（例えば、撮影画像の中央付近の評価領域又は顔領域に対応する評価領域）のＡＦ評価値がなるだけ大きくなるように図２のフォーカスレンズ３１の位置を制御することによって、オートフォーカス制御を実現する。
【００９１】
ＡＦ評価値を利用する場合、ぶれ補正制御部４２は、第１及び第２の推定用画像間における、ＡＦ評価値が大きい領域の重心の動きからベクトルＶAFを求める。具体的には例えば、第１の推定用画像のＡＦ評価値に基づき、第１の推定用画像内において、基準ＡＦ値よりも大きなＡＦ評価値を有する１又は複数の評価領域を特定し、特定された評価領域の重心位置を求める。基準ＡＦ値は、例えば、第１の推定用画像に対して求められた全ＡＦ評価値の平均値及び最大値に基づいて定められる。同様に、第２の推定用画像のＡＦ評価値に基づき、第２の推定用画像内において、基準ＡＦ値よりも大きなＡＦ評価値を有する１又は複数の評価領域を特定し、特定された評価領域の重心位置を求める。そして、第１の推定用画像に対して求められた重心位置から第２の推定用画像に対して求められた重心位置へ向かうベクトルを、ベクトルＶAFとして求める。ベクトルＶAFは、第１及び第２の推定用画像間における、高域周波数成分が大きい領域の動きを表す。
【００９２】
（３）ＡＷＢ評価値
ＡＷＢ評価値は、図１の映像信号処理部１３に内在するＡＷＢ評価部によって算出される。今、上述したように（図１３参照）、１枚の撮影画像中に合計２４個の評価領域が設定されるものとする。各評価領域の画像サイズは同じであるとする。
【００９３】
撮像素子３３は、単板方式の撮像素子であり、撮像素子３３の各受光画素の前面にはカラーフィルタが配列されている。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。カラーフィルタの配列は、例えばベイヤー配列である。赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素及び青受光画素と呼ぶ。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系３５の入射光の、赤成分、緑成分及び青成分にのみ反応する。
【００９４】
撮影画像は、撮像素子３３の各受光画像の出力信号によって表されるので、撮像面にも上述したものと同様の評価領域を設定して考える。ＡＷＢ評価部は、各評価領域に着目し、着目した評価領域に属する各赤受光画素の出力信号値の積算値を赤評価値として算出し、且つ、着目した評価領域に属する各緑受光画素の出力信号値の積算値を緑評価値として算出し、且つ、着目した評価領域に属する各青受光画素の出力信号値の積算値を青評価値として算出する。或る１つの評価領域に対して算出された赤評価値、緑評価値及び青評価値は、その評価領域に対するＡＷＢ評価値を形成する。ＡＷＢ評価値の算出は、撮影画像ごとに且つ評価領域ごとに行われる。
【００９５】
図１のＣＰＵ２３は、例えば、ＡＷＢ評価値に基づいて撮影画像の全体のホワイトバランスが所望のホワイトバランスとなるように、或いは、顔領域のホワイトバランスが所望のホワイトバランスとなるように、撮影画像のホワイトバランスを調整する。
【００９６】
ＡＷＢ評価値を利用する場合、ぶれ補正制御部４２は、第１及び第２の推定用画像間における、赤評価値、緑評価値若しくは青評価値又はそれらの加重平均値が大きい領域の重心の動きからベクトルＶAWBを求める。具体的には例えば、第１の推定用画像のＡＷＢ評価値に基づき、第１の推定用画像内において、基準ＡＷＢ値よりも大きな赤評価値を有する１又は複数の評価領域を特定し、特定された評価領域の重心位置を求める。基準ＡＷＢ値は、例えば、第１の推定用画像に対して求められた全赤評価値の平均値及び最大値に基づいて定められる。同様に、第２の推定用画像のＡＷＢ評価値に基づき、第２の推定用画像内において、基準ＡＷＢ値よりも大きな赤評価値を有する１又は複数の評価領域を特定し、特定された評価領域の重心位置を求める。そして、第１の推定用画像に対して求められた重心位置から第２の推定用画像に対して求められた重心位置へ向かうベクトルを、ベクトルＶAWBとして求める。ベクトルＶAWBは、第１及び第２の推定用画像間における、特定の色を有する領域の動きを表す。
【００９７】
ぶれ補正制御部４２は、２枚の推定用画像からベクトルＶAE、ＶAF又はＶAWBを求める一方で、センサ部２９の出力信号に基づき第１の推定方法で述べたものと同じベクトルＶSNを求める。
【００９８】
第２の推定方法で述べたベクトルＶSBJ（図１２参照）と同じく、ベクトルＶAE、ＶAF及びＶAWBを、時刻ｔ1−ｔ2間における被写体の動きを表す情報として利用可能である。そこで、第３の推定方法では、上記のベクトルＶSNをベクトルＶAとして取り扱い、且つ、ベクトルＶAE、ＶAF又はＶAWBをベクトルＶBとして取り扱う。
【００９９】
時刻ｔ1−ｔ2間において、手ぶれが撮像装置１に作用する一方で被写体が実空間で完全に静止していた場合、ベクトルＶAとＶBは略同じとなるはずである。一方で、時刻ｔ1−ｔ2間において被写体が実空間上で動いていると、通常、ベクトルＶAとＶBは大きく相違してくる。従って、ぶれ補正制御部４２は、ベクトルＶAとＶBの差に基づいて補正対象画像に含まれるぶれの均一性の推定する。その差に基づく均一性の推定方法及びぶれ補正処理の実行可否の決定方法は、第１の推定方法で述べたものと同じである。
【０１００】
［第４の推定方法］
次に、第４の推定方法を説明する。第４の推定方法では、２枚の推定用画像を参照し、センサ部２９からのセンサ情報を参照しない。
【０１０１】
第４の推定方法を採用する場合、ぶれ補正制御部４２は、２枚の推定用画像に基づいて第１の推定方法で説明したベクトルＶAVEを求める（図１１参照）。一方で、ぶれ補正制御部４２は、２枚の推定用画像に基づいて第２の推定方法で説明したベクトルＶSBJを求める（図１２参照）、或いは、２枚の推定用画像に基づいて第３の推定方法で説明したベクトルＶAE、ＶAF又はＶAWBを求める（図１４参照）。尚、第２の推定方法にて述べたように、ベクトルＶSBJを音源の動きから推定することも可能である。
【０１０２】
第１〜第３の推定方法では、センサ情報に基づくベクトルＶSNを時刻ｔ1−ｔ2間における撮像装置１の動きを表す情報として用いていたが、第４の推定方法では、その動きを表す情報としてベクトルＶAVEを用いる。一方で、第４の推定方法では、第２又は第３の推定方法と同じく、ベクトルＶSBJ又はベクトルＶAE、ＶAF若しくはＶAWBを時刻ｔ1−ｔ2間における被写体の動きを表す情報として用いる。
【０１０３】
従って、ベクトルＶAVEがベクトルＶAとして取り扱われ、且つ、ベクトルＶSBJ、ＶAE、ＶAF又はＶAWBがベクトルＶBとして取り扱われる。
【０１０４】
そして、ぶれ補正制御部４２は、ベクトルＶAとＶBの差に基づいて補正対象画像に含まれるぶれの均一性の推定する。その差に基づく均一性の推定方法及びぶれ補正処理の実行可否の決定方法は、第１の推定方法で述べたものと同じである。
【０１０５】
［第５の推定方法］
次に、第５の推定方法を説明する。第５の推定方法では、２枚の推定用画像を参照し、センサ部２９からのセンサ情報を参照しない。
【０１０６】
第５の推定方法において、ぶれ補正制御部４２は、２枚の推定用画像間における、複数の動きベクトルから成るオプティカルフローを求め、その複数の動きベクトルのばらつきの程度に基づいて補正対象画像に含まれるぶれの均一性を推定する。ここにおけるばらつきとは、複数の動きベクトル間における、動きベクトルの大きさのばらつき、及び／又は、動きベクトルの向きのばらつきを含む。
【０１０７】
具体的には例えば、第１の推定方法にて述べた方法と同じように、第１及び第２の推定用画像の夫々に第１〜第４のブロックを設定し、第１及び第２の推定用画像間における、各ブロックの動きベクトルを代表点マッチング法等によって求める。第１〜第４のブロックに対して求められた動きベクトルを、第１の推定方法で上述したように、ＶBL[1]〜ＶBL[4]にて表す（図１１参照）。また、動きベクトルＶBL[i]の水平成分及び垂直成分を夫々ＶBL[i]X及びＶBL[i]Yで表す。
【０１０８】
ここで、変数ｉは１、２、３又は４である。更に、１、２、３又は４の値をとる変数ｊを導入する（但し、ｉ≠ｊ）。そして、ぶれ補正制御部４２は、変数ｉとｊの全ての組み合わせに対して、下記の不等式（Ａ−３）が満たされるか否かを判断する。即ち、（ｉ，ｊ）に（１，２）、（１，３）、（１，４）、（２，３）、（２，４）及び（３，４）の夫々を代入した場合の全てにおいて不等式（Ａ−３）が満たされるか否かを判断する。そして、変数ｉとｊの全ての組み合わせに対して不等式（Ａ−３）が満たされる場合は補正対象画像に含まれるぶれの均一性が比較的高いと推定してぶれ補正処理を実行可とする一方で、そうでない場合はぶれの均一性が比較的低いと推定してぶれ補正処理を実行不可とする。尚、これに代えて、変数ｉとｊの全ての組み合わせに対して下記の２つの不等式（Ａ−４ａ）及び（Ａ−４ｂ）が満たされるか否かを判断するようにしてもよい。この場合、変数ｉとｊの全ての組み合わせに対して不等式（Ａ−４ａ）及び（Ａ−４ｂ）の双方が満たされる場合は補正対象画像に含まれるぶれの均一性が比較的高いと推定してぶれ補正処理を実行可とする一方で、そうでない場合はぶれの均一性が比較的低いと推定してぶれ補正処理を実行不可とする。ここで、ＴＨ4〜ＴＨ6は所定の閾値である。
【０１０９】
【数３】
2009171341.tif 000005
【数４】
2009171341.tif 000006
【０１１０】
［第６の推定方法］
次に、第６の推定方法を説明する。第６の推定方法では、２枚の推定用画像を参照し、センサ部２９からのセンサ情報を参照しない。第６の推定方法では、ぶれ補正制御部４２は、２枚の推定用画像間の相関性の高さを評価し、その評価結果に基づいて補正対象画像に含まれるぶれの均一性を推定する。相関性の高さは、代表点マッチング法又はブロックマッチング法にて２枚の推定用画像間の動きベクトルを求める際の中間生成データを用いて評価される。代表点マッチング法を利用する場合を例にとって、より具体的に説明する。
【０１１１】
図１６の画像２７０は、第１又は第２の推定用画像を表している。画像２７０内に、複数のブロックが設定される。説明の具体化のため、９つのブロックＢＬ1〜ＢＬ9が設けられるものとする。画像２７０を水平及び垂直方向に夫々３等分して得られる９つの領域の夫々に、１つのブロックが設けられる。ブロックＢＬ1〜ＢＬ9の大きさ（画像サイズ）は同じであるとする。
【０１１２】
各ブロックは、更に、複数の小領域（小ブロック）ｅに分割される。図１６に示す例では、各ブロックが４８個の小領域ｅに分割されている（水平方向に８分割され且つ垂直歩行に６分割されている）。各小領域ｅは、例えば、３２×３２の画素（水平方向に３２画素且つ垂直方向に３２画素の二次元配列された画素）で構成される。そして、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。
【０１１３】
図１７に、ブロックＢＬ1の拡大図を示す。ブロックＢＬ1内における４８個の小領域ｅがｅ［１］〜ｅ［４８］から成るとする。また、１つの小領域ｅ内におけるサンプリング点Ｓの個数をＳNUMで表し、図１８に示す如く、１つの小領域ｅ内におけるＳNUM個のサンプリング点Ｓが、Ｓ［１］〜Ｓ［ＳNUM］から成るとする。
【０１１４】
今、対比される第１及び第２の推定用画像の内、第１の推定用画像を基準として考える。そうすると、代表点マッチング法では、第１の推定用画像における小領域ｅ内の代表点Ｒの輝度値と第２の推定用画像における対応する小領域ｅ内の各サンプリング点Ｓの輝度値との差の絶対値が、全ての小領域ｅに対して求められる。
【０１１５】
ブロックＢＬ1に着目する。第１の推定用画像のブロックＢＬ1内における小領域ｅ［ｉ］の、代表点Ｒに位置する画素の輝度値をＹA［ｉ，Ｒ］にて表し、且つ、第２の推定用画像のブロックＢＬ1内における小領域ｅ［ｉ］の、サンプリング点Ｓ［ｊ］に位置する画素の輝度値をＹB［ｉ，Ｓ［ｊ］］にて表す。ＹA［ｉ，Ｒ］、ＹB［ｉ，Ｓ［ｊ］］及び後述のＡＣ［ｊ］を表記する際、ｉは不等式：１≦ｉ≦４８を満たす各整数値をとり、ｊは不等式：１≦ｊ≦ＳNUMを満たす各整数値をとるものとする。
【０１１６】
ぶれ補正制御４２は、代表点Ｒに対する変位が互いに同じとなるサンプリング点Ｓについての上記絶対値を累積加算する。この累積加算は、ブロックＥ1内の全ての小領域ｅを対象にして行われる。従って、本例では、４８個の絶対値が累積加算されることになる。また、この累積加算によって得られた値を相関値と呼ぶ。ブロックＥ1に対してＳNUM個の相関値が算出されることになり、Ｓ［１］〜Ｓ［ＳNUM］についての相関値を、夫々、ＡＣ［１］〜ＡＣ［ＳNUM］で表すとすると、それらは下記式（Ａ−５）に従って算出されることになる。
【０１１７】
【数５】
2009171341.tif 000007
【０１１８】
ブロックＢＬ1 についてＳNUM個の相関値ＡＣ［１］〜ＡＣ［ＳNUM］が求められた後、それらの内の最小の相関値が特定される。そして、代表点Ｒから、その最小の相関値に対応するサンプリング点Ｓに向かうベクトルが、ブロックＢＬ1 に対する動きベクトルとして求められる。ブロックＢＬ1に着目して動きベクトルの導出方法を説明したが、これと同様にしてブロックＢＬ2〜ＢＬ9に対しても動きベクトルが求められる。
【０１１９】
今、ブロックＢＬqに対して求められたＳNUM個の相関値の内の最小値をＭＩＮ［ｑ］で表し、ブロックＢＬqに対して求められたＳNUM個の相関値の平均値をＡＶＥ［ｑ］で表す。ここで、ｑは１以上９以下の各整数値をとる。
【０１２０】
指標値ＭＩＮ［ｑ］／ＡＶＥ［ｑ］は、第１の推定用画像を基準として、ブロックＢＬqの動きベクトルで表される位置ずれを第２の推定用画像に加えた時の、第１の推定用画像におけるブロックＢＬ1内の画像と第２の推定用画像におけるブロックＢＬq内の画像との相関性の高さを表している。指標値ＭＩＮ［ｑ］／ＡＶＥ［ｑ］が小さいほど、その相関性が高く、対比される画像が完全に同じであれば指標値ＭＩＮ［ｑ］／ＡＶＥ［ｑ］はゼロとなる。第１の推定用画像を基準として第２の推定用画像に加えた位置ずれ量（即ち、ｊ）と、相関値（即ち、ＡＣ［ｊ］）と、の関係例を図１９に示す。
【０１２１】
仮に、手ぶれが撮像装置１に作用する一方で被写体が実空間上で完全に静止していた場合、指標値ＭＩＮ［ｑ］／ＡＶＥ［ｑ］は十分に小さい値をとるはずである。一方で、ブロックＢＬq内に現れる被写体が時刻ｔ1−ｔ2間において実空間上で動いたことに由来して、ブロックＢＬq内に複数の異なる動き（第１と第２の推定画像間における動き）が生じていると、指標値ＭＩＮ［ｑ］／ＡＶＥ［ｑ］は比較的大きな値をとる。
【０１２２】
これを考慮し、ぶれ補正制御４２は、指標値ＭＩＮ［１］／ＡＶＥ［１］〜ＭＩＮ［９］／ＡＶＥ［９］の夫々と所定の閾値とを比較し、９つの指標値の内、その閾値よりも大きな値を有する指標値の個数を計数する。そして、計数された個数が所定の基準個数（例えば１又は２）未満である場合は補正対象画像に含まれるぶれの均一性が比較的高いと推定してぶれ補正処理を実行可とする一方で、そうでない場合はぶれの均一性が比較的低いと推定してぶれ補正処理を実行不可とする。
【０１２３】
また、これに代えて、９つの指標値を重み付け加算した値ＷＡに基づいて補正対象画像に含まれるぶれの均一性を推定してもよい。例えば、値ＷＡが所定の基準値以下である場合はぶれの均一性が比較的高いと推定してぶれ補正処理を実行可とする一方で、そうでない場合はぶれの均一性が比較的低いと推定してぶれ補正処理を実行不可とする。値ＷＡは、例えば、下記式（Ａ−６）に従って算出される。ここで、ｋ1〜ｋ9は所定の重み付け係数であり、画像２７０の中央付近に位置するブロックに対応する重み付け係数ｋ5が他の重み付け係数よりも大きくなるように、ｋ1〜ｋ9の各値が設定される。撮影者が注目する被写体（人物など）は撮影領域の中央付近に位置することが多いため、値ＷＡの算出に際し、画像２７０の中央付近に位置するブロックについての指標値の重みを大きくする。
【０１２４】
【数６】
2009171341.tif 000008
【０１２５】
第６の推定方法による、補正対象画像に含まれるぶれの均一性の推定方法は、以下のように表現することもできる。指標値ＭＩＮ［ｑ］／ＡＶＥ［ｑ］に基づきブロックＢＬq内に複数の動きがあるか否かを判断することによって、補正対象画像に含まれるぶれの均一性を推定する。ここにおける動きとは、第１と第２の推定用画像との間における（換言すれば、時刻ｔ1−ｔ2間における）ブロックＢＬq内の物体の動きである。
【０１２６】
＜＜第２実施例＞＞
次に、第２実施例を説明する。第２実施例では、撮像装置１の動作の流れの例を説明する。図２０は、この動作の流れを表すフローチャートであり、このフローチャートに沿って撮像装置１の動作を説明する。第２実施例では、２枚のプレビュー画像を２枚の推定用画像として取り扱う場合を例示する。
【０１２７】
まず、撮像装置１が起動して撮影モードにおける動作が開始されると、ステップＳ１１に移行する。ステップＳ１１では、撮像素子３３からの出力信号に基づき、図１の映像信号処理部１３にてプレビュー画像が取得される。プレビュー画像の画像データは内部メモリ１７に一時的に記録され、プレビュー画像又はプレビュー画像に基づく画像が表示部２７上で表示される。この後、ステップＳ１２において、シャッタボタン２６ｂが半押しの状態となっているかが確認され、それが半押しの状態となっている場合はステップＳ１３に移行し、そうでない場合はステップＳ１１に戻る。
【０１２８】
ステップＳ１３において、図６のぶれ補正制御部４２は、現時点における最新の２枚のプレビュー画像を参照し、その該２枚のプレビュー画像の撮影直後に補正対象画像の撮影が行われると仮定した上で、補正対象画像に対するぶれ補正処理の実行可否を判断する。即ち、現時点における最新の２枚のプレビュー画像を２枚の推定用画像として取り扱い、その２枚のプレビュー画像に基づいて、２枚の推定用画像の撮影直後に撮影されるべき補正対象画像へのぶれ補正処理の実行可否を判断する。この判断は、第１実施例で述べた第１〜第６の推定方法の何れかを用い、補正対象画像に含まれるぶれの均一性の推定を介して実行される。勿論、第１〜第３の推定方法の何れかを用いる場合は、２枚のプレビュー画像とセンサ情報に基づいてぶれ補正処理の実行可否が判断される。
【０１２９】
例えば、第１の推定方法を用いる場合、ステップＳ１３において以下の処理が実行される。即ち、現時点における最新の２枚のプレビュー画像を２枚の推定用画像として取り扱い、センサ情報に基づいて該２枚のプレビュー画像に対するベクトルＶSNを求める一方で該２枚のプレビュー画像の画像データに基づき該２枚のプレビュー画像に対するベクトルＶAVEを求める（図１０及び図１１参照）。そして、ベクトルＶSN及びＶAVEを夫々ＶA及びＶBとして取り扱って上記式（Ａ−１）（又は式（Ａ−２ａ）及び（Ａ−２ｂ））が成立するか否かを判断することによって、該２枚のプレビュー画像の撮影直後に撮影されるべき補正対象画像へのぶれ補正処理の実行可否を判断する。
【０１３０】
ステップＳ１３において、ぶれ補正処理が実行可と判断された場合は、ステップＳ１４にてフラグＦＧに１を代入してからステップＳ１６に移行し、ぶれ補正処理が実行不可と判断された場合は、ステップＳ１５にてフラグＦＧに０を代入してからステップＳ１６に移行する。フラグＦＧは、ぶれ補正処理を実行するか否かを表すフラグであり、０又は１の値をとる。フラグＦＧへの値の代入は、ぶれ補正制御部４２によって行われる。
【０１３１】
ステップＳ１６において、ＣＰＵ２３は、シャッタボタン２６ｂが全押しの状態となっているか否かを確認し、それが全押しの状態となっている場合はステップＳ２１に移行する一方、そうでない場合はステップＳ１７にてフラグＦＧに０を代入してからステップＳ１１に戻る。
【０１３２】
ステップＳ１６からステップＳ２１に移行するタイミングが準備期間から実撮影期間への遷移タイミングである（図５）。ステップＳ２１において、撮像装置１は、撮影によって補正対象画像としての撮影画像（静止画像）を取得する。ステップＳ２１における撮影は実撮影期間中に行われる。即ち、実撮影期間中における撮像素子３３からの出力信号に基づき、図１の映像信号処理部１３にて、補正対象画像としての撮影画像が取得される。本実施例の動作を図７（ａ）に当てはめると、画像２２１及び２２２が２枚の推定用画像となり、実撮影期間中に取得される１枚の撮影画像（即ち、補正対象画像）が画像２２３となる。尚、ステップＳ２１において、補正対象画像を含む２枚の静止画像の撮影を行っても構わない。
【０１３３】
補正対象画像の撮影の後、ステップＳ２２にて、ぶれ補正処理部４１は、フラグＦＧが１であるか否かを確認する。フラグＦＧが１である場合はステップＳ２３に移行してぶれ補正処理を実行してからステップＳ２４に移行する一方、フラグＦＧが０である場合はぶれ補正処理を実行することなくステップＳ２４に直接移行する。
【０１３４】
ステップＳ２３では、ぶれ補正処理部４１が、ステップＳ２１にて得られた補正対象画像に対し、センサ情報に基づくぶれ補正処理を実行してぶれ補正画像を生成する。尚、センサ情報に基づくぶれ補正処理の方法として、公知の方法（例えば、特開２００６−１２９２３６号公報や特開２００６−２７９８０７号公報に記載の方法）を利用可能である。
【０１３５】
即ち、ぶれ補正処理部４１は、補正対象画像の露光期間中における図４の角速度センサ２９ａ及び２９ｂの各出力信号から、手ぶれに由来する補正対象画像の劣化の状態を表すＰＳＦを求め、そのＰＳＦの逆関数（一般逆行列）に相当する画像復元関数を求める。画像復元関数は、単一の画像復元フィルタとして表現され、ＰＳＦを表す行列の一般逆行列の各要素が該画像復元フィルタの各フィルタ係数とされる。ぶれ補正処理部４１は、この画像復元フィルタを用いた空間フィルタリングを補正対象画像の全体に対して施すことで、補正対象画像に含まれるぶれが低減されたぶれ補正画像を生成する。尚、画像復元フィルタを用いた空間フィルタリング後の補正対象画像に対して、更にリンギング除去処理を施したものを、ぶれ補正画像として取り扱うようにしても良い。
【０１３６】
ステップＳ２３を介することなくステップＳ２２からステップＳ２４に直接移行した場合は、ステップＳ２１にて取得された撮影画像そのものの画像データが図１の外部メモリ１８に記録される。一方、ステップＳ２２からステップＳ２３を介してステップＳ２４に移行した場合は、ステップＳ２３にて得られたぶれ補正画像の画像データが外部メモリ１８に記録される。この際、ぶれ補正画像の画像データと共に、ぶれ補正処理前の画像データ（即ち、補正対象画像の画像データ）も外部メモリ１８に記録するようにしてもよい。
【０１３７】
ステップＳ２４における記録処理の後、ステップＳ２５にてフラグＦＧに０を代入してからステップＳ１１に戻る。
【０１３８】
尚、上述の動作では、補正対象画像の撮影後、フラグＦＧが１であるならば、自動的にぶれ補正処理を行ってぶれ補正画像を生成及び記録するようにしているが、補正対象画像の撮影後、フラグＦＧの値並びに補正対象画像の露光期間中における角速度センサ２９ａ及び２９ｂの各出力信号値と共に、一旦、補正対象画像の画像データを外部メモリ１８に記録しておき、その後の必要な時に、補正対象画像に対するぶれ補正処理を実行するようにしても構わない（後述の第４実施例に対しても同様）。勿論、この場合も、外部メモリ１８に記録されたフラグＦＧが０であるならば、補正対象画像に対するぶれ補正処理を実行不可とする（後述の第４実施例に対しても同様）。
【０１３９】
＜＜第３実施例＞＞
次に、第３実施例を説明する。第３実施例では、撮像装置１の動作の流れの他の例を説明する。図２１は、この動作の流れを表すフローチャートであり、このフローチャートに沿って撮像装置１の動作を説明する。第３実施例においても、第２実施例と同様、２枚のプレビュー画像を２枚の推定用画像として取り扱う。
【０１４０】
第３実施例でも、第２実施例で述べたものと同じステップＳ１１〜Ｓ１７の各処理が実行される（図２０参照）。但し、第３実施例では、ステップＳ１６においてシャッタボタン２６ｂが全押しの状態となっていることが確認されると、ステップＳ２１ではなくステップＳ２１ａに移行する。
【０１４１】
ステップＳ１６からステップＳ２１ａに移行するタイミングが準備期間から実撮影期間への遷移タイミングである（図５）。ステップＳ２１ａにおいて、撮像装置１は、連続撮影によって２枚の撮影画像を取得する（換言すれば、２枚の静止画像の撮影を連続的に行う）。ステップＳ２１ａにおける撮影は実撮影期間中に行われる。ステップＳ２１ａで取得されるべき２枚の撮影画像の一方が通常露光撮影によって得られる撮影画像、他方が短露光撮影によって得られる撮影画像となるように、ＣＰＵ２３は撮像素子３３の露光時間を制御する。前者の撮影画像は補正対象画像である。後者の撮影画像は補正対象画像のぶれ補正処理に用いるために参照される画像であり、それを参照画像と呼ぶこととする。尚、ステップＳ２１ａにて、補正対象画像と参照画像を含む３枚以上の撮影画像を取得するようにしても構わない。
【０１４２】
通常露光撮影とは、適正な明るさの撮影画像を得るための露光時間Ｔ１にて行われる撮影であり、短露光撮影とは、露光時間Ｔ１よりも短い露光時間Ｔ２にて行われる撮影である。例えば、Ｔ２はＴ１の４分の１とされる。
【０１４３】
尚、この撮影動作を図７（ｂ）に当てはめると、画像２３１及び２３２が２枚の推定用画像となり、画像２３３及び２３４が夫々補正対象画像及び参照画像となる。
【０１４４】
補正対象画像及び参照画像の撮影の後、ステップＳ２１ａからステップＳ２２に移行する。ステップＳ２２にて、ぶれ補正処理部４１は、フラグＦＧが１であるか否かを確認する。フラグＦＧが１である場合はステップＳ２３ａに移行してぶれ補正処理を実行してからステップＳ２４に移行する一方、フラグＦＧが０である場合はぶれ補正処理を実行することなくステップＳ２４に直接移行する。
【０１４５】
ステップＳ２３ａでは、ぶれ補正処理部４１が、補正対象画像と参照画像の画像データに基づいて補正対象画像に含まれるぶれを低減するためのぶれ補正処理を実行し、これによってぶれ補正画像を生成する。補正対象画像と参照画像に基づくぶれ補正処理の方法については後述する（第６実施例参照）。
【０１４６】
ステップＳ２３ａを介することなくステップＳ２２からステップＳ２４に直接移行した場合は、ステップＳ２１ａにて補正対象画像として取得された撮影画像そのものの画像データが図１の外部メモリ１８に記録される。一方、ステップＳ２２からステップＳ２３ａを介してステップＳ２４に移行した場合は、ステップＳ２３ａにて得られたぶれ補正画像の画像データが外部メモリ１８に記録される。この際、ぶれ補正画像の画像データと共に、ぶれ補正処理前の画像データ（即ち、補正対象画像の画像データ）も外部メモリ１８に記録するようにしてもよい。
【０１４７】
ステップＳ２４における記録処理の後、ステップＳ２５にてフラグＦＧに０を代入してからステップＳ１１に戻る。
【０１４８】
第３実施例では、補正対象画像のぶれ補正処理の実行に際して、センサ情報が必要とされない。従って、ぶれ補正処理の実行可否判断において、センサ情報を必要としない第４〜第６の推定方法の何れかを採用するならば、センサ部２９を撮像装置１から省くことができる（後述の第５実施例に対しても同様）。
【０１４９】
尚、上述の動作では、補正対象画像の撮影後、フラグＦＧが１であるならば、自動的にぶれ補正処理を行ってぶれ補正画像を生成及び記録するようにしているが、補正対象画像の撮影後、フラグＦＧの値及び参照画像の画像データと共に、一旦、補正対象画像の画像データを外部メモリ１８に記録しておき、その後の必要な時に、補正対象画像に対するぶれ補正処理を実行するようにしても構わない（後述の第５実施例に対しても同様）。勿論、この場合も、外部メモリ１８に記録されたフラグＦＧが０であるならば、補正対象画像に対するぶれ補正処理を実行不可とする（後述の第５実施例に対しても同様）。
【０１５０】
＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、撮像装置１の動作の流れの更に他の例を説明する。図２２は、この動作の流れを表すフローチャートであり、このフローチャートに沿って撮像装置１の動作を説明する。第４実施例においては、実撮影期間中の撮影によって得られた２枚の撮影画像を２枚の推定用画像として取り扱う場合を例示する。
【０１５１】
まず、撮像装置１が起動して撮影モードにおける動作が開始されると、ステップＳ３１に移行する。ステップＳ３１では、撮像素子３３からの出力信号に基づき、図１の映像信号処理部１３にてプレビュー画像が取得される。プレビュー画像の画像データは内部メモリ１７に一時的に記録され、プレビュー画像又はプレビュー画像に基づく画像が表示部２７上で表示される。ステップＳ３１におけるプレビュー画像の取得及び表示は、シャッタボタン２６ｂが半押しの状態を介して全押しの状態となるまで繰り返し実行され（ステップＳ３２）、シャッタボタン２６ｂが全押しの状態となるとステップＳ３３に移行する。
【０１５２】
ステップＳ３３に移行するタイミングが準備期間から実撮影期間への遷移タイミングである（図５）。ステップＳ３３では、連続撮影によって２枚の撮影画像が取得され（換言すれば、２枚の静止画像の撮影が連続的に行われ）、ステップＳ３３における撮影は実撮影期間中に行われる。即ち、実撮影期間中における撮像素子３３からの出力信号に基づき、図１の映像信号処理部１３にて２枚の撮影画像が取得される。この２枚の撮影画像は共に通常露光撮影によって得られ、２枚の撮影画像の内の一方は補正対象画像である。
【０１５３】
ステップＳ３３において得られた２枚の撮影画像の画像データは、２枚の推定用画像の画像データとして図６のぶれ補正制御部４２に与えられる。ステップＳ３３に続くステップＳ３４において、ぶれ補正制御部４２は、この２枚の推定用画像に基づいて補正対象画像に対するぶれ補正処理の実行可否を判断する。この判断は、第１実施例で述べた第１〜第６の推定方法の何れかを用い、補正対象画像に含まれるぶれの均一性の推定を介して実行される。勿論、第１〜第３の推定方法の何れかを用いる場合は、２枚の推定用画像とセンサ情報に基づいてぶれ補正処理の実行可否が判断される。
【０１５４】
上述の動作を図７（ｂ）に当てはめると、画像２３３及び２３４が２枚の推定用画像となり、画像２３３又は２３４が補正対象画像となる。尚、ステップＳ３３において、３枚以上の撮影画像を連続的な通常露光撮影によって取得するようにし、その内の２枚を推定用画像として且つその内の１枚を補正対象画像として取り扱うようにしても構わない。この場合、補正対象画像は、２枚の推定用画像の何れとも異なりうる。
【０１５５】
ステップＳ３４において、ぶれ補正処理が実行可と判断された場合は、ステップＳ３５にてフラグＦＧに１を代入してからステップＳ４１に移行し、ぶれ補正処理が実行不可と判断された場合は、ステップＳ３６にてフラグＦＧに０を代入してからステップＳ４１に移行する。
【０１５６】
ステップＳ４１において、ぶれ補正処理部４１は、フラグＦＧが１であるか否かを確認する。フラグＦＧが１である場合はステップＳ４２に移行してぶれ補正処理を実行してからステップＳ４３に移行する一方、フラグＦＧが０である場合はぶれ補正処理を実行することなくステップＳ４３に直接移行する。
【０１５７】
ステップＳ４２では、ぶれ補正処理部４１が、ステップＳ３３にて得られた補正対象画像に対し、センサ情報に基づくぶれ補正処理を実行してぶれ補正画像を生成する。センサ情報に基づくぶれ補正処理は、第２実施例に係るステップＳ２３の処理（図２０参照）と同じである。
【０１５８】
ステップＳ４２を介することなくステップＳ４１からステップＳ４３に直接移行した場合は、ステップＳ３３にて取得された、補正対象画像の画像データを含む撮影画像そのものの画像データが図１の外部メモリ１８に記録される。一方、ステップＳ４１からステップＳ４２を介してステップＳ４３に移行した場合は、ステップＳ４２にて得られたぶれ補正画像の画像データが外部メモリ１８に記録される。この際、ぶれ補正画像の画像データと共に、ぶれ補正処理前の画像データ（即ち、補正対象画像の画像データ）も外部メモリ１８に記録するようにしてもよい。
【０１５９】
ステップＳ４３における記録処理の後、ステップＳ４４にてフラグＦＧに０を代入してからステップＳ３１に戻る。
【０１６０】
＜＜第５実施例＞＞
次に、第５実施例を説明する。第５実施例では、撮像装置１の動作の流れの更に他の例を説明する。図２３は、この動作の流れを表すフローチャートであり、このフローチャートに沿って撮像装置１の動作を説明する。第５実施例においても、第４実施例と同様、実撮影期間中の撮影によって得られた２枚の撮影画像が２枚の推定用画像として取り扱われる。
【０１６１】
まず、撮像装置１が起動して撮影モードにおける動作が開始されると、ステップＳ３１に移行する。ステップＳ３１では、撮像素子３３からの出力信号に基づき、図１の映像信号処理部１３にてプレビュー画像が取得される。プレビュー画像の画像データは内部メモリ１７に一時的に記録され、プレビュー画像又はプレビュー画像に基づく画像が表示部２７上で表示される。ステップＳ３１におけるプレビュー画像の取得及び表示は、シャッタボタン２６ｂが半押しの状態を介して全押しの状態となるまで繰り返し実行され（ステップＳ３２）、シャッタボタン２６ｂが全押しの状態となるとステップＳ３３ａに移行する。
【０１６２】
ステップＳ３３ａに移行するタイミングが準備期間から実撮影期間への遷移タイミングである（図５）。ステップＳ３３ａでは、連続撮影によって２枚の撮影画像が取得され（換言すれば、２枚の静止画像の撮影が連続的に行われ）、ステップＳ３３ａにおける撮影は実撮影期間中に行われる。即ち、実撮影期間中における撮像素子３３からの出力信号に基づき、図１の映像信号処理部１３にて２枚の撮影画像が取得される。ステップＳ３３ａで取得されるべき２枚の撮影画像の一方が通常露光撮影によって得られる撮影画像、他方が短露光撮影によって得られる撮影画像となるように、ＣＰＵ２３は撮像素子３３の露光時間を制御する。前者の撮影画像は補正対象画像である。後者の撮影画像は参照画像として取り扱われる。
【０１６３】
通常露光撮影とは、適正な明るさの撮影画像を得るための露光時間Ｔ１にて行われる撮影であり、短露光撮影とは、露光時間Ｔ１よりも短い露光時間Ｔ２にて行われる撮影である。例えば、Ｔ２はＴ１の４分の１とされる。
【０１６４】
ステップＳ３３ａにおいて得られた２枚の撮影画像の画像データは、２枚の推定用画像の画像データとして図６のぶれ補正制御部４２に与えられる。ステップＳ３３ａに続くステップＳ３４において、ぶれ補正制御部４２は、この２枚の推定用画像に基づいて補正対象画像に対するぶれ補正処理の実行可否を判断する。この判断は、第１実施例で述べた第１〜第６の推定方法の何れかを用い、補正対象画像に含まれるぶれの均一性の推定を介して実行される。勿論、第１〜第３の推定方法の何れかを用いる場合は、２枚の推定用画像とセンサ情報に基づいてぶれ補正処理の実行可否が判断される。
【０１６５】
尚、上述の動作を図７（ｂ）に当てはめると、画像２３３及び２３４が２枚の推定用画像となり、画像２３３及び２３４の内の一方が補正対象画像であって他方が参照画像となる。また、２枚の推定用画像が通常露光撮影と短露光撮影を用いて取得される場合、露光時間の長さの相違に起因して２枚の推定用画像間で輝度レベルが異なってくる。このため、ぶれ補正制御部４２は、その輝度レベルの相違を打ち消すための輝度正規化処理を実行し、輝度正規化処理後の２枚の推定用画像を用いてぶれ補正処理の実行可否を判断する。例えば、輝度正規化処理後の２枚の推定用画像の平均輝度が同程度となるように、短露光撮影によって得られた撮影画像の各画素値に一定値を乗じればよい。
【０１６６】
ステップＳ３４において、ぶれ補正処理が実行可と判断された場合は、ステップＳ３５にてフラグＦＧに１を代入してからステップＳ４１に移行し、ぶれ補正処理が実行不可と判断された場合は、ステップＳ３６にてフラグＦＧに０を代入してからステップＳ４１に移行する。
【０１６７】
ステップＳ４１において、ぶれ補正処理部４１は、フラグＦＧが１であるか否かを確認する。フラグＦＧが１である場合はステップＳ４２ａに移行してぶれ補正処理を実行してからステップＳ４３に移行する一方、フラグＦＧが０である場合はぶれ補正処理を実行することなくステップＳ４３に直接移行する。
【０１６８】
ステップＳ４２ａでは、ぶれ補正処理部４１が、ステップＳ３３ａにて得られた補正対象画像と参照画像の画像データに基づいて補正対象画像に含まれるぶれを低減するためのぶれ補正処理を実行し、これによってぶれ補正画像を生成する。補正対象画像と参照画像に基づくぶれ補正処理の方法については後述する（第６実施例参照）。
【０１６９】
ステップＳ４２ａを介することなくステップＳ４１からステップＳ４３に直接移行した場合は、ステップＳ３３ａにて取得された、補正対象画像の画像データを含む撮影画像そのものの画像データが図１の外部メモリ１８に記録される。一方、ステップＳ４１からステップＳ４２ａを介してステップＳ４３に移行した場合は、ステップＳ４２ａにて得られたぶれ補正画像の画像データが外部メモリ１８に記録される。この際、ぶれ補正画像の画像データと共に、ぶれ補正処理前の画像データ（即ち、補正対象画像の画像データ）も外部メモリ１８に記録するようにしてもよい。
【０１７０】
ステップＳ４３における記録処理の後、ステップＳ４４にてフラグＦＧに０を代入してからステップＳ３１に戻る。
【０１７１】
尚、上述の動作では、ステップＳ３３ａにおいて通常露光撮影と短露光撮影を１回ずつ行っているが、ステップＳ３３ａにおける通常露光撮影の回数を複数回としてもよい。例えば、図２４（ａ）に示す如く、ステップＳ３３ａにおいて、通常露光撮影を２回連続して行って２枚の撮影画像を取得した後、更に続けて短露光撮影を１回行って１枚の撮影画像を取得するようにしてもよい。この場合、２回の通常露光撮影にて得られた２枚の撮影画像を２枚の推定用画像として取り扱い、且つ、その２枚の撮影画像の内、後で撮影された方の撮影画像を補正対象画像として取り扱い、且つ、短露光撮影によって得られた１枚の撮影画像を参照画像として取り扱えばよい。
【０１７２】
また、図２４（ｂ）に示す如く、ステップＳ３３ａにおいて、通常露光撮影を３回連続して行って３枚の撮影画像を取得した後、更に続けて短露光撮影を１回行って１枚の撮影画像を取得するようにしてもよい。この場合、１回目及び２回目の通常露光撮影にて得られた２枚の撮影画像を２枚の推定用画像として取り扱い、且つ、３回目の通常露光撮影にて得られた撮影画像を補正対象画像として取り扱い、且つ、短露光撮影によって得られた１枚の撮影画像を参照画像として取り扱えばよい。
【０１７３】
＜＜第６実施例＞＞
次に、第６実施例を説明する。第６実施例では、補正対象画像と参照画像に基づくぶれ補正処理の方法を説明する。この方法を、第３実施例に係るステップＳ２３ａのぶれ補正処理（図２１参照）及び第５実施例に係るステップＳ４２ａのぶれ補正処理（図２３参照）に適用することが可能である。補正対象画像と参照画像の画像サイズは同じであるとする。第６実施例では、補正対象画像の全体画像、参照画像の全体画像及びぶれ補正画像の全体画像を表す記号として、夫々、Ｌｗ、Ｒｗ及びＱｗを導入する。
【０１７４】
ぶれ補正処理の方法として、以下に、第１〜第３の補正方法を例示する。第１、第２、第３の補正方法は、夫々、画像復元方式、画像合成方式、画像鮮鋭化方式による補正方法である。以下の記述において、単に「メモリ」といった場合、それは内部メモリ１７を意味するものとする。
【０１７５】
尚、画像復元方式のぶれ補正処理を行う際に補正対象画像に含まれるぶれの均一性が問題となりうることに着目して、ぶれ補正処理の実行可否判断の有益性を説明したが、第２及び第３の補正方法にて示されるようなぶれ補正処理を行う場合も、同様の問題が生じうるため、ぶれ補正処理の実行可否判断は有益である。
【０１７６】
［第１の補正方法］
図２５を参照して、第１の補正方法について説明する。図２５は、第１の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。
【０１７７】
まず、ステップＳ７１において、補正対象画像Ｌｗの中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｌｓとしてメモリ上に記憶する。例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。
【０１７８】
次に、ステップＳ７２において、補正対象画像Ｌｗから抽出された小領域に対応する小領域を参照画像Ｒｗから抽出し、参照画像Ｒｗから抽出された小領域内の画像を小画像Ｒｓとしてメモリ上に記憶する。小画像Ｌｓと小画像Ｒｓの画像サイズは等しい。補正対象画像Ｌｗと参照画像Ｒｗとの間の位置ずれを無視できる場合は、補正対象画像Ｌｗから抽出される小画像Ｌｓの中心座標（補正対象画像Ｌｗ内における中心座標）と、参照画像Ｒｗから抽出される小画像Ｒｓの中心座標（参照画像Ｒｗ内における中心座標）とが等しくなるように小領域の抽出を行う。その位置ずれを無視できない場合は、テンプレートマッチング法などを利用して対応小領域の探索を行うようにしても良い。即ち例えば、小画像Ｌｓをテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を参照画像Ｒｗ内から探索し、探索された小領域内の画像を小画像Ｒｓとする。
【０１７９】
参照画像Ｒｗの露光時間は比較的短いため、小画像Ｒｓの信号対雑音比は比較的低いと共に小画像Ｒｓの輝度は比較的低い。そこで、ステップＳ７３において、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像Ｒｓの輝度レベルを増加させる。即ち例えば、小画像Ｒｓの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。
【０１８０】
上述のようにして得られた小画像Ｌｓを劣化画像として且つ小画像Ｒｓ’を初期復元画像として取り扱った上で（ステップＳ７４）、ステップＳ７５にてフーリエ反復法を実施することにより、小画像Ｌｓのぶれによる劣化の状態を表す画像劣化関数を求める。
【０１８１】
フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。
【０１８２】
画像劣化関数としてＰＳＦを求める。手ぶれは画像全体に対して一様な劣化を与えるため、小画像Ｌｓに対して求めたＰＳＦは、補正対象画像Ｌｗの全体に対するＰＳＦとして利用することができる。
【０１８３】
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図２６及び図２７を参照して詳細に説明する。図２６は、図２５のステップＳ７５の処理の詳細フローチャートである。図２７は、図６のぶれ補正処理部４１に内在する、フーリエ反復法を実施する部位のブロック図である。
【０１８４】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として小画像Ｒｓ’を用いるようにする。次に、ステップＳ１０２において、劣化画像（即ち、小画像Ｌｓ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【０１８５】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（Ｂ−１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（Ｂ−１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【０１８６】
【数７】
2009171341.tif 000009
【０１８７】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（Ｂ−２ａ）の拘束条件で修正した後、更に式（Ｂ−２ｂ）の拘束条件にて修正する。
【０１８８】
【数８】
2009171341.tif 000010
【０１８９】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（Ｂ−２ｂ）の拘束条件による修正である。
【０１９０】
式（Ｂ−２ａ）及び（Ｂ−２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【０１９１】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（Ｂ−３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（Ｂ−３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【０１９２】
【数９】
2009171341.tif 000011
【０１９３】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（Ｂ−４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【０１９４】
【数１０】
2009171341.tif 000012
【０１９５】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−４）の拘束条件による修正である。
【０１９６】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【０１９７】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【０１９８】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図２５のステップＳ７５で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図２７参照）は、順次、最新のものに更新されていく。
【０１９９】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（Ｂ−２ａ）及び（Ｂ−２ｂ）を用いたステップＳ１１３における修正量、或いは、式（Ｂ−４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【０２００】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像Ｌｗの補正は行われない。
【０２０１】
図２５の各ステップの説明に戻る。ステップＳ７５にて、ＰＳＦが算出された後、ステップＳ７６に移行する。ステップＳ７６では、ステップＳ７５で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（Ｂ−３）の右辺の一部に相当する下記式（Ｂ−５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ７５におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（Ｂ−５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【０２０２】
【数１１】
2009171341.tif 000013
【０２０３】
ステップＳ７６にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ７７に移行し、この画像復元フィルタを用いて補正対象画像Ｌｗの全体をフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを補正対象画像Ｌｗの各画素に適用して補正対象画像Ｌｗをフィルタリングする。これにより、補正対象画像Ｌｗに含まれるぶれを低減したフィルタリング画像が生成される。画像復元フィルタのサイズは補正対象画像Ｌｗの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像Ｌｗの全体に対して適用することによって、補正対象画像Ｌｗの全体のぶれが低減される。
【０２０４】
フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ７８において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的なぶれ補正画像Ｑｗを生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。
【０２０５】
ぶれ補正画像Ｑｗは、補正対象画像Ｌｗに含まれるぶれが低減され且つフィルタリングに伴うリンギングが低減された画像となる。但し、フィルタリング画像もぶれが低減された画像であるため、フィルタリング画像をぶれ補正画像Ｑｗとして捉えることも可能である。
【０２０６】
参照画像Ｒｗに含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この参照画像Ｒｗから得られる画像をフーリエ反復法における初期復元画像とする。
【０２０７】
フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、ぶれ補正処理に必要なＰＳＦ及び画像復元フィルタの各フィルタ係数作成用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０２０８】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データからＰＳＦ及び画像復元フィルタのフィルタ係数を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、ＰＳＦ及び画像復元フィルタの各フィルタ係数作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０２０９】
この際、上述の如く、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、ＰＳＦをより正確に検出することができるようになる。
【０２１０】
尚、図２６の処理では、空間領域上における劣化画像ｇ及び復元画像ｆ’がフーリエ変換によって周波数領域上に変換されることで、周波数領域上の劣化画像ｇを表す関数Ｇ及び周波数領域上の復元画像ｆ’を表す関数Ｆ’が求められる（尚、周波数領域とは、勿論、二次元の周波数領域である）。求められた関数Ｇ及びＦ’から周波数領域上のＰＳＦを表す関数Ｈが求められ、この関数Ｈは逆フーリエ変換によって空間領域上の関数、即ち、ＰＳＦ ｈに変換される。このＰＳＦ ｈは、所定の拘束条件を用いて修正され、修正後のＰＳＦ ｈ'が求められる。このＰＳＦを修正する処理を、以下「第１の修正処理」と呼ぶ。
【０２１１】
ＰＳＦ ｈ'はフーリエ変換によって再度、周波数領域上に変換されて関数Ｈ’が求められ、関数Ｈ’と関数Ｇから周波数領域上の復元画像を表す関数Ｆが求められる。この関数Ｆを逆フーリエ変換することによって空間領域上の復元画像ｆが得られ、この復元画像ｆが所定の拘束条件を用いて修正されて、修正後の復元画像ｆ’が求められる。この復元画像を修正する処理を、以下「第２の修正処理」と呼ぶ。
【０２１２】
上述の例では、この後、図２６のステップＳ１１８にて収束条件が満たされるまで、修正後の復元画像ｆ’を用いて上述の処理が反復されると述べた。また、反復処理が収束に向かえば修正量が小さくなるという特性を考慮し、この収束条件の成立／不成立を、第１の修正処理に対応するステップＳ１１３での修正量、又は、第２の修正処理に対応するステップＳ１１７での修正量に基づいて判断しても良いとも述べた。この判断を修正量に基づいて行う場合、基準修正量を予め設定しておき、ステップＳ１１３での修正量又はステップＳ１１７での修正量と基準修正量とを比較して、前者が後者よりも小さい場合に収束条件が成立すると判断することになるが、基準修正量を十分に大きく設定しておけば、ステップＳ１１０〜Ｓ１１７の処理は反復実行されない。つまり、この場合、第１の修正処理を１回だけ行って得たＰＳＦ ｈ'が、図２５のステップＳ７５で導出されるべき最終的なＰＳＦとなる。このように、図２６の処理を用いたとしても、第１及び第２の修正処理が繰り返し実行されるとは限らない。
【０２１３】
第１及び第２の修正処理の繰り返し実行回数の増大は、最終的に求まるＰＳＦの精度向上に寄与するが、本例では初期復元画像自体が既に手ぶれのない画像に近いため、第１の修正処理を１回だけ行って得たＰＳＦ ｈ’の精度も、実用上、問題ない程度に高い。これを考慮すれば、ステップＳ１１８の判定処理自体を省略することも可能である。この場合、１回だけステップＳ１１３の処理を実行することで求まるＰＳＦ ｈ’が図２５のステップＳ７５で導出されるべき最終的なＰＳＦとなり、１回だけステップＳ１１４の処理を実行することで求まる関数Ｈ’から、図２５のステップＳ７６で導出されるべき画像復元フィルタの各フィルタ係数が求まる。故に、ステップＳ１１８の処理を省略する場合は、ステップＳ１１５〜Ｓ１１７の処理も割愛される。
【０２１４】
［第２の補正方法］
次に、図２８及び図２９を参照して、第２の補正方法について説明する。図２８は、第２の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。図２９は、このぶれ補正処理の流れを表す概念図である。
【０２１５】
撮像部１１の撮影によって得られる画像は、輝度に関する情報と色に関する情報を含むカラー画像となっている。従って、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号と、画素の色を表す色信号から形成される。今、各画素の画素信号がＹＵＶ形式で表現されているものとする。この場合、色信号は２つの色差信号Ｕ及びＶから形成されることなる。そして、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号Ｙと、画素の色を表す２つの色差信号Ｕ及びＶと、から形成される。
【０２１６】
そうすると、補正対象画像Ｌｗは、図２９に示す如く、画素信号として輝度信号Ｙのみを含む画像ＬｗYと、画素信号として色差信号Ｕのみを含む画像ＬｗUと、画素信号として色差信号Ｖのみを含む画像ＬｗVと、に分解することができる。同様に、参照画像Ｒｗも、画素信号として輝度信号Ｙのみを含む画像ＲｗYと、画素信号として色差信号Ｕのみを含む画像ＲｗUと、画素信号として色差信号Ｖのみを含む画像ＲｗVと、に分解できる（図２９では、画像ＲｗYのみ図示）。
【０２１７】
図２８のステップＳ２０１では、まず、補正対象画像Ｌｗの輝度信号及び色差信号を抽出することにより、画像ＬｗY、ＬｗU及びＬｗVを生成する。続くステップＳ２０２では、参照画像Ｒｗの輝度信号を抽出することにより、画像ＲｗYを生成する。
【０２１８】
画像ＲｗYは低輝度であるため、ステップＳ２０３おいて、画像ＲｗYの輝度レベルを増加させる。即ち例えば、画像ＲｗYの輝度レベルが画像ＬｗYの輝度レベルと等しくなるように（画像ＲｗYの平均輝度と画像ＬｗYの平均輝度が等しくなるように）、画像ＲｗYの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。更に、この輝度正規化処理後の画像ＲｗYに対して、メディアンフィルタ等を用いたノイズ除去処理を施す。輝度正規化処理及びノイズ除去処理後の画像ＲｗYは画像ＲｗY’としてメモリ上に記憶される。
【０２１９】
その後、ステップＳ２０４において、画像ＬｗYの画素信号と画像ＲｗY’の画素信号を比較することにより、画像ＬｗYを画像ＲｗY’との間の位置ずれ量ΔＤを算出する。位置ずれ量ΔＤは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。位置ずれ量ΔＤの算出を、周知の代表点マッチング法やテンプレートマッチング法を用いて行うことができる。例えば、画像ＬｗYから抽出した小領域内の画像をテンプレートとし、テンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を画像ＲｗY’内から探索する。そして、探索された小領域の位置（画像ＲｗY’上の位置）と画像ＬｗYから抽出した小領域の位置（画像ＬｗY上の位置）とのずれ量を位置ずれ量ΔＤとして算出する。尚、画像ＬｗYから抽出されるべき小領域を、上述したような、特徴的な小領域とすることが望ましい。
【０２２０】
画像ＬｗYを基準として考え、位置ずれ量ΔＤが、画像ＬｗYに対する画像ＲｗY’の位置ずれ量であるとする。画像ＲｗY’は、画像ＬｗYを基準として位置ずれ量ΔＤに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、ステップＳ２０５では、この位置ずれ量ΔＤが打ち消されるように画像ＲｗY’に座標変換（アフィン変換など）を施すことによって画像ＲｗY’を位置ずれ補正する。位置ずれ補正前の画像ＲｗY’内の座標（ｘ＋ΔＤｘ，ｙ＋ΔＤｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。ΔＤｘ及びΔＤｙは、夫々、ΔＤの水平成分及び垂直成分である。
【０２２１】
ステップＳ２０５では、更に、画像ＬｗU及びＬｗVと位置ずれ補正後の画像ＲｗY’が合成され、この合成によって得られた画像がぶれ補正画像Ｑｗとして出力される。ぶれ補正画像Ｑｗ内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する画像ＬｗU内の画素の画素信号と、座標（ｘ，ｙ）に位置する画像ＬｗV内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の画像ＲｗY’内の画素の画素信号と、から形成される。
【０２２２】
カラー画像において、見た目のぶれは主に輝度のぶれによって引き起こされ、輝度のエッジ成分がぶれのない理想画像のそれに近ければ、観察者はぶれが少ないと感じる。従って、本補正方法では、ぶれ量の比較的少ない参照画像Ｒｗの輝度信号を補正対象画像Ｌｗの色信号に合成することによって擬似的な手ぶれ補正効果を得る。この方法によれば、エッジ近傍で色ずれが生じることとなるが、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０２２３】
［第３の補正方法］
次に、図３０及び図３１を参照して、第３の補正方法について説明する。図３０は、第３の補正方法に基づくぶれ補正処理の流れを表すフローチャートである。図３１は、このぶれ補正処理の流れを表す概念図である。
【０２２４】
まず、ステップＳ２２１において、補正対象画像Ｌｗから特徴的な小領域を抽出することによって小画像Ｌｓを生成し、ステップＳ２２２において、参照画像Ｒｗから小画像Ｌｓに対応する小領域を抽出することによって小画像Ｒｓを生成する。このステップＳ２２１及びＳ２２２の処理は、図２５のステップＳ７１及びＳ７２の処理と同じである。続いてステップＳ２２３おいて、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像Ｒｓの輝度レベルを増加させる。即ち例えば、小画像Ｒｓの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。
【０２２５】
次に、ステップＳ２２４において、互いに異なる８種類の平滑化フィルタを用いて小画像Ｒｓ’をフィルタリングすることにより、平滑化度合いの異なる８つの平滑化小画像ＲｓG1、ＲｓG2、・・・、ＲｓG8を生成する。今、８つの平滑化フィルタとして互いに異なる８つのガウシアンフィルタを用いるものとし、各ガウシアンフィルタによって表されるガウス分布の分散をσ2で表す。
【０２２６】
一次元の画像に着目し、その一次元の画像における画素の位置をｘで表した場合、平均が０且つ分散がσ2のガウス分布は下記式（Ｃ−１）によって表されることが一般的に知られている（図３２参照）。このガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ）で表される。つまり、ガウシアンフィルタを位置０の画素に適用する時、位置ｘにおけるフィルタ係数はｈg（ｘ）で表される。換言すれば、ガウシアンフィルタによるフィルタリング後の位置０の画素値に対する、フィルタリング前の位置ｘの画素値の寄与率はｈg（ｘ）で表される。
【０２２７】
【数１２】
2009171341.tif 000014
【０２２８】
この考え方を二次元に拡張し、二次元の画像における画素の位置を（ｘ，ｙ）で表した場合、二次元ガウス分布は、下記式（Ｃ−２）によって表される。尚、ｘ及びｙは、それぞれ、水平方向の位置及び垂直方向の位置を表している。この二次元ガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ，ｙ）で表され、ガウシアンフィルタを位置（０，０）の画素に適用する時、位置（ｘ，ｙ）におけるフィルタ係数はｈg（ｘ，ｙ）で表される。つまり、ガウシアンフィルタによるフィルタリング後の位置（０，０）の画素値に対する、フィルタリング前の位置（ｘ，ｙ）の画素値の寄与率はｈg（ｘ，ｙ）で表される。
【０２２９】
【数１３】
2009171341.tif 000015
【０２３０】
ステップＳ２２４では、８つのガウシアンフィルタとして、σ＝１，３，５，７，９，１１，１３，１５のガウシアンフィルタを用いることとする。続くステップＳ２２５では、小画像Ｌｓと平滑化小画像ＲｓG1〜ＲｓG8の夫々との間で画像マッチングを行い、平滑化小画像ＲｓG1〜ＲｓG8の内、最もマッチング誤差が小さくなる平滑化小画像（即ち、小画像Ｌｓとの相関性が最も高い平滑化小画像）を特定する。
【０２３１】
平滑化小画像ＲｓG1に着目し、小画像Ｌｓと平滑化小画像ＲｓG1を対比した時のマッチング誤差（マッチング残差）の算出法を簡単に説明する。小画像Ｌｓと平滑化小画像ＲｓG1の画像サイズは同じであり、それらの水平方向の画素数及び垂直方向の画素数を夫々ＭN及びＮNとする（ＭN及びＮNは、２以上の整数）。小画像Ｌｓ内の位置（ｘ，ｙ）における画素の画素値をＶLs（ｘ，ｙ）にて表し、平滑化小画像ＲｓG1内の位置（ｘ，ｙ）における画素の画素値をＶRs（ｘ，ｙ）にて表す。（但し、ｘ及びｙは、０≦ｘ≦ＭN−１且つ０≦ｙ≦ＮN−１、を満たす整数）。そうすると、対比画像間におけるＳＡＤ（Sum of Absolute Difference）を表すＲSADは下記式（Ｃ−３）に従って算出され、対比画像間におけるＳＳＤ（Sum of Square Difference）を表すＲSSDは下記式（Ｃ−４）に従って算出される。
【０２３２】
【数１４】
2009171341.tif 000016
【０２３３】
このＲSAD又はＲSSDを、小画像Ｌｓと平滑化小画像ＲｓG1との間におけるマッチング誤差とする。同様にして、小画像Ｌｓと平滑化小画像ＲｓG2〜ＲｓG8の夫々との間におけるマッチング誤差も求め、最もマッチング誤差が小さくなる平滑化小画像を特定する。今、σ＝５に対応する平滑化小画像ＲｓG3が特定されたとする。ステップＳ２２５では、平滑化小画像ＲｓG3に対応するσをσ’とする。即ち、σ’の値は５となる。
【０２３４】
続くステップＳ２２６では、このσ’によって表されるガウスぼけを補正対象画像Ｌｗの劣化の状態を表す画像劣化関数として取り扱うことにより、補正対象画像Ｌｗの劣化除去を図る。
【０２３５】
具体的には、ステップＳ２２６では、σ’に基づいて補正対象画像Ｌｗの全体にアンシャープマスクフィルタを適用することにより、補正対象画像Ｌｗのぶれを除去する。アンシャープマスクフィルタの適用前の画像を入力画像ＩINPUTとし、アンシャープマスクフィルタの適用後の画像を出力画像ＩOUTPUTとして、アンシャープマスクフィルタの処理内容を説明する。まず、アンシャープフィルタとしてσ’のガウシアンフィルタ（即ち、σ＝５のガウシアンフィルタ）を採用し、このσ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングすることにより、ぼかし画像ＩBLURを生成する。次に、入力画像ＩINPUTの各画素値からぼかし画像ＩBLURの各画素値を差し引くことにより、入力画像ＩINPUTとぼかし画像ＩBLURとの間の差分画像ＩDELTAを生成する。最後に、入力画像ＩINPUTの各画素値に差分画像ＩDELTAの各画素値を加算することによって得られた画像を、出力画像ＩOUTPUTとする。入力画像ＩINPUTと出力画像ＩOUTPUTとの関係式を式（Ｃ−５）に示す。式（Ｃ−５）において、(ＩINPUT・Gauss)は、σ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングした結果を表している。
ＩOUTPUT ＝ＩINPUT＋ＩDELTA
＝ＩINPUT＋(ＩINPUT−ＩBLUR)
＝ＩINPUT＋(ＩINPUT−(ＩINPUT・Gauss)        ・・・（Ｃ−５）
【０２３６】
ステップＳ２２６では、補正対象画像Ｌｗを入力画像ＩINPUTとして取り扱うことにより、出力画像ＩOUTPUTとしてのフィルタリング画像を得る。そして、ステップＳ２２７において、このフィルタリング画像のリンギングを除去してぶれ補正画像Ｑｗを生成する（ステップＳ２２７の処理は、図２５のステップＳ７８の処理と同じである）。
【０２３７】
アンシャープマスクフィルタを用いることにより、入力画像（ＩINPUT）のエッジが強調され、画像鮮鋭化効果が得られる。但し、ぼかし画像（ＩBLUR）生成時におけるぼかし度合いが入力画像に含まれる実際のぼけ量と大きく異なると、適切なぼけ補正効果が得られない。例えば、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも大きいと、出力画像（ＩOUTPUT）は、極端に鮮鋭化された不自然な画像となる。一方、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも小さいと、鮮鋭化効果が弱すぎる。本補正方法では、アンシャープフィルタとしてσにてぼかし度合いが規定されるガウシアンフィルタを用い、そのガウシアンフィルタのσとして画像劣化関数に対応するσ’を用いる。このため、最適な鮮鋭化効果が得られ、ぼけが良好に除去されたぶれ補正画像が得られる。即ち、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０２３８】
図３３に、入力画像ＩINPUTとしての手ぶれ画像３００と共に、最適なσのガウシアンフィルタを用いた場合に得られる画像（即ち、本来のぶれ補正画像）３０２と、小さすぎるσのガウシアンフィルタを用いた場合に得られる画像３０１と、大きすぎるσのガウシアンフィルタを用いた場合に得られる画像３０３と、を示す。σが小さすぎると鮮鋭化効果が弱く、σが大きすぎると極端に鮮鋭化された不自然な画像が生成されることが分かる。
【０２３９】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０２４０】
［注釈１］
２枚の推定用画像を用いた補正対象画像のぶれの均一性推定方法を説明したが、この推定に用いる推定用画像の枚数は２枚以上であれば何枚でもよい。例えば、「３枚の推定用画像を取得し、その３枚の推定用画像に基づいて補正対象画像のぶれの均一性を推定する」という概念は、「２枚の推定用画像を取得し、その２枚の推定用画像に基づいて補正対象画像のぶれの均一性を推定する」という概念に含まれる。言うまでもないが、３枚の推定用画像には、２枚の推定用画像が含まれるからである。
【０２４１】
［注釈２］
センサ部２９を、角速度を検出する角速度センサにて構成する例を上述したが（図４参照）、撮像装置１の動きを表す、角速度以外の物理量を検出するセンサにて、センサ部２９を構成しても良い。例えば、撮像装置１の加速度を検出する加速度センサ又は撮像装置１の角加速度を検出する角加速度センサにてセンサ部２９を形成するようにしてもよい。撮像装置１の加速度又は角加速度を表す、加速度センサ又は角加速度センサの出力信号に基づいて、図１０のベクトルＶSNを求めることも、補正対象画像のＰＳＦを求めることも可能である。
【０２４２】
［注釈３］
第１及び第２の推定用画像間における人物の顔の動きからベクトルＶSBJを求める例を上述したが（図１２参照）、画像中における他の物体（例えば、人物の胴体、自動車、ロボット）の動きからベクトルＶSBJを求めるようにしても構わない。即ち、第１及び第２の推定用画像データに基づく画像処理によって、第１及び第２の推定用画像の夫々から固有の画像特徴（エッジの特徴や色の特徴）を有する特定領域を抽出し、第１の推定用画像より抽出された特定領域の位置から第２の推定用画像より抽出された特定領域の位置へと向かうベクトルをベクトルＶSBJとして求めるようにしてもよい（上述の第１実施例に係る第２の推定方法では、顔領域を特定領域として取り扱っている）。
【０２４３】
［注釈４］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図６のぶれ補正部４０内で実行される処理は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０２４４】
また、ぶれ補正部４０内で実行される演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。
【０２４５】
［注釈５］
例えば、以下のように考えることができる。第１実施例にて述べた第１〜第４の推定方法の何れかを利用する場合、図６のぶれ補正制御部４２によってベクトルＶA及びＶBが算出されるが、この場合におけるぶれ補正制御部４２には、ベクトルＶAを導出するための第１ベクトル導出部及びベクトルＶBを導出するための第２ベクトル導出部が内在している。
【図面の簡単な説明】
【０２４６】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である
【図２】図１の撮像部の内部構成図である。
【図３】図１の撮像装置の外観斜視図である。
【図４】図１のセンサ部の内部ブロック図である。
【図５】図１のシャッタボタンへの操作時点と準備期間及び実撮影期間との時間的関係を示す図である。
【図６】図１の撮像装置に内在するぶれ補正部４０のブロック図である。
【図７】実撮影期間を中心として得られる複数の画像の撮影タイミング関係を示す図である。
【図８】図６のぶれ補正制御部に供給される２枚の推定用画像の撮影タイミング関係を示す図である。
【図９】本発明の第１実施例に係り、補正対象画像に含まれるぶれの均一性を推定するための指標を例示する図である。
【図１０】図１のセンサ部の出力信号に基づくベクトルを示す図である。
【図１１】２枚の推定用画像を対比することにより、複数の動きベクトルとその平均ベクトルが求められる様子を示す図である。
【図１２】２枚の推定用画像の夫々から顔領域を抽出することにより、顔領域の動きを表すベクトルが求められる様子を示す図である。
【図１３】１枚の撮影画像の全体領域が２４個の領域に分割される様子を示す図である。
【図１４】２枚の推定用画像間における高輝度領域の動きの様子を示す図である。
【図１５】図１の映像信号処理部に含まれるＡＦ評価部の内部ブロック図である。
【図１６】推定用画像の全体領域内に９つのブロックが設けられる様子を示す図である。
【図１７】図１６に示される１つのブロックの拡大図であり、その１つのブロックが４８個の小領域に分割される様子を示す図である。
【図１８】図１７に示される１つの小領域の拡大図である。
【図１９】代表点マッチング法に従って算出される相関値と、対比画像間の位置ずれ量との関係を示す図である。
【図２０】本発明の第２実施例に係る、撮像装置１の動作の流れを表すフローチャートである。
【図２１】本発明の第３実施例に係る、撮像装置１の動作の流れを表すフローチャートである。
【図２２】本発明の第４実施例に係る、撮像装置１の動作の流れを表すフローチャートである。
【図２３】本発明の第５実施例に係る、撮像装置１の動作の流れを表すフローチャートである。
【図２４】本発明の第５実施例に係り、図２３にて示される動作の変形例を説明するための図である。
【図２５】本発明の第６実施例に係り、第１の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。
【図２６】本発明の第６実施例に係り、第１の補正方法によるぶれ補正処理にて実施されるフーリエ反復法の詳細フローチャートである。
【図２７】図２６のフーリエ反復法を実現する構成のブロック図である。
【図２８】本発明の第６実施例に係り、第２の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。
【図２９】図２８に対応するぶれ補正処理の概念図である。
【図３０】本発明の第６実施例に係り、第３の補正方法によるぶれ補正処理の動作の流れを表すフローチャートである。
【図３１】図３０に対応するぶれ補正処理の概念図である。
【図３２】本発明の第６実施例に係り、一次元のガウス分布を示す図である。
【図３３】図３０に対応するぶれ補正処理の効果を説明するための図である。
【図３４】従来のフーリエ反復法を実現する構成のブロック図である。
【符号の説明】
【０２４７】
１  撮像装置
１１  撮像部
３３  撮像素子
４０  ぶれ補正部
４１  ぶれ補正処理部
４２  ぶれ補正制御部
【図１】
2009171341.tif 000017
【図２】
2009171341.tif 000018
【図３】
2009171341.tif 000019
【図４】
2009171341.tif 000020
【図５】
2009171341.tif 000021
【図６】
2009171341.tif 000022
【図７】
2009171341.tif 000023
【図８】
2009171341.tif 000024
【図９】
2009171341.tif 000025
【図１０】
2009171341.tif 000026
【図１１】
2009171341.tif 000027
【図１２】
2009171341.tif 000028
【図１３】
2009171341.tif 000029
【図１５】
2009171341.tif 000030
【図１６】
2009171341.tif 000031
【図１７】
2009171341.tif 000032
【図１８】
2009171341.tif 000033
【図１９】
2009171341.tif 000034
【図２０】
2009171341.tif 000035
【図２１】
2009171341.tif 000036
【図２２】
2009171341.tif 000037
【図２３】
2009171341.tif 000038
【図２４】
2009171341.tif 000039
【図２５】
2009171341.tif 000040
【図２６】
2009171341.tif 000041
【図２７】
2009171341.tif 000042
【図２８】
2009171341.tif 000043
【図２９】
2009171341.tif 000044
【図３０】
2009171341.tif 000045
【図３１】
2009171341.tif 000046
【図３２】
2009171341.tif 000047
【図３４】
2009171341.tif 000048
【図１４】
2009171341.tif 000049
【図３３】
2009171341.tif 000050