(57)【要約】【課題】連続的に撮影された画像に対するぶれ補正を安価且つ高精度に実現する。【解決手段】ぶれ補正装置は、連写撮影又はブラケット撮影によって複数の原画像（要素画像）を取得する画像取得部と、前記複数の原画像の中から１枚の原画像を補正対象画像として抽出する補正対象画像抽出部と、前記複数の原画像の内、前記補正対象画像を除く各原画像を候補参照画像とし、複数の候補参照画像の中から、含まれるぶれ量が前記補正対象画像のそれよりも小さい候補参照画像を参照画像として抽出する参照画像抽出部と、前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する補正処理部と、備えている。【選択図】図２
2009118434.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を用いた連写撮影又はブラケット撮影によって複数の原画像を取得する画像取得手段と、
前記複数の原画像の中から１枚の原画像を補正対象画像として抽出する補正対象画像抽出手段と、
前記複数の原画像の内、前記補正対象画像を除く各原画像を候補参照画像とし、複数の候補参照画像の中から、含まれるぶれ量が前記補正対象画像のそれよりも小さい候補参照画像を参照画像として抽出する参照画像抽出手段と、
前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する補正処理手段と、備えた
ことを特徴とするぶれ補正装置
【請求項２】
前記補正対象画像抽出手段は、
各原画像における人物の顔向き、
各原画像における人物の開眼状態、
各原画像における人物の表情、及び、
各原画像の構図、
の内の少なくとも１つに基づいて前記補正対象画像の抽出を行う
ことを特徴とする請求項１に記載のぶれ補正装置。
【請求項３】
撮像手段を用いた連続的な撮影によって複数のフレーム画像から成る動画像を取得する画像取得手段と、
複数のフレーム画像の中の、着目フレームにおけるフレーム画像を補正対象画像とし、前記補正対象画像に含まれるぶれを補正する補正処理手段と、
前記着目フレームの近傍フレームにおける各フレーム画像を候補参照画像とし、複数の候補参照画像の中から、含まれるぶれ量が前記補正対象画像のそれよりも小さい候補参照画像を参照画像として抽出する参照画像抽出手段と、を備え、
前記補正処理手段は、前記補正対象画像と前記参照画像に基づいて前記補正対象画像の前記ぶれを補正する
ことを特徴とするぶれ補正装置。
【請求項４】
前記参照画像抽出手段は、
前記補正対象画像と各候補参照画像のエッジ強度、及び、
前記補正対象画像と各候補参照画像のコントラスト、
の内の少なくとも一方に基づいて前記補正対象画像と各候補参照画像のぶれ量を推定することにより、前記参照画像の抽出を行う
ことを特徴とする請求項１〜請求項３の何れかに記載のぶれ補正装置。
【請求項５】
前記参照画像抽出手段は、
前記補正対象画像に対する各候補参照画像の回転角、及び、
各候補参照画像の、前記補正対象画像との撮影時間差、
の内の少なくとも一方を更に用いて、前記参照画像の抽出を行う
ことを特徴とする請求項４に記載のぶれ補正装置。
【請求項６】
前記補正処理手段は、前記補正対象画像と前記参照画像に基づいて前記補正対象画像の前記ぶれに応じたぶれ情報を作成し、前記ぶれ情報に基づいて前記補正対象画像の前記ぶれを補正する
ことを特徴とする請求項１〜請求項５の何れかに記載のぶれ補正装置。
【請求項７】
前記補正処理手段は、前記補正対象画像の色信号に前記参照画像の輝度信号を合成することによって、前記補正対象画像の前記ぶれを補正する
ことを特徴とする請求項１〜請求項５の何れかに記載のぶれ補正装置。
【請求項８】
前記補正処理手段は、前記参照画像を用いて前記補正対象画像を鮮鋭化することにより、前記補正対象画像の前記ぶれを補正する
ことを特徴とする請求項１〜請求項５の何れかに記載のぶれ補正装置。
【請求項９】
連写撮影又はブラケット撮影の終了後、自動的に、前記補正対象画像の前記ぶれを補正することによって得られた補正画像を表示手段に出力する
ことを特徴とする請求項１又は請求項２に記載のぶれ補正装置。
【請求項１０】
前記補正処理手段は、前記動画像を形成する各フレーム画像を、順次、前記補正対象画像として取り扱うことにより、各フレーム画像に含まれるぶれを補正し、
当該ぶれ補正装置は、
前記ぶれ補正後の各フレーム画像の一部を切り出し、各切り出し画像を表示手段又は記録媒体に出力する切り出し画像出力手段と、
隣接フレーム間の位置ずれを、その隣接フレームについての、ぶれ補正前又はぶれ補正後のフレーム画像に基づいて検出する位置ずれ検出手段と、を更に備え、
前記切り出し画像出力手段は、検出された前記位置ずれに基づいて前記切り出し画像の切り出し位置を設定する
ことを特徴とする請求項３に記載のぶれ補正装置。
【請求項１１】
撮像手段と、
請求項１〜請求項１０の何れかに記載のぶれ補正装置と、を備えた
ことを特徴とする撮像装置。
【請求項１２】
撮像手段と、
請求項１又は請求項２に記載のぶれ補正装置と、を備えた撮像装置であって、
前記複数の原画像と前記補正対象画像の前記ぶれを補正することによって得られた補正画像を互いに関連付ける関連付け手段と、
関連付けられた画像に対する操作を受け付ける操作受付手段と、を更に備え、
前記操作に基づく処理を関連付けられた画像の全てに一括して適用する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれ等に由来する画像のぶれを補正するぶれ補正装置及び撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の一種として、手ぶれ検出センサで手ぶれを検出しその検出結果に基づいて補正レンズや撮像素子を駆動する光学式手ぶれ補正がある。
【０００３】
一方において、静止画に対する特殊撮影として、撮影に関する諸設定を変更することなく複数枚の静止画を連続的に取得する連写撮影や、撮影に関する諸設定（露出量やホワイトバランスなど）を変更しながら複数枚の静止画を連続的に取得するブラケット撮影がある。このような連写撮影やブラケット撮影に光学式手ぶれ補正を適用することも考えられる。しかし、連続撮影回数が多いと連続撮影の開始から終了までのトータルの手ぶれ量が非常に大きくなって、補正レンズや撮像素子の必要駆動量がそれらの可動範囲を超えることがあり、この場合は連続撮影の後半部において手ぶれ補正が全く効かなくなる。また、手ぶれ検出センサの使用自体がコストアップを招いてしまう。
【０００４】
他方、手ぶれ検出センサを用いない電子式手ぶれ補正も開発されている。この電子式手ぶれ補正では、撮影によって得られた画像を解析して手ぶれを検出しその検出結果に基づいて手ぶれ補正を行う。
【０００５】
電子式手ぶれ補正に関する従来手法として、以下のものがある。ある従来手法では、補正されるべき主画像の撮影前後に副画像を複数枚撮影して、その複数の副画像から主画像撮影時のぶれ情報を推定し、そのぶれ情報から主画像のぶれを補正する（例えば、特許文献１参照）。但し、この手法では、主画像前後に得られる副画像間の動き量（露光間隔をも含んだ動き量）から主画像のぶれが推定されるため、ぶれの検出精度が低くなってしまう。
【０００６】
また他の従来手法では、手ぶれ画像を２次元周波数空間へ変換した画像から手ぶれを検出している（例えば、特許文献２参照）。具体的には、変換によって得られた画像を周波数座標の原点を中心とした円に投影し、その投影データからぶれの大きさと方向を求めるようにしている。但し、この手法では、直線的且つ等速的なぶれしか推定できず、また、被写体の特定方向における周波数成分が小さい場合、ぶれ方向の検出を失敗してしまうことがある。
【０００７】
尚、１枚の手ぶれ画像から、撮影中の手ぶれを表す手ぶれ情報（点広がり関数或いは画像復元フィルタ）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像をデジタル信号処理で生成する方式も提案されている。この種の方式の中で、フーリエ反復法を用いた方式が下記非特許文献１に開示されている。図３０にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（Point Spread Function；ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【０００８】
【特許文献１】特開２００１−３４６０９３号公報
【特許文献２】特開平１１−２７５７４号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【０００９】
手ぶれ検出センサを必要としない電子式手ぶれ補正によれば、光学式手ぶれ補正に比べて低コスト化が図れるが、連写撮影やブラケット撮影に適したものは未だ提案されていないのが実情である。また、静止画の連写撮影又はブラケット撮影に特に着目して従来技術の問題点を説明したが、連続撮影された静止画の束である動画の撮影時にも同様の問題が生じるため、これにも適した手ぶれ補正技術が切望されている。
【００１０】
そこで本発明は、連続的に撮影された画像に対するぶれ補正を安価且つ高精度に実現することのできるぶれ補正装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る第１のぶれ補正装置は、撮像手段を用いた連写撮影又はブラケット撮影によって複数の原画像を取得する画像取得手段と、前記複数の原画像の中から１枚の原画像を補正対象画像として抽出する補正対象画像抽出手段と、前記複数の原画像の内、前記補正対象画像を除く各原画像を候補参照画像とし、複数の候補参照画像の中から、含まれるぶれ量が前記補正対象画像のそれよりも小さい候補参照画像を参照画像として抽出する参照画像抽出手段と、前記補正対象画像と前記参照画像に基づいて前記補正対象画像のぶれを補正する補正処理手段と、備えたことを特徴とする。
【００１２】
これにより、連写撮影又はブラケット撮影によって得られた画像に対するぶれ補正が行われる。手ぶれ検出センサが不要であるため安価にぶれ補正装置を形成でき、また、参照画像だけでなく、補正されるべき補正対象画像にも基づいて補正対象画像を補正するためぶれ補正の高精度化も見込める。更に、複数の原画像は、連写撮影又はブラケット撮影によって元々取得されるべき画像群であるため、ぶれ補正を行うために別途の専用画像を取得する必要もない。故に、撮影時間やメモリ使用量に対する余分な負荷は発生しない。
【００１３】
具体的には例えば、前記補正対象画像抽出手段は、各原画像における人物の顔向き、  各原画像における人物の開眼状態、各原画像における人物の表情、及び、各原画像の構図、の内の少なくとも１つに基づいて前記補正対象画像の抽出を行う。
【００１４】
顔向きなどから自動的に補正対象画像の抽出を行うようにすれば、ユーザが補正を望む可能性の高い画像を自動的に補正することも可能となる。
【００１５】
本発明に係る第２のぶれ補正装置は、撮像手段を用いた連続的な撮影によって複数のフレーム画像から成る動画像を取得する画像取得手段と、複数のフレーム画像の中の、着目フレームにおけるフレーム画像を補正対象画像とし、前記補正対象画像に含まれるぶれを補正する補正処理手段と、前記着目フレームの近傍フレームにおける各フレーム画像を候補参照画像とし、複数の候補参照画像の中から、含まれるぶれ量が前記補正対象画像のそれよりも小さい候補参照画像を参照画像として抽出する参照画像抽出手段と、を備え、前記補正処理手段は、前記補正対象画像と前記参照画像に基づいて前記補正対象画像の前記ぶれを補正する。
【００１６】
これにより、鮮明な画質の動画像をユーザに提供することが可能となる。手ぶれ検出センサが不要であるため安価にぶれ補正装置を形成でき、また、参照画像だけでなく、補正されるべき補正対象画像にも基づいて補正対象画像を補正するためぶれ補正の高精度化も見込める。更に、補正対象画像及び参照画像となるフレーム画像は、元々取得されるべき画像であるため、ぶれ補正を行うために別途の専用画像を取得する必要もない。故に、撮影時間やメモリ使用量に対する余分な負荷は発生しない。
【００１７】
具体的には例えば、第１又は第２のぶれ補正装置において、前記参照画像抽出手段は、前記補正対象画像と各候補参照画像のエッジ強度、及び、前記補正対象画像と各候補参照画像のコントラスト、の内の少なくとも一方に基づいて前記補正対象画像と各候補参照画像のぶれ量を推定することにより、前記参照画像の抽出を行う。
【００１８】
これにより、少ない処理時間及び消費電力でぶれ量を推定することができる。
【００１９】
また例えば、第１又は第２のぶれ補正装置において、前記参照画像抽出手段は、前記補正対象画像に対する各候補参照画像の回転角、及び、各候補参照画像の、前記補正対象画像との撮影時間差、の内の少なくとも一方を更に用いて、前記参照画像の抽出を行う。
【００２０】
これは、ぶれ補正効果の向上に寄与する。
【００２１】
また具体的には例えば、第１又は第２のぶれ補正装置において、前記補正処理手段は、前記補正対象画像と前記参照画像に基づいて前記補正対象画像の前記ぶれに応じたぶれ情報を作成し、前記ぶれ情報に基づいて前記補正対象画像の前記ぶれを補正する。
【００２２】
また具体的には例えば、第１又は第２のぶれ補正装置において、前記補正処理手段は、前記補正対象画像の色信号に前記参照画像の輝度信号を合成することによって、前記補正対象画像の前記ぶれを補正する。
【００２３】
また具体的には例えば、第１又は第２のぶれ補正装置において、前記補正処理手段は、前記参照画像を用いて前記補正対象画像を鮮鋭化することにより、前記補正対象画像の前記ぶれを補正する。
【００２４】
また例えば、第１のぶれ補正装置において、連写撮影又はブラケット撮影の終了後、自動的に、前記補正対象画像の前記ぶれを補正することによって得られた補正画像を表示手段に出力する。
【００２５】
これにより、連写撮影又はブラケット撮影後、ユーザは、手間をかけずに速やかに補正画像を確認可能となる。
【００２６】
また例えば、第２のぶれ補正装置において、前記補正処理手段は、前記動画像を形成する各フレーム画像を、順次、前記補正対象画像として取り扱うことにより、各フレーム画像に含まれるぶれを補正し、当該ぶれ補正装置は、前記ぶれ補正後の各フレーム画像の一部を切り出し、各切り出し画像を表示手段又は記録媒体に出力する切り出し画像出力手段と、隣接フレーム間の位置ずれを、その隣接フレームについての、ぶれ補正前又はぶれ補正後のフレーム画像に基づいて検出する位置ずれ検出手段と、を更に備え、前記切り出し画像出力手段は、検出された前記位置ずれに基づいて前記切り出し画像の切り出し位置を設定する。
【００２７】
これにより、フレーム間の手ぶれに対する補正効果も得られる。
【００２８】
本発明に係る撮像装置は、撮像手段と、上記の何れかに記載のぶれ補正装置と、を備えたことを特徴とする。
【００２９】
また、本発明に係る他の撮像装置は、撮像手段と、上記第１のぶれ補正装置と、を備えた撮像装置であって、前記複数の原画像と前記補正対象画像の前記ぶれを補正することによって得られた補正画像を互いに関連付ける関連付け手段と、関連付けられた画像に対する操作を受け付ける操作受付手段と、を更に備え、前記操作に基づく処理を関連付けられた画像の全てに一括して適用することを特徴とする。
【００３０】
これにより、ユーザの利便性が高まる。
【発明の効果】
【００３１】
本発明によれば、続的に撮影された画像に対するぶれ補正を安価且つ高精度に実現することのできるぶれ補正装置及び撮像装置を提供可能となる。
【００３２】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００３４】
図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画（静止画像）及び動画（動画像）を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１を、静止画のみを撮影及び記録可能なデジタルスチルカメラとすることも可能である。
【００３５】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、手ぶれ補正部１９と、を備えている。操作部１７には、シャッタボタン１７ａ及び録画ボタン１７ｂが備えられている。
【００３６】
撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、主制御部１３からのＡＦ／ＡＥ制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。
【００３７】
ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００３８】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」又は「フレーム画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００３９】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
【００４０】
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画の撮影及び記録を指示するためのボタンである。録画ボタン１７ｂは、動画の撮影及び記録に対する開始又は終了を指示するためのボタンである。
【００４１】
撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画または動画を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００４２】
撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行う。主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成し、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。
【００４３】
静止画撮影として、シャッタボタン１７ａの押下による指示に従って１枚の静止画を取得及び記録するシングル撮影と、シャッタボタン１７ａの押下による指示に従って複数枚の静止画を連続的に取得及び記録する連写撮影がある。シングル撮影の指示がなされた場合、１枚の撮影画像を取得し、この１枚の撮影画像の画像データを１枚の静止画の画像データとして記録媒体１６に記録する。連写撮影の指示がなされた場合、連続的に撮影を行い、この連続的な撮影によって得られた複数枚の撮影画像の画像データを連写撮影された複数枚の静止画の画像データとして記録媒体１６に記録する。連写撮影によって得られた複数枚の撮影画像を、以下、総称して「連写画像群」とも呼ぶ。また、連写画像群の各形成要素、即ち、連写画像群を形成する各撮影画像を「要素画像」とも呼ぶ。
【００４４】
撮影モードにおいて、録画ボタン１７ｂが押下されると、その押下後の各フレームにて得られるフレーム画像の画像データは記録媒体１６に順次記録されてゆき、再度、録画ボタン１７ｂが押下されると、その記録は終了する。尚、撮影対象が静止画であるか動画であるかに関わらず、記録媒体１６に記録される画像データは、必要に応じて、後述の手ぶれ検出及び手ぶれ補正のために内部メモリ１４にも記録されうる。
【００４５】
撮像部１１の撮影によって得られた画像は、手ぶれに起因するぶれを含みうる画像であり、操作部１７等を介して与えられた補正指示に従って或いは自動的に、手ぶれ補正部１９によって補正される。ぶれが補正されるべき画像を、特に「補正対象画像」と呼ぶ。補正対象画像に含まれるぶれを補正することによって得られた画像を「補正画像」と呼ぶ。手ぶれ補正部１９は、補正対象画像だけでなく他の画像をも参照し、補正対象画像とその他の画像に基づいて補正対象画像に含まれるぶれを補正する。この参照される他の画像を「参照画像」と呼ぶ。ある画像に含まれるぶれは、手ぶれ等に起因する、その画像の劣化（画像劣化）に相当する。
【００４６】
手ぶれ補正部１９は、角速度センサ等の手ぶれ検出センサを用いることなく、撮像部１１の出力信号から得られる画像データに基づいて補正対象画像に含まれるぶれを補正する。即ち、補正対象画像に含まれるぶれを除去する。本実施形態において、ぶれに関する除去とは、完全なる除去又は一部の除去を意味し、それを低減と読み替えることもできる。
【００４７】
手ぶれ補正部１９によるぶれ補正（手ぶれ補正）には、静止画に対する静止画手ぶれ補正と、動画に対する動画手ぶれ補正と、が含まれる。
【００４８】
連写撮影を利用することによって、ユーザにとって好ましいシャッタタイミングや撮影条件による画像を連写画像群の中から選択して利用することが可能である。ところが、連写撮影時における手ぶれは一様ではないため、上記の好ましいシャッタタイミングや撮影条件による画像に、大きなぶれが含まれる可能性もある。そこで、本実施形態に係る静止画手ぶれ補正では、連写画像群の中から、上記の好ましいシャッタタイミングや撮影条件による要素画像をベストショット画像（補正対象画像）として選択する共に該ベストショット画像よりも含まれるぶれ量が少ない要素画像を参照画像として連写画像群の中から選択し、選択した両画像を用いてベストショット画像のぶれを補正する。図２に、この補正手法の概念図を示す。
【００４９】
これにより、ぶれの少ないベストショット画像、即ち、ぶれが少なく且つユーザにとって好ましいシャッタタイミングや撮影条件によって取得された画像をユーザに提供することが可能となる。また、連写画像群は連写撮影によって元々取得されるべき画像群であるので、手ぶれ補正用に別途の専用画像を取得する必要もない。故に、撮影時間やメモリ使用量に対する余分な負荷は発生しない。
【００５０】
また、動画撮影時における手ぶれは不規則であるため、動画を形成するフレーム画像の中には、ぶれの大きなフレーム画像とぶれの小さなフレーム画像が混在する。そこで、本実施形態に係る動画手ぶれ補正では、任意のフレームに着目し、その着目フレームのフレーム画像のぶれが大きいのであれば、その着目フレームの近傍フレームにおける、ぶれの小さなフレーム画像を参照し、そのぶれの小さなフレーム画像と着目フレームのフレーム画像に基づいて着目フレームのフレーム画像のぶれを補正する。
【００５１】
これにより、各フレーム画像におけるぶれが低減された、鮮明な画質の動画をユーザに提供することが可能となる。
【００５２】
以下に、手ぶれ補正に関与する実施例として、第１〜第６実施例を説明する。図３に、第１〜第６実施例の概略を表にて示す。第１実施例では、静止画手ぶれ補正の全体的な動を説明する。第２実施例では、ベストショット画像としての補正対象画像の選択方法を説明する。第３実施例では、参照画像の選択方法を説明する。第４実施例では、補正対象画像と参照画像に基づく、補正対象画像の補正方法を説明する。第５実施例では、動画手ぶれ補正の動作を説明する。第６実施例では、第１〜第５実施例で述べた事項に対する、応用例や変形列などを説明する。尚、各実施例における記述において、画像などが記憶される「メモリ」とは、特に記述無き限り、内部メモリ１４又は手ぶれ補正部１９内に設けられた図示されないメモリを意味するものとする。
【００５３】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図４を参照して、静止画手ぶれ補正の動作の流れを説明する。図４は、その動作の流れを表すフローチャートである。
【００５４】
撮影モードにおいて、連写撮影の指示がなされると、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づき、撮像部１１の撮像素子の露光量が最適化されるように、主制御部１３は撮像素子の露光時間ＴEPを算出する（ステップＳ１１及びＳ１２）。次に、ステップＳ１３において、露光時間ＴEPにてＮ回連続撮影することによりＮ枚の撮影画像から成る連写画像群を取得し、このＮ枚の撮影画像を要素画像Ｃｗ1〜ＣｗNとしてメモリ上に記憶する。要素画像の枚数（即ち、Ｎの値）は、連写撮影によって取得されるべき画像の枚数と一致し、この枚数は、例えば操作部１７に対する操作を介してユーザに指定される。ここで、Ｎを３以上の整数とする。但し、Ｎ＝２とすることも可能である。また、要素画像Ｃｗ1〜ＣｗNの画像サイズは同じであるものとする。
【００５５】
続くステップＳ１４において、主制御部１３又は手ぶれ補正部１９は、露光時間ＴEPと閾値ＴTHとを比較し、露光時間ＴEPが閾値ＴTHより小さい場合、要素画像Ｃｗ1〜ＣｗNに手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図４の処理を終了する。閾値ＴTHとしては、例えば、手ぶれ限界露光時間を用いる。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、撮像部１１の焦点距離ｆDの逆数から算出される。
【００５６】
露光時間ＴEPが閾値ＴTHより大きい場合、ステップＳ１５に移行する。ステップＳ１５において、手ぶれ補正部１９は、要素画像Ｃｗ1〜ＣｗNの中からベストショット画像を選択し、選択したベストショット画像を補正対象画像Ｌｗとしてメモリ上に記憶する（選択方法は第２実施例にて後述）。続くステップＳ１６において、手ぶれ補正部１９は、要素画像Ｃｗ1〜ＣｗNの中からぶれが小さい１枚の要素画像を選択し、選択した要素画像を参照画像Ｒｗとしてメモリ上に記憶する（選択方法は第３実施例にて後述）。ここで選択されるべきぶれが小さい要素画像とは、基本的には、要素画像Ｃｗ1〜ＣｗNの中で最もぶれが小さい要素画像である。後述の手ぶれ補正手法からも明らかとなるが、参照画像Ｒｗは、手ぶれ補正処理において、ぶれによる劣化が除去された画像として利用される。このため、参照画像として選択されるべき要素画像におけるぶれ量は小さければ小さいほどよい。
【００５７】
続くステップＳ１７において、手ぶれ補正部１９は、補正対象画像Ｌｗと参照画像Ｒｗが同じであるか否かを判断し、両者が同じである場合は、手ぶれ補正を行うことなく図４の処理を終了する。
【００５８】
補正対象画像Ｌｗと参照画像Ｒｗが同じでない場合は、ステップＳ１７からステップＳ１８に移行する。補正対象画像Ｌｗと参照画像Ｒｗが同じでない場合は、参照画像Ｒｗに含まれるぶれは補正対象画像Ｌｗにおけるそれよりも小さいことになる。即ち、参照画像Ｒｗのぶれ量は補正対象画像Ｌｗのぶれ量よりも小さい。そこで、ステップＳ１８において、手ぶれ補正部１９は、補正対象画像Ｌｗ及び参照画像Ｒｗに基づいて補正対象画像Ｌｗに対する手ぶれ補正を実施し、補正対象画像Ｌｗにおけるぶれが低減された補正画像を生成してそれを補正画像Ｑｗとしてメモリ上に記憶する（補正方法は第４実施例にて後述）。
【００５９】
ステップＳ１９において、補正画像Ｑｗを表す画像データは、主制御部１３を介して表示部１５に出力され、表示部１５の表示画面上に補正画像Ｑｗが自動的に表示される。更に、主制御部１３又は手ぶれ補正部１９は、補正画像Ｑｗを連写画像群（要素画像Ｃｗ1〜ＣｗN）に関連付けるための関連付け情報を内部メモリ１４又は記録媒体１６に記録する。
【００６０】
要素画像Ｃｗ1〜ＣｗNと補正画像Ｑｗの各画像データは、記録媒体１６に記録される。この時、補正対象画像Ｌｗとして選択された要素画像を補正画像Ｑｗにて上書き記録するようにしてもよい。即ち、要素画像Ｃｗ1〜ＣｗNの中から１枚の要素画像が補正対象画像Ｌｗとして選択されるが、その選択された要素画像を記録媒体１６に記録することなく、代わりに補正画像Ｑｗを記録媒体１６に記録するようにしてもよい。
【００６１】
上述の如く処理することにより、手ぶれ補正がなされたベストショット画像をユーザに提供することが可能となる。また、連写画像群は連写撮影によって元々取得されるべき画像群であるので、手ぶれ補正用に別途の専用画像を取得する必要もない。故に、撮影時間やメモリ使用量に対する余分な負荷は発生しない。
【００６２】
また、連写撮影後には、通常、最後に撮影された画像が表示画面に表示されるが、手ぶれ補正が行われた場合は、その補正直後に補正画像Ｑｗが自動的に表示部１５に表示される。これにより、連写撮影後、直ちに最も望ましい画像の確認が可能となり、ユーザにとって利便性が高い。
【００６３】
また、上述の如く、関連付け情報によって補正画像Ｑｗと連写画像群は互いに関連付けられており、図１の操作部１７（操作受付手段）は、関連付けられた画像に対する画像ファイル操作を受け付ける。画像ファイル操作がなされた時、主制御部１３は、その画像ファイル操作に応じた処理を関連付けられた画像の全てに一括して適用する。画像ファイル操作は、記録媒体１６に記録された画像の消去、複製、画像回転、画像サイズ変更、画像切り出し、プリンタによる印刷、ファイル名変更、フォルダ分類などを指示する操作である。例えば、消去を指示する画像ファイル操作がなされた時、補正画像Ｑｗと連写画像群についての全画像データが一括して記録媒体１６から消去される。このような画像ファイル操作を可能としておくことにより、ユーザの利便性が高まる。尚、操作部１７に対する他の操作によって、補正画像Ｑｗと要素画像Ｃｗ1〜ＣｗNの夫々を個別に消去等することも可能となっている。
【００６４】
＜＜第２実施例＞＞
次に、第２実施例を説明する。第２実施例では、連写画像群を形成する要素画像Ｃｗ1〜ＣｗNの中から、ベストショット画像としての補正対象画像Ｌｗを選択する方法を説明する。この選択処理は、図４のステップＳ１５にて実行される。ユーザにとって好ましいシャッタタイミングや撮影条件による要素画像がベストショット画像として選択されるように、様々な観点から選択処理を行うことが可能である。以下に、第１〜第４のベストショット画像選択方法を含む、複数の選択方法を例示する。
【００６５】
［第１のベストショット画像選択方法］
まず、第１のベストショット画像選択方法を説明する。被写体としての人物の顔が撮像装置１に対して正面を向いている方が写真として好ましい場合が多い。そこで、第１のベストショット画像選択方法では、要素画像ごとに要素画像内に現れている人物の顔向きを検出し、全要素画像の内、最も顔が撮像装置１に対して正面を向いている要素画像を、ベストショット画像として選択する。顔が撮像装置１に対して正面を向いている度合いを、便宜上、顔向き正面度合いと呼ぶ。顔向き正面度合いが大きいほど、撮像装置１に対する顔の向きがより正面を向いているものとする。
【００６６】
画像中の人物の顔を検出する方法及び人物の顔向きを検出する方法は公知であり、任意の公知方法を適用可能である。例えば、特開平１０−３０７９２３号公報に記載された方法を用いればよい。１つの要素画像２００を示す図５を参照して具体的方法を例示する。例えば、公知方法を用いて、要素画像２００内における人物の顔２０１を検出すると共にその顔２０１の部品（眉、眼、鼻及び口など）を検出する。次に、顔２０１の両眼の外側に位置する２つの端点２１１及び２２１の要素画像上における各位置と、顔２０１の口の両端点２３１及び２３２を結ぶ線分の中点２３３の要素画像上における位置を求める（尚、端点２１１及び２２１は左眼の左端及び右眼の右端に位置し、両端点２３１及び２３２は口の長手方向の両端に位置する）。続いて、３つの点２１１、２２１及び２３３を頂点とする三角形の、要素画像上の面積を求める。そして、求めた面積が大きいほど、顔向き正面度合いが高いと判断する。
【００６７】
［第２のベストショット画像選択方法］
次に、第２のベストショット画像選択方法を説明する。被写体としての人物の開眼度合いが大きい方が写真として好ましい場合が多い。そこで、第２のベストショット画像選択方法では、要素画像ごとに要素画像内に現れている人物の開眼度合いを検出し、全要素画像の内、最も開眼度合いが高い要素画像を、ベストショット画像として選択する。開眼度合いとは、要素画像内における人物の眼の開き度合いを意味し、眼がより大きく開かれているほど、開眼度合いは大きい。
【００６８】
開眼度合いは、例えば、上瞼の凸方向における曲率から推定することができる。図６を参照して具体的方法を例示する。図６は、図５に示す要素画像２００内の顔２０１の眼付近の拡大図である。まず、上述の公知方法を用いて顔２０１の部品である眼を要素画像２００内から検出した後、両眼の夫々に対して、眼の左右の端点を検出する。一方の眼における左右の端点を符号２１１及び２１２によって参照し、他方の眼における左右の端点を符号２２１及び２２２によって参照する。次に、要素画像２００内の顔２０１の眼付近における一部画像に対してエッジ検出処理を行う。そうすると、両眼の各上瞼の端に沿って、強いエッジ強度を有するエッジ点群が検出される。そこで、一方の眼に着目し、その眼の両端点２１１及び２１２と、両端点２１１及び２１２の中央付近に位置するエッジ点群中の任意点２１３と、の３点に対して放物線フィッティングを行い、その３点に対する曲率を求める。これを、エッジ点郡中の複数点に対して繰り返し行う。また、他方の眼に対しても同様に曲率を求める。そして、このようにして求められた複数の曲率の平均曲率を算出し、この平均曲率が上瞼の凸方向に大きいほど、開眼度合いが高いと推定する。
【００６９】
これに代えて例えば、要素画像２００内に現れている、顔２０１の黒目の面積（要素画像上の面積）から開眼度合いを推定することも可能である。
【００７０】
［第３のベストショット画像選択方法］
次に、第３のベストショット画像選択方法を説明する。被写体としての人物の表情が良い方が写真として好ましい場合が多い。そこで、第３のベストショット画像選択方法では、要素画像ごとに要素画像内に現れている人物の表情を検出し、全要素画像の内、最も表情が良い要素画像を、ベストショット画像として選択する。例えば、人物の表情の良し悪し表す指標として顔の笑顔度合いを検出するようにし、笑顔度合いが最も高い要素画像をベストショット画像として選択する。この場合、要素画像内の顔がより笑っている顔だと判断されるほど、笑顔度合いが高くなって、より表情が良いと判断される。
【００７１】
笑顔度合いを検出する方法は公知であり、任意の公知方法を適用可能である。例えば、特開２００５−５６３８８号公報に記載された方法を用いればよい。この場合、要素画像内に含まれる顔の所定部位群の夫々について特徴量を求めると共に所定の表情の顔（今の例において、笑顔）を含む画像における当該顔の所定部位群の夫々について特徴量を求め、求めた両特徴量間の差分に基づいて所定部位群の夫々に対して得点を計算し、所定部位群の夫々に対して計算した得点の分布に基づいて要素画像内に含まれる顔の笑顔度合いを求める。
【００７２】
これに代えて例えば、要素画像内に現れている歯の面積（要素画像上の面積）から顔の笑顔度合いを推定することも可能である。この場合、要素画像中の顔の全体面積に対する歯の面積の比が大きいほど、笑顔度合いが高いと推定する。或いは、要素画像内における顔の開口度合い（口の開き度合い）から顔の笑顔度合いを推定することも可能である。この場合、要素画像中の顔の全体面積に対する口の面積の比が大きいほど、笑顔度合いが高いと推定する。或いは、要素画像内における顔の頬筋の曲率から顔の笑顔度合いを推定することも可能である。この場合、要素画像内における顔の頬筋の曲率が大きいほど、笑顔度合いが高いと推定する。
【００７３】
［第４のベストショット画像選択方法］
次に、第４のベストショット画像選択方法を説明する。第４のベストショット画像選択方法では、要素画像ごとに撮影の構図の良し悪しを評価し、最も構図が良いと評価される要素画像をベストショット画像として選択する。構図の良し悪しを表す指標として、構図良好度合いを定義する。構図良好度合いが大きいほど、構図が良いと判断されることとする。
【００７４】
人物を撮影する際、頭部が撮影範囲の上下（即ち、撮影画像の全体領域中の上端又は下端）に偏った構図は好ましくないことが多い。しかし、撮影時における被写体の動きや手ぶれに由来して、このような好ましくない構図となってしまうこともある。そこで、まず、操作部１７に対する操作によって、予め撮影者が好みの頭部の中心位置及び大きさを設定しておく。ここにおける中心位置及び大きさは、撮影画像上における頭部の中心位置及び大きさである。次に、上述したような公知の顔検出処理によって、要素画像内における人物の頭部の中心位置及び大きさを検出する。そして、この検出された中心位置及び大きさが設定された中心位置及び大きさに近いほど、構図良好度合いが大きいと判断するようにする。
【００７５】
上記の如く中心位置や大きさに対する設定操作を省略することも可能である。例えば、図７に示す如く、要素画像２５０内における頭部の上端２５１と要素画像２５０自体の上端２５２との距離Ｄ253を検出する。距離Ｄ253は、要素画像２５０上における距離である。一方で、この距離の最適距離を予めメモリ上に保持しておき、検出された距離Ｄ253が最適距離に近いほど、構図良好度合いが大きいと判断するようにしてもよい。
【００７６】
上述の第１〜第４のベストショット画像選択方法を用いてベストショット画像を自動選択することにより、ユーザが連写画像群から好ましい画像を選択する手間が省ける。
【００７７】
但し、第１〜第４のベストショット画像選択方法に頼ることなく、ユーザの選択指示に基づいて要素画像Ｃｗ1〜ＣｗNの中からベストショット画像を選択することも可能である。この場合、要素画像Ｃｗ1〜ＣｗNの取得後、要素画像Ｃｗ1〜ＣｗNを表示部１５に表示し、ユーザの選択指示を仰ぐ。ユーザによるベストショット画像の選択指示は、図１の操作部１７に対して行うことができる。
【００７８】
或いは、第１〜第４のベストショット画像選択方法の内の何れか１つを用いて要素画像Ｃｗ1〜ＣｗNの中からベストショット画像の候補をＭ個選択し、選択したＭ個の候補の中から１つのベストショット画像をユーザの選択指示に従って選択するようにしてもよい（Ｍは２以上の整数であって、Ｎ＞Ｍ）。つまり、ベストショット画像の候補をＭ個に絞り込んだ上で、ユーザに最終的に選択させる。この場合は、絞り込こまれた、ベストショット画像の候補としてのＭ個の要素画像を表示部１５に表示し、そのＭ個の要素画像から１つのベストショット画像を選択するためのユーザによる選択指示を仰ぐ。例えば、第１のベストショット画像選択方法を用いる場合は、顔向き正面度合いが１〜Ｍ番目に大きいＭ個の要素画像をベストショット画像の候補とすればよい。同様に、第２、第３、又は、第４のベストショット画像選択方法を用いる場合は、顔向き正面度合いではなく、夫々、開眼度合い、笑顔度合い、又は、構図良好度合いが１〜Ｍ番目に大きいＭ個の要素画像をベストショット画像の候補とすればよい。
【００７９】
また、上述した第１〜第４のベストショット画像選択方法の内の２つ、３つ又は４つを組み合わせて用いることも可能である。この場合例えば、要素画像ごとに、顔向き正面度合いを表す値、開眼度合いを表す値、笑顔度合いを表す値及び構図良好度合いを表す値の内の、２以上の値の加重加算値を算出する。そして、最大の加重加算値に対応する要素画像をベストショット画像として選択する。これとユーザによる選択指示を組み合わせることも可能である。即ち、加重加算値が１〜Ｍ番目に大きいＭ個の要素画像をベストショット画像の候補として選択して表示し、選択したＭ個の候補の中から１つのベストショット画像をユーザの選択指示に従って選択するようにしてもよい。
【００８０】
＜＜第３実施例＞＞
次に、第３実施例を説明する。第３実施例では、連写画像群を形成する要素画像Ｃｗ1〜ＣｗNの中から参照画像Ｒｗを選択する方法を説明する。この選択処理は、図４のステップＳ１６にて実行される。以下に、第１〜第４の参照画像選択方法を含む、複数の選択方法を例示する。
【００８１】
［第１の参照画像選択方法］
まず、第１の参照画像選択方法について説明する。第１の参照画像選択方法では、画像のエッジ強度に基づいて参照画像Ｒｗを選択する。具体的な選択動作の流れを、図８及び図９を参照して説明する。図８は、第１の参照画像選択方法に関する動作の流れを表すフローチャートである。図９は、この動作に利用される画像などの関係を示す図である。
【００８２】
まず、ステップＳ３１において、１〜Ｎの間の各整数値を取りうる変数ｉを導入し、変数ｉに初期値として１を代入する。続くステップＳ３２において、現在、変数ｉが１であるか否かを判別し、ｉ＝１である場合はステップＳ３３に移行する一方、ｉ≠１である場合はステップＳ３４に移行する。ステップＳ３３では、要素画像Ｃｗiの中央又は中央付近に位置する小領域を抽出し、この小領域内の画像を小画像Ｃｓiとする。抽出される小領域を、例えば、１２８×１２８画素の小領域とする。ｉ＝１である場合にのみステップＳ３３に至るのであるから、ステップＳ３３では、連写画像群を形成する１番目の要素画像Ｃｗ1から小画像Ｃｓ1が抽出されることになる。
【００８３】
ステップＳ３３の処理の後、ステップＳ３５に移行する。ステップＳ３５では、小画像Ｃｓiに対してエッジ抽出処理を施し、小画像Ｅｓiを得る。例えば、小画像Ｃｓiの各画素に対して任意のエッジ検出オペレータを適用することにより小画像Ｃｓiのエッジ抽出画像を生成し、このエッジ抽出画像を小画像Ｅｓiとする。その後、ステップＳ３６において、小画像Ｅｓiの画素値の総和を算出し、その総和を評価値Ｋａiとする。ステップＳ３６の処理の後、ステップＳ３７において、変数ｉがＮと等しいか否かが判断される。
【００８４】
ステップＳ３７において、ｉ≠Ｎである場合はステップＳ３８にて変数ｉに１を加えてからステップＳ３２に戻る。この場合、ステップＳ３２において、ｉ≠１となるのでステップＳ３２からステップＳ３４に移行する。ステップＳ３４では、要素画像Ｃｗ1から抽出された小領域に対応する小領域を要素画像Ｃｗi（≠Ｃｗ1）から抽出し、要素画像Ｃｗiから抽出された小領域内の画像を小画像Ｃｓiとする。対応小領域の探索は、テンプレートマッチング法などを利用した画像処理によって行う。即ち例えば、要素画像Ｃｗ1から抽出された小画像Ｃｓ1をテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を要素画像Ｃｗi内から探索し、探索された小領域内の画像を小画像Ｃｓiとする。ステップＳ３４にて小画像Ｃｓiが抽出された後は、その小画像Ｃｓiに対してステップＳ３５及びＳ３６の各処理が実施される。
【００８５】
変数ｉ＝１、２、・・・Ｎの夫々に対してステップＳ３６の処理を実行し、Ｎ個の評価値Ｋａ1〜ＫａNが算出されると、ステップＳ３７においてｉ＝Ｎが成立し、図８の処理を終える。上述の処理内容から明らかなように、評価値Ｋａiは小画像Ｃｓiのエッジ強度の増大に伴って増加する。
【００８６】
同じ構図の画像であれば、露光期間中に生じた手ぶれが小さいほどエッジは鮮明となり、画像中のエッジ強度は高くなる。また、手ぶれは画像全体に対して一様な劣化を与えるため、要素画像Ｃｗiの全体におけるエッジ強度は、小画像Ｃｓiにおけるエッジ強度に応じたものとなる。従って、上記の評価値Ｋａiが大きいほど、それに対応する小画像Ｃｓi及び要素画像Ｃｗiのぶれ量は小さいと推定できる。参照画像として選択されるべき要素画像のぶれ量は小さければ小さいほど望ましいので、要素画像Ｃｗ1〜ＣｗNの内、最大の評価値に対応する画像を参照画像Ｒｗとして選択する。例えば、評価値Ｋａ1〜ＫａNの内、評価値ＫａN-1が最大であるのであれば、要素画像ＣｗN-1を参照画像Ｒｗとして選択する。
【００８７】
一般に、１枚の画像から該画像のぶれ量を求めるためには、特開平１１−２７５７４号公報に記載されているように、画像をフーリエ変換して周波数空間上の変換画像を生成し、手ぶれにより減衰する周波数の間隔を計測するなど、計算コストの大きな処理が必要である。計算コストとは、計算による負荷を意味し、計算コストの増大は処理時間及び消費電力を増大させる。これに対し、本選択方法では、エッジ強度とぶれ量の関係を利用してエッジ強度からぶれ量を推定することとしている。このため、フーリエ変換などを利用する従来手法と比べて、ぶれ量を推定するための計算コストを小さくすることができる。また、画像全体でなく、抽出された小画像に着目して評価値を算出することにより、計算コストの更なる低減効果が得られる。加えて、テンプレートマッチングなどを用い対応小領域間で評価値を比較するようにしているため、連写撮影中に構図の変化があったとしても、その変化による影響は軽微である。
【００８８】
［第２の参照画像選択方法］
次に、第２の参照画像選択方法について説明する。第２の参照画像選択方法では、画像のコントラストに基づいて参照画像Ｒｗを選択する。具体的な選択動作の流れを、図１０を参照して説明する。図１０は、第２の参照画像選択方法に関する動作の流れを表すフローチャートである。
【００８９】
図１０におけるステップＳ４１〜Ｓ４４、Ｓ４７及びＳ４８の各処理内容は、夫々、図８におけるステップＳ３１〜Ｓ３４、Ｓ３７及びＳ３８の各処理内容と同じであるため、それらの重複する説明を割愛する。但し、第２の参照画像選択方法では、ステップ４３又はＳ４４の処理の後、ステップＳ４５に移行し、ステップＳ４５及びＳ４６の各処理を経てからステップＳ４７に至るものとする。
【００９０】
ステップＳ４５では、小画像Ｃｓiの各画素の輝度信号を抽出する。勿論、例えば、ｉ＝１の時は、小画像Ｃｓ1の各画素の輝度信号が抽出され、ｉ＝２の時は、小画像Ｃｓ2の各画素の輝度信号が抽出される。そして、ステップＳ４６において、小画像Ｃｓiの輝度値（即ち、輝度信号の値）のヒストグラムを生成し、そのヒストグラムの分散を算出して該分散を評価値Ｋｂiとする。この後、ステップＳ４７に移行する。変数ｉ＝１、２、・・・Ｎの夫々に対してステップＳ４６の処理を実行し、Ｎ個の評価値Ｋｂ1〜ＫｂNが算出されると、ステップＳ４７においてｉ＝Ｎが成立し、図１０の処理を終える。
【００９１】
同じ構図の画像であれば、露光期間中に生じた手ぶれが大きいほど隣接画素間の輝度が平滑化され、中間階調の画素の割合が増加して輝度値のヒストグラムにおける分布が中間階調に集中化する。上記の平滑化の程度が大きいほどヒストグラムにおける分散が小さくなって評価値Ｋｂiが小さくなるため、評価値Ｋｂiが大きいほど、それに対応する小画像Ｃｓi及び要素画像Ｃｗiのぶれ量は小さいと推定できる。参照画像として選択されるべき要素画像のぶれ量は小さければ小さいほど望ましいので、要素画像Ｃｗ1〜ＣｗNの内、最大の評価値に対応する要素画像を参照画像Ｒｗとして選択する。例えば、評価値Ｋｂ1〜ＫｂNの内、評価値ＫｂN-1が最大であるのであれば、要素画像ＣｗN-1を参照画像Ｒｗとして選択する。
【００９２】
連写画像群を形成する要素画像の例として、図１１（ａ）に要素画像２６１を示すと共に図１１（ｂ）に要素画像２６２を示す。要素画像２６１は鮮明な画像である一方、要素画像２６２の露光期間中に大きな手ぶれが生じたことにより、要素画像２６２には大きなぶれが含まれている。また、図１２（ａ）及び（ｂ）に、夫々、要素画像２６１及び２６２に対してステップＳ４６にて生成されたヒストグラムを示す。要素画像２６１のヒストグラムとの対比おいて（図１２（ａ）参照）、要素画像２６２のヒストグラム（図１２（ｂ）参照）では中間階調への分布の集中化が見られる。この集中化によって、分散（及び標準偏差）は小さくなる。
【００９３】
或る着目画像に関して、ヒストグラムにおける分散が小さいことは該着目画像のコントラストが低いことに対応し、ヒストグラムにおける分散が大きいことは該着目画像のコントラストが高いことに対応している。従って、上述の方法では、ヒストグラムにおける分散を算出することによって着目画像のコントラストを推定し、その推定したコントラストによって着目画像のぶれ量を推定していることになる。そして、コントラストの推定値が評価値Ｋｂiとして導出される。
【００９４】
本選択方法では、コントラストとぶれ量の関係を利用してコントラストからぶれ量を推定することとしている。このため、フーリエ変換などを利用する従来手法と比べて、ぶれ量を推定するための計算コストを小さくすることができる。また、画像全体でなく、抽出された小画像に着目して評価値を算出することにより、計算コストの更なる低減効果が得られる。加えて、テンプレートマッチングなどを用い対応小領域間で評価値を比較するようにしているため、連写撮影中に構図の変化があったとしても、その変化による影響は軽微である。
【００９５】
［第３の参照画像選択方法］
次に、第３の参照画像選択方法について説明する。第３の参照画像選択方法では、連写画像群を形成する要素画像Ｃｗ1〜ＣｗNの内、補正対象画像Ｌｗとして選択された要素画像を除く（Ｎ−１）枚の要素画像を参照画像Ｒｗの候補として取り扱う。参照画像Ｒｗの候補として取り扱われる要素画像を「候補画像」とも呼ぶ。そして、補正対象画像Ｌｗに対する各候補画像の夫々の回転角を求め、求めた各回転角を用いて参照画像Ｒｗの選択を行う。
【００９６】
図１３を参照して、より具体的に本選択方法を説明する。今、要素画像ＣｗNが補正対象画像Ｌｗとして選択された場合を想定する。この場合、要素画像Ｃｗ1〜ＣｗN-1の夫々が候補画像とされる。
【００９７】
まず、補正対象画像Ｌｗの中から特徴的な小領域を複数個抽出する。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、ハリス（Harris）のコーナ検出器を用いて抽出される。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。ここでは、３２×３２画素の小領域を特徴的な小領域として、複数個、抽出する。図１３に示す如く、補正対象画像Ｌｗ（今の想定下において、要素画像ＣｗN）から２つの小領域２８１及び２８２が抽出されたとする。小領域２８１及び２８２の中心点を、夫々、符号２９１及び２９２によって参照する。図１３に示す例では、中心点２９１及び２９２を結ぶ線分の方向が補正対象画像Ｌｗの水平方向と合致している。
【００９８】
次に、補正対象画像Ｌｗから抽出された２つの小領域２８１及び２８２に対応する２つの小領域を、候補画像の夫々から抽出する。対応小領域の探索は、テンプレートマッチング法などを利用し、上述した手法を用いて行えば良い（第１の参照画像選択方法の説明文参照）。図１３には、候補画像としての要素画像Ｃｗ1から抽出された２つの小領域２８１ａ及び２８２ａ、並びに、候補画像としての要素画像Ｃｗ2から抽出された２つの小領域２８１ｂ及び２８２ｂが示されている。小領域２８１ａ及び２８１ｂが小領域２８１に対応し、小領域２８２ａ及び２８２ｂが小領域２８２に対応している。また、小領域２８１ａ、２８２ａ、２８１ｂ及び２８２ｂの中心点を、夫々、符号２９１ａ、２９２ａ、２９１ｂ及び２９２ｂによって参照する。
【００９９】
この後、要素画像Ｃｗ1に着目し、中心点２９１及び２９２を結ぶ線分に対する、中心点２９１ａ及び２９２ａを結ぶ線分の回転角（即ち、傾き）θ1を求める。同様に、要素画像Ｃｗ2に着目し、中心点２９１及び２９２を結ぶ線分に対する、中心点２９１ｂ及び２９２ｂを結ぶ線分の回転角（即ち、傾き）θ2を求める。要素画像Ｃｗ3〜要素画像ＣｗN-1についての回転角θ3〜θN-1も同様に求め、回転角θiの逆数を評価値Ｋｃiとして求める。
【０１００】
後述するように、評価値Ｋｃiと他の評価値を共に用いて参照画像Ｒｗの選択を行うことが望ましいが、最小の評価値Ｋｃiに対応する候補画像を参照画像Ｒｗとして選択することも可能である。この場合、例えば、求められた評価値Ｋｃ1〜ＫｃN-1の内、評価値ＫｃN-1が最大であるのであれば、要素画像ＣｗN-1を参照画像Ｒｗとして選択する。
【０１０１】
補正対象画像Ｌｗと参照画像Ｒｗの撮影時間（撮影時刻）は異なるため、両者の撮影間で構図のずれが発生しうる。高精度な手ぶれ補正を行うためには、このずれに由来する補正対象画像Ｌｗと参照画像Ｒｗとの間の位置ずれを打ち消すための位置合わせが必要となる。この位置合わせは座標変換（アフィン変換など）によって実現されるが、この位置合わせに画像回転処理が含まれると回路規模及び計算コストが増大してしまう。本選択方法によれば、補正対象画像Ｌｗに対する回転角が小さな要素画像が優先的に選択されるため、平行移動による位置合わせだけで比較的良好な手ぶれ補正効果を得ることができ、回路規模の低減にも寄与する。
【０１０２】
尚、後述のフーリエ反復法を利用して手ぶれ補正を行う場合、補正対象画像Ｌｗ及び参照画像Ｒｗをフーリエ変換することによって得られた周波数空間画像間で線形演算がなされる（第４実施例にて詳説）。この場合において、補正対象画像Ｌｗと参照画像Ｒｗとの間に回転方向のずれがあると、フーリエ変換の特性上、手ぶれ検出及び手ぶれ補正精度が顕著に低下する。このため、フーリエ反復法を利用して手ぶれ補正を行う場合においては、本選択方法を利用して参照画像Ｒｗを選択することにより、手ぶれ検出及び手ぶれ補正精度が大幅に向上する。
【０１０３】
［第４の参照画像選択方法］
次に、第４の参照画像選択方法について説明する。第４の参照画像選択方法では、第３の参照画像選択方法と同様、連写画像群を形成する要素画像Ｃｗ1〜ＣｗNの内、補正対象画像Ｌｗとして選択された要素画像を除く（Ｎ−１）枚の要素画像を参照画像Ｒｗの候補として取り扱う。参照画像Ｒｗの候補として取り扱われる要素画像を「候補画像」とも呼ぶ。そして、各候補画像の、補正対象画像Ｌｗとの撮影時間差（撮影時刻差）を求める。そして、求めた各撮影時間差を用いて参照画像Ｒｗの選択を行う。
【０１０４】
より具体的に説明する。今、要素画像ＣｗNが補正対象画像Ｌｗとして選択された場合を想定する。この場合、要素画像Ｃｗ1〜ＣｗN-1の夫々が候補画像とされる。また、要素画像Ｃｗ1、Ｃｗ2、・・・、ＣｗN-1及びＣｗNの順番で連続撮影がなされたものとする。着目した候補画像の、補正対象画像Ｌｗとの撮影時間差は、着目した候補画像の撮影時における露光期間の中間時点と補正対象画像Ｌｗの撮影時における露光期間の中間時点との時間差とする。候補画像としての要素画像Ｃｗiに対して求められた上記撮影時間差の逆数を評価値Ｋｄiとする。今の例の場合、計（Ｎ−１）個の評価値Ｋｄ1〜ＫｄN-1が算出され、当然の如く、Ｋｄ1＜Ｋｄ2＜・・・＜ＫｄN-1が成立することになる。
【０１０５】
後述するように、評価値Ｋｄiと他の評価値を共に用いて参照画像Ｒｗの選択を行うことが望ましいが、最小の評価値Ｋｄiに対応する候補画像を参照画像Ｒｗとして選択することも可能である。この場合、今の例では、評価値ＫｄN-1が最大となるため、要素画像ＣｗN-1が参照画像Ｒｗとして選択されることとなる。
【０１０６】
補正対象画像Ｌｗと参照画像Ｒｗの撮影時間差が大きいほど、その間に被写体が動く確率が高くなると共に照度などの撮影条件が変化する確率も高くなる。被写体の動きや撮影条件の変化は、手ぶれ検出及び手ぶれ補正精度を低下させる方向に作用する。本選択方法によれば、補正対象画像Ｌｗとの撮影時間差の小さな要素画像が優先的に選択されるため、これらの変化の影響が軽減されて、より高精度な手ぶれ検出及び手ぶれ補正を行うことが可能となる。
【０１０７】
尚、上述した第１〜第４の参照画像選択方法の内の２つ、３つ又は４つを組み合わせて用いることも可能である。例えば、４つを組み合わせる場合は、要素画像Ｃｗiに対する総合評価値Ｋiを下記式（Ａ−１）によって算出し、最大の総合評価値に対応する要素画像を参照画像Ｒｗとして選択すればよい。ここで、ｋａ、ｋｂ、ｋｃ及びｋｄは、ゼロ又は正の値を有する所定の重み付け係数である。２つ又は３つの選択方法を組み合わせる場合は、必要な重み付け係数をゼロとすればよい。例えば、第１〜第３の参照画像選択方法の３つの選択方法を組み合わせる場合は、「ｋｄ＝０」とした上で総合評価値Ｋiを算出すれば良い。
Ｋi＝ｋａ×Ｋａi＋ｋｂ×Ｋｂi＋ｋｃ×Ｋｃi＋ｋｄ×Ｋｄi    ・・・（Ａ−１）
【０１０８】
第１実施例で述べた処理を実現するためには、「参照画像Ｒｗとして選択されるべき要素画像におけるぶれ量がベストショット画像（補正対象画像Ｌｗ）のそれよりも小さい」という必要条件を満たす必要がある。一方で、ぶれ量は、第１〜第４評価値Ｋａi、Ｋｂi、Ｋｃi及びＫｄiの内、評価値Ｋａi及びＫｂiのみに対して反映される。従って、上記式（Ａ−１）に基づいて総合評価値Ｋiを算出するに当たり、重み付け係数ｋａ及びｋｂの内の少なくとも一方はゼロとすべきではない。
【０１０９】
また更に、第１〜第４の参照画像選択方法の内の２つ、３つ又は４つを組み合わせて利用する場合は、上記の必要条件が満たされるように総合評価値Ｋiに基づいて参照画像Ｒｗを選択すべきである。従って例えば、要素画像ＣｗNが補正対象画像Ｌｗとして選択された場合は、要素画像Ｃｗ1〜ＣｗN-1についての総合評価値Ｋ1〜ＫN-1を求める。この段階で、上述の第１又は第２の参照画像選択方法の説明で述べたぶれ量推定方法により、各要素画像Ｃｗ1〜ＣｗNのぶれ量は推定されている。この場合において、「Ｋ1＜Ｋ2＜・・・＜ＫN-2＜ＫN-1」であるならば、要素画像ＣｗNについて推定したぶれ量と要素画像ＣｗN-1について推定したぶれ量を比較し、前者が大きいのであれば要素画像ＣｗN-1を参照画像Ｒｗとして選択する。一方、後者が大きいのであれば、上記の必要条件を満たすべく、２番目に大きな総合評価値ＫN-2に対応する要素画像ＣｗN-2に着目して要素画像ＣｗNについて推定したぶれ量と要素画像ＣｗN-2について推定したぶれ量を比較する。ここで、前者が大きいのであれば要素画像ＣｗN-2を参照画像Ｒｗとして選択する一方、後者が大きいのであれば３番目に大きな総合評価値ＫN-3に対応する要素画像ＣｗN-3に着目して同様の処理を行うようにする。このように処理することにより、上記の必要条件を満たした上で最も望ましい要素画像が参照画像Ｒｗとして選択される。
【０１１０】
＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、補正対象画像Ｌｗと参照画像Ｒｗに基づく、補正対象画像Ｌｗの補正方法を説明する。この補正を行うための処理は、図４のステップＳ１８にて実行される。補正対象画像Ｌｗの補正方法として、以下に、第１〜第３の補正方法を例示する。第１、第２、第３の補正方法は、夫々、画像復元方式、画像合成方式、画像鮮鋭化方式による補正方法である（図３参照）。
【０１１１】
［第１の補正方法］
図１４を参照して、第１の補正方法について説明する。図１４は、第１の補正方法に基づく補正処理の流れを表すフローチャートである。第１の補正方法を採用する場合、図４のステップＳ１８の処理は、図１４のステップＳ７１〜Ｓ７７の各処理から形成される。
【０１１２】
まず、ステップＳ７１において、補正対象画像Ｌｗの中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｌｓとしてメモリ上に記憶する。例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。尚、特徴的な小領域の意義は、上述したとおりである。
【０１１３】
次に、ステップＳ７２において、補正対象画像Ｌｗから抽出された小領域と同一座標の小領域を参照画像Ｒｗから抽出し、参照画像Ｒｗから抽出された小領域内の画像を小画像Ｒｓとしてメモリ上に記憶する。補正対象画像Ｌｗから抽出される小領域の中心座標（補正対象画像Ｌｗにおける中心座標）と参照画像Ｒｗから抽出される小領域の中心座標（参照画像Ｒｗにおける中心座標）は等しく、また、補正対象画像Ｌｗと参照画像Ｒｗの画像サイズは等しいため、両小領域の画像サイズも等しくされる。
【０１１４】
上述のようにして得られた小画像Ｌｓを劣化画像として且つ小画像Ｒｓを初期復元画像として取り扱った上で（ステップＳ７３）、ステップＳ７４にてフーリエ反復法を実施することにより、小画像Ｌｓのぶれによる劣化の状態を表す画像劣化関数を求める。
【０１１５】
フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。
【０１１６】
画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）を求める。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。手ぶれは画像全体に対して一様な劣化を与えるため、小画像Ｌｓに対して求めたＰＳＦは、補正対象画像Ｌｗの全体に対するＰＳＦとして利用することができる。
【０１１７】
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図１５及び図１６を参照して詳細に説明する。図１５は、図１４のステップＳ７４の処理の詳細フローチャートである。図１６は、図１の手ぶれ補正部１９に内在する、フーリエ反復法を実施する部位のブロック図である。
【０１１８】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として小画像Ｒｓを用いるようにする。次に、ステップＳ１０２において、劣化画像（即ち、小画像Ｌｓ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【０１１９】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（Ｂ−１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（Ｂ−１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【０１２０】
【数１】
2009118434.tif 000003
【０１２１】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（Ｂ−２ａ）の拘束条件で修正した後、更に式（Ｂ−２ｂ）の拘束条件にて修正する。
【０１２２】
【数２】
2009118434.tif 000004
【０１２３】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（Ｂ−２ｂ）の拘束条件による修正である。
【０１２４】
式（Ｂ−２ａ）及び（Ｂ−２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【０１２５】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（Ｂ−３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（Ｂ−３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【０１２６】
【数３】
2009118434.tif 000005
【０１２７】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（Ｂ−４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【０１２８】
【数４】
2009118434.tif 000006
【０１２９】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−４）の拘束条件による修正である。
【０１３０】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【０１３１】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【０１３２】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図１４のステップＳ７４で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図１６参照）は、順次、最新のものに更新されていく。
【０１３３】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（Ｂ−２ａ）及び（Ｂ−２ｂ）を用いたステップＳ１１３における修正量、或いは、式（Ｂ−４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【０１３４】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像Ｌｗの補正は行われない。
【０１３５】
図１４の各ステップの説明に戻る。ステップＳ７４にて、ＰＳＦが算出された後、ステップＳ７５に移行する。ステップＳ７５では、ステップＳ７４で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（Ｂ−３）の右辺の一部に相当する下記式（Ｂ−５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ７４におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（Ｂ−５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【０１３６】
【数５】
2009118434.tif 000007
【０１３７】
ステップＳ７５にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ７６に移行し、この画像復元フィルタを用いて補正対象画像Ｌｗをフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを補正対象画像Ｌｗの各画素に適用して補正対象画像Ｌｗをフィルタリングする。これにより、補正対象画像Ｌｗに含まれるぶれを除去或いは低減したフィルタリング画像が生成される。画像復元フィルタのサイズは補正対象画像Ｌｗの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像Ｌｗの全体に対して適用することによって、補正対象画像Ｌｗの全体のぶれが除去される。
【０１３８】
フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ７７において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的な補正画像Ｑｗを生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。
【０１３９】
補正画像Ｑｗは、補正対象画像Ｌｗに含まれるぶれが除去或いは低減され且つフィルタリングに伴うリンギングが除去或いは低減された画像となる。但し、フィルタリング画像もぶれが除去或いは低減された画像であるため、フィルタリング画像を補正画像Ｑｗとして捉えることも可能である。
【０１４０】
参照画像Ｒｗに含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この参照画像Ｒｗから得られる画像をフーリエ反復法における初期復元画像とする。
【０１４１】
フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０１４２】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０１４３】
この際、上述の如く、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、手ぶれ情報をより正確に検出することができるようになる。
【０１４４】
［第２の補正方法］
次に、図１７及び図１８を参照して、第２の補正方法について説明する。図１７は、第２の補正方法に基づく補正処理の流れを表すフローチャートである。図１８は、この補正処理の流れを表す概念図である。第２の補正方法を採用する場合、図４のステップＳ１８の処理は、図１７のステップＳ１５１〜Ｓ１５４の各処理から形成される。
【０１４５】
図１の撮像部１１の撮影によって得られる画像は、輝度に関する情報と色に関する情報を含むカラー画像となっている。従って、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号と、画素の色を表す色信号から形成される。今、各画素の画素信号がＹＵＶ形式で表現されているものとする。この場合、色信号は２つの色差信号Ｕ及びＶから形成されることなる。そして、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号Ｙと、画素の色を表す２つの色差信号Ｕ及びＶと、から形成される。
【０１４６】
そうすると、補正対象画像Ｌｗは、図１８に示す如く、画素信号として輝度信号Ｙのみを含む画像ＬｗYと、画素信号として色差信号Ｕのみを含む画像ＬｗUと、画素信号として色差信号Ｖのみを含む画像ＬｗVと、に分解することができる。同様に、参照画像Ｒｗも、画素信号として輝度信号Ｙのみを含む画像ＲｗYと、画素信号として色差信号Ｕのみを含む画像ＲｗUと、画素信号として色差信号Ｖのみを含む画像ＲｗVと、に分解できる（図１８では、画像ＲｗYのみ図示）。
【０１４７】
図１７のステップＳ１５１では、まず、補正対象画像Ｌｗの輝度信号及び色差信号を抽出することにより、画像ＬｗY、ＬｗU及びＬｗVを生成する。続くステップＳ１５２では、参照画像Ｒｗの輝度信号を抽出することにより、画像ＲｗYを生成する。
【０１４８】
その後、ステップＳ１５３において、画像ＬｗYの画素信号と画像ＲｗYの画素信号を比較することにより、画像ＬｗYを画像ＲｗYとの間の位置ずれ量ΔＤを算出する。位置ずれ量ΔＤは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。位置ずれ量ΔＤの算出を、周知の代表点マッチング法やテンプレートマッチングを利用したブロックマッチング法を用いて行うことができる。例えば、画像ＬｗYから抽出した小領域内の画像をテンプレートとし、テンプレートマッチングによって、そのテンプレートとの類似度が最も高い小領域を画像ＲｗY内から探索する。そして、探索された小領域の位置（画像ＲｗY上の位置）と画像ＬｗYから抽出した小領域の位置（画像ＬｗY上の位置）とのずれ量を位置ずれ量ΔＤとして算出する。尚、画像ＬｗYから抽出されるべき小領域を、上述したような、特徴的な小領域とすることが望ましい。
【０１４９】
画像ＬｗYを基準として考え、位置ずれ量ΔＤが、画像ＬｗYに対する画像ＲｗYの位置ずれ量であるとする。画像ＲｗYは、画像ＬｗYを基準として位置ずれ量ΔＤに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、ステップＳ１５４では、この位置ずれ量ΔＤが打ち消されるように画像ＲｗYに座標変換（アフィン変換など）を施すことによって画像ＲｗYを位置ずれ補正する。位置ずれ補正前の画像ＲｗY内の座標（ｘ＋ΔＤｘ，ｙ＋ΔＤｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。ΔＤｘ及びΔＤｙは、夫々、ΔＤの水平成分及び垂直成分である。
【０１５０】
ステップＳ１５４では、更に、画像ＬｗU及びＬｗVと位置ずれ補正後の画像ＲｗYが合成され、この合成によって得られた画像が補正画像Ｑｗとして出力される。補正画像Ｑｗ内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する画像ＬｗU内の画素の画素信号と、座標（ｘ，ｙ）に位置する画像ＬｗV内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の画像ＲｗY内の画素の画素信号と、から形成される。
【０１５１】
カラー画像において、見た目のぶれは主に輝度のぶれによって引き起こされ、輝度のエッジ成分がぶれのない理想画像のそれに近ければ、観察者はぶれが少ないと感じる。従って、本補正方法では、ぶれ量の比較的少ない参照画像Ｒｗの輝度信号を補正対象画像Ｌｗの色信号に合成することによって擬似的な手ぶれ補正効果を得る。この方法によれば、エッジ近傍で色ずれが生じることとなるが、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０１５２】
［第３の補正方法］
次に、図１９及び図２０を参照して、第３の補正方法について説明する。図１９は、第３の補正方法に基づく補正処理の流れを表すフローチャートである。図２０は、この補正処理の流れを表す概念図である。第３の補正方法を採用する場合、図４のステップＳ１８の処理は、図１９のステップＳ２０１〜Ｓ２０６の各処理から形成される。
【０１５３】
まず、ステップＳ２０１において、補正対象画像Ｌｗから特徴的な小領域を抽出することによって小画像Ｌｓを生成し、ステップＳ２０２において、参照画像Ｒｗから小画像Ｌｓに対応する小領域を抽出することによって小画像Ｒｓを生成する。このステップＳ２０１及びＳ２０２の処理は、図１４のステップＳ７１及びＳ７２の処理と同じである。
【０１５４】
次に、ステップＳ２０３において、互いに異なる８種類の平滑化フィルタを用いて小画像Ｒｓをフィルタリングすることにより、平滑化度合いの異なる８つの平滑化小画像ＲｓG1、ＲｓG2、・・・、ＲｓG8を生成する。今、８つの平滑化フィルタとして互いに異なる８つのガウシアンフィルタを用いるものとし、各ガウシアンフィルタによって表されるガウス分布の分散をσ2で表す。
【０１５５】
一次元の画像に着目し、その一次元の画像における画素の位置をｘで表した場合、平均が０且つ分散がσ2のガウス分布は下記式（Ｃ−１）によって表されることが一般的に知られている（図２１参照）。このガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ）で表される。つまり、ガウシアンフィルタを位置０の画素に適用する時、位置ｘにおけるフィルタ係数はｈg（ｘ）で表される。換言すれば、ガウシアンフィルタによるフィルタリング後の位置０の画素値に対する、フィルタリング前の位置ｘの画素値の寄与率はｈg（ｘ）で表される。
【０１５６】
【数６】
2009118434.tif 000008
【０１５７】
この考え方を二次元に拡張し、二次元の画像における画素の位置を（ｘ，ｙ）で表した場合、二次元ガウス分布は、下記式（Ｃ−２）によって表される。尚、ｘ及びｙは、それぞれ、水平方向の位置及び垂直方向の位置を表している。この二次元ガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ，ｙ）で表され、ガウシアンフィルタを位置（０，０）の画素に適用する時、位置（ｘ，ｙ）におけるフィルタ係数はｈg（ｘ，ｙ）で表される。つまり、ガウシアンフィルタによるフィルタリング後の位置（０，０）の画素値に対する、フィルタリング前の位置（ｘ，ｙ）の画素値の寄与率はｈg（ｘ，ｙ）で表される。
【０１５８】
【数７】
2009118434.tif 000009
【０１５９】
ステップＳ２０３では、８つのガウシアンフィルタとして、σ＝１，３，５，７，９，１１，１３，１５のガウシアンフィルタを用いることとする。続くステップＳ２０４では、小画像Ｌｓと平滑化小画像ＲｓG1〜ＲｓG8の夫々との間で画像マッチングを行い、平滑化小画像ＲｓG1〜ＲｓG8の内、最もマッチング誤差が小さくなる平滑化小画像（即ち、小画像Ｌｓとの相関性が最も高い平滑化小画像）を特定する。
【０１６０】
平滑化小画像ＲｓG1に着目し、小画像Ｌｓと平滑化小画像ＲｓG1を対比した時のマッチング誤差（マッチング残差）の算出法を簡単に説明する。小画像Ｌｓと平滑化小画像ＲｓG1の画像サイズは同じであり、それらの水平方向の画素数及び垂直方向の画素数を夫々ＭN及びＮNとする（ＭN及びＮNは、２以上の整数）。小画像Ｌｓ内の位置（ｘ，ｙ）における画素の画素値をＶLs（ｘ，ｙ）にて表し、平滑化小画像ＲｓG1内の位置（ｘ，ｙ）における画素の画素値をＶRs（ｘ，ｙ）にて表す。（但し、ｘ及びｙは、０≦ｘ≦ＭN−１且つ０≦ｙ≦ＮN−１、を満たす整数）。そうすると、対比画像間におけるＳＡＤ（Sum of Absolute Difference）を表すＲSADは下記式（Ｃ−３）に従って算出され、対比画像間におけるＳＳＤ（Sum of Square Difference）を表すＲSSDは下記式（Ｃ−４）に従って算出される。
【０１６１】
【数８】
2009118434.tif 000010
【０１６２】
このＲSAD又はＲSSDを、小画像Ｌｓと平滑化小画像ＲｓG1との間におけるマッチング誤差とする。同様にして、小画像Ｌｓと平滑化小画像ＲｓG2〜ＲｓG8の夫々との間におけるマッチング誤差も求め、最もマッチング誤差が小さくなる平滑化小画像を特定する。今、σ＝５に対応する平滑化小画像ＲｓG3が特定されたとする。ステップＳ２０４では、平滑化小画像ＲｓG3に対応するσをσ’とする。即ち、σ’の値は５となる。
【０１６３】
続くステップＳ２０５では、このσ’によって表されるガウスぼけを補正対象画像Ｌｗの劣化の状態を表す画像劣化関数として取り扱うことにより、補正対象画像Ｌｗの劣化除去を図る。
【０１６４】
具体的には、ステップＳ２０５では、σ’に基づいて補正対象画像Ｌｗの全体にアンシャープマスクフィルタを適用することにより、補正対象画像Ｌｗのぶれを除去する。アンシャープマスクフィルタの適用前の画像を入力画像ＩINPUTとし、アンシャープマスクフィルタの適用後の画像を出力画像ＩOUTPUTとして、アンシャープマスクフィルタの処理内容を説明する。まず、アンシャープフィルタとしてσ’のガウシアンフィルタ（即ち、σ＝５のガウシアンフィルタ）を採用し、このσ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングすることにより、ぼかし画像ＩBLURを生成する。次に、入力画像ＩINPUTの各画素値からぼかし画像ＩBLURの各画素値を差し引くことにより、入力画像ＩINPUTとぼかし画像ＩBLURとの間の差分画像ＩDELTAを生成する。最後に、入力画像ＩINPUTの各画素値に差分画像ＩDELTAの各画素値を加算することによって得られた画像を、出力画像ＩOUTPUTとする。入力画像ＩINPUTと出力画像ＩOUTPUTとの関係式を式（Ｃ−５）に示す。式（Ｃ−５）において、(ＩINPUT・Gauss)は、σ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングした結果を表している。
【０１６５】
ＩOUTPUT ＝ＩINPUT＋ＩDELTA
＝ＩINPUT＋(ＩINPUT−ＩBLUR)
＝ＩINPUT＋(ＩINPUT−(ＩINPUT・Gauss)        ・・・（Ｃ−５）
ステップＳ２０５では、補正対象画像Ｌｗを入力画像ＩINPUTとして取り扱うことにより、出力画像ＩOUTPUTとしてのフィルタリング画像を得る。そして、ステップＳ２０６において、このフィルタリング画像のリンギングを除去して補正画像Ｑｗを生成する（ステップＳ２０６の処理は、図１４のステップＳ７７の処理と同じである）。
【０１６６】
アンシャープマスクフィルタを用いることにより、入力画像（ＩINPUT）のエッジが強調され、画像鮮鋭化効果が得られる。但し、ぼかし画像（ＩBLUR）生成時におけるぼかし度合いが入力画像に含まれる実際のぼけ量と大きく異なると、適切なぼけ補正効果が得られない。例えば、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも大きいと、出力画像（ＩOUTPUT）は、極端に鮮鋭化された不自然な画像となる。一方、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも小さいと、鮮鋭化効果が弱すぎる。本補正方法では、アンシャープフィルタとしてσにてぼかし度合いが規定されるガウシアンフィルタを用い、そのガウシアンフィルタのσとして画像劣化関数に対応するσ’を用いる。このため、最適な鮮鋭化効果が得られ、ぼけが良好に除去された補正画像が得られる。即ち、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０１６７】
尚、連写撮影時に、補正レンズや撮像素子の駆動による所謂光学式手ぶれ補正を適用することも考えられる。但し、連写枚数が多いと連写開始から終了までのトータルの手ぶれ量が非常に大きくなって、補正レンズや撮像素子の必要駆動量がそれらの可動範囲を超えることも多く、この場合は、連写の後半部において手ぶれ補正が全く効かなくなる。これに対し、上述の第１〜第３の補正方法によれば、そのような制限が加わることなく、連写画像群中の任意の要素画像に対して適切な手ぶれ補正を施すことができる。
【０１６８】
＜＜第５実施例＞＞
次に、第５実施例を説明する。第５実施例では、動画撮影時における撮像装置１の動作を説明する。
【０１６９】
動画撮影時においても上述してきた手ぶれ補正技術を利用できる。一方で、動画撮影時においては、撮像部１１から取得した各フレーム画像の一部を切り出して切り出し画像を表示部１５等に出力するようにしておき、隣接フレーム間の手ぶれに由来する隣接フレームの切り出し画像間の位置ずれを打ち消すように切り出し位置を制御する方法が知られている。この方法も手ぶれ補正の一種である。以下の説明では、この切り出し位置制御による手ぶれ補正と上述の各実施例で述べた手ぶれ補正を区別するため、前者をフレーム外手ぶれ補正、後者をフレーム内手ぶれ補正と呼ぶことがある。
【０１７０】
図２２及び図２３は、動画撮影時における撮像装置１の動作の流れを表すフローチャートである。これらの図を参照して、この動作の流れを説明する。図２２及び図２３に示される各ステップの処理は、基本的に、主制御部１３の制御の下、手ぶれ補正部１９によって実行される。但し、一部の処理（表示など）は、撮像装置１内の他の部位が主体となって実行される。
【０１７１】
まず、図１の録画ボタン１７ｂに対する操作によって動画撮影指示がなされると、ステップＳ３０１に移行する。そこで、変数ｉを導入し、この変数ｉに１を代入してからステップＳ３０２に移行する。変数ｉの値は、現在のフレームの番号を表す。所定のフレーム周期（例えば、１／６０秒）にて第１、第２、第３、・・・のフレームが順次訪れ、各フレームにおいて１枚のフレーム画像が取得される。
【０１７２】
ステップＳ３０２では、現在のフレームにおけるフレーム画像を抽出する。抽出したフレーム画像をＦｗiとする。例えば、現在のフレームが第１のフレームである時には（即ち、ｉ＝１の時には）フレーム画像Ｆｗ1が抽出され、現在のフレームが第２のフレームである時には（即ち、ｉ＝２の時には）フレーム画像Ｆｗ2が抽出される。
【０１７３】
続くステップＳ３０３では、ｉ＝１であるか否かが確認され、現フレームが動画撮影の開始フレームである場合、即ちｉ＝１の場合はステップＳ３０４に移行する。一方、ｉ≠１の場合はステップＳ３０７に移行する。ステップ３０４では、フレーム画像Ｆｗiから特徴的な小領域が抽出され、その小領域内の画像を小画像Ｆｓiとしてメモリ上に記憶する。ｉ＝１の時にのみステップＳ３０４に至るのであるから、フレーム画像Ｆｗ1から小画像Ｆｓ1が抽出されることになる。例えば、フレーム画像Ｆｗiを水平及び垂直方向に夫々３分割した時の中央の領域から、３２×３２画素の特徴的な小領域を抽出する。尚、特徴的な小領域の意義は、上述したとおりである。フレーム画像の全体領域でなく、特徴的な小領域を利用することにより、後のフレーム画像間の位置合わせ精度及びぶれ情報の検出精度を良好に維持しつつ、メモリ使用量を削減することができる。
【０１７４】
上述のフレーム外手ぶれ補正を実現するために、動画撮影時には、隣接フレームのフレーム画像間における動きベクトルが算出される。フレーム画像Ｆｗiに対して算出される動きベクトルをＶＥＣiで表す。動きベクトルＶＥＣiは、同時に、後述の画像Ｑｗiに対する動きベクトルでもある。
【０１７５】
ｉ＝１の時には、まだ、１つのフレーム画像しか取得されていない。そこで、ステップＳ３０４に続くステップＳ３０５では、フレーム画像Ｆｗ1及び画像Ｑｗ1に対する動きベクトルＶＥＣ1の水平成分及び垂直成分をゼロとする（ＶＥＣ1の大きさをゼロとする）。更に、続くステップＳ３０６において、フレーム内手ぶれ補正を行うことなく、現フレーム画像Ｆｗiを画像Ｑｗiとしてメモリ上に記憶する。従って、開始フレームのフレーム画像に対してフレーム内手ぶれ補正は行われない。ステップＳ３０６の処理後、ステップＳ３２１（図２３参照）に移行する。
【０１７６】
ステップＳ３２１以降の処理の説明の前に、ｉ≠１の時に実施されるステップＳ３０７以降の処理内容について説明する。ステップＳ３０７では、現在の変数ｉの値が規定値Ｎより小さいかが確認される。今、Ｎは３以上の整数であるが、Ｎ＝２とすることも可能である。ｉ＜Ｎの場合はステップＳ３０７からステップＳ３０８に移行して、変数ｂに１を代入する一方で、ｉ≧Ｎの場合はステップＳ３０７からステップＳ３０９に移行して、変数ｂに（ｉ―Ｎ＋１）を代入する。ステップＳ３０８又はＳ３０９にて変数ｂの値を決定した後、ステップＳ３１０において、過去のフレーム画像Ｆｗbから抽出された小画像Ｆｓbに対応する小領域を現フレーム画像Ｆｗiから抽出し、現フレーム画像Ｆｗiから抽出した小領域内の画像を小画像Ｆｓiとしてメモリ上に記憶する。対応小領域の探索は、テンプレートマッチング法などを利用した、上述の方法によって行うことができる。その後、ステップＳ３１１において、小画像Ｆｓb〜Ｆｓiの中から、最もぶれ量の小さな１枚の小画像を選択し、選択した小画像を小画像Ｒｓとしてメモリ上に記憶する。その後、現フレームに対応する小画像Ｆｓiと小画像Ｒｓが異なるならば、現フレーム画像Ｆｗiに対するフレーム内手ぶれ補正が行われる（ステップＳ３１２及びＳ３１３；詳細は後述）。
【０１７７】
今、Ｎ＝５である場合を考えて、ステップＳ３０７〜Ｓ３１１の処理内容に対する補足説明を行う。尚、後述の説明から明らかとなるが、Ｎ＝５である場合には、５フレーム分のフレーム画像を用いて、現フレーム画像の手ぶれ補正がなされる。Ｎ＝５である場合において、２≦ｉ≦４の時には、まだ５フレーム分の画像を取得していないので変数ｂに１を代入し（ステップＳ３０８）、４枚以下の小画像Ｆｓb〜Ｆｓi（＝Ｆｓ1〜Ｆｓi）の中から、最もぶれ量の小さな小画像を選択して小画像Ｒｓとする。この小画像Ｒｓを選択する処理は、上述してきた参照画像Ｒｗを選択する処理に対応している（図４のステップＳ１６参照）。一方、例えばｉ＝６の時には、ｂ＝ｉ−Ｎ＋１＝６−５＋１＝２より（ステップＳ３０９参照）第２〜第６のフレームが着目されて、ステップＳ３１０では現フレーム画像Ｆｗ6から小画像Ｆｓ2に対応する小画像Ｆｓ6が抽出され且つステップＳ３１１では５枚の小画像Ｆｓ2〜Ｆｓ6の中から、最もぶれ量の小さな小画像が小画像Ｒｓとして選択される。手ぶれは画像全体に一様な劣化を与えると考えられるため、小画像Ｒｓを含むフレーム画像のぶれ量は、フレーム画像Ｆｗ2〜Ｆｗ6のぶれ量の中で最も小さい。
【０１７８】
ステップＳ３１１における、小画像Ｆｓ2〜Ｆｓ6の中から小画像Ｒｓとしての一つの小画像を選択する方法として、第３実施例にて述べた参照画像選択方法を使用することができる。
即ち例えば、図８に対応する第１の参照画像選択方法を採用する場合は、小画像Ｆｓ2〜Ｆｓ6を小画像Ｃｓ2〜Ｃｓ6として取り扱い、小画像Ｆｓ2〜Ｆｓ6に対する評価値Ｋａ2〜Ｋａ6を算出して小画像Ｆｓ2〜Ｆｓ6のぶれ量（及びフレーム画像Ｆｗ2〜Ｆｗ6のぶれ量）を推定する。そして例えば、評価値Ｋａ2〜Ｋａ6の内、評価値Ｋａ4が最大であるのであれば小画像Ｆｓ4を小画像Ｒｓとして選択する。
或いは、図１０に対応する第２の参照画像選択方法を採用する場合は、小画像Ｆｓ2〜Ｆｓ6を小画像Ｃｓ2〜Ｃｓ6として取り扱い、小画像Ｆｓ2〜Ｆｓ6に対する評価値Ｋｂ2〜Ｋｂ6を算出して小画像Ｆｓ2〜Ｆｓ6のぶれ量（及びフレーム画像Ｆｗ2〜Ｆｗ6のぶれ量）を推定する。そして例えば、評価値Ｋｂ2〜Ｋｂ6の内、評価値Ｋｂ4が最大であるのであれば小画像Ｆｓ4を小画像Ｒｓとして選択する。
また、評価値Ｋａ2〜Ｋａ6と評価値Ｋｂ2〜Ｋｂ6の双方を考慮して、小画像Ｒｓを選択することも可能である。
【０１７９】
ステップＳ３１１の選択処理によって小画像Ｒｓを得た後、ステップＳ３１２にて、この小画像Ｒｓと現フレーム画像Ｆｗiから抽出された小画像Ｆｓiとが同じであるかを判断する。両者が同じである場合、即ち、現フレーム画像を含む直近のＮ個のフレーム画像の中で、現フレーム画像のぶれ量が最も小さい場合はステップＳ３０６に移行し、フレーム内手ぶれ補正を行うことなく現フレーム画像Ｆｗiを画像Ｑｗiとしてメモリ上に記憶してから図２３のステップＳ３２１に移行する。一方、ステップＳ３１２にて、小画像Ｒｓと小画像Ｆｓiが同じでないと判断された場合は、ステップＳ３１３に移行し、現フレーム画像Ｆｗiと小画像Ｒｓを含む過去のフレーム画像に基づいて現フレーム画像Ｆｗiに対してフレーム内手ぶれ補正を行い、フレーム内手ぶれ補正後の現フレーム画像Ｆｗiを画像Ｑｗiとしてメモリ上に記憶してからステップＳ３２１に移行する。例えば、小画像Ｒｓが小画像Ｆｓ4の場合、小画像Ｒｓを含む過去のフレーム画像とは、フレーム画像Ｆｗ4を指す。
【０１８０】
ステップＳ３１３におけるフレーム内手ぶれ補正の方法として、第４実施例で述べた方法を利用可能である。即ち、現フレーム画像Ｆｗiを補正対象画像Ｌｗとして且つ小画像Ｒｓを含む過去のフレーム画像を参照画像Ｒｗとして取り扱って第４実施例で述べた第１〜第３の補正方法の何れかを用いることにより、補正画像Ｑｗとしての画像Ｑｗiを得ればよい。尚、図１４に対応する第１の補正方法を採用する場合は、現フレーム画像Ｆｗiから抽出された小画像Ｆｓiを図１４のステップＳ７１にて抽出されるべき小画像Ｌｓとして利用し、且つ、ステップＳ３１１にて選択された小画像Ｒｓを図１４のステップＳ７２にて抽出されるべき小画像Ｒｓとして利用すればよい。
【０１８１】
図２３のステップＳ３２１以降の処理について説明する。ステップＳ３２１では、代表点マッチング法やブロックマッチング法などを用い、画像Ｑｗi-1及びＱｗiの画像データに基づいて、画像Ｑｗi-1から見た画像Ｑｗiの位置ずれ量を表す動きベクトルＶＥＣiを算出する。この動きベクトルＶＥＣiは、水平成分及び垂直成分を含む二次元量である。２つの画像間の位置ずれ量（動きベクトル）を算出する方法として、他の実施例にて既に述べた方法を利用可能である。特に例えば、画像Ｑｗi-1及びＱｗiから抽出した、互いに対応する特徴的な小領域を用いてこの算出を行うようにするとよい。
【０１８２】
続くステップＳ３２２において、今までに算出された動きベクトルＶＥＣ1〜ＶＥＣiを累積して得られる累積ベクトルＷiを算出する。図２４に示す如く、累積ベクトルＷiは、着目した動きベクトルの終点とその次に得られた動きベクトルの始点とを一致させながら、順次、動きベクトルＶＥＣ1〜ＶＥＣiを繋ぎ合わせていくことで生成される。
【０１８３】
累積ベクトルＷiが求められた後、ステップＳ３２３において、図２５に示す如く、画像Ｑｗiの中心３５０から累積ベクトルＷiにて表される分だけ移動した点３５１を中心とする固定サイズの切り出し枠３５２を設定し、その切り出し枠３５２内の画像を切り出し画像Ｑｃiとして画像Ｑｗiから抽出する。例えば、切り出し枠３５２の水平方向及び垂直方向のサイズは、画像Ｑｗiのそれらの８０％とされる。
【０１８４】
そして、ステップＳ３２４において、手ぶれ補正部１９は、切り出し画像Ｑｃiが表示部１５に表示され且つ記録媒体１６に記録されるように、切り出し画像Ｑｃiの画像データを主制御部１３を介して表示部１５及び記録媒体１６に出力する。
【０１８５】
その後、ステップＳ３２５では、シーンチェンジが生じたか、即ち、撮影対象が大きく変化したかを判断する。例えば、光学ズーム倍率の変更が生じたり、撮像装置１に対してパン操作やチルト操作が加わったりした時には、シーンチェンジが生じたと判断してステップＳ３２６にて変数ｉにゼロを代入してからステップＳ３２７に移行する。シーンチェンジが生じていないと判断した場合は、ステップ３２５からそのままステップＳ３２７に移行する。そして、ステップＳ３２７において、主制御部１３は、操作部１７に対する操作によって動画撮影の終了が指示されたかを確認し、その指示がなされた場合は動画撮影動作を終了する一方で、その指示がなされていない場合はステップＳ３２８にて変数ｉに１を加えてからステップＳ３０２（図２２）に戻り、上述した処理を繰り返す。但し、ステップＳ３０２〜Ｓ３１３及びＳ３２１〜Ｓ３２８から成るループ処理は、１つのフレームにおいて１回だけ実行されるものとする。
【０１８６】
上述のように、フレーム内手ぶれ補正を行うことにより、各フレーム画像の露光期間中に手ぶれが生じても、各フレーム画像内におけるぶれが低減された、鮮明な画質の動画をユーザに提供することが可能となる。また、補正対象画像及び参照画像となるフレーム画像は、元々取得されるべき画像であるため、ぶれ補正を行うために別途の専用画像を取得する必要もない。故に、撮影時間やメモリ使用量に対する余分な負荷は発生しない。加えて、切り出し位置制御によるフレーム外手ぶれ補正を行うことにより、開始フレーム（或いは基準となるフレーム）と現フレームの切り出し画像の構図は同一となる。つまり、フレーム間の手ぶれも補正される。
【０１８７】
上述の手法によれば、動画撮影中にリアルタイムに手ぶれ補正を行うことができるというメリットがあるが、フレーム内手ぶれ補正前の各フレーム画像を記録媒体１６に一旦記録しおき、動画撮影終了後に、フレーム内手ぶれ補正を行って動画を形成するフレーム画像の枚数分の画像Ｑｗiを生成することも可能である。これは、記録媒体１６に記録されたフレーム内手ぶれ補正前の各フレーム画像を用いて、図２２及び図２３を用いて示した上述の処理を単に実行すれば足る。この場合、ある着目フレームのフレーム画像に対するフレーム内手ぶれ補正は、図２６（ａ）に示す如く、その着目フレームの過去フレームのフレーム画像を用いて実行される（これは、動画撮影中にフレーム内手ぶれ補正を行う場合も同様である）。
【０１８８】
但し、動画撮影終了後であれば、ある着目フレームのフレーム画像に対するフレーム内手ぶれ補正を、その着目フレームの前後フレームのフレーム画像を用いて行うことも可能である。即ち、着目フレームと着目フレームの前後フレームとを含む合計Ｎフレーム分のフレーム画像を参照し、そのＮフレーム分のフレーム画像の中で最もぶれ量の小さなフレーム画像を抽出する。そして、抽出した最もぶれ量の小さなフレーム画像を参照画像Ｒｗとして且つ着目フレームのフレーム画像を補正対象画像Ｌｗとして取り扱って、着目フレームのフレーム画像に対するフレーム内手ぶれ補正を実施すれば良い（但し、参照画像Ｒｗと補正対象画像Ｌｗが同じとなるならば実施不可）。このように着目フレームの前後フレームを利用することにより、より正確なフレーム内手ぶれ補正が実行可能となる。補正対象画像との撮影時間差が比較的短い参照画像を用いてフレーム内手ぶれ補正が実行されることになるからである。
【０１８９】
尚、フレーム内手ぶれ補正後の画像Ｑｗi-1及びＱｗiの画像データを用いて動きベクトルＶＥＣiを算出する例を示したが（図２３のステップＳ３２１参照）、フレーム内手ぶれ補正前のフレーム画像Ｆｗi-1及びＦｗiの画像データを用いてフレーム画像Ｆｗi-1とフレーム画像Ｆｗiとの間の動きベクトルを算出し、これをステップＳ３２１にて算出されるべき動きベクトルＶＥＣiとして取り扱うようにしても良い。例えば、ステップＳ３１０（又はＳ３０４及びＳ３１０）の抽出結果に基づいて動きベクトルＶＥＣiを算出するようにしてもよい。即ち、フレーム画像Ｆｗi-1内における小画像Ｆｓi-1の位置と、フレーム画像Ｆｗi内における小画像Ｆｓiの位置との間の位置ずれ量から動きベクトルＶＥＣiを算出するようにしてもよい。
【０１９０】
また、ステップＳ３１１の選択処理において、第３実施例で述べた第３又は第４の参照画像選択方法を利用することも可能である。これを、Ｎ＝５且つｉ＝６である場合を例にとって説明する。第３の参照画像選択方法を利用する場合、補正対象画像となるべき現フレーム画像Ｆｗ6に対する過去のフレーム画像Ｆｗ2〜Ｆｗ5の夫々の回転角θ2〜θ5を算出して、回転角θ2〜θ5の逆数を評価値Ｋｃ2〜Ｋｃ5として求める。そして、フレーム画像Ｆｗ2〜Ｆｗ5の内、大きな評価値に対応するフレーム画像内の小画像が小画像Ｒｓとして優先的に選択されるようにする。第４の参照画像選択方法を利用する場合、各フレーム画像Ｆｗ2〜Ｆｗ5の、現フレーム画像Ｆｗ6に対する撮影時間差を求め、各フレーム画像Ｆｗ2〜Ｆｗ5に対して求められた撮影時間差の逆数を評価値Ｋｄ2〜Ｋｄ5として求める。そして、フレーム画像Ｆｗ2〜Ｆｗ5の内、大きな評価値に対応するフレーム画像内の小画像が小画像Ｒｓとして優先的に選択されるようにする。
【０１９１】
ステップＳ３１１の選択処理において第３又は第４の参照画像選択方法を利用した場合、ステップＳ３１１にて、小画像Ｆｓ2〜Ｆｓ6の中から、最もぶれ量の小さな小画像が選択されるとは限らない。しかし、ステップＳ３１３におけるフレーム内手ぶれ補正を行うためには、「小画像Ｒｓのぶれ量は現フレーム画像Ｆｗiから抽出された小画像Ｆｓiのぶれ量よりも小さい」という必要条件を満たす必要がある。従って、第３又は第４の参照画像選択方法を利用する場合であっても、この必要条件が満たされるように、第１の参照画像選択方法による評価値（Ｋａ2等）及び／又は第２の参照画像選択方法による評価値（Ｋｂ2等）を優先的に考慮するべきである。第３実施例で式（Ａ−１）を示して説明したように、それら（Ｋａ2やＫｂ2等）を主として用いた上で、補助的に第３の参照画像選択方法による評価値（Ｋｃ2等）及び／又は第４の参照画像選択方法による評価値（Ｋｄ2等）を用い、上記の必要条件を満たした上で適切な小画像Ｒｓを選択すればよい。
【０１９２】
また、第３及び第４の参照画像選択方法は、現フレーム画像と小画像Ｒｓを含むフレーム画像が異なることを前提としているため、ステップＳ３１１において、第３及び／又は第４の参照画像選択方法を利用する場合は、ステップＳ３１２では、以下の判断を行う（Ｎ＝５且つｉ＝６である場合を例にとる）。即ち、現フレーム画像Ｆｗ6のぶれ量よりも含むぶれ量が小さなフレーム画像がフレーム画像Ｆｗ2〜Ｆｗ5の中に存在するかを判断する。そして、存在していない場合はステップＳ３０６に移行する一方、存在している場合はステップＳ３１３に移行する。フレーム画像に含まれるぶれ量は、第１又は第２の参照画像選択方法の説明にて述べた方法を用いて推定できる。
【０１９３】
＜＜第６実施例＞＞
次に、第６実施例を説明する。第６実施例では、上述してきた内容に対する応用例や変形例、注釈事項を説明する。
【０１９４】
最初に、画像のぶれ量の推定に有益な技術的事項を説明する。第３実施例において、要素画像Ｃｗiから小画像Ｃｓiを抽出し、小画像Ｃｓiのエッジ強度又はコントラストに基づいて要素画像Ｃｗiの全体に対するぶれ量を推定できることを述べた（図８及び図１０参照）。この際、小画像Ｃｓiを要素画像Ｃｗiの中央付近から抽出する例を挙げたが、小画像Ｃｓiが要素画像Ｃｗiの中央付近から抽出される必要性は必ずしもない。例えば、以下のようにするとよい。尚、説明の具体化のため、Ｎ＝５の場合、即ち、連写画像群が５枚の要素画像Ｃｗ1〜Ｃｗ5から形成される場合を考える。
【０１９５】
まず、ブロックマッチング法などを利用して、時間的に連続して撮影された２つの要素画像Ｃｗi-1と要素画像Ｃｗiの間におけるオプティカルフローを求める。ここにおけるオプティカルフローには、対比画像間における動きベクトルの束が含まれる。図２７は、求められたオプティカルフローの例を示している。次に、求められたオプティカルフローに基づいて、一連の要素画像Ｃｗ1〜Ｃｗ5中における、小画像抽出用領域を検出する。小画像抽出用領域は、各要素画像内に定義される。そして、要素画像Ｃｗiの小画像抽出用領域内から小画像Ｃｓiを抽出するようにする。
【０１９６】
例えば、連写撮影中において、撮像装置１が略固定され且つ撮影領域の中央付近に位置する人物が実空間上で動いている場合、その人物に対応する位置において有意な動きベクトルが検出される一方、要素画像の大部分を占める周辺部において、そのような動きベクトルは検出されない。有意な動きベクトルとは、所定の大きさ以上の大きさを有する動きベクトルであり、単純には大きさがゼロではない動きベクトルを意味する。図２７は、このような場合におけるオプティカルフローを表している。この場合、有意な動きベクトルが検出されない領域は、実空間上で静止した被写体が描写される静被写体領域であり、この静被写体領域を小画像抽出用領域として検出する。図２７の要素画像Ｃｗ1〜Ｃｗ5中における破線で囲まれた領域内部が、検出された小画像抽出用領域に対応している。
【０１９７】
また例えば、連写撮影中において、撮影領域の中央付近に位置する人物が実空間上で右方向に動いており且つ撮像装置１の筐体（不図示）がその人物に追従するように右方向に振られている場合、図２８に示す如く、その人物に対応する位置において有意な動きベクトルは検出されず、一方、要素画像の大部分を占める周辺部（背景部分）において有意な動きベクトルが検出される。しかも、検出される、この有意な動きベクトルの大きさ及び向きは均一である。この場合、この有意な動きベクトルが検出される領域、即ち、画像中の支配的な動き領域を小画像抽出用領域として検出する（結果的に、図２７に示す場合と同様の小画像抽出用領域が検出される）。
【０１９８】
また例えば、連写撮影中に全被写体及び撮像装置１が実空間上で静止している場合は、要素画像の全体領域において有意な動きベクトルは検出されない。この場合は、各要素画像の全体領域が静被写体領域であり、この静被写体領域を小画像抽出用領域として検出する。また例えば、連写撮影中において、全被写体が実空間上で静止しているものの撮像装置１の筐体が右方向に振られている場合或いは撮像装置１が実空間上で静止しているものの全被写体が均一に左方向に移動している場合は、図２９に示す如く、要素画像の全体に渡って、大きさ及び向きが均一な、有意な動きベクトルが検出される。この場合は、要素画像の全体領域が支配的な動き領域であると判断され、その支配的な動き領域を小画像抽出用領域として検出する。
【０１９９】
このように、オプティカルフローを形成する複数の動きベクトルを統計処理することにより小画像抽出用領域を特定することができる。
【０２００】
或いは、実空間上で動く動被写体（人物など）を検出し、その動被写体が位置していない領域を小画像抽出用領域として検出するようにしてもよい。画像処理による、公知の動被写体の追尾技術を用いれば、要素画像の画像データを含む撮像部１１の出力から動被写体を検出して追尾することが可能である。
【０２０１】
撮影領域内で不規則に動く動被写体が描画されている領域より小画像Ｃｓiを抽出し、その小画像Ｃｓiに基づいて第３実施例で述べた評価値（Ｋａi又はＫｂi）を算出するようにすると（図８、図１０参照）、該評価値が動被写体の動きの影響を受け、小画像Ｃｓi及び要素画像Ｃｗiに対するぶれ量の推定精度が劣化する。結果、ぶれ量の小さな要素画像の選択、即ち、参照画像Ｒｗの選択を失敗する可能が高まる。しかしながら、上記の如く、小画像抽出用領域（静被写体領域又は支配的な動き領域）を検出して小画像抽出用領域から小画像Ｃｓiを抽出するようにすれば、要素画像Ｃｗi中に不規則に動く動被写体が含まれていたとしても、ぶれ量の少ない要素画像を参照画像Ｒｗとして正確に抽出できるようになる。
【０２０２】
また、要素画像Ｃｗiの回転角に基づく評価値Ｋｃiを算出する際にも（図１３参照）、補正対象対象Ｌｗから複数の小領域が抽出されるが、評価値Ｋｃiが動被写体の動きの影響を受けるのを回避すべく、この複数の小領域も小画像抽出用領域から抽出するようにするとよい。
【０２０３】
また、連写撮影に着目して小画像抽出方法を説明したが、同一の考え方を、第５実施例に対応する動画撮影にも適用できる。即ち、上述した小画像抽出用領域の検出方法を利用し、図２２のステップＳ３１１で参照される小画像Ｆｓb〜Ｆｓiをフレーム画像Ｆｗb〜Ｆｗiの小画像抽出用領域から抽出しておくようにするとよい。
【０２０４】
この他の、上述してきた内容に対する応用例や変形例、注釈事項を、注釈１〜注釈４として以下に列記する。各注釈に記載された事項は、矛盾なき限り、任意に組み合わせることが可能である。
【０２０５】
［注釈１］
連写撮影における手ぶれ補正方法をしたが、この方法を、そのままブラケット撮影に対して適用することができる。この場合、上述してきた連写撮影をブラケット撮影と読み替えればよく、ブラケット撮影によって連続的に取得されたＮ枚の撮影画像をＮ枚の要素画像Ｃｗ1〜ＣｗNと捉えればよい。この場合における要素画像の枚数（即ち、Ｎの値）も、連写撮影時と同様、ブラケット撮影によって取得されるべき画像の枚数と一致する。
【０２０６】
連写撮影では、撮影に関する諸設定を変更することなく複数枚の撮影画像を連続的に取得する。撮影に関する諸設定とは、撮像部１１の焦点距離、撮像部１１の露出量、ホワイトバランスなどである。一方、一般的に知られているように、ブラケット撮影では、この諸設定を変更しながら複数枚の撮影画像を連続的に取得する。例えば、露出量に対するブラケット撮影を行う場合には、複数枚の撮影画像が異なる露出量にて取得されるように、撮像部１１の絞り（不図示）の開度を順次変更させながら連続的に撮影を行う。
【０２０７】
［注釈２］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【０２０８】
［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、手ぶれ補正部１９の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、その機能を撮像装置１の外部装置（コンピュータ等）にて実現することも可能である。手ぶれ補正部１９にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０２０９】
［注釈４］
連写撮影又はブラケット撮影に関し、例えば、以下のように考えることができる。連写撮影又はブラケット撮影によってＮ枚の要素画像を取得する画像取得手段と、図４のステップＳ１５の処理を実行して補正対象画像を抽出する補正対象画像抽出手段（補正対象画像選択手段）と、図４のステップＳ１６の処理を実行して参照画像を抽出する参照画像抽出手段（参照画像選択手段）と、図４のステップ１８の処理を実行して補正画像を生成する補正処理手段と、を有するぶれ補正装置が図１の撮像装置１に内在している。このぶれ補正装置は、主として、手ぶれ補正部１９にて形成される、或いは、手ぶれ補正部１９及び主制御部１３にて形成される。更に、撮像装置１は、図４のステップＳ１９の処理を実行して連写画像群に補正画像を関連付ける関連付け手段を有する。
【０２１０】
動画撮影に関し、例えば、以下のように考えることができる。動画撮影によって動画像を形成する複数のフレーム画像を取得する画像取得手段と、図２２のステップＳ３１３の処理を行って補正対象画像と参照画像から補正画像（画像Ｑｗi）を生成する補正処理手段と、図２２のステップＳ３１１の処理を行い該処理結果に基づいて参照画像を抽出する参照画像抽出手段（参照画像選択手段）と、を有するぶれ補正装置が図１の撮像装置１に内在している。このぶれ補正装置は、主として、手ぶれ補正部１９にて形成される、或いは、手ぶれ補正部１９及び主制御部１３にて形成される。このぶれ補正装置は、図２３のステップＳ３２１及びＳ３２２の処理を行う位置ずれ検出手段と、図２３のステップＳ３２３及びＳ３２４の処理を行う切り出し画像出力手段と、を更に備える。
【図面の簡単な説明】
【０２１１】
【図１】本発明の実施の形態に係る撮像装置の全体ブロック図である。
【図２】本発明の実施の形態に係り、連写画像群に対する手ぶれ補正手法の概念図である。
【図３】本発明に関する第１〜第６実施例の概略を示した表である。
【図４】本発明の第１実施例に係る静止画手ぶれ補正の動作の流れを表すフローチャートである。
【図５】本発明の第２実施例に係るベストショット画像選択方法を説明するための図であり、連写画像群を形成する１つの要素画像を表す図である。
【図６】図５の要素画像内における人物の眼付近の拡大図である。
【図７】本発明の第２実施例に係るベストショット画像選択方法を説明するための図であり、連写画像群を形成する１つの要素画像を表す図である。
【図８】本発明の第３実施例に係り、第１の参照画像選択方法に関する動作の流れを表すフローチャートである。
【図９】図８に対応する動作説明を補助する概念図である。
【図１０】本発明の第３実施例に係り、第２の参照画像選択方法に関する動作の流れを表すフローチャートである。
【図１１】図１０に対応する選択動作の意義を説明するための図であり、鮮明な要素画像とぶれの大きい不鮮明な要素画像を示す図である。
【図１２】図１１の各要素画像に対応する輝度ヒストグラムを示す図である。
【図１３】本発明の第３実施例に係り、第３の参照画像選択方法による参照画像の選択動作を説明するための図である。
【図１４】本発明の第４実施例に係り、第１の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。
【図１５】図１４の手ぶれ補正処理の一部である、フーリエ反復法の詳細フローチャートである。
【図１６】図１５のフーリエ反復法を実施する部位のブロック図である。
【図１７】本発明の第４実施例に係り、第２の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。
【図１８】図１７に対応する手ぶれ補正処理の概念図である。
【図１９】本発明の第４実施例に係り、第３の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。
【図２０】図１９に対応する手ぶれ補正処理の概念図である。
【図２１】本発明の第４実施例に係り、一次元のガウス分布を示す図である。
【図２２】本発明の第５実施例に係る動画手ぶれ補正の動作の流れを表すフローチャートである。
【図２３】本発明の第５実施例に係る動画手ぶれ補正の動作の流れを表すフローチャートである。
【図２４】本発明の第５実施例に係り、複数の動きベクトルとそれらの累積ベクトルとの関係を示す図である。
【図２５】本発明の第５実施例に係り、フレーム外手ぶれ補正を実現する切り出し位置制御を説明するための図である。
【図２６】本発明の第５実施例に係り、着目フレームのフレーム画像が過去のフレーム画像を用いて補正されることを示した図と、着目フレームのフレーム画像がその前後フレームのフレーム画像を用いて補正されることを示した図である。
【図２７】本発明の第６実施例に係り、連写画像群を形成する各要素画像と、隣接する要素画像間のオプティカルフローの例を示す図である。
【図２８】本発明の第６実施例に係り、隣接する要素画像間のオプティカルフローの他の例を示す図である。
【図２９】本発明の第６実施例に係り、隣接する要素画像間のオプティカルフローの更に他の例を示す図である。
【図３０】従来のフーリエ反復法を実現する構成のブロック図である。
【符号の説明】
【０２１２】
１  撮像装置
１１  撮像部
１３  主制御部
１９  手ぶれ補正部
【図１】
2009118434.tif 000011
【図２】
2009118434.tif 000012
【図３】
2009118434.tif 000013
【図４】
2009118434.tif 000014
【図５】
2009118434.tif 000015
【図６】
2009118434.tif 000016
【図７】
2009118434.tif 000017
【図８】
2009118434.tif 000018
【図９】
2009118434.tif 000019
【図１０】
2009118434.tif 000020
【図１３】
2009118434.tif 000021
【図１４】
2009118434.tif 000022
【図１５】
2009118434.tif 000023
【図１６】
2009118434.tif 000024
【図１７】
2009118434.tif 000025
【図１８】
2009118434.tif 000026
【図１９】
2009118434.tif 000027
【図２０】
2009118434.tif 000028
【図２１】
2009118434.tif 000029
【図２２】
2009118434.tif 000030
【図２３】
2009118434.tif 000031
【図２４】
2009118434.tif 000032
【図２５】
2009118434.tif 000033
【図２６】
2009118434.tif 000034
【図２７】
2009118434.tif 000035
【図２８】
2009118434.tif 000036
【図２９】
2009118434.tif 000037
【図３０】
2009118434.tif 000038
【図１１】
2009118434.tif 000039
【図１２】
2009118434.tif 000040