(57)【特許請求の範囲】
【請求項１】
撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて補正するぶれ補正装置において、
前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記第１画像に含まれる前記ぶれを表す画像劣化関数を作成するぶれ情報作成手段と、
前記画像劣化関数に基づいて前記第１画像に含まれる前記ぶれを補正する補正処理手段と、を備え、
前記ぶれ情報作成手段は、
前記第１画像に基づく画像を周波数領域上に変換して得た第１関数と前記第２画像に基づく画像を周波数領域上に変換して得た第２関数とから周波数領域上における前記画像劣化関数を暫定的に求め、求めた周波数領域上における前記画像劣化関数を空間領域上に変換して得た関数を所定の拘束条件を用いて修正する処理を介して、最終的に前記画像劣化関数を求めることを特徴とするぶれ補正装置。
【請求項２】
前記ぶれ情報作成手段は、前記第１画像及び前記第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像に基づいて前記画像劣化関数を作成することを特徴とする請求項１に記載のぶれ補正装置。
【請求項３】
撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて補正するぶれ補正装置において、
前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成するぶれ情報作成手段と、
前記ぶれ情報に基づいて前記第１画像に含まれるぶれを補正する補正処理手段と、を備え、
前記ぶれ情報作成手段は、前記第１画像に基づく画像及び前記第２画像に基づく画像をそれぞれ劣化画像及び初期の復元画像とし、フーリエ反復法を用いて前記ぶれ情報を算出することを特徴とするぶれ補正装置。
【請求項４】
前記ぶれ情報作成手段は、前記第１画像及び前記第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくすることを特徴とする請求項３に記載のぶれ補正装置。
【請求項５】
撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて補正するぶれ補正装置において、
前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を保持する保持手段と、
前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、前記表示用画像である第３画像と、に基づいて前記ぶれを補正する補正処理手段と、を備えたことを特徴とするぶれ補正装置。
【請求項６】
前記補正処理手段は、前記第２画像と前記第３画像を加重加算することにより第４画像を生成し、前記第１画像と前記第４画像から前記ぶれを補正することを特徴とする請求項５に記載のぶれ補正装置。
【請求項７】
前記補正処理手段は、前記第２画像と前記第３画像の内の何れか一方を第４画像として選択する選択手段を備えて、前記第１画像と前記第４画像から前記ぶれを補正し、
前記選択手段は、前記第２画像と前記第３画像の各エッジ強度、前記第２画像と前記第３画像の各露光時間、及び、設定された外部情報の内の少なくとも１つに基づいて、前記第２画像と前記第３画像との間の選択を行うことを特徴とする請求項５に記載のぶれ補正装置。
【請求項８】
前記補正処理手段は、前記第１画像に基づく画像及び前記第４画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて前記ぶれに応じたぶれ情報を算出し、該ぶれ情報に基づいて前記ぶれを補正することを特徴とする請求項６または請求項７に記載のぶれ補正装置。
【請求項９】
前記補正処理手段は、前記第１画像、第２画像及び第３画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくすることを特徴とする請求項８に記載のぶれ補正装置。
【請求項１０】
撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得手段と、
前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成手段と、
前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理手段と、を備え、
前記第２画像生成手段は、
各短露光画像のエッジ強度、
各短露光画像のコントラスト、及び、
前記第１画像に対する各短露光画像の回転角、
の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を前記第２画像として選択することを特徴とするぶれ補正装置。
【請求項１１】
前記第２画像生成手段は、
各短露光画像の、前記第１画像との撮影時間差、
を更に用いて、前記第２画像の選択を行うことを特徴とする請求項１０に記載のぶれ補正装置。
【請求項１２】
前記第２画像生成手段は、前記複数の短露光画像の内の２以上の短露光画像を合成することによって前記第２画像を生成することを特徴とする請求項１１に記載のぶれ補正装置。
【請求項１３】
前記第２画像生成手段は、
各短露光画像のエッジ強度、各短露光画像のコントラスト、及び、前記第１画像に対する各短露光画像の回転角、の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を選択する選択処理手段と、
前記複数の短露光画像の内の２以上の短露光画像を合成した合成画像を生成する合成処理手段と、
前記選択処理手段及び前記合成処理手段の何れか一方のみを機能させることにより、前記１枚の短露光画像又は前記合成画像を前記第２画像として生成する切替制御手段と、を備え、
前記切替制御手段は、前記選択処理手段及び前記合成処理手段の何れを機能させるかを、各短露光画像のＳ／Ｎ比に基づいて決定することを特徴とする請求項１０に記載のぶれ補正装置。
【請求項１４】
前記補正処理手段は、前記第１画像と前記第２画像に基づいて前記第１画像の前記ぶれに応じたぶれ情報を作成し、前記ぶれ情報に基づいて前記第１画像の前記ぶれを補正する
ことを特徴とする請求項１０〜請求項１３の何れかに記載のぶれ補正装置。
【請求項１５】
前記補正処理手段は、前記第１画像の色信号に前記第２画像の輝度信号を合成することによって、前記第１画像の前記ぶれを補正することを特徴とする請求項１０〜請求項１３の何れかに記載のぶれ補正装置。
【請求項１６】
前記補正処理手段は、前記第２画像を用いて前記第１画像を鮮鋭化することにより、前記第１画像の前記ぶれを補正することを特徴とする請求項１０〜請求項１３の何れかに記載のぶれ補正装置。
【請求項１７】
請求項１〜請求項１６の何れかに記載のぶれ補正装置と、
前記撮像手段と、を備えたことを特徴とする撮像装置。
【請求項１８】
撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて補正するぶれ補正方法において、
前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記第１画像に含まれる前記ぶれを表す画像劣化関数を作成するぶれ情報作成ステップと、
前記画像劣化関数に基づいて前記第１画像に含まれる前記ぶれを補正する補正処理ステップと、を備え、
前記ぶれ情報作成ステップでは、
前記第１画像に基づく画像を周波数領域上に変換して得た第１関数と前記第２画像に基づく画像を周波数領域上に変換して得た第２関数とから周波数領域上における前記画像劣化関数を暫定的に求め、求めた周波数領域上における前記画像劣化関数を空間領域上に変換して得た関数を所定の拘束条件を用いて修正する処理を介して、最終的に前記画像劣化関数を求めることを特徴とするぶれ補正方法。
【請求項１９】
撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて補正するぶれ補正方法において、
前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成するぶれ情報作成ステップと、
前記ぶれ情報に基づいて前記第１画像に含まれるぶれを補正する補正処理ステップと、を備え、
前記ぶれ情報作成ステップでは、前記第１画像に基づく画像及び前記第２画像に基づく画像をそれぞれ劣化画像及び初期の復元画像とし、フーリエ反復法を用いて前記ぶれ情報を算出することを特徴とするぶれ補正方法。
【請求項２０】
撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて補正するぶれ補正方法において、
前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を保持する保持ステップと、
前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、前記表示用画像である第３画像と、に基づいて前記ぶれを補正する補正処理ステップと、を備えたことを特徴とするぶれ補正方法。
【請求項２１】
撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得ステップと、
前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成ステップと、
前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理ステップと、を備え、
前記第２画像生成ステップでは、
各短露光画像のエッジ強度、
各短露光画像のコントラスト、及び、
前記第１画像に対する各短露光画像の回転角、
の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を前記第２画像として選択することを特徴とするぶれ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影によって得られた画像に含まれるぶれを検出するぶれ検出装置及びぶれ検出方法に関する。また、本発明は、ぶれを補正するぶれ補正装置及びぶれ補正方法に関する。また、本発明は、それらを利用した撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正技術は、補正対象が静止画であるか動画であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。
【０００３】
手ぶれを検出する方法には、角速度センサや加速度センサ等の手ぶれ検出センサを用いる方法と、画像を解析して手ぶれを検出する電子式の方法とがある。画像の補正には、光学系の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。
【０００４】
静止画に対する手ぶれ補正方法としては、手ぶれ検出センサで手ぶれを検出しその検出結果に基づいて光学式手ぶれ補正を行う方法と、手ぶれ検出センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。
【０００５】
手ぶれ検出センサを用いると多大なコストアップを招くため、手ぶれ検出センサを必要としない手ぶれ補正方法の開発が求められている。
【０００６】
手ぶれ検出センサを用いることなく手ぶれ補正を行う方法として、加算式手ぶれ補正が実用化されている（下記特許文献１参照）。図１５を参照して加算式手ぶれ補正を簡単に説明する。加算式手ぶれ補正では、通常の露光時間ｔ１を分割して得られる露光時間がｔ２の複数の分割露光画像（短露光画像）ＤＰ１〜ＤＰ４を連続撮影する。複数の分割露光画像の枚数をＰNUMとした場合、ｔ２＝ｔ１／ＰNUM、とされる（今の例の場合、ＰNUM＝４）。そして、分割露光画像ＤＰ１〜ＤＰ４を、各分割露光画像間の位置ずれがキャンセルされるように位置合わせした上で加算合成することにより、手ぶれが少なく且つ所望の明るさが確保された１枚の静止画を生成する。
【０００７】
また、撮影によって得られた、ぶれを含む１枚の手ぶれ画像から、撮影中の手ぶれを表す手ぶれ情報（点広がり関数或いは画像復元フィルタ）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像をデジタル信号処理で生成する方式も提案されている。この種の方式の中で、フーリエ反復法を用いた方式が下記非特許文献１に開示されている。
【０００８】
図１６にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【０００９】
フーリエ反復法を用いれば、手ぶれ検出センサを必要とすることなく手ぶれの影響が低減された画像を生成することが可能である。しかし、フーリエ反復法は非線形最適化手法であり、適当な復元画像を得るためには多くの反復回数が必要となる。つまり、手ぶれ検出及び補正に必要な処理時間が非常に長くなってしまう。このため、デジタルスチルカメラ等での実用化が困難となっている。処理時間の短縮化は、実用化上、重要な課題である。
【００１０】
また、手ぶれ検出センサを用いない手ぶれ補正方法として以下のような方法も提案されている。ある従来手法では、補正されるべき主画像の撮影前後に副画像を複数枚撮影して、その複数の副画像から主画像撮影時のぶれ情報を推定し、そのぶれ情報から主画像のぶれを補正している（下記特許文献２参照）。但し、この手法では、主画像前後に得られる副画像間の動き量（露光間隔をも含んだ動き量）から主画像のぶれが推定されるため、ぶれの検出精度及び補正精度が低くなってしまう。また、他の従来手法では、手ぶれ画像を２次元周波数領域へ変換した画像から手ぶれを検出している（下記特許文献３参照）。具体的には、変換によって得られた画像を周波数座標の原点を中心とした円に投影し、その投影データからぶれの大きさと方向を求めるようにしている。但し、この手法では、直線的且つ等速的なぶれしか推定できず、また、被写体の特定方向における周波数成分が小さい場合、ぶれ方向の検出を失敗してぶれを適切に補正できなくなることがある。ぶれ補正の高精度化は、言うまでもなく、重要な課題である。
【００１１】
【特許文献１】特開平９−２６１５２６号公報
【特許文献２】特開２００１−３４６０９３号公報
【特許文献３】特開平１１−２７５７４号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【００１２】
そこで本発明は、低コスト化及び処理時間の短縮化に寄与するぶれ検出装置及びぶれ検出方法を提供することを目的とする。また本発明は、低コスト化及びぶれ補正の高精度化に寄与するぶれ補正装置及びぶれ補正方法を提供することを目的とする。また本発明は、それらを利用した撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係るぶれ検出装置は、撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて検出するぶれ検出装置において、前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成するぶれ情報作成手段を備えたことを特徴とする。
【００１４】
第２画像の露光時間は第１画像のそれよりも短いため、第２画像に含まれるぶれは第１画像のそれよりも通常少ない。第１画像のぶれの検出に、ぶれの比較的少ない第２画像を参照するため、ぶれ情報作成用の処理時間の短縮化を期待できる。また、従来の加算式手ぶれ補正のように多枚数の画像撮影が必要となる訳ではないため、撮影時の負荷増加は少ない。勿論、ぶれ情報作成用の専用センサを設ける必要がないため、低コスト化にも寄与する。
【００１５】
具体的には例えば、前記ぶれ情報は、前記第１画像の全体のぶれを表す画像劣化関数である。
【００１６】
また例えば、前記ぶれ情報作成手段は、前記第１画像及び第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像に基づいて前記ぶれ情報を作成する。
【００１７】
これにより、必要な演算量が低減され、処理時間の更なる低減化が見込める。
【００１８】
また具体的には例えば、前記ぶれ情報作成手段は、前記第１画像に基づく画像を周波数領域上に変換して得た第１関数と前記第２画像に基づく画像を周波数領域上に変換して得た第２関数とから周波数領域上における前記画像劣化関数を暫定的に求め、求めた周波数領域上における前記画像劣化関数を空間領域上に変換して得た関数を所定の拘束条件を用いて修正する処理を介して、最終的に前記画像劣化関数を求める。
【００１９】
また具体的には例えば、前記ぶれ情報作成手段は、前記第１画像に基づく画像及び前記第２画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて前記ぶれ情報を算出する。
【００２０】
そして例えば、前記ぶれ情報作成手段は、前記第１画像及び第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくする。
【００２１】
これにより、必要な演算量が低減され、処理時間の更なる低減化が見込める。
【００２２】
また例えば、当該ぶれ検出装置は、前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を保持する保持手段を更に備え、前記ぶれ情報作成手段は、前記表示用画像を前記第２画像として流用する。
【００２３】
これにより、撮影時の負荷増加はなくなる（或いは、極めて軽微となる）
【００２４】
また例えば、前記ぶれ情報作成手段は、前記第１画像及び前記第２画像から前記劣化画像及び前記初期の復元画像を生成する過程において、前記第１画像に基づく画像及び前記第２画像に基づく画像の少なくとも一方に対して、ノイズ除去処理、前記第１画像と前記第２画像との間の輝度レベル比に応じた輝度正規化処理、エッジ抽出処理、及び、前記第１画像と前記第２画像との間の画像サイズ比に応じた画像サイズ正規化処理、の内の１以上の処理を実行する。
【００２５】
また例えば、当該ぶれ検出装置は、前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を第３画像として保持する保持手段を更に備え、前記ぶれ情報作成手段は、前記第１画像と、前記第２画像と、前記第３画像と、に基づいて前記ぶれ情報を作成する。
【００２６】
そして例えば、前記ぶれ情報作成手段は、前記第２画像と前記第３画像を加重加算することにより第４画像を生成し、前記第１画像と前記第４画像から前記ぶれ情報を作成するとよい。
【００２７】
加重加算を適切に行えば、正確なぶれ情報の作成に必要な情報（エッジなど）を第４画像に内在させつつ、Ｓ／Ｎ比（信号対雑音比）を向上することも可能となる。
【００２８】
これに代えて例えば、前記ぶれ情報作成手段は、前記第２画像と前記第３画像の内の何れか一方を第４画像として選択する選択手段を備えて、前記第１画像と前記第４画像から前記ぶれ情報を作成し、前記選択手段は、前記第２画像と前記第３画像の各エッジ強度、前記第２画像と前記第３画像の各露光時間、及び、設定された外部情報の内の少なくとも１つに基づいて、前記第２画像と前記第３画像との間の選択を行うようにしてもよい。
【００２９】
また例えば、前記ぶれ情報作成手段は、前記第１画像に基づく画像及び前記第４画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて前記ぶれ情報を算出する。
【００３０】
そして例えば、前記ぶれ情報作成手段は、前記第１画像、第２画像及び第３画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくする。
【００３１】
これにより、必要な演算量が低減され、処理時間の更なる低減化が見込める。
【００３２】
また例えば、以下のようなぶれ補正装置を形成するようにしてもよい。このぶれ補正装置は、前記ぶれ検出装置によって作成された前記ぶれ情報を用いて、前記第１画像の前記ぶれを低減した補正画像を生成する補正画像生成手段を備える。
【００３３】
また、本発明に係る第１の撮像装置は、前記ぶれ検出装置と、前記撮像手段と、を備えたことを特徴とする。
【００３４】
また、本発明に係るぶれ検出方法は、撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて検出するぶれ検出方法において、前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成することを特徴とする。
【００３５】
また、本発明に係るぶれ補正装置は、撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得手段と、前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成手段と、前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理手段と、を備えたことを特徴とする。
【００３６】
短露光画像の露光時間は第１画像のそれよりも短いため、短露光画像に含まれるぶれは第１画像のそれよりも通常少ない。しかしながら、短露光画像への手ぶれの影響が全く無いわけではなく、短露光画像に無視できない程度のぶれが含まれることもある。そこで、短露光画像を複数取得し、その複数の短露光画像からぶれ補正に適切な第２画像を生成するようにする。これにより、ぶれ補正の高精度化が期待される。また、手ぶれ検出センサが不要であるため低コスト化も図られる。
【００３７】
具体的には例えば、前記第２画像生成手段は、各短露光画像のエッジ強度、各短露光画像のコントラスト、及び、前記第１画像に対する各短露光画像の回転角、の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を前記第２画像として選択する。
【００３８】
これにより、ぶれ補正に適した短露光画像、例えばぶれ量の最も少ない短露光画像を用いて第１画像のぶれ補正を行うことができるようになる。これは、ぶれ補正の高精度化に寄与する。
【００３９】
更に例えば、前記第２画像生成手段は、各短露光画像の、前記第１画像との撮影時間差を更に用いて、前記第２画像の選択を行う。
【００４０】
或るいは例えば、前記第２画像生成手段は、前記複数の短露光画像の内の２以上の短露光画像を合成することによって前記第２画像を生成する。
【００４１】
これにより、第２画像のＳ／Ｎ比を各短露光画像のそれよりも高めることが可能となり、結果、ぶれ補正の高精度化が見込める。
【００４２】
或るいは例えば、前記第２画像生成手段は、各短露光画像のエッジ強度、各短露光画像のコントラスト、及び、前記第１画像に対する各短露光画像の回転角、の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を選択する選択処理手段と、前記複数の短露光画像の内の２以上の短露光画像を合成した合成画像を生成する合成処理手段と、前記選択処理手段及び前記合成処理手段の何れか一方のみを機能させることにより、前記１枚の短露光画像又は前記合成画像を前記第２画像として生成する切替制御手段と、を備え、前記切替制御手段は、前記選択処理手段及び前記合成処理手段の何れを機能させるかを、各短露光画像のＳ／Ｎ比に基づいて決定する。
【００４３】
これにより、短露光画像のＳ／Ｎ比に応じて第２画像の生成方法を変更することができる。これは、計算コストの低減に寄与する。
【００４４】
また例えば、前記補正処理手段は、前記第１画像と前記第２画像に基づいて前記第１画像の前記ぶれに応じたぶれ情報を作成し、前記ぶれ情報に基づいて前記第１画像の前記ぶれを補正する。
【００４５】
これに代えて例えば、前記補正処理手段は、前記第１画像の色信号に前記第２画像の輝度信号を合成することによって、前記第１画像の前記ぶれを補正する。
【００４６】
これに代えて例えば、前記補正処理手段は、前記第２画像を用いて前記第１画像を鮮鋭化することにより、前記第１画像の前記ぶれを補正する。
【００４７】
また、本発明に係る第２の撮像装置は、前記ぶれ補正装置と、前記撮像手段と、を備えたことを特徴とする。
【００４８】
また、本発明に係るぶれ補正方法は、撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得ステップと、前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成ステップと、前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理ステップと、を備えたことを特徴とする。
【発明の効果】
【００４９】
本発明によれば、低コスト化及び処理時間の短縮化に寄与するぶれ検出装置及びぶれ検出方法並びに撮像装置を提供することが可能となる。また、低コスト化及びぶれ補正の高精度化に寄与するぶれ補正装置及びぶれ補正方法並びに撮像装置を提供することが可能となる。
【００５０】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００５１】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００５２】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画を撮影及び記録可能なデジタルスチルカメラ、又は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。
【００５３】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、露光制御部１８と、手ぶれ検出／補正部１９と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。
【００５４】
撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、主制御部１３からのＡＦ／ＡＥ制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。
【００５５】
ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００５６】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００５７】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
【００５８】
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画の撮影及び記録を指示するためのボタンである。
【００５９】
露光制御部１８は、撮像部１１の撮像素子の露光量が最適化されるように、撮像素子の各画素の露光時間を制御する。また、主制御部１３から露光制御部１８に対して露光時間制御信号が与えられている場合、露光制御部１８は、その露光時間制御信号に従って露光時間を制御する。
【００６０】
撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画または動画を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００６１】
撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行う。主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成し、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。
【００６２】
撮影モードにおいて、シャッタボタン１７ａが押下された際、主制御部１３は、１枚の撮影画像を表す画像データを記録媒体１６及び内部メモリ１４に格納する（即ち、記憶させる）。この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に、操作部１７等を介して与えられた補正指示に従って或いは自動的に手ぶれ検出／補正部１９によって補正される。このため、以下、シャッタボタン１７ａの押下に伴う上記１枚の撮影画像を、特に「補正対象画像」と呼ぶ。また、補正対象画像に含まれるぶれが手ぶれ検出／補正部１９によって検出されるため、補正対象画像を「検出対象画像」と言い換えることもできる。
【００６３】
手ぶれ検出／補正部１９は、角速度センサ等の手ぶれ検出センサを用いることなく、撮像部１１の出力信号から得られる画像データに基づいて補正対象画像に含まれるぶれを検出し、その検出結果に従って補正対象画像を補正することにより、ぶれを除去或いは低減した補正画像を生成する。
【００６４】
以下、手ぶれ検出／補正部１９の機能を詳細に説明する実施例として、第１〜第５実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。尚、第１〜第４実施例における記述（及び後述の第２実施形態における記述）において、画像などが記憶される「メモリ」とは、内部メモリ１４又は手ぶれ検出／補正部１９（第２実施形態では、手ぶれ検出／補正部２０）内に設けられた図示されないメモリを意味するものとする。
【００６５】
［第１実施例］
まず、第１実施例について説明する。図２及び図３を参照する。図２は、第１実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図３は、この動作の流れの一部を表す概念図である。この動作の流れを、図２のフローチャートに沿って説明する。
【００６６】
撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像をメモリ上に記憶する（ステップＳ１及びＳ２）。第１実施例における該補正対象画像を、以下、補正対象画像Ａ１と呼ぶ。
【００６７】
次に、ステップＳ３において、補正対象画像Ａ１を得る際の露光時間Ｔ１と閾値ＴTHとを比較し、露光時間Ｔ１が閾値ＴTHより小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２の処理を終了する。閾値ＴTHとしては、例えば、手ぶれ限界露光時間を用いる。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、焦点距離ｆDの逆数から算出される。
【００６８】
露光時間Ｔ１が閾値ＴTHより大きい場合、ステップＳ４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第１実施例における該参照画像を、以下、参照画像Ａ２と呼ぶ。補正対象画像Ａ１と参照画像Ａ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ａ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ａ２の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しい。
【００６９】
次に、ステップＳ５において、補正対象画像Ａ１の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ａ１ａとしてメモリ上に記憶する。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。このように、特徴的な小領域は、その小領域内の画像のエッジ成分の大きさ（またはコントラスト量）に基づいて選定される。
【００７０】
次に、ステップＳ６において、補正対象画像Ａ１から抽出された小領域と同一座標の小領域を参照画像Ａ２から抽出し、参照画像Ａ２から抽出された小領域内の画像を小画像Ａ２ａとしてメモリ上に記憶する。補正対象画像Ａ１から抽出される小領域の中心座標（補正対象画像Ａ１における中心座標）と参照画像Ａ２から抽出される小領域の中心座標（参照画像Ａ２における中心座標）は等しく、また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しいため、両小領域の画像サイズも等しくされる。
【００７１】
参照画像Ａ２の露光時間は比較的短いので、小画像Ａ２ａの信号対雑音比（以下、Ｓ／Ｎ比という）は比較的低い。そこで、ステップＳ７にて、小画像Ａ２ａに対してノイズ除去処理を行う。ノイズ除去後の小画像Ａ２ａを、小画像Ａ２ｂとする。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて小画像Ａ２ａをフィルタリングすることにより行われる。
【００７２】
小画像Ａ２ｂは低輝度であるため、ステップＳ８において、小画像Ａ２ｂの輝度レベルを増加させる。即ち例えば、小画像Ａ２ｂの輝度レベルが小画像Ａ１ａの輝度レベルと等しくなるように（小画像Ａ２ｂの平均輝度と小画像Ａ１ａの平均輝度が等しくなるように）、小画像Ａ２ｂの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。このようにして輝度レベルを増加させた後の小画像Ａ２ｂを、小画像Ａ２ｃとする。
【００７３】
上述のようにして得られた小画像Ａ１ａを劣化画像として且つ小画像Ａ２ｃを初期復元画像として取り扱った上で（ステップＳ９）、ステップＳ１０にて、フーリエ反復法を実施し、画像劣化関数を求める。
【００７４】
フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。
【００７５】
画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）を求める。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。手ぶれは画像全体に対して一様な劣化を与えるため、小領域Ａ１ａに対して求めたＰＳＦは、補正対象画像Ａ１の全体に対するＰＳＦとして利用することができる。
【００７６】
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図４及び図５を参照して詳細に説明する。図４は、図２のステップＳ１０の処理の詳細フローチャートである。図５は、フーリエ反復法を実施する部位のブロック図である。
【００７７】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として上記の初期復元画像（本実施例において小画像Ａ２ｃ）を用いるようにする。次に、ステップＳ１０２において、劣化画像（本実施例において小画像Ａ１ａ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【００７８】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【００７９】
【数１】
0004454657.tif 000002
【００８０】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（２ａ）の拘束条件で修正した後、更に式（２ｂ）の拘束条件にて修正する。
【００８１】
【数２】
0004454657.tif 000003
【００８２】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（２ｂ）の拘束条件による修正である。
【００８３】
式（２ａ）及び（２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【００８４】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【００８５】
【数３】
0004454657.tif 000004
【００８６】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【００８７】
【数４】
0004454657.tif 000005
【００８８】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（４）の拘束条件による修正である。
【００８９】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【００９０】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【００９１】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図２のステップＳ１０で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図５参照）は、順次、最新のものに更新されていく。
【００９２】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（２ａ）及び（２ｂ）を用いたステップＳ１１３における修正量、或いは、式（４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【００９３】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像の補正は行われない。
【００９４】
図２の各ステップの説明に戻る。ステップＳ１０にて、ＰＳＦが算出された後、ステップＳ１１に移行する。ステップＳ１１では、ステップＳ１０で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（３）の右辺の一部に相当する下記式（５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ１０におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【００９５】
【数５】
0004454657.tif 000006
【００９６】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ａ１をフィルタリングすることにより、補正対象画像Ａ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【００９７】
［第２実施例］
次に、第２実施例について説明する。
【００９８】
上述したように、撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行い、主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成して、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。
【００９９】
スルー表示用画像は、動画用の画像であり、その画像サイズは、静止画としての補正対象画像のそれよりも小さい。補正対象画像は、撮像部１１の撮像素子の有効撮像領域内における全画素の画素信号から生成される一方、スルー表示用画像は、該有効撮像領域の各画素の画素信号を間引きつつ生成される。撮影画像を、有効撮像領域内における全画素の画素信号から生成される画像と考えた場合、補正対象画像は、シャッタボタン１７ａの押下に従って通常露光撮影及び記録される撮影画像そのものであり、スルー表示用画像は、各フレームの撮影画像の間引き画像に相当する。
【０１００】
第２実施例では、補正対象画像が撮影されるフレームの直前或いは直後のフレームの撮影画像に基づくスルー表示用画像を参照画像として利用する。以下、補正対象画像が撮影されるフレームの直前のフレームのスルー表示用画像を利用する場合を例示する。
【０１０１】
図６及び図７を参照する。図６は、第２実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図７は、この動作の流れの一部を表す概念図である。この動作の流れを、図６のフローチャートに沿って説明する。
【０１０２】
撮影モードにおいて、上述の如く、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ２０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像を記憶する（ステップＳ２１及びＳ２２）。第２実施例における該補正対象画像を、以下、補正対象画像Ｂ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｂ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｂ３と呼ぶ。
【０１０３】
次に、ステップＳ２３において、補正対象画像Ｂ１を得る際の露光時間Ｔ１と閾値ＴTHとを比較する。露光時間Ｔ１が上記閾値ＴTH（例えば、焦点距離ｆDの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図６の処理を終了する。
【０１０４】
露光時間Ｔ１が閾値ＴTHより大きい場合、ステップＳ２４に移行して、露光時間Ｔ１と参照画像Ｂ３を得る際の露光時間Ｔ３とを比較する。Ｔ１≦Ｔ３の場合、参照画像Ｂ３の方が手ぶれが大きいとみなし、手ぶれ補正を行わずに図６の処理を終了する。Ｔ１＞Ｔ３の場合、ステップＳ２５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｂ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｂ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１実施例で述べたものと同様である。
【０１０５】
次に、ステップＳ２６において、小画像Ｂ３ａの座標に対応して、補正対象画像Ｂ１の中から小領域を抽出する。そして、補正対象画像Ｂ１から抽出したその小領域内の画像を補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて縮小した画像を、小画像Ｂ１ａとしてメモリ上に記憶する。つまり、小画像Ｂ１ａを生成する際、小画像Ｂ１ａとＢ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。
【０１０６】
仮に補正対象画像Ｂ１と参照画像Ｂ３の画像サイズが等しくなるように参照画像Ｂ３を拡大したならば、補正対象画像Ｂ１から抽出される小領域の中心座標（補正対象画像Ｂ１における中心座標）と参照画像Ｂ３から抽出される小領域の中心座標（参照画像Ｂ３における中心座標）は一致する。但し、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズは実際には異なるため、両小領域の画像サイズは、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて異なる。従って、補正対象画像Ｂ１から抽出される小領域の画像サイズに対する参照画像Ｂ３から抽出される小領域の画像サイズの比を、補正対象画像Ｂ１の画像サイズに対する参照画像Ｂ３の画像サイズの比と一致させる。そして、最終的に小画像Ｂ１ａとＢ３ａの画像サイズが等しくなうように、補正対象画像Ｂ１から抽出される小領域内の画像を縮小することにより小画像Ｂ１ａを得る。
【０１０７】
次に、ステップＳ２７において、小画像Ｂ１ａ及びＢ３ａに対してエッジ抽出処理を施し、小画像Ｂ１ｂ及びＢ３ｂを得る。例えば、小画像Ｂ１ａの各画素に対して任意のエッジ検出オペレータを適用することにより小画像Ｂ１ａのエッジ抽出画像を生成し、このエッジ抽出画像を小画像Ｂ１ｂとする。小画像Ｂ３ｂについても同様である。
【０１０８】
この後、ステップＳ２８において、小画像Ｂ１ｂとＢ３ｂに対して輝度正規化処理を行う。つまり、小画像Ｂ１ｂとＢ３ｂの輝度レベルが等しくなるように（小画像Ｂ１ｂの平均輝度と小画像Ｂ３ｂの平均輝度が等しくなるように）、小画像Ｂ１ｂ及び／又はＢ３ｂの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｂ１ｂ及びＢ３ｂを、小画像Ｂ１ｃ及びＢ３ｃとする。
【０１０９】
参照画像Ｂ３としてのスルー表示用画像は動画用の画像であるため、例えば、それが動画に適した色合いを持つように動画用の画像処理を介して得られる。一方、補正対象画像Ｂ１は、シャッタボタン１７ａの押下に伴って撮影された静止画であるため、それは静止画用の画像処理を介して得られる。両画像処理間の相違に起因して、被写体が同一であっても小画像Ｂ１ａとＢ３ａ間で色合いなどが異なる。この相違は、エッジ抽出処理によって除去されるため、ステップＳ２７にてエッジ抽出処理を行う。更に、補正対象画像Ｂ１と参照画像Ｂ３の輝度差はエッジ抽出処理によって概ね除去されるため、エッジ抽出処理によっても輝度差の影響が抑制される（即ち、ぶれ検出精度が向上する）が、完全に除去されるわけではないため、その後、ステップＳ２８にて輝度正規化処理を行うようにしている。
【０１１０】
上述のようにして得られた小画像Ｂ１ｃを劣化画像として且つ小画像Ｂ３ｃを初期復元画像として取り扱った上で（ステップＳ２９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。
【０１１１】
ステップＳ１０〜Ｓ１３の各処理内容は、第１実施例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。
【０１１２】
例えば、スルー表示用画像と補正対象画像との画像サイズ比が３：５であって且つステップＳ１０及びＳ１１を介して得られる画像復元フィルタのサイズが３×３である場合において、図８の符号１０１に示されるような各フィルタ係数が算出されたとき、縦横拡大処理によって図８の符号１０２に示されるような５×５サイズの画像復元フィルタの各フィルタ係数を生成する。そして、最終的に、５×５サイズの画像復元フィルタの各フィルタ係数を、ステップＳ１１にて得られる各フィルタ係数とする。尚、図８の符号１０２に対応する例では、縦横拡大処理によって補間されたフィルタ係数を０としているが、線形補間などによって、補間されるべきフィルタ係数を算出するようにしても良い。
【０１１３】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｂ１をフィルタリングすることにより、補正対象画像Ｂ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【０１１４】
［第３実施例］
次に、第３実施例について説明する。図９及び図１０を参照する。図９は、第３実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図１０は、この動作の流れの一部を表す概念図である。この動作の流れを、図９のフローチャートに沿って説明する。
【０１１５】
撮影モードにおいて、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ３０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像を記憶する（ステップＳ３１及びＳ３２）。第３実施例における該補正対象画像を、以下、補正対象画像Ｃ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｃ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｃ３と呼ぶ。
【０１１６】
次に、ステップＳ３３において、補正対象画像Ｃ１を得る際の露光時間Ｔ１と閾値ＴTHとを比較する。露光時間Ｔ１が上記閾値ＴTH（例えば、焦点距離ｆDの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図９の処理を終了する。
【０１１７】
露光時間Ｔ１が閾値ＴTHより大きい場合、露光時間Ｔ１と参照画像Ｃ３を得る際の露光時間Ｔ３とを比較し、Ｔ１≦Ｔ３の場合、参照画像Ｃ３の方が手ぶれが大きいとみなして、以下、第１実施例と同様の手ぶれ検出及び手ぶれ補正を実行する（即ち、図２のステップＳ４〜Ｓ１３と同様の処理を行うようにする）。一方、Ｔ１＞Ｔ３の場合、ステップＳ３４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像Ｃ２としてメモリ上に記憶する。図９において、Ｔ１とＴ３の比較に関する処理内容の記載を省略しており、以下、Ｔ１＞Ｔ３である場合について説明する。
【０１１８】
補正対象画像Ｃ１と参照画像Ｃ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ｃ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ｃ２の露光時間は、Ｔ３／４とされる。また、補正対象画像Ｃ１と参照画像Ｃ２の画像サイズは等しい。
【０１１９】
ステップＳ３４の後、ステップＳ３５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｃ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｃ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１実施例で述べたものと同様である。
【０１２０】
次に、ステップＳ３６において、小画像Ｃ３ａの座標に対応して、補正対象画像Ｃ１の中から小領域を抽出する。そして、補正対象画像Ｃ１から抽出した小領域内の画像を補正対象画像Ｃ１と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ１ａとしてメモリ上に記憶する。つまり、小画像Ｃ１ａを生成する際、小画像Ｃ１ａとＣ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。同様に、小画像Ｃ３ａの座標に対応して、参照画像Ｃ２の中から小領域を抽出する。そして、参照画像Ｃ２から抽出した小領域内の画像を参照画像Ｃ２と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ２ａとしてメモリ上に記憶する。補正対象画像Ｃ１（または参照画像Ｃ２）から小画像Ｃ１ａ（または小画像Ｃ２ａ）を得る手法は、第２実施例にて説明した補正対象画像Ｂ１から小画像Ｂ１ａを得る手法（図６のステップＳ２６）と同様である。
【０１２１】
次に、ステップＳ３７において、小画像Ｃ３ａを基準として、小画像Ｃ２ａに対して輝度正規化処理を行う。つまり、小画像Ｃ３ａとＣ２ａの輝度レベルが等しくなるように（小画像Ｃ３ａの平均輝度と小画像Ｃ２ａの平均輝度が等しくなるように）、小画像Ｃ２ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ２ａを、小画像Ｃ２ｂとする。
【０１２２】
ステップＳ３７の処理の後、ステップＳ３８に移行する。ステップＳ３８では、まず、小画像Ｃ３ａと小画像Ｃ２ｂとの差分画像を生成する。小画像Ｃ３ａとＣ２ｂとの間において差異がある部分についてのみ、差分画像の画素値は０以外の値をとる。そして、差分画像の各画素の画素値を重み付け係数と捉えて、小画像Ｃ３ａとＣ２ｂを加重加算することにより、小画像Ｃ４ａを生成する。
【０１２３】
差分画像の各画素の画素値をＩD（ｐ，ｑ）で表し、小画像Ｃ３ａの各画素の画素値をＩ3（ｐ，ｑ）で表し、小画像Ｃ２ｂの各画素の画素値をＩ2（ｐ，ｑ）で表し、小画像Ｃ４ａの各画素の画素値をＩ4（ｐ，ｑ）で表すとすると、Ｉ4（ｐ，ｑ）は、下記式（６）によって表される。ここで、ｋは、定数であり、ｐ及びｑは、差分画像又は各小画像における、水平座標及び垂直座標を表す。
【０１２４】
【数６】
0004454657.tif 000007
【０１２５】
後述の説明からも明らかとなるが、小画像Ｃ４ａは、補正対象画像Ｃ１のぶれに対応するＰＳＦを算出するための画像として利用される。良好なＰＳＦを得るためには、小画像Ｃ４ａの中に、エッジ部分を適切に保存しておく必要がある。また、当然、小画像Ｃ４ａのＳ／Ｎ比が高ければ高いほど良好なＰＳＦを得ることができる。一般的に複数の画像を加算すればＳ／Ｎ比が向上するため、小画像Ｃ３ａとＣ２ｂを加算することによって小画像Ｃ４ａを生成する訳であるが、この加算によってエッジ部分がぼけてしまうと良好なＰＳＦが得られない。
【０１２６】
そこで、上述の如く、差分画像の画素値に応じた加重加算によって小画像Ｃ４ａを生成するようにする。この加重加算の意義を、図１１を参照して補足説明する。小画像Ｃ３ａの露光時間は小画像Ｃ２ｂの露光時間よりも長いため、図１１（ａ）に示す如く、同一のエッジ体を撮影した時における前者のぶれは後者のぶれよりも通常大きくなる。従って、両小画像を単純加算すると、図１１（ａ）に示す如くエッジ部がぼやけてしまうが、図１１（ｂ）に示す如く、両小画像間の差分画像の画素値に応じて両小画像を加重加算すれば、エッジ部は比較的良好に保存される。小画像Ｃ３ａのぶれが大きいことに起因して生じた相違部分１１０（エッジ部の劣化が異なる部分）では、ＩD（ｐ，ｑ）が大きくなって小画像Ｃ２ｂの重みが大きくなり、小画像Ｃ４ａに小画像３ａの大きなエッジ部劣化が反映されにくくなるからである。逆に、非相違部分１１１では、露光時間が比較的長い小画像３ａの重みが大きくなるようにしているため、Ｓ／Ｎ比の向上効果（ノイズ低減効果）も得られる。
【０１２７】
次に、ステップＳ３９において、小画像Ｃ１ａを基準として、小画像Ｃ４ａに対して輝度正規化処理を行う。つまり、小画像Ｃ１ａとＣ４ａの輝度レベルが等しくなるように（小画像Ｃ１ａの平均輝度と小画像Ｃ４ａの平均輝度が等しくなるように）、小画像Ｃ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ４ａを、小画像Ｃ４ｂとする。
【０１２８】
上述のようにして得られた小画像Ｃ１ａを劣化画像として且つ小画像Ｃ４ｂを初期復元画像として取り扱った上で（ステップＳ４０）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。
【０１２９】
ステップＳ１０〜Ｓ１３の各処理内容は、第１実施例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２実施例で説明したものと同様である。
【０１３０】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｃ１をフィルタリングすることにより、補正対象画像Ｃ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【０１３１】
［第４実施例］
次に、第４実施例について説明する。図１２及び図１３を参照する。図１２は、第４実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図１３は、この動作の流れの一部を表す概念図である。この動作の流れを、図１２のフローチャートに沿って説明する。
【０１３２】
第４実施例では、まず、ステップＳ５０〜Ｓ５６の各処理が実施される。ステップＳ５０〜Ｓ５６の各処理内容は、第３実施例におけるステップＳ３０〜Ｓ３６（図９参照）のそれらと同様であるため重複する説明を割愛する。但し、第３実施例における補正画像対象Ｃ１並びに参照画像Ｃ２及びＣ３は、第４実施例において、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に読み替えられる。また例えば、参照画像Ｄ２の露光時間は、Ｔ１／４とされる。
【０１３３】
ステップＳ５０〜Ｓ５６を経て、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に基づく小画像Ｄ１ａ、Ｄ２ａ及びＤ３ａが得られ、その後、ステップＳ５７に移行する。
【０１３４】
ステップＳ５７では、小画像Ｄ２ａ及びＤ３ａの内、何れか一方の小画像を小画像Ｄ４ａとして選択する。選択は、様々な指標に基づいて行うことができる。
【０１３５】
例えば、小画像Ｄ２ａのエッジ強度と小画像Ｄ３ａのエッジ強度を比較し、エッジ強度がより大きい小画像を小画像Ｄ４ａとして選択する。小画像Ｄ４ａは、フーリエ反復法の初期復元画像の基とされるが、エッジ強度が大きい画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。例えば、小画像Ｄ２ａの各画素に対して所定のエッジ検出オペレータを適用することにより小画像Ｄ２ａのエッジ抽出画像を生成し、このエッジ抽出画像の画素値の総和を小画像Ｄ２ａのエッジ強度とする。同様にして、小画像Ｄ３ａのエッジ強度も算出される。
【０１３６】
また例えば、参照画像Ｄ２の露光時間と参照画像Ｄ３の露光時間を比較し、より短い露光時間に対応する小画像を小画像Ｄ４ａとして選択するようにしてもよい。露光時間が短い画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。また例えば、図１の操作部１７等を介して予め設定された選択情報（外部情報）に基づいて、小画像Ｄ２ａ及びＤ３ａから小画像Ｄ４ａを選択するようにしてもよい。また、上記のエッジ強度、露光時間及び選択情報を組み合せた指標値に基づいて、この選択を行うことも可能である。
【０１３７】
次に、ステップＳ５８において、小画像Ｄ１ａを基準として、小画像Ｄ４ａに対して輝度正規化処理を行う。つまり、小画像Ｄ１ａとＤ４ａの輝度レベルが等しくなるように（小画像Ｄ１ａの平均輝度と小画像Ｄ４ａの平均輝度が等しくなるように）、小画像Ｄ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｄ４ａを、小画像Ｄ４ｂとする。
【０１３８】
上述のようにして得られた小画像Ｄ１ａを劣化画像として且つ小画像Ｄ４ｂを初期復元画像として取り扱った上で（ステップＳ５９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。
【０１３９】
ステップＳ１０〜Ｓ１３の各処理内容は、第１実施例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２実施例で説明したものと同様である。
【０１４０】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｄ１をフィルタリングすることにより、補正対象画像Ｄ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【０１４１】
［第５実施例］
次に、第５実施例について説明する。第５実施例では、第１〜第４実施例で述べた手ぶれ検出及び手ぶれ補正を実現する構成について説明する。図１４は、この構成を表すブロック図である。本実施例において述べられる補正対象画像は、第１〜第４実施例における補正対象画像（Ａ１、Ｂ１、Ｃ１又はＤ２）であり、本実施例において述べられる参照画像は、第１〜第４実施例における参照画像（Ａ２、Ｂ３、Ｃ２及びＣ３、又は、Ｄ２及びＤ３）である。
【０１４２】
図１４におけるメモリ３１は、図１の内部メモリ１４にて実現される、或いは、手ぶれ検出／補正部１９内に設けられる。図１４における、劣化画像／初期復元画像設定部３２、フーリエ反復処理部３３、フィルタリング部３４及びリンギング除去部３５は、図１の手ぶれ検出／補正部１９に設けられる。
【０１４３】
メモリ３１は、補正対象画像及び参照画像を記憶する。劣化画像／初期復元画像設定部３２は、メモリ３１の記録内容に基づき、第１〜第４実施例に述べた手法にて劣化画像及び初期復元画像を設定し、これらをフーリエ反復処理部３３に与える。例えば第１実施例を適用する場合、図２のステップＳ１〜Ｓ８の各処理を介して得られた小画像Ａ１ａ及びＡ２ｃをそれぞれ劣化画像及び初期復元画像としてフーリエ反復処理部３３に与える。
【０１４４】
尚、劣化画像／初期復元画像設定部３２に設けられた小画像抽出部３６は、劣化画像及び初期設定画像の基となる各小画像（図３のＡ１ａ、Ａ２ａ、図１０のＣ１ａ、Ｃ２ａ、Ｃ３ａなど）を補正対象画像及び参照画像から抽出する。
【０１４５】
フーリエ反復処理部３３は、与えられた劣化画像及び初期復元画像に基づいて、図４等を参照して説明したフーリエ反復法を実施する。画像復元フィルタ自体はフィルタリング部３４に実装されており、フーリエ反復処理部３３は、図２等のステップＳ１０及びＳ１１の各処理を実行することにより、その画像復元フィルタの各フィルタ係数を算出する。
【０１４６】
フィルタリング部３４は、算出された各フィルタ係数を有する画像復元フィルタを補正対象画像の各画素に適用して補正対象画像をフィルタリングすることにより、フィルタリング画像を生成する。画像復元フィルタのサイズは補正対象画像の画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像の全体に対して適用することによって、補正対象画像の全体のぶれが除去される。
【０１４７】
リンギング除去部３５は、生成されたフィルタリング画像と補正対象画像とを加重平均することにより、最終的な補正画像を生成する。例えば、加重平均は、画素ごとに行われ、画素ごとの加重平均の比率は、補正対象画像の各画素のエッジ強度に応じて定められる。
【０１４８】
生成された最終的な補正画像は、補正対象画像に含まれるぶれが除去或いは低減され且つフィルタリングに伴うリンギングが除去或いは低減された画像となる。但し、フィルタリング部３４にて生成されるフィルタリング画像もぶれが除去或いは低減された画像であるため、フィルタリング画像も補正画像の１つである、と解釈することが可能である。
【０１４９】
尚、上記リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。
【０１５０】
通常露光撮影よりも短い露光時間の撮影によって参照画像は、低輝度であるものの含まれる手ぶれ量が少ないため、それのエッジ成分は、手ぶれのない画像のエッジ成分に近い。従って、上述の如く、この参照画像から得られる画像をフーリエ反復法における初期復元画像（復元画像の初期値）とする。
【０１５１】
フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０１５２】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０１５３】
この際、各実施例で述べたように、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、手ぶれ情報をより正確に検出することができるようになる。
【０１５４】
また、第２実施例では参照画像取得用の専用の撮影を必要とせず、第１、第３及び第４実施例でも参照画像取得用の専用の撮影（短時間露光撮影）は１回分であるため、撮影時の負荷増大は殆どない。また、言うまでもないが、角速度センサ等を用いることなく手ぶれ検出及び手ぶれ補正を行うため、撮像装置１の低コスト化が図られる。
【０１５５】
尚、ＰＳＦを求めるための処理例として、フーリエ反復法に基づく図４の処理を上述したが、これに対する補足説明及び変形例を付言する（図５も参照）。図４の処理では、空間領域上における劣化画像ｇ及び復元画像ｆ’がフーリエ変換によって周波数領域上に変換されることで、周波数領域上の劣化画像ｇを表す関数Ｇ及び周波数領域上の復元画像ｆ’を表す関数Ｆ’が求められる（尚、周波数領域とは、勿論、二次元の周波数領域である）。求められた関数Ｇ及びＦ’から周波数領域上のＰＳＦを表す関数Ｈが求められ、この関数Ｈは逆フーリエ変換によって空間領域上の関数、即ち、ＰＳＦ ｈに変換される。このＰＳＦ ｈは、所定の拘束条件を用いて修正され、修正後のＰＳＦ ｈ'が求められる。このＰＳＦを修正する処理を、以下「第１の修正処理」と呼ぶ。
【０１５６】
ＰＳＦ ｈ'はフーリエ変換によって再度、周波数領域上に変換されて関数Ｈ’が求められ、関数Ｈ’と関数Ｇから周波数領域上の復元画像を表す関数Ｆが求められる。この関数Ｆを逆フーリエ変換することによって空間領域上の復元画像ｆが得られ、この復元画像ｆが所定の拘束条件を用いて修正されて、修正後の復元画像ｆ’が求められる。この復元画像を修正する処理を、以下「第２の修正処理」と呼ぶ。
【０１５７】
上述の例では、この後、図４のステップＳ１１８にて収束条件が満たされるまで、修正後の復元画像ｆ’を用いて上述の処理が反復されると述べた。また、反復処理が収束に向かえば修正量が小さくなるという特性を考慮し、この収束条件の成立／不成立を、第１の修正処理に対応するステップＳ１１３での修正量、又は、第２の修正処理に対応するステップＳ１１７での修正量に基づいて判断しても良いとも述べた。この判断を修正量に基づいて行う場合、基準修正量を予め設定しておき、ステップＳ１１３での修正量又はステップＳ１１７での修正量と基準修正量とを比較して、前者が後者よりも小さい場合に収束条件が成立すると判断することになるが、基準修正量を十分に大きく設定しておけば、ステップＳ１１０〜Ｓ１１７の処理は反復実行されない。つまり、この場合、第１の修正処理を１回だけ行って得たＰＳＦ ｈ'が、図２等のステップＳ１０で導出されるべき最終的なＰＳＦとなる。このように、図４の処理を用いたとしても、第１及び第２の修正処理が繰り返し実行されるとは限らない。
【０１５８】
第１及び第２の修正処理の繰り返し実行回数の増大は、最終的に求まるＰＳＦの精度向上に寄与するが、本実施形態では初期復元画像自体が既に手ぶれのない画像に近いため、第１の修正処理を１回だけ行って得たＰＳＦ ｈ’の精度も、実用上、問題ない程度に高い。これを考慮すれば、ステップＳ１１８の判定処理自体を省略することも可能である。この場合、１回だけステップＳ１１３の処理を実行することで求まるＰＳＦ ｈ’が図２等のステップＳ１０で導出されるべき最終的なＰＳＦとなり、１回だけステップＳ１１４の処理を実行することで求まる関数Ｈ’から、図２等のステップＳ１１で導出されるべき画像復元フィルタの各フィルタ係数が求まる。故に、ステップＳ１１８の処理を省略する場合は、ステップＳ１１５〜Ｓ１１７の処理も割愛される。
【０１５９】
第１実施形態に対する変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合せることが可能である。
【０１６０】
［注釈１］
第１、第３又は第４実施例において（図３、図１０又は図１３参照）、参照画像Ａ２、Ｃ２又はＤ２は補正対象画像を得るための通常露光撮影の直後の短時間露光撮影によって得られると説明したが、それらを、その通常露光撮影の直前の短時間露光撮影によって得るようにしても構わない。この場合、第３又は第４実施例における参照画像Ｃ３又はＤ３を、補正対象画像を撮影するフレームの直後のフレームにおけるスルー表示用画像とすればよい。
【０１６１】
［注釈２］
各実施例では、各小画像からフーリエ反復法に対する劣化画像及び初期復元画像を生成する過程において、各小画像に対して、ノイズ除去処理、輝度正規化処理、エッジ抽出処理及び画像サイズ正規化処理（図３、図７、図１０及び図１３参照）の内の何れか１以上の処理を適用している。各実施例で述べたこれらの処理の適用方法は、あくまで例であり、様々に変更可能である。極端には、各実施例における劣化画像及び初期復元画像の生成過程において、各小領域に対して上記の４つの処理の全てを施すことも可能である（但し、第１実施例においては、画像サイズ正規化処理は無意味である）。
【０１６２】
［注釈３］
補正対象画像または参照画像からエッジ成分を比較的多く含む特徴的な小領域を抽出する手法として、様々な手法が採用可能である。例えば、オートフォーカス制御において算出されるＡＦ評価値を流用して、この抽出を行ってもよい。このオートフォーカス制御は、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いる。
【０１６３】
撮像装置１にはＡＦ評価部（不図示）が設けられており、ＡＦ評価部は、各撮影画像（又は各スルー表示用画像）を複数の分割領域に分割して、分割領域内の画像のコントラスト量に応じたＡＦ評価値を分割領域ごとに算出する。図１の主制御部１３は、上記複数の分割領域の内の何れかの分割領域についてのＡＦ評価値を参照して、このＡＦ評価値が最大値（或いは極大値）をとるように山登り制御によって撮像部１１のフォーカスレンズの位置を制御することにより、被写体の光学像を撮像素子の撮像面上に結像させる。
【０１６４】
このようなオートフォーカス制御が実行される場合において、補正対象画像または参照画像から特徴的な小領域を抽出する際、その抽出元画像の各分割領域についてのＡＦ評価値を参照するようにする。例えば、抽出元画像の各分割領域についてのＡＦ評価値の内、最大のＡＦ評価値を特定し、その最大のＡＦ評価値に対応する分割領域（又は該分割領域を基準とした領域）を特徴的な小領域として抽出するようにする。ＡＦ評価値は、分割領域内の画像のコントラスト量（或いはエッジ成分）の増大に伴って増大するため、これによっても、エッジ成分を比較的多く含む小領域を特徴的な小領域として抽出することが可能である。
【０１６５】
［注釈４］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【０１６６】
［注釈５］
また、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１４に示される各部位（但し、メモリ３１を除く）の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、それらの各機能を撮像装置１の外部装置（コンピュータ等）にて実現することも可能である。
【０１６７】
ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。図１４の各部位（但し、メモリ３１を除く）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１６８】
［注釈６］
図１４において、劣化画像／初期復元画像設定部３２とフーリエ反復処理部３３はぶれ検出装置を形成し、ぶれ補正装置は、フィルタリング部３４及びリンギング除去部３５を含んで構成される。但し、このぶれ補正装置から、リンギング除去部３５を省略することも可能である。また、このぶれ補正装置内に、上記ぶれ検出装置が含まれていると考えることもできる。また、上記ぶれ検出装置はメモリ３１（保持手段）を含みうる。尚、図１においては、手ぶれ検出／補正部１９が、ぶれ検出装置として機能すると共にぶれ補正装置としても機能する。
【０１６９】
フーリエ反復処理部３３、又は、劣化画像／初期復元画像設定部３２とフーリエ反復処理部３３は、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成する手段として機能する。
【０１７０】
＜＜第２実施形態＞＞
次に、本発明の第２実施形態について説明する。第２実施形態は、第１実施形態の変形例に相当し、第１実施形態の記載事項は、矛盾なき限り、第２実施形態にも適用される。図１７は、第２実施形態に係る撮像装置１ａの全体ブロック図である。撮像装置１ａは、符号１１〜１８及び２０にて参照される各部位によって形成される。即ち、図１の撮像装置１における手ぶれ検出／補正部１９を手ぶれ検出／補正部２０に置き換えることで撮像装置１ａは形成され、その他の点において両撮像装置は同様であるので、同様の部分の重複する説明を割愛する。
【０１７１】
撮像装置１ａでは、撮影モードにおいてシャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像Ｅ１としてメモリ上に記憶する。補正対象画像Ｅ１を得る際の露光時間（露光時間の長さ）をＴ１にて表す。また、補正対象画像Ｅ１を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像Ｅ２としてメモリ上に記憶する。補正対象画像Ｅ１と参照画像Ｅ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ｅ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、露光制御部１８を介して撮像部１１を制御する。例えば、参照画像Ｅ２の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ｅ１と参照画像Ｅ２の画像サイズは等しいものとする。
【０１７２】
尚、露光時間Ｔ１と第１実施形態で述べた閾値ＴTH（手ぶれ限界露光時間）を比較し、前者が後者より小さい場合、補正対象画像Ｅ１に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行わないようにしてもよい。また、その場合は、参照画像Ｅ２を得るための短時間露光撮影を不実行とするとよい。
【０１７３】
補正対象画像Ｅ１と参照画像Ｅ２が得られた後、参照画像Ｅ２から特徴的な小領域を抽出する一方で、参照画像Ｅ２から抽出された小領域に対応する小領域を補正対象画像Ｅ１から抽出する。抽出される小領域を、例えば、１２８×１２８画素の小領域とする。特徴的な小領域の意義及び抽出手法は第１実施形態で述べた通りである。本実施形態では、参照画像Ｅ２から複数の特徴的な小領域を抽出するものとする。このため、補正対象画像Ｅ１からもそれと同数の小領域が抽出される。今、図１８に示す如く、参照画像Ｅ２から８つの小領域が抽出されたものとし、その８つの小領域内の画像（斜線領域内画像）を小画像ＧＲ1〜ＧＲ8と呼ぶ。一方で、小画像ＧＲ1〜ＧＲ8に対応して補正対象画像Ｅ１から抽出された８つの小領域内の画像（斜線領域内画像）を小画像ＧＬ1〜ＧＬ8と呼ぶ。
【０１７４】
ｉを１以上８以下の整数であるとした場合、小画像ＧＲiと小画像ＧＬiの画像サイズは等しい。補正対象画像Ｅ１と参照画像Ｅ２との間の位置ずれを無視できる場合は、参照画像Ｅ２から抽出される小画像ＧＲiの中心座標（参照画像Ｅ２内における中心座標）と、その小画像ＧＲiに対応して補正対象画像Ｅ１から抽出される小画像ＧＬiの中心座標（補正対象画像Ｅ１内における中心座標）とが等しくなるように小領域の抽出を行う。その位置ずれを無視できない場合は、テンプレートマッチング法などを利用して対応小領域の探索を行うようにしても良い（尚、これは、第１実施形態にも当てはまる）。即ち例えば、小画像ＧＲiをテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を補正対象画像Ｅ１内から探索し、探索された小領域内の画像を小画像ＧＬiとする。
【０１７５】
図１９に、小画像ＧＬ1及びＧＲ1の拡大図を示す。図１９では、輝度の高い部分を白く、輝度の低い部分を黒く表している。また、水平方向及び垂直方向に輝度変化が急峻なエッジが小画像ＧＬ1内及び小画像ＧＲ1内に存在していた場合を想定する。更に、小画像ＧＬ1を含む補正対象画像Ｅ１の露光期間内に水平方向の手ぶれが撮像装置１ａに作用していた場合を想定する。このため、短時間露光撮影に基づく小画像ＧＲ1内ではエッジがぼけていないが、通常露光撮影に基づく小画像ＧＬ1内ではエッジが水平方向にぼけている。
【０１７６】
このような小画像ＧＲ1に対して、任意のエッジ検出オペレータを用いたエッジ抽出処理を施すことにより、図２０に示すようなエッジ抽出画像ＥＲ1を生成する。図２０のエッジ抽出画像ＥＲ1において、エッジ強度の強い部分を白く、エッジ強度の弱い部分を黒く表している。小画像ＧＲ1内の直線状のエッジに沿った部分がエッジ強度の強い部分として、エッジ抽出画像ＥＲ1内に現れる。このエッジ抽出画像ＥＲ1に公知のハフ変換を適用することによりエッジに沿った直線を抽出する。抽出された直線を小画像ＧＲ1に重畳したものを、図２０の右方に示す。今の例では、小画像ＧＲ1に対して、垂直方向に沿って伸びる直線ＨＲ11と水平方向に沿って伸びる直線ＨＲ12が抽出される。
【０１７７】
この後、直線ＨＲ11及びＨＲ12に対応する直線ＨＬ11及びＨＬ12を小画像ＧＬ1から抽出する。図２１に、抽出された直線ＨＬ11及びＨＬ12を小画像ＧＬ1に重畳して示す。図２１には、直線ＨＲ11及びＨＲ12を重畳した小画像ＧＲ1も示されている。対応する直線の方向は互いに等しい。即ち、直線ＨＬ11と直線ＨＲ11の伸びる方向は等しく、直線ＨＬ12と直線ＨＲ12の伸びる方向は等しい。
【０１７８】
各直線を抽出した後、各直線の直交方向における、小画像内の輝度値の分布を求める。この分布は、抽出された各小画像に対して求められる。小画像ＧＬ1及びＧＲ1に関しては、直線ＨＬ11と直線ＨＲ11は画像の垂直方向に平行であり、且つ、直線ＨＬ12と直線ＨＲ12は画像の水平方向に平行である。従って、直線ＨＬ11と直線ＨＲ11に着目した場合、画像の水平方向における輝度値の分布が求められ、直線ＨＬ12と直線ＨＲ12に着目した場合、画像の垂直方向における輝度値の分布が求められる。
【０１７９】
輝度値の分布の求め方を図２２及び図２３を参照して、具体的に説明する。図２２において、小画像ＧＬ1内に示された各実線矢印は直線ＨＬ11に直交する方向に輝度値が走査される様子を示している。直線ＨＬ11の直交方向は水平方向であるため、小画像ＧＬ1の左端の或る点を起点として左から右に向かって走査しつつ小画像ＧＬ1内の各画素の輝度値を取得していくことにより、直線ＨＬ11の直交方向における輝度値の分布を求める。但し、直線ＨＬ11に対応するエッジが存在する部分を横切るように走査を行うものとする。即ち、輝度値の勾配が急峻な部分に対して輝度値の分布を求めるようにする。従って、図２２の破線矢印に沿っては、走査は行われない（後述する図２３でも同様）。１つのライン（今の場合、水平ライン）のみに着目して求めた分布ではノイズ成分の影響が大きいので、小画像ＧＬ1内の複数のラインに対して同様の分布を求め、求めた複数の分布の平均を、直線ＨＬ11に対して最終的に求めるべき分布２０１とする。
【０１８０】
同様にして、直線ＨＲ11に対しても分布を求める。図２２において、小画像ＧＲ1内に示された各実線矢印は直線ＨＲ11に直交する方向に輝度値が走査される様子を示している。直線ＨＲ11の直交方向は水平方向であるため、小画像ＧＲ1の左端の或る点を起点として左から右に向かって走査しつつ小画像ＧＲ1内の各画素の輝度値を取得していくことにより、直線ＨＲ11の直交方向における輝度値の分布を求める。但し、直線ＨＲ11に対応するエッジが存在する部分を横切るように走査を行うものとする。即ち、輝度値の勾配が急峻な部分に対して輝度値の分布を求めるようにする。従って、図２２の破線矢印に沿っては、走査は行われない（後述する図２３でも同様）。１つのライン（今の場合、水平ライン）のみに着目して求めた分布ではノイズ成分の影響が大きいので、小画像ＧＲ1内の複数のラインに対して同様の分布を求め、求めた複数の分布の平均を、直線ＨＲ11に対して最終的に求めるべき分布２０２とする。
【０１８１】
図２２の分布２０１及び２０２を示す各グラフにおいて、横軸は画素の水平位置を表し、縦軸は輝度値を表している。分布２０１及び２０２から分かるように、画像の垂直方向に伸びるエッジ部分を境に輝度値は急激に変化しているが、通常露光撮影に対応する分布２０１では、露光期間中の手ぶれに由来して、その輝度値の変化が比較的緩やかとなっている。直線ＨＬ11に対応する小画像ＧＬ1内のエッジ部分において、輝度値が変化し始めてから変化し終わるまでの水平方向の画素数をＷＬ11で表し、直線ＨＲ11に対応する小画像ＧＲ1内のエッジ部分において、輝度値が変化し始めてから変化し終わるまでの水平方向の画素数をＷＲ11で表す。また、このようにして求められたＷＬ11やＷＲ11を、エッジ幅と呼ぶ。この例では、「ＷＬ11＞ＷＲ11」となっており、参照画像Ｅ２に含まれるぶれを無視した場合、エッジ幅の差「ＷＬ11−ＷＲ11」は、補正対象画像Ｅ１の露光期間中に生じた水平方向の手ぶれ量を画素を単位として表した値と考えることができる。
【０１８２】
上述のエッジ幅を求める処理を、小画像ＧＬ1及びＧＲ1から抽出された各直線に対して実行する。今の例の場合、小画像ＧＬ1及びＧＲ1から抽出された直線ＨＬ12及びＨＲ12に対しても、上述のエッジ幅を求める。
【０１８３】
図２３において、小画像ＧＬ1内に示された各実線矢印は直線ＨＬ12に直交する方向に輝度値が走査される様子を示している。直線ＨＬ12に対応するエッジが存在する部分を横切るように垂直方向に走査しつつ小画像ＧＬ1内の各画素の輝度値を取得していくことにより、直線ＨＬ12の直交方向における輝度値の分布を求める。走査を複数のライン（今の場合、垂直ライン）に対して行い、得られた複数の分布の平均を、直線ＨＬ12に対して最終的に求めるべき分布２１１とする。図２３において、小画像ＧＲ1内に示された各実線矢印は直線ＨＲ12に直交する方向に輝度値が走査される様子を示している。直線ＨＲ12に対応するエッジが存在する部分を横切るように垂直方向に走査しつつ小画像ＧＲ1内の各画素の輝度値を取得していくことにより、直線ＨＲ12の直交方向における輝度値の分布を求める。走査を複数のライン（今の場合、垂直ライン）に対して行い、得られた複数の分布の平均を、直線ＨＲ12に対して最終的に求めるべき分布２１２とする。
【０１８４】
そして、分布２１１及び２１２に基づいてエッジ幅ＷＬ12及びＷＲ12を求める。エッジ幅ＷＬ12は、直線ＨＬ12に対応する小画像ＧＬ1内のエッジ部分において輝度値が変化し始めてから変化し終わるまでの垂直方向の画素数を表し、エッジ幅ＷＲ12は、直線ＨＲ12に対応する小画像ＧＲ1内のエッジ部分において輝度値が変化し始めてから変化し終わるまでの垂直方向の画素数を表す。この例では、「ＷＬ12≒ＷＲ12」となっている。これは、補正対象画像Ｅ１の露光期間中に垂直方向の手ぶれが殆ど発生しなかったことに対応している。
【０１８５】
小画像ＧＬ1及びＧＲ1に着目してエッジ幅の算出法を説明したが、他の小画像ＧＬ2〜ＧＬ8及びＧＲ2〜ＧＲ8に対しても上述と同様にしてエッジ幅及びエッジ幅の差を求める。小画像の番号を表す変数をｉとし、直線の番号を表す変数をｊとする（ｉ及びｊは整数）。そうすると、小画像ＧＬi及びＧＲiから直線ＨＬij及びＨＲijが抽出された後、直線ＨＬij及びＨＲijに対するエッジ幅ＷＬij及びＷＲijが求められる。その後、エッジ幅の差を表すＤijが、式「Ｄij＝ＷＬij−ＷＲij」に従って算出される。仮に、小画像ＧＬ1〜ＧＬ8の夫々から２本ずつ直線が抽出されたならば、計１６個のエッジ幅の差Ｄijが求められる（ここで、ｉは１以上８以下の整数、ｊは１又は２）。
【０１８６】
本実施形態では、求められた複数の差Ｄijの最大値に対応する直線ペアを手ぶれ検出用直線ペアとして特定し、その手ぶれ検出直線ペアに対応するエッジ幅の差及び直線方向から補正対象画像Ｅ１の全体に対するＰＳＦを求める。
【０１８７】
例えば、求められた複数の差Ｄijの内、図２２に対応する差Ｄ11（＝ＷＬ11−ＷＲ11）が最大であった場合を考える。この場合、直線ＨＬ11及びＨＲ11が手ぶれ検出用直線ペアとして特定され、直線ＨＬ11及びＨＲ11に対応する差Ｄ11が最大差を表す変数ＤMAXに代入される。そして、直線ＨＬ11の直交方向に画像を平滑化するための平滑化関数を作成する。この平滑化関数は、図２４に示すような、直線ＨＬ11の直交方向におけるタップ数（フィルタサイズ）がＤMAXの空間フィルタ２２０で表される。この空間フィルタ２２０では、直線ＨＬ11の直交方向に沿った要素に対してのみ０以外の一定のフィルタ係数が与えられ、その他の要素には０のフィルタ係数が与えられる。図２４の空間フィルタは、５×５のフィルタサイズを有し、垂直方向の真ん中の行の各要素に対してのみ１のフィルタ係数が与えられており、他の要素のフィルタ係数は０となっている。尚、実際には、全フィルタ係数の総和が１となるように正規化が行われる。
【０１８８】
そして、手ぶれ検出／補正部２０は、この平滑化関数を補正対象画像Ｅ１の全体にとってのＰＳＦとして取り扱うことにより、補正対象画像Ｅ１のぶれを補正する。上記のＰＳＦは、補正対象画像Ｅ１の露光期間中に撮像装置１ａに作用した手ぶれの方向及び速度が一定であるという仮定の下で、良好に機能する。この仮定が正しく、上記の平滑化関数が正確に補正対象画像Ｅ１のＰＳＦを表しているならば、ぶれのない理想画像に空間フィルタ２２０を用いた空間フィルタリングを施すことで補正対象画像Ｅ１と同等の画像が得られることになる。
【０１８９】
図２５は、上述の処理動作を含む、手ぶれ検出の動作の流れを表すフローチャートである。図２５に示すステップＳ１５１〜Ｓ１５５の各処理は、手ぶれ検出／補正部２０によって実行される。
【０１９０】
補正対象画像Ｅ１及び参照画像Ｅ２を取得した後、ステップＳ１５１において、参照画像Ｅ２から複数の特徴的な小領域を抽出し、各小領域内の画像を小画像ＧＲiとしてメモリ上に記憶する。続くステップＳ１５２において、各小画像ＧＲiに対応する小領域を補正対象画像Ｅ１から抽出し、補正対象画像Ｅ１から抽出した小領域内の画像を小画像ＧＬiとしてメモリ上に記憶する。この時点で、例えば、図１８に示す如く小画像ＧＬ1〜ＧＬ8と小画像ＧＲ1〜ＧＲ8が生成される。
【０１９１】
ステップＳ１５２の処理の後、ステップＳ１５３に移行する。ステップＳ１５３では、変数ｉに対するループ処理が繰り返し実行され、そのループ処理に変数ｊに対するループ処理が内在している。ステップＳ１５３では、小画像ＧＲiのエッジ抽出画像ＥＲiが生成され、そのエッジ抽出画像ＥＲiから１又は複数の直線ＨＲijが抽出され、更に、直線ＨＲijに対応する直線ＨＬijが小画像ＧＬiから抽出される。そして、互いに対応する直線ＨＬij及びＨＲijに着目し、それらのエッジ幅ＷＬij及びＷＲijを算出して、その差Ｄij（＝ＷＬij−ＷＲij）を求める。ステップＳ１５３では、変数ｉがとりうる値の夫々に対して且つ変数ｊがとりうる値の夫々に対して同様の処理を行う。この結果、ステップＳ１５３からステップＳ１５４に移行する時点では、ｉとｊの全ての組み合わせに対する差Ｄijが算出されている。例えば、ステップＳ１５１にて８個の小領域が抽出されることによって小画像ＧＲ1〜ＧＲ8が生成され且つ小画像ＧＲ1〜ＧＲ8の夫々から２本ずつ直線が抽出されたならば、計１６個のエッジ幅の差Ｄijが求められる（ここで、ｉは１以上８以下の整数、ｊは１又は２）。
【０１９２】
ステップＳ１５４では、ステップＳ１５３で求められた全てのエッジ幅の差Ｄijの内の最大値ＤMAXを特定し、その最大値ＤMAXに対応する直線ペアを手ぶれ検出用直線ペアとして特定する。更に、ステップＳ１５５において、その手ぶれ検出用直線ペアと最大値ＤMAXから、平滑化関数として表されるＰＳＦを算出する。例えば、求められた全ての差Ｄijの内、図２２に対応する差Ｄ11（＝ＷＬ11−ＷＲ11）が最大値ＤMAXであった場合は、直線ＨＬ11及びＨＲ11が手ぶれ検出用直線ペアとして特定されて、図２４の空間フィルタ２２０によって表されるＰＳＦが算出される。
【０１９３】
ＰＳＦが算出された後の手ぶれ補正動作は、第１実施形態で述べたものと同様である。即ち、手ぶれ検出／補正部２０は、ステップＳ１５５で求めたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求め、この各フィルタ係数を有する画像復元フィルタを用いて補正対象画像Ｅ１の全体をフィルタリングする。そして、このフィルタリング後の画像、又は、それにリンギング除去処理を施した画像を、最終的な補正画像とする。この補正画像は、補正対象画像Ｅ１に含まれるぶれが除去或いは低減された画像となる。
【０１９４】
本実施形態では、補正対象画像Ｅ１の露光期間中に撮像装置１ａに作用した手ぶれの方向及び速度が一定であるという仮定の下で画像劣化関数としてのＰＳＦ（換言すれば、畳み込み劣化関数）を求めているため、その仮定が当てはまらないような手ぶれに対しては、補正効果は低くなる。しかしながら、少ない処理量にて簡便にＰＳＦを求めることができるため、実用的である。
【０１９５】
また、本実施形態に上述の第２実施例（図７参照）を適用し、補正対象画像Ｅ１を得るための通常露光撮影の直前又は直後に取得されたスルー表示用画像から参照画像Ｅ２を生成することも可能である（但し、そのスルー表示用画像の露光時間が、補正対象画像Ｅ１の露光時間よりも短い必要がある）。そのスルー表示用画像の画像サイズが補正対象画像Ｅ１のそれよりも小さい場合は、両者の画像サイズを同じとするための画像拡大処理をスルー表示用画像に施して、参照画像Ｅ２を生成すればよい。逆に、通常露光撮影によって得られた画像に画像縮小処理を施すことで、画像サイズの同一化を図ってもよい。
【０１９６】
また、本実施形態に上述の第４実施例（図１３参照）を適用し、補正対象画像Ｅ１を得るための通常露光撮影の直前及び直後に取得された２つの参照画像の内の、何れか一方の参照画像から参照画像Ｅ２を生成するようにしても良い。その２つの参照画像の内の一方は、スルー表示用画像でありうる。勿論、その２つの参照画像の各露光時間は、補正対象画像Ｅ１の露光時間よりも短いものとする。
【０１９７】
尚、第１実施形態に対して上述した注釈３〜注釈５の記載内容を、第２実施形態に適用することも可能である。図１７の手ぶれ検出／補正部２０は、ぶれ検出装置として機能すると共にぶれ補正装置としても機能する。手ぶれ検出／補正部２０に、補正対象画像の全体に対するＰＳＦを作成するぶれ情報作成手段や補正対象画像や参照画像の一部画像としての小画像を抽出する抽出手段が内在している。
【０１９８】
＜＜第３実施形態＞＞
次に、本発明の第３実施形態について説明する。短時間露光撮影によって得られた画像（以下「短露光画像」ともいう）に含まれるぶれは通常露光撮影によって得られた画像（以下「通常露光画像」ともいう）のそれよりも小さく、故に、上述してきた手ぶれ補正方法は非常に有益ではある。しかし、短露光画像への手ぶれの影響が全く無いわけではなく、短時間露光撮影の露光期間中の手ぶれや被写体ぶれ（被写体の実空間上における動き）により、短露光画像に無視できない程度のぶれが含まれることもある。そこで、第３実施形態では、複数回の短時間露光撮影によって複数の短露光画像を取得し、その複数の短露光画像から、通常露光画像の手ぶれ補正に用いる参照画像を生成するようにする。
【０１９９】
図２６は、第３実施形態に係る撮像装置１ｂの全体ブロック図である。撮像装置１ｂは、符号１１〜１８及び２１にて参照される各部位を備える。符号１１〜１８にて参照される各部位は、図１のそれらと同じものであり、同一の部分に対する重複する説明を省略する。図１の撮像装置１における手ぶれ検出／補正部１９を手ぶれ補正部２１に置換すれば撮像装置１ｂが得られる。
【０２００】
撮影モードにおいてシャッタボタン１７ａが押下された際、通常露光撮影が行われ、主制御部１３は、この撮影によって得られた１枚の撮影画像を表す画像データを記録媒体１６及び内部メモリ１４に格納する（即ち、記憶させる）。この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に、操作部１７等を介して与えられた補正指示に従って或いは自動的に手ぶれ補正部２１によって補正される。このため、第１実施形態と同様、通常露光撮影によって得られた上記１枚の撮影画像を、特に「補正対象画像」と呼ぶ。手ぶれ補正部２１は、角速度センサ等の手ぶれ検出センサを用いることなく、撮像部１１の出力信号から得られる画像データに基づいて補正対象画像に含まれるぶれを補正する。
【０２０１】
以下、手ぶれ補正部２１の機能を詳細に説明する実施例として、第６〜第１１実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。尚、以下の記述において、単に「メモリ」といった場合、それは、内部メモリ１４又は手ぶれ補正部２１内に設けられた図示されないメモリを意味するものとする。
【０２０２】
［第６実施例］
まず、第６実施例について説明する。第６実施例では、複数の短露光画像の中から、例えば、最も含まれるぶれが少ないと推定される１枚の短露光画像を選択する。そして、その選択した短露光画像を参照画像として且つ通常露光撮影によって得られた画像を補正対象画像として取り扱って、補正対象画像と参照画像に基づき補正対象画像の手ぶれ補正を行う。図２７は、撮像装置１ｂによる、この手ぶれ補正の動作の流れを表すフローチャートである。このフローチャートに沿って、撮像装置１ｂの動作について説明する。
【０２０３】
撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された通常露光画像を補正対象画像Ｌｗとしてメモリ上に記憶する（ステップＳ２０１及びＳ２０２）。次に、ステップＳ２０３において、補正対象画像Ｌｗを得る際の露光時間Ｔ１と閾値ＴTHとを比較し、露光時間Ｔ１が閾値ＴTHより小さい場合、補正対象画像Ｌｗに手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２７の処理を終了する。閾値ＴTHとしては、例えば、焦点距離ｆDの逆数から算出される手ぶれ限界露光時間を用いる。
【０２０４】
露光時間Ｔ１が閾値ＴTHより大きい場合、主制御部１３の制御の下、通常露光撮影に続けて短時間露光撮影がＮ回連続して実行され短露光画像Ｃｗ1〜ＣｗNが取得される。手ぶれ補正部２１は、ステップＳ２０６〜Ｓ２０９の処理を実行することによって、短露光画像Ｃｗ1〜ＣｗNに対する評価値Ｋ1〜ＫNを算出し、評価値Ｋ1〜ＫNに基づいて短露光画像Ｃｗ1〜ＣｗNの中から１枚の短露光画像を参照画像として選択する。ここで、Ｎは、２以上の整数であり例えば４である。補正対象画像Ｌｗと短露光画像Ｃｗ1〜ＣｗNは連続撮影によって得られることになるが、各短露光画像を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、露光制御部１８を制御する。例えば、各短露光画像の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ｌｗと各短露光画像の画像サイズは等しい。
【０２０５】
各ステップの処理内容を、より具体的に説明する。露光時間Ｔ１が閾値ＴTHより大きい場合、ステップＳ２０３からステップＳ２０４に移行する。ステップＳ２０４では、変数ｉが導入され且つ変数ｉに初期値１が代入される。その後、ステップＳ２０５に移行し、短時間露光撮影が１回実行され、これによって得られた短露光画像を短露光画像Ｃｗiとしてメモリ上に記憶する。このメモリは、短露光画像の画像データを１枚分記憶可能な短露光画像用メモリである。従って、例えば、ｉ＝１の時には短露光画像Ｃｗ1が短露光画像用メモリ上に記憶され、ｉ＝２の時には短露光画像Ｃｗ2が短露光画像用メモリ上に上書き記憶される。
【０２０６】
ステップＳ２０５に続くステップＳ２０６において、手ぶれ補正部２１は、短露光画像Ｃｗiに対する評価値Ｋiを算出する。原則として、評価値Ｋiは、短露光画像Ｃｗiに含まれるぶれの大きさ（以下、「ぶれ量」ともいう）に応じた値をとり、短露光画像Ｃｗiのぶれ量が小さければ小さいほど評価値Ｋiは大きくなる（例外を含めた、評価値Ｋiの算出法は第９実施例にて詳説される）。
【０２０７】
その後、ステップＳ２０７に移行し、ステップＳ２０６にて算出された最新の評価値Ｋiと今まで算出された評価値（即ち、Ｋ1〜Ｋi-1）の最大値を表す変数ＫMAXを比較し、前者が後者よりも大きい場合或いは変数ｉが１である場合は、ステップＳ２０８にて短露光画像Ｃｗiを参照画像Ｒｗとしてメモリ上に記憶すると共にステップＳ２０９にて評価値Ｋiを変数ＫMAXに代入してからステップＳ２１０に移行する。一方、「ｉ≠１」且つ「Ｋi≦ＫMAX」が成立する場合は、ステップＳ２０７からステップＳ２１０に直接移行する。ステップＳ２１０では、変数ｉがＮの値と合致するかが判断され、「ｉ＝Ｎ」である場合にはステップＳ２１０からステップＳ２１２に移行する一方、「ｉ≠Ｎ」である場合にはステップＳ２１０からステップＳ２１１に移行して変数ｉに１を加えてからステップＳ２０５に戻り、ステップＳ２０５以降の上述の各処理が繰り返し実行される。
【０２０８】
この結果、ステップＳ２０５及びＳ２０６の各処理はＮ回実行され、ステップＳ２１２に至る時点では、短露光画像Ｃｗ1〜ＣｗNに対する評価値Ｋ1〜ＫNが全て算出されて、評価値Ｋ1〜ＫNの内の最大値が変数ＫMAXに代入されていると共に該最大値に対応する短露光画像が参照画像Ｒｗとしてメモリ上に記憶されている。例えば、評価値Ｋ1〜ＫNの内、評価値ＫN-1が最大であるのであれば、短露光画像ＣｗN-1が参照画像Ｒｗとしてメモリ上に記憶された状態でステップＳ２１２に至る。尚、参照画像Ｒｗが記憶されるメモリは、参照画像Ｒｗの画像データを１枚分記憶可能な参照画像用メモリであり、新たな画像データを参照画像用メモリ上に記憶する必要がある場合は、古い画像データが記憶されたメモリ領域に対して新たな画像データが上書き記憶される。
【０２０９】
ステップＳ２１２おいて、手ぶれ補正部２１は、参照画像用メモリ上に記憶された参照画像ＲｗとステップＳ２０２にて得られた補正対象画像Ｌｗに基づいて補正対象画像Ｌｗに対する手ぶれ補正を実施し、補正対象画像Ｌｗにおけるぶれが低減された補正画像Ｑｗを生成する（補正方法は第１０実施例にて後述）。この補正画像Ｑｗは、記録媒体１６に記録されると共に表示部１５で表示される。
【０２１０】
上述の如く参照画像Ｒｗを生成することにより、例えば、複数の短時間露光撮影中の一部の期間において大きな手ぶれや被写体ぶれが生じたとしても、手ぶれの影響の小さな短露光画像が参照画像Ｒｗとして選択されるため、精度よく手ぶれ補正を実行することが可能となる。一般に、手ぶれによって画像の高域周波数成分が減衰することになるが、手ぶれの影響が最も少ない短露光画像を参照画像として利用するようにすれば、より高域の周波数成分に対してまで手ぶれ補正を行うことができる。また、ステップＳ２０５〜Ｓ２１１のように処理して短露光画像及び参照画像を上書き記憶することにより、短露光画像用メモリ及び参照画像用メモリの夫々の必要メモリ容量を１枚の画像分に抑えることができる。
【０２１１】
［第７実施例］
次に、第７実施例について説明する。第７実施例では、複数の短露光画像の中から、例えば、ぶれ量が比較的少ないと推定される２以上の短露光画像を選択し、選択した短露光画像を合成することによって１枚の参照画像を生成する。そして、その生成した参照画像と通常露光撮影によって得られた補正対象画像に基づき補正対象画像の手ぶれ補正を行う。図２８は、撮像装置１ｂによる、この手ぶれ補正の動作の流れを表すフローチャートである。このフローチャートに沿って、撮像装置１ｂの動作について説明する。
【０２１２】
撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された通常露光画像を補正対象画像Ｌｗとしてメモリ上に記憶する（ステップＳ２２１及びＳ２２２）。次に、ステップＳ２２３において、補正対象画像Ｌｗを得る際の露光時間Ｔ１と上記の閾値ＴTHとを比較し、露光時間Ｔ１が閾値ＴTHより小さい場合、補正対象画像Ｌｗに手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２８の処理を終了する。
【０２１３】
露光時間Ｔ１が閾値ＴTHより大きい場合、主制御部１３の制御の下、通常露光撮影に続けて短時間露光撮影がＮ回連続して実行され短露光画像Ｃｗ1〜ＣｗNが取得される。手ぶれ補正部２１は、ステップＳ２２６及びＳ２２７の処理を実行することによって、短露光画像Ｃｗ1〜ＣｗNに対する評価値Ｋ1〜ＫNを算出し、評価値Ｋ1〜ＫNに基づいて短露光画像Ｃｗ1〜ＣｗNの中からＭ枚の短露光画像を選択する。ここで、Ｍは、２以上の整数であり、不等式「Ｎ＞Ｍ」が成立する。従って、第７実施例では、Ｎは３以上の整数とされる。例えば、Ｎ＝４とする。補正対象画像Ｌｗと短露光画像Ｃｗ1〜ＣｗNは連続撮影によって得られることになるが、各短露光画像を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、露光制御部１８を制御する。例えば、各短露光画像の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ｌｗと各短露光画像の画像サイズは等しい。
【０２１４】
各ステップの処理内容を、より具体的に説明する。露光時間Ｔ１が閾値ＴTHより大きい場合、ステップＳ２２３からステップＳ２２４に移行する。ステップＳ２２４では、変数ｉが導入され且つ変数ｉに初期値１が代入される。その後、ステップＳ２２５に移行し、短時間露光撮影が１回実行され、これによって得られた短露光画像を短露光画像Ｃｗiとしてメモリ上に記憶する。このメモリは、短露光画像の画像データを１枚分記憶可能な短露光画像用メモリである。従って、例えば、ｉ＝１の時には短露光画像Ｃｗ1が短露光画像用メモリ上に記憶され、ｉ＝２の時には短露光画像Ｃｗ2が短露光画像用メモリ上に上書き記憶される。
【０２１５】
ステップＳ２２５に続くステップＳ２２６において、手ぶれ補正部２１は、短露光画像Ｃｗiに対する評価値Ｋiを算出する（算出法は第９実施例にて詳説）。この評価値Ｋiは、図２７のステップＳ２０６にて算出されるそれと同じものである。
【０２１６】
その後、ステップＳ２２７に移行し、今まで算出された評価値Ｋ1〜Ｋiを大きい方から順番に並べ、１番目〜Ｍ番目に大きな評価値に対応するＭ枚の短露光画像をｉ枚の短露光画像Ｃｗ1〜Ｃｗiの中から選択し、選択したＭ枚の短露光画像を被合成画像Ｄｗ1〜ＤｗMとしてメモリ上に記録する。例えば、ｉ＝３且つＭ＝２であって且つ不等式「Ｋ1＜Ｋ2＜Ｋ3」が成立する場合は、３枚の短露光画像Ｃｗ1〜Ｃｗ3から２枚の短露光画像Ｃｗ2及びＣｗ3が選択され、その短露光画像Ｃｗ2及びＣｗ3が被合成画像Ｄｗ1及びＤｗ2としてメモリ上に記録される。勿論、変数ｉが小さく不等式「ｉ＜Ｍ」が成立する段階では取得された短露光画像の総枚数がＭ枚に満たないので、その場合は、短露光画像Ｃｗ1〜Ｃｗiがそのまま被合成画像Ｄｗ1〜Ｄｗiとしてメモリ上に記録される。尚、被合成画像が記憶されるメモリは、被合成画像の画像データをＭ枚分記憶可能な被合成画像用メモリであり、Ｍ枚分の画像データを記憶している状態で新たな画像データを記憶する必要がある場合には、不要な古い画像データが記録されていたメモリ領域に対してその新たな画像データが上書き記録される。
【０２１７】
ステップＳ２２７の処理の後のステップＳ２２８では、変数ｉがＮの値と合致するかが判断され、「ｉ＝Ｎ」である場合にはステップＳ２２８からステップＳ２３０に移行する一方、「ｉ≠Ｎ」である場合にはステップＳ２２８からステップＳ２２９に移行して変数ｉに１を加えてからステップＳ２２５に戻り、ステップＳ２２５以降の上述の各処理が繰り返し実行される。この結果、ステップＳ２２５〜Ｓ２２７の各処理はＮ回実行され、ステップＳ２３０に至る時点では、短露光画像Ｃｗ1〜ＣｗNに対する評価値Ｋ1〜ＫNが全て算出されて、評価値Ｋ1〜ＫNの内の１番目〜Ｍ番目に大きな評価値に対応するＭ枚の短露光画像が被合成画像Ｄｗ1〜ＤｗMとして被合成画像用メモリ上に記憶されている。
【０２１８】
ステップＳ２３０において、手ぶれ補正部２１は、被合成画像Ｄｗ1〜ＤｗMを位置合わせしてから合成することにより１枚の参照画像Ｒｗを生成する。例えば、被合成画像Ｄｗ1を基準画像とし且つ被合成画像Ｄｗ2〜ＤｗMの夫々を非基準画像と捉えて、基準画像に各非基準画像を位置合わせして合成する。尚、「位置合わせ」と後述の「位置ずれ補正」の意義は同じである。
【０２１９】
１枚の基準画像と１枚の非基準画像を位置合わせして合成する処理を説明する。例えば、ハリスのコーナ検出器を用いて基準画像から特徴的な小領域（例えば、３２×３２画素の小領域）を抽出する。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。そして、基準画像から抽出した該小領域内の画像をテンプレートとし、テンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を非基準画像内から探索する。そして、探索された小領域の位置（非基準画像上の位置）と基準画像から抽出した小領域の位置（基準画像上の位置）とのずれ量を位置ずれ量Δｄとして算出する。位置ずれ量Δｄは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。非基準画像は、基準画像を基準として位置ずれ量Δｄに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、この位置ずれ量Δｄが打ち消されるように非基準画像に座標変換（アフィン変換など）を施すことによって非基準画像を位置ずれ補正する。例えば、この座標変換を行うための幾何変換パラメータを求め、基準画像が定義される座標上に非基準画像を座標変換することによって位置ずれ補正を行う。位置ずれ補正前の非基準画像内の座標（ｘ＋Δｄｘ，ｙ＋Δｄｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。Δｄｘ及びΔｄｙは、夫々、Δｄの水平成分及び垂直成分である。そして、基準画像と位置ずれ補正後の非基準画像を合成する。合成によって得られた画像内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する基準画像内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の非基準画像内の画素の画素信号と、を加算した信号に相当する。
【０２２０】
上述のような位置合わせ及び合成処理を各非基準画像に対して実行する。これにより、被合成画像Ｄｗ1と位置ずれ補正後の被合成画像Ｄｗ2〜ＤｗMを合成した画像が得られ、この得られた画像は参照画像Ｒｗとしてメモリ上に記憶される。尚、基準画像から特徴的な小領域を複数個抽出し、テンプレートマッチング法を用いてその複数の小領域に対応する複数の小領域を非基準画像から探索し、基準画像内における抽出された複数の小領域の位置と非基準画像内における探索された複数の小領域の位置から上記の幾何変換パラメータを求めて上記の位置ずれ補正を行うようにしても良い。
【０２２１】
ステップＳ２３０にて参照画像Ｒｗが生成された後、ステップＳ２３１おいて、手ぶれ補正部２１は、生成された参照画像ＲｗとステップＳ２２２にて得られた補正対象画像Ｌｗに基づいて補正対象画像Ｌｗに対する手ぶれ補正を実施し、補正対象画像Ｌｗにおけるぶれが低減された補正画像Ｑｗを生成する（補正方法は第１０実施例にて後述）。この補正画像Ｑｗは、記録媒体１６に記録されると共に表示部１５で表示される。
【０２２２】
上述の如く参照画像Ｒｗを生成することにより、例えば、複数の短時間露光撮影中の一部の期間において大きな手ぶれや被写体ぶれが生じたとしても、その期間に得られた短露光画像は評価値比較演算により被合成画像とならないため、高精度に手ぶれ補正を実行することが可能となる。また、参照画像ＲｗはＭ枚の短露光画像を位置合わせ及び合成することによって生成されるため、参照画像Ｒｗのぶれ量は１枚の短露光画像のそれと同等でありながら、画素値加算合成によって参照画像ＲｗのＳ／Ｎ比（信号対雑音比）は１枚の短露光画像のそれよりも高くなる。故に、より高精度の手ぶれ補正が実現される。また、ステップＳ２２５〜Ｓ２２９のように処理して短露光画像及び被合成画像を上書き記憶することにより、短露光画像用メモリの必要メモリ容量を１枚の画像分に、被合成画像用メモリの必要メモリ容量をＭ枚の画像分に抑えることができる。
【０２２３】
［第８実施例］
次に、第８実施例について説明する。第８実施例は、第６実施例による参照画像生成方式（以下、１枚選択方式ともいう）と第７実施例による参照画像生成方式（以下、複数枚合成方式ともいう）を切替実行することにより手ぶれ補正を行う。この切替制御は、短露光画像のＳ／Ｎ比を推定することによって行われる。図２９は、撮像装置１ｂによる、この手ぶれ補正の動作の流れを表すフローチャートである。このフローチャートに沿って、撮像装置１ｂの動作について説明する。また、図３０も参照される。図３０には、撮像装置１ｂに設けられた測光回路２２及びＬＵＴ（ルックアップテーブル）２３が示されている。
【０２２４】
撮影モードにおいて、シャッタボタン１７ａが押下されると、主制御部１３は、測光回路２２から明るさ情報を取得して、その明るさ情報から撮像部１１の撮像素子に対する最適露光時間を算出する（ステップＳ２４１及びＳ２４２）。測光回路２２は、測光センサ（不図示）又は撮像素子の出力信号を用いて被写体の明るさ（換言すれば、撮像部１１への入射光量）を測定する。明るさ情報は、その測定結果を表す情報である。次に、ステップＳ２４３において、主制御部１３は、最適露光時間と予め設定されたプログラム線図から実際の露光時間（以下、実露光時間という）を決定する。ＬＵＴ２３には、プログラム線図を表すテーブルデータが予め格納されており、ＬＵＴ２３に明るさ情報を入力すると、該テーブルデータに従って、実露光時間、絞り値及びＡＦＥ１２の増幅度がＬＵＴ２３から出力される。主制御部１３は、ＬＵＴ２３の出力から実露光時間を決定する。更に、ＬＵＴ２３から出力される絞り値及びＡＦＥ１２の増幅度によって、通常露光撮影及び短時間露光撮影時における絞り値（撮像部１１の絞りの開度）及びＡＦＥ１２の増幅度が規定される。
【０２２５】
続くステップＳ２４４では、ステップＳ２４３にて決定された実露光時間にて通常露光撮影を行い、これによって生成された通常露光画像を補正対象画像Ｌｗとしてメモリ上に記憶する。但し、実露光時間が最適露光時間よりも短い場合は、実露光時間と最適露光時間の比に応じた露光不足分を補うように通常露光画像の各画素値に一定値を乗じて得られる画素値増幅画像を補正対象画像Ｌｗしてメモリ上に記憶するようにする。この際、必要であれば、画素値増幅画像に対してノイズ除去処理を行い、ノイズ除去後の画素値増幅画像を補正対象画像Ｌｗしてメモリ上に記憶するようにしてもよい。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて画素値増幅画像をフィルタリングすることにより行われる。
【０２２６】
その後、ステップＳ２４５において、補正対象画像Ｌｗを得る際の実露光時間と上記の閾値ＴTHを比較し、実露光時間が閾値ＴTHより小さい場合、補正対象画像Ｌｗに手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２９の処理を終了する。
【０２２７】
実露光時間が閾値ＴTHより大きい場合、ステップＳ２４６において、主制御部１３は、最適露光時間に基づく短露光時間Ｔoptを算出する。続くステップＳ２４７において、主制御部１３は、実露光時間に基づく短露光時間Ｔrealを算出する。短露光時間とは短時間露光撮影における露光時間を指す。例えば、短露光時間Ｔoptを最適露光時間の１／４とし且つ短露光時間Ｔrealを実露光時間の１／４とする。その後、ステップＳ２４８において、主制御部１３は、不等式「Ｔreal＜Ｔopt×ｋro」が成立するか否かを判断する。係数ｋroは、不等式「０＜ｋro＜１」を満たす予め定められた係数であり、例えば、ｋro＝０．８である。
【０２２８】
そして、不等式「Ｔreal＜Ｔopt×ｋro」が成立しない場合は、短露光時間Ｔrealにて取得されるべき短露光画像のＳ／Ｎ比は比較的高いと推測されるため、ステップＳ２４９に移行し、手ぶれ補正部２１は、比較的簡素な処理にて手ぶれ補正を行うことができる１枚選択方式を採用して参照画像Ｒｗを生成する。即ち、ステップＳ２４９にて、図２７のステップＳ２０５〜Ｓ２１１の各処理を行って参照画像Ｒｗを生成する。
【０２２９】
一方、不等式「Ｔreal＜Ｔopt×ｋro」が成立する場合は、短露光時間Ｔrealにて取得されるべき短露光画像のＳ／Ｎ比は比較的低いと推測されるため、ステップＳ２５０に移行し、手ぶれ補正部２１は、ノイズの影響を低減することのできる複数枚合成方式を用いて参照画像Ｒｗを生成する。即ち、ステップＳ２５０にて、図２８のステップＳ２２５〜２３０の各処理を行って参照画像Ｒｗを生成する。尚、ステップＳ２４９においても、ステップＳ２５０においても、短時間露光撮影時における実際の露光時間はＴrealとされる。
【０２３０】
ステップＳ２４９又はステップＳ２５０にて参照画像Ｒｗが生成された後、ステップＳ２５１において、手ぶれ補正部２１は、その参照画像ＲｗとステップＳ２４４にて取得された補正対象画像Ｌｗから補正画像Ｑｗを生成する（補正方法は第１０実施例にて後述）。この補正画像Ｑｗは、記録媒体１６に記録されると共に表示部１５で表示される。
【０２３１】
暗所撮影時では手ぶれや被写体ぶれに起因する画像のぶれを抑制するために、測光回路２２の測定結果から単純に計算した最適露光時間よりも短い露光時間で通常露光撮影を行い、その撮影によって得られた画像の各画素値に一定値を乗じる処理を施してから（即ち、感度を向上させてから）画像データを記録することが多い。このような場合は、不等式「Ｔreal＜Ｔopt×ｋro」が成立しやすくなり、一方で、取得される短露光画像のＳ／Ｎ比が随分低くなる。そこで、このような場合は、ノイズの影響を抑制することのできる複数枚合成方式を用いて参照画像Ｒｗを生成するようにする。他方、撮像装置１ｂの周辺照度が比較的大きいことに起因して不等式「Ｔreal＜Ｔopt×ｋro」が成立せず、短露光画像のＳ／Ｎ比が比較的高いと推測される場合は、比較的簡素な処理にて手ぶれ補正を行うことができる１枚選択方式を採用して参照画像Ｒｗを生成する。このように、短露光画像のＳ／Ｎ比に応じて参照画像Ｒｗの生成方法を切り替えることにより、手ぶれ補正精度を維持しつつ計算コストを極力低く抑えることができる。計算コストとは、計算による負荷を意味し、計算コストの増大は処理時間及び消費電力を増大させる。尚、短露光画像にノイズ除去処理を施し、ノイズ除去処理後の短露光画像から参照画像Ｒｗを生成することも可能であるが、この場合においても、上述の切替制御は有効に機能する。
【０２３２】
［第９実施例］
次に、第９実施例について説明する。第９実施例では、第６〜第８実施例の処理にて利用される評価値Ｋiの算出法について説明する。評価値Ｋiは、短露光画像のエッジ強度に基づく第１評価値Ｋａi、短露光画像のコントラストに基づく第２評価値Ｋｂi、補正対象画像Ｌｗに対する短露光画像の回転量に基づく第３評価値Ｋｃi、及び、短時間露光撮影と通常露光撮影との撮影時間差に基づく第４評価値Ｋｄiの内の何れか1以上の評価値から決定される。まず、第１評価値Ｋａi〜第４評価値Ｋｄiの算出方法について個別に説明する。
【０２３３】
（１）第１評価値Ｋａiの算出方法
第１評価値としての評価値Ｋａiの算出方法を図３１及び図３２を参照して説明する。図３１は、評価値Ｋａiの算出動作の流れを表すフローチャートである。図３２は、この動作に利用される画像などの関係を示す図である。評価値Ｋａiに基づいて評価値Ｋiを算出する場合は、図２７のステップＳ２０６及び図２８のステップＳ２２６において、図３１のステップＳ３０１〜Ｓ３０５が実行される。
【０２３４】
まず、ステップＳ３０１において、変数ｉが１であるか否かを判別し、ｉ＝１である場合はステップＳ３０２に移行する一方、ｉ≠１である場合はステップＳ３０３に移行する。ステップＳ３０２では、短露光画像Ｃｗiの中央又は中央付近に位置する小領域を抽出し、この小領域内の画像を小画像Ｃｓiとする。抽出される小領域を、例えば、１２８×１２８画素の小領域とする。ｉ＝１である場合にのみステップＳ３０２に至るのであるから、ステップＳ３０２では、１番目の短露光画像Ｃｗ1から小画像Ｃｓ1が抽出されることになる。
【０２３５】
ステップＳ３０２の処理の後、ステップＳ３０４に移行する。ステップＳ３０４では、小画像Ｃｓiに対してエッジ抽出処理を施し、小画像Ｅｓiを得る。例えば、小画像Ｃｓiの各画素に対して任意のエッジ検出オペレータを適用することにより小画像Ｃｓiのエッジ抽出画像を生成し、このエッジ抽出画像を小画像Ｅｓiとする。その後、ステップＳ３０５において、小画像Ｅｓiの画素値の総和を算出し、その総和を評価値Ｋａiとする。
【０２３６】
ｉ≠１である場合にステップＳ３０１から移行するステップＳ３０３では、短露光画像Ｃｗ1から抽出された小領域に対応する小領域を短露光画像Ｃｗi（≠Ｃｗ1）から抽出し、短露光画像Ｃｗiから抽出された小領域内の画像を小画像Ｃｓiとする。対応小領域の探索は、テンプレートマッチング法などを利用した画像処理によって行う。即ち例えば、短露光画像Ｃｗ1から抽出された小画像Ｃｓ1をテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を短露光画像Ｃｗi内から探索し、探索された小領域内の画像を小画像Ｃｓiとする。ステップＳ３０３にて小画像Ｃｓiが抽出された後は、その小画像Ｃｓiに対してステップＳ３０４及びＳ３０５の各処理が実施される。上述の処理内容から明らかなように、評価値Ｋａiは小画像Ｃｓiのエッジ強度の増大に伴って増加する。
【０２３７】
同じ構図の画像であれば、露光期間中に生じた手ぶれが小さいほどエッジは鮮明となり、画像中のエッジ強度は高くなる。また、手ぶれは画像全体に対して一様な劣化を与えるため、短露光画像Ｃｗiの全体におけるエッジ強度は、小画像Ｃｓiにおけるエッジ強度に応じたものとなる。従って、上記の評価値Ｋａiが大きいほど、それに対応する小画像Ｃｓi及び短露光画像Ｃｗiのぶれ量は小さいと推定できる。参照画像の生成のために利用される短露光画像のぶれ量は小さければ小さいほど望ましいという観点から、評価値Ｋａiを利用すると有益である。例えば、評価値Ｋａiそのものを、図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋiとすることも可能である。
【０２３８】
尚、一般に、１枚の画像から該画像のぶれ量を求めるためには、特開平１１−２７５７４号公報に記載されているように、画像をフーリエ変換して周波数領域上の変換画像を生成し、手ぶれにより減衰する周波数の間隔を計測するなど、計算コストの大きな処理が必要である。これに対し、エッジ強度とぶれ量の関係を利用してエッジ強度からぶれ量を推定するようにすれば、フーリエ変換などを利用する従来手法と比べて、ぶれ量を推定するための計算コストを小さくすることができる。また、画像全体でなく、抽出された小画像に着目して評価値を算出することにより、計算コストの更なる低減効果が得られる。加えて、テンプレートマッチングなどを用い対応小領域間で評価値を比較するようにしているため、複数の短時間露光撮影中に構図の変化があったとしても、その変化による影響は軽微である。
【０２３９】
（２）第２評価値Ｋｂiの算出方法
第２評価値としての評価値Ｋｂiの算出方法を図３３を参照して説明する。図３３は、評価値Ｋｂiの算出動作の流れを表すフローチャートである。評価値Ｋｂiに基づいて評価値Ｋiを算出する場合は、図２７のステップＳ２０６及び図２８のステップＳ２２６において、図３３のステップＳ３１１〜Ｓ３１５が実行される。
【０２４０】
図３３におけるステップＳ３１１〜Ｓ３１３の各処理内容は、夫々、図３１におけるステップＳ３０１〜Ｓ３０３の各処理内容と同じであるため、それらの重複する説明を割愛する。但し、ステップＳ３１２又はＳ３１３の処理の後、ステップＳ３１４に移行するものとする。
【０２４１】
ステップＳ３１４では、小画像Ｃｓiの各画素の輝度信号を抽出する。勿論、例えば、ｉ＝１の時は、小画像Ｃｓ1の各画素の輝度信号が抽出され、ｉ＝２の時は、小画像Ｃｓ2の各画素の輝度信号が抽出される。そして、ステップＳ３１５において、小画像Ｃｓiの輝度値（即ち、輝度信号の値）のヒストグラムを生成し、そのヒストグラムの分散を算出して該分散を評価値Ｋｂiとする。
【０２４２】
同じ構図の画像であれば、露光期間中に生じた手ぶれが大きいほど隣接画素間の輝度が平滑化され、中間階調の画素の割合が増加して輝度値のヒストグラムにおける分布が中間階調に集中化する。上記の平滑化の程度が大きいほどヒストグラムにおける分散が小さくなって評価値Ｋｂiが小さくなるため、評価値Ｋｂiが大きいほど、それに対応する小画像Ｃｓi及び短露光画像Ｃｗiのぶれ量は小さいと推定できる。参照画像の生成のために利用される短露光画像のぶれ量は小さければ小さいほど望ましいという観点から、評価値Ｋｂiを利用すると有益である。例えば、評価値Ｋｂiそのものを、図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋiとすることも可能である。
【０２４３】
短露光画像の例として、図３４（ａ）に短露光画像２６１を示すと共に図３４（ｂ）に短露光画像２６２を示す。短露光画像２６１は鮮明な画像である一方、短露光画像２６２の露光期間中に大きな手ぶれが生じたことにより、短露光画像２６２には大きなぶれが含まれている。また、図３５（ａ）及び（ｂ）に、夫々、短露光画像２６１及び２６２に対してステップＳ３１５にて生成されたヒストグラムを示す。短露光画像２６１のヒストグラムとの対比おいて（図３５（ａ）参照）、短露光画像２６２のヒストグラム（図３５（ｂ）参照）では中間階調への分布の集中化が見られる。この集中化によって、分散（及び標準偏差）は小さくなる。
【０２４４】
或る着目画像に関して、ヒストグラムにおける分散が小さいことは該着目画像のコントラストが低いことに対応し、ヒストグラムにおける分散が大きいことは該着目画像のコントラストが高いことに対応している。従って、上述の方法では、ヒストグラムにおける分散を算出することによって着目画像のコントラストを推定し、その推定したコントラストによって着目画像のぶれ量を推定していることになる。そして、コントラストの推定値が評価値Ｋｂiとして導出される。
【０２４５】
本評価値算出方法では、コントラストとぶれ量の関係を利用してコントラストからぶれ量を推定することとしている。このため、フーリエ変換などを利用する従来手法と比べて、ぶれ量を推定するための計算コストを小さくすることができる。また、画像全体でなく、抽出された小画像に着目して評価値を算出することにより、計算コストの更なる低減効果が得られる。加えて、テンプレートマッチングなどを用い対応小領域間で評価値を比較するようにしているため、複数の短時間露光撮影中に構図の変化があったとしても、その変化による影響は軽微である。
【０２４６】
（３）第３評価値Ｋｃiの算出方法
第３評価値としての評価値Ｋｃiの算出方法を説明する。評価値Ｋｃiは、補正対象画像Ｌｗに対する短露光画像Ｃｗiの回転角から算出される。図３６を参照して、より具体的に算出方法を説明する。
【０２４７】
まず、補正対象画像Ｌｗの中から特徴的な小領域（例えば、３２×３２画素の小領域）を複数個抽出する。特徴的な小領域の意義及び抽出手法は第７実施例で述べた通りである（後述の他の実施例においても同様）。図３６に示す如く、補正対象画像Ｌｗから２つの小領域２８１及び２８２が抽出されたとする。小領域２８１及び２８２の中心点を、夫々、符号２９１及び２９２によって参照する。図３６に示す例では、中心点２９１及び２９２を結ぶ線分の方向が補正対象画像Ｌｗの水平方向と合致している。
【０２４８】
次に、補正対象画像Ｌｗから抽出された２つの小領域２８１及び２８２に対応する２つの小領域を、短露光画像Ｃｗiから抽出する。対応小領域の探索は、テンプレートマッチング法などを利用した上述の手法を用いて行えば良い。図３６には、短露光画像Ｃｗ1から抽出された２つの小領域２８１ａ及び２８２ａ、並びに、短露光画像Ｃｗ2から抽出された２つの小領域２８１ｂ及び２８２ｂが示されている。小領域２８１ａ及び２８１ｂが小領域２８１に対応し、小領域２８２ａ及び２８２ｂが小領域２８２に対応している。また、小領域２８１ａ、２８２ａ、２８１ｂ及び２８２ｂの中心点を、夫々、符号２９１ａ、２９２ａ、２９１ｂ及び２９２ｂによって参照する。
【０２４９】
短露光画像Ｃｗ1に対応する評価値Ｋｃ1を算出する場合は、中心点２９１及び２９２を結ぶ線分に対する、中心点２９１ａ及び２９２ａを結ぶ線分の回転角（即ち、傾き）θ1を求める。同様に、短露光画像Ｃｗ2に対応する評価値Ｋｃ2を算出する場合、中心点２９１及び２９２を結ぶ線分に対する、中心点２９１ｂ及び２９２ｂを結ぶ線分の回転角（即ち、傾き）θ2を求める。他の短露光画像Ｃｗ3〜短露光画像ＣｗNについての回転角θ3〜θNも同様に求め、回転角θiの逆数を評価値Ｋｃiとして求める。
【０２５０】
補正対象画像としての通常露光画像と参照画像生成用の短露光画像の撮影時間（撮影時刻）は異なるため、両者の撮影間で構図のずれが発生しうる。高精度な手ぶれ補正を行うためには、このずれに由来する補正対象画像と参照画像との間の位置ずれを打ち消すための位置合わせが必要となる。この位置合わせは座標変換（アフィン変換など）によって実現されるが、この位置合わせに画像回転処理が含まれると回路規模及び計算コストが増大してしまう。そこで、参照画像生成用の短露光画像についての回転角がなるだけ小さくなるように、評価値Ｋｃiを利用すると有益である。例えば、評価値Ｋｃiそのものを、図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋiとすることも可能である。そのようにすれば、補正対象画像Ｌｗに対する回転角が小さな短露光画像を優先的に用いて参照画像Ｒｗが生成されるため、平行移動による位置合わせだけで比較的良好な手ぶれ補正効果を得ることができ、回路規模の低減にも寄与する。
【０２５１】
尚、後述のフーリエ反復法を利用して手ぶれ補正を行う場合、補正対象画像Ｌｗ及び参照画像Ｒｗをフーリエ変換することによって得られた周波数領域上の画像間で線形演算がなされる（第１０実施例にて詳説）。この場合において、補正対象画像Ｌｗと参照画像Ｒｗとの間に回転方向のずれがあると、フーリエ変換の特性上、手ぶれ検出及び手ぶれ補正精度が顕著に低下する。このため、フーリエ反復法を利用して手ぶれ補正を行う場合においては、評価値Ｋｃiを利用して参照画像Ｒｗを選択することにより、手ぶれ検出及び手ぶれ補正精度が大幅に向上する。
【０２５２】
（４）第４評価値Ｋｄiの算出方法
第４評価値としての評価値Ｋｄiの算出方法を説明する。評価値Ｋｄiは、補正対象画像Ｌｗと短露光画像Ｃｗiとの撮影時間差の逆数とされる。補正対象画像Ｌｗと短露光画像Ｃｗiとの撮影時間差は、補正対象画像Ｌｗの撮影時における露光時間の中間時点と短露光画像Ｃｗiの撮影時における露光期間の中間時点との時間差とする。補正対象画像Ｌｗの撮影後に、短露光画像Ｃｗ1、Ｃｗ2、・・・、ＣｗNをこの順番で撮影する場合は、当然の如く、Ｋｄ1＞Ｋｄ2＞・・・＞ＫｄNが成立することになる。
【０２５３】
補正対象画像Ｌｗと短露光画像Ｃｗiとの撮影時間差が大きいほど、その間に被写体が動く確率が高くなると共に照度などの撮影条件が変化する確率も高くなる。被写体の動きや撮影条件の変化は、手ぶれ検出及び手ぶれ補正精度を低下させる方向に作用する。そこで、大きな評価値Ｋｄiに対応する短露光画像を優先的に用いて参照画像Ｒｗが生成されるように評価値Ｋｄiを利用するとよい。そうすれば、被写体の動きや撮影条件の変化の影響が軽減されて、より高精度な手ぶれ検出及び手ぶれ補正を行うことが可能となる。
【０２５４】
（５）最終的な評価値Ｋiの算出方法
図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋiは、評価値Ｋａi、Ｋｂi、Ｋｃi及びＫｄiの内の何れか１以上の評価値から決定される。例えば、評価値Ｋiを下記式（Ａ−１）によって算出する。ここで、ｋａ、ｋｂ、ｋｃ及びｋｄは、ゼロ又は正の値を有する所定の重み付け係数である。評価値Ｋａi、Ｋｂi、Ｋｃi及びＫｄiの内の２つ又は３つのみを用いて評価値Ｋiを算出する場合は、必要な重み付け係数をゼロとすればよい。例えば、補正対象画像Ｌｗと短露光画像Ｃｗiとの撮影時間差を考慮しない場合は、「ｋｄ＝０」とした上で評価値Ｋiを算出すれば良い。
Ｋi＝ｋａ×Ｋａi＋ｋｂ×Ｋｂi＋ｋｃ×Ｋｃi＋ｋｄ×Ｋｄi    ・・・（Ａ−１）
【０２５５】
尚、補正対象画像Ｌｗとの撮影時間差がなるだけ短い短露光画像から参照画像Ｒｗを生成した方が良いのは上述したとおりであるが、評価値Ｋiの算出にあたり、評価値Ｋｄiは補助的に用いるべきである。即ち、重み付け係数ｋａ、ｋｂ及びｋｃの全てをゼロとするべきではない。
【０２５６】
［第１０実施例］
次に、第１０実施例を説明する。第１０実施例では、補正対象画像Ｌｗと参照画像Ｒｗに基づく、補正対象画像Ｌｗの補正方法を説明する。この補正を行うための処理は、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１にて実行される。補正対象画像Ｌｗの補正方法として、以下に、第１〜第３の補正方法を例示する。第１、第２、第３の補正方法は、夫々、画像復元方式、画像合成方式、画像鮮鋭化方式による補正方法である。
【０２５７】
（１）第１の補正方法
図３７を参照して、第１の補正方法について説明する。図３７は、第１の補正方法に基づく補正処理の流れを表すフローチャートである。第１の補正方法を採用する場合、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１の処理は、夫々、図３７のステップＳ４０１〜Ｓ４０９の各処理から形成される。
【０２５８】
まず、ステップＳ４０１において、補正対象画像Ｌｗの中から特徴的な小領域（例えば、１２８×１２８画素の小領域）を抽出し、この抽出された小領域内の画像を小画像Ｌｓとしてメモリ上に記憶する。
【０２５９】
次に、ステップＳ４０２において、補正対象画像Ｌｗから抽出された小領域と同一座標の小領域を参照画像Ｒｗから抽出し、参照画像Ｒｗから抽出された小領域内の画像を小画像Ｒｓとしてメモリ上に記憶する。補正対象画像Ｌｗから抽出される小領域の中心座標（補正対象画像Ｌｗにおける中心座標）と参照画像Ｒｗから抽出される小領域の中心座標（参照画像Ｒｗにおける中心座標）は等しく、また、補正対象画像Ｌｗと参照画像Ｒｗの画像サイズは等しいため、両小領域の画像サイズも等しくされる。
【０２６０】
参照画像Ｒｗの露光時間は比較的短いので、小画像ＲｓのＳ／Ｎ比は比較的低い。そこで、ステップＳ４０３にて、小画像Ｒｓに対してノイズ除去処理を行う。ノイズ除去後の小画像Ｒｓを、小画像Ｒｓａとする。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて小画像Ｒｓａをフィルタリングすることにより行われる。小画像Ｒｓａは低輝度であるため、ステップＳ４０４において、小画像Ｒｓａの輝度レベルを増加させる。即ち例えば、小画像Ｒｓａの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓａの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓａの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。このようにして輝度レベルを増加させた後の小画像Ｒｓａを、小画像Ｒｓｂとする。
【０２６１】
上述のようにして得られた小画像Ｌｓを劣化画像として且つ小画像Ｒｓｂを初期復元画像として取り扱った上で（ステップＳ４０５）、ステップＳ４０６にてフーリエ反復法を実施することにより画像劣化関数としてのＰＳＦを求める。フーリエ反復法に基づくＰＳＦの算出法は、第１実施形態で述べたそれと同じものである。即ち、ステップＳ４０６において、図４のステップＳ１０１〜Ｓ１０３及びＳ１１０〜Ｓ１１８から成る処理を実行することにより、小画像Ｌｓに対するＰＳＦを求める。手ぶれは画像全体に対して一様な劣化を与えるため、小領域Ｌｓに対して求めたＰＳＦは、補正対象画像Ｌｗの全体に対するＰＳＦとして利用することができる。尚、第１実施形態でも述べたように、ステップＳ１１８の処理を削除し、１回の修正処理で最終的なＰＳＦを求めることも可能である。
【０２６２】
ステップＳ４０７では、ステップＳ４０６で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、第１実施形態で述べたように、ステップＳ４０６におけるフーリエ反復法の計算途中結果をそのまま利用することによって画像復元フィルタの各フィルタ係数を求めることができる。
【０２６３】
ステップＳ４０７にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ４０８に移行し、この画像復元フィルタを用いて補正対象画像Ｌｗをフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを補正対象画像Ｌｗの各画素に適用して補正対象画像Ｌｗをフィルタリングする。これにより、補正対象画像Ｌｗに含まれるぶれを除去或いは低減したフィルタリング画像が生成される。画像復元フィルタのサイズは補正対象画像Ｌｗの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像Ｌｗの全体に対して適用することによって、補正対象画像Ｌｗの全体のぶれが除去される。
【０２６４】
フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ４０９において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的な補正画像Ｑｗを生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。
【０２６５】
補正画像Ｑｗは、補正対象画像Ｌｗに含まれるぶれが除去或いは低減され且つフィルタリングに伴うリンギングが除去或いは低減された画像となる。但し、フィルタリング画像もぶれが除去或いは低減された画像であるため、フィルタリング画像を補正画像Ｑｗとして捉えることも可能である。
【０２６６】
参照画像Ｒｗに含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この参照画像Ｒｗから得られる画像をフーリエ反復法における初期復元画像とする。これにより、第１実施形態でも述べたような様々な効果が得られる（手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）の算出処理時間の短縮効果など）。
【０２６７】
（２）第２の補正方法
次に、図３８及び図３９を参照して、第２の補正方法について説明する。図３８は、第２の補正方法に基づく補正処理の流れを表すフローチャートである。図３９は、この補正処理の流れを表す概念図である。第２の補正方法を採用する場合、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１の処理は、夫々、図３８のステップＳ４２１〜Ｓ４２５の各処理から形成される。
【０２６８】
図２６の撮像部１１の撮影によって得られる画像は、輝度に関する情報と色に関する情報を含むカラー画像となっている。従って、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号と、画素の色を表す色信号から形成される。今、各画素の画素信号がＹＵＶ形式で表現されているものとする。この場合、色信号は２つの色差信号Ｕ及びＶから形成されることなる。そして、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号Ｙと、画素の色を表す２つの色差信号Ｕ及びＶと、から形成される。
【０２６９】
そうすると、補正対象画像Ｌｗは、図３９に示す如く、画素信号として輝度信号Ｙのみを含む画像ＬｗYと、画素信号として色差信号Ｕのみを含む画像ＬｗUと、画素信号として色差信号Ｖのみを含む画像ＬｗVと、に分解することができる。同様に、参照画像Ｒｗも、画素信号として輝度信号Ｙのみを含む画像ＲｗYと、画素信号として色差信号Ｕのみを含む画像ＲｗUと、画素信号として色差信号Ｖのみを含む画像ＲｗVと、に分解できる（図３９では、画像ＲｗYのみ図示）。
【０２７０】
図３８のステップＳ４２１では、まず、補正対象画像Ｌｗの輝度信号及び色差信号を抽出することにより、画像ＬｗY、ＬｗU及びＬｗVを生成する。続くステップＳ４２２では、参照画像Ｒｗの輝度信号を抽出することにより、画像ＲｗYを生成する。
【０２７１】
画像ＲｗYは低輝度であるため、ステップＳ４２３おいて、画像ＲｗYの輝度レベルを増加させる。即ち例えば、画像ＲｗYの輝度レベルが画像ＬｗYの輝度レベルと等しくなるように（画像ＲｗYの平均輝度と画像ＬｗYの平均輝度が等しくなるように）、画像ＲｗYの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。更に、この輝度正規化処理後の画像ＲｗYに対して、メディアンフィルタ等を用いたノイズ除去処理を施す。輝度正規化処理及びノイズ除去処理後の画像ＲｗYは画像ＲｗY’としてメモリ上に記憶される。
【０２７２】
その後、ステップＳ４２４において、画像ＬｗYの画素信号と画像ＲｗY’の画素信号を比較することにより、画像ＬｗYを画像ＲｗY’との間の位置ずれ量ΔＤを算出する。位置ずれ量ΔＤは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。位置ずれ量ΔＤの算出を、周知の代表点マッチング法やテンプレートマッチング法を用いて行うことができる。例えば、画像ＬｗYから抽出した小領域内の画像をテンプレートとし、テンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を画像ＲｗY’内から探索する。そして、探索された小領域の位置（画像ＲｗY’上の位置）と画像ＬｗYから抽出した小領域の位置（画像ＬｗY上の位置）とのずれ量を位置ずれ量ΔＤとして算出する。尚、画像ＬｗYから抽出されるべき小領域を、上述したような、特徴的な小領域とすることが望ましい。
【０２７３】
画像ＬｗYを基準として考え、位置ずれ量ΔＤが、画像ＬｗYに対する画像ＲｗY’の位置ずれ量であるとする。画像ＲｗY’は、画像ＬｗYを基準として位置ずれ量ΔＤに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、ステップＳ４２５では、この位置ずれ量ΔＤが打ち消されるように画像ＲｗY’に座標変換（アフィン変換など）を施すことによって画像ＲｗY’を位置ずれ補正する。位置ずれ補正前の画像ＲｗY’内の座標（ｘ＋ΔＤｘ，ｙ＋ΔＤｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。ΔＤｘ及びΔＤｙは、夫々、ΔＤの水平成分及び垂直成分である。
【０２７４】
ステップＳ４２５では、更に、画像ＬｗU及びＬｗVと位置ずれ補正後の画像ＲｗY’が合成され、この合成によって得られた画像が補正画像Ｑｗとして出力される。補正画像Ｑｗ内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する画像ＬｗU内の画素の画素信号と、座標（ｘ，ｙ）に位置する画像ＬｗV内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の画像ＲｗY’内の画素の画素信号と、から形成される。
【０２７５】
カラー画像において、見た目のぶれは主に輝度のぶれによって引き起こされ、輝度のエッジ成分がぶれのない理想画像のそれに近ければ、観察者はぶれが少ないと感じる。従って、本補正方法では、ぶれ量の比較的少ない参照画像Ｒｗの輝度信号を補正対象画像Ｌｗの色信号に合成することによって擬似的な手ぶれ補正効果を得る。この方法によれば、エッジ近傍で色ずれが生じることとなるが、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０２７６】
（３）第３の補正方法
次に、図４０及び図４１を参照して、第３の補正方法について説明する。図４０は、第３の補正方法に基づく補正処理の流れを表すフローチャートである。図４１は、この補正処理の流れを表す概念図である。第３の補正方法を採用する場合、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１の処理は、夫々、図４０のステップＳ４４１〜Ｓ４４７の各処理から形成される。
【０２７７】
まず、ステップＳ４４１において、補正対象画像Ｌｗから特徴的な小領域を抽出することによって小画像Ｌｓを生成し、ステップＳ４４２において、参照画像Ｒｗから小画像Ｌｓに対応する小領域を抽出することによって小画像Ｒｓを生成する。このステップＳ４４１及びＳ４４２の処理は、図３７のステップＳ４０１及びＳ４０２の処理と同じである。続いてステップＳ４４３おいて、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像Ｒｓの輝度レベルを増加させる。即ち例えば、小画像Ｒｓの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。
【０２７８】
次に、ステップＳ４４４において、互いに異なる８種類の平滑化フィルタを用いて小画像Ｒｓ’をフィルタリングすることにより、平滑化度合いの異なる８つの平滑化小画像ＲｓG1、ＲｓG2、・・・、ＲｓG8を生成する。今、８つの平滑化フィルタとして互いに異なる８つのガウシアンフィルタを用いるものとし、各ガウシアンフィルタによって表されるガウス分布の分散をσ2で表す。
【０２７９】
一次元の画像に着目し、その一次元の画像における画素の位置をｘで表した場合、平均が０且つ分散がσ2のガウス分布は下記式（Ｂ−１）によって表されることが一般的に知られている（図４２参照）。このガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ）で表される。つまり、ガウシアンフィルタを位置０の画素に適用する時、位置ｘにおけるフィルタ係数はｈg（ｘ）で表される。換言すれば、ガウシアンフィルタによるフィルタリング後の位置０の画素値に対する、フィルタリング前の位置ｘの画素値の寄与率はｈg（ｘ）で表される。
【０２８０】
【数７】
0004454657.tif 000008
【０２８１】
この考え方を二次元に拡張し、二次元の画像における画素の位置を（ｘ，ｙ）で表した場合、二次元ガウス分布は、下記式（Ｂ−２）によって表される。尚、ｘ及びｙは、それぞれ、水平方向の位置及び垂直方向の位置を表している。この二次元ガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈg（ｘ，ｙ）で表され、ガウシアンフィルタを位置（０，０）の画素に適用する時、位置（ｘ，ｙ）におけるフィルタ係数はｈg（ｘ，ｙ）で表される。つまり、ガウシアンフィルタによるフィルタリング後の位置（０，０）の画素値に対する、フィルタリング前の位置（ｘ，ｙ）の画素値の寄与率はｈg（ｘ，ｙ）で表される。
【０２８２】
【数８】
0004454657.tif 000009
【０２８３】
ステップＳ４４４では、８つのガウシアンフィルタとして、σ＝１，３，５，７，９，１１，１３，１５のガウシアンフィルタを用いることとする。続くステップＳ４４５では、小画像Ｌｓと平滑化小画像ＲｓG1〜ＲｓG8の夫々との間で画像マッチングを行い、平滑化小画像ＲｓG1〜ＲｓG8の内、最もマッチング誤差が小さくなる平滑化小画像（即ち、小画像Ｌｓとの相関性が最も高い平滑化小画像）を特定する。
【０２８４】
平滑化小画像ＲｓG1に着目し、小画像Ｌｓと平滑化小画像ＲｓG1を対比した時のマッチング誤差（マッチング残差）の算出法を簡単に説明する。小画像Ｌｓと平滑化小画像ＲｓG1の画像サイズは同じであり、それらの水平方向の画素数及び垂直方向の画素数を夫々ＭN及びＮNとする（ＭN及びＮNは、２以上の整数）。小画像Ｌｓ内の位置（ｘ，ｙ）における画素の画素値をＶLs（ｘ，ｙ）にて表し、平滑化小画像ＲｓG1内の位置（ｘ，ｙ）における画素の画素値をＶRs（ｘ，ｙ）にて表す。（但し、ｘ及びｙは、０≦ｘ≦ＭN−１且つ０≦ｙ≦ＮN−１、を満たす整数）。そうすると、対比画像間におけるＳＡＤ（Sum of Absolute Difference）を表すＲSADは下記式（Ｂ−３）に従って算出され、対比画像間におけるＳＳＤ（Sum of Square Difference）を表すＲSSDは下記式（Ｂ−４）に従って算出される。
【０２８５】
【数９】
0004454657.tif 000010
【０２８６】
このＲSAD又はＲSSDを、小画像Ｌｓと平滑化小画像ＲｓG1との間におけるマッチング誤差とする。同様にして、小画像Ｌｓと平滑化小画像ＲｓG2〜ＲｓG8の夫々との間におけるマッチング誤差も求め、最もマッチング誤差が小さくなる平滑化小画像を特定する。今、σ＝５に対応する平滑化小画像ＲｓG3が特定されたとする。ステップＳ４４５では、平滑化小画像ＲｓG3に対応するσをσ’とする。即ち、σ’の値は５となる。
【０２８７】
続くステップＳ４４６では、このσ’によって表されるガウスぼけを補正対象画像Ｌｗの劣化の状態を表す画像劣化関数として取り扱うことにより、補正対象画像Ｌｗの劣化除去を図る。
【０２８８】
具体的には、ステップＳ４４６では、σ’に基づいて補正対象画像Ｌｗの全体にアンシャープマスクフィルタを適用することにより、補正対象画像Ｌｗのぶれを除去する。アンシャープマスクフィルタの適用前の画像を入力画像ＩINPUTとし、アンシャープマスクフィルタの適用後の画像を出力画像ＩOUTPUTとして、アンシャープマスクフィルタの処理内容を説明する。まず、アンシャープフィルタとしてσ’のガウシアンフィルタ（即ち、σ＝５のガウシアンフィルタ）を採用し、このσ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングすることにより、ぼかし画像ＩBLURを生成する。次に、入力画像ＩINPUTの各画素値からぼかし画像ＩBLURの各画素値を差し引くことにより、入力画像ＩINPUTとぼかし画像ＩBLURとの間の差分画像ＩDELTAを生成する。最後に、入力画像ＩINPUTの各画素値に差分画像ＩDELTAの各画素値を加算することによって得られた画像を、出力画像ＩOUTPUTとする。入力画像ＩINPUTと出力画像ＩOUTPUTとの関係式を式（Ｂ−５）に示す。式（Ｂ−５）において、(ＩINPUT・Gauss)は、σ’のガウシアンフィルタを用いて入力画像ＩINPUTをフィルタリングした結果を表している。
ＩOUTPUT ＝ＩINPUT＋ＩDELTA
＝ＩINPUT＋(ＩINPUT−ＩBLUR)
＝ＩINPUT＋(ＩINPUT−(ＩINPUT・Gauss)        ・・・（Ｂ−５）
【０２８９】
ステップＳ４４６では、補正対象画像Ｌｗを入力画像ＩINPUTとして取り扱うことにより、出力画像ＩOUTPUTとしてのフィルタリング画像を得る。そして、ステップＳ４４７において、このフィルタリング画像のリンギングを除去して補正画像Ｑｗを生成する（ステップＳ４４７の処理は、図３７のステップＳ４０９の処理と同じである）。
【０２９０】
アンシャープマスクフィルタを用いることにより、入力画像（ＩINPUT）のエッジが強調され、画像鮮鋭化効果が得られる。但し、ぼかし画像（ＩBLUR）生成時におけるぼかし度合いが入力画像に含まれる実際のぼけ量と大きく異なると、適切なぼけ補正効果が得られない。例えば、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも大きいと、出力画像（ＩOUTPUT）は、極端に鮮鋭化された不自然な画像となる。一方、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも小さいと、鮮鋭化効果が弱すぎる。本補正方法では、アンシャープフィルタとしてσにてぼかし度合いが規定されるガウシアンフィルタを用い、そのガウシアンフィルタのσとして画像劣化関数に対応するσ’を用いる。このため、最適な鮮鋭化効果が得られ、ぼけが良好に除去された補正画像が得られる。即ち、見た目においてぶれの少ない画像を低い計算コストで生成することができる。
【０２９１】
図４３に、入力画像ＩINPUTとしての手ぶれ画像３００と共に、最適なσのガウシアンフィルタを用いた場合に得られる画像（即ち、本来の補正画像）３０２と、小さすぎるσのガウシアンフィルタを用いた場合に得られる画像３０１と、大きすぎるσのガウシアンフィルタを用いた場合に得られる画像３０３と、を示す。σが小さすぎると鮮鋭化効果が弱く、σが大きすぎると極端に鮮鋭化された不自然な画像が生成されることが分かる。
【０２９２】
［第１１実施例］
第９実施例において、参照画像生成用の短露光画像を選択するために用いられる第１〜第４評価値Ｋａi、Ｋｂi、Ｋｃi及びＫｄiの算出方法について説明した。この中で、短露光画像Ｃｗiから小画像Ｃｓiを抽出し、小画像Ｃｓiのエッジ強度又はコントラストに基づいて短露光画像Ｃｗiの全体に対するぶれ量を推定し、これによって評価値Ｋａi及びＫｂiを算出することを述べた（図３１及び図３３参照）。この際、小画像Ｃｓiを短露光画像Ｃｗiの中央付近から抽出する例を挙げたが、小画像Ｃｓiが短露光画像Ｃｗiの中央付近から抽出される必要性は必ずしもない。例えば、以下のようにするとよい。尚、説明の具体化のため、Ｎ＝５の場合、即ち、５枚の短露光画像Ｃｗ1〜Ｃｗ5が取得される場合を考える。
【０２９３】
まず、ブロックマッチング法などを利用して、時間的に連続して撮影された２つの短露光画像Ｃｗi-1と短露光画像Ｃｗiの間におけるオプティカルフローを求める。図４４は、求められたオプティカルフローの例を示している。オプティカルフローは、対比画像間における動きベクトルの束である。次に、求められたオプティカルフローに基づいて、一連の短露光画像Ｃｗ1〜Ｃｗ5中における、小画像抽出用領域を検出する。小画像抽出用領域は、各短露光画像内に定義される。そして、短露光画像Ｃｗiの小画像抽出用領域内から小画像Ｃｓiを抽出するようにする。
【０２９４】
例えば、５枚の短露光画像の撮影中において、撮像装置１が略固定され且つ撮影領域の中央付近に位置する人物が実空間上で動いている場合、その人物に対応する位置において有意な動きベクトルが検出される一方、短露光画像の大部分を占める周辺部において、そのような動きベクトルは検出されない。有意な動きベクトルとは、所定の大きさ以上の大きさを有する動きベクトルであり、単純には大きさがゼロではない動きベクトルを意味する。図４４は、このような場合におけるオプティカルフローを表している。この場合、有意な動きベクトルが検出されない領域は、実空間上で静止した被写体が描写される静被写体領域であり、この静被写体領域を小画像抽出用領域として検出する。図４４の短露光画像Ｃｗ1〜Ｃｗ5中における破線で囲まれた領域内部が、検出された小画像抽出用領域に対応している。
【０２９５】
また例えば、５枚の短露光画像の撮影中において、撮影領域の中央付近に位置する人物が実空間上で右方向に動いており且つ撮像装置１の筐体（不図示）がその人物に追従するように右方向に振られている場合、図４５に示す如く、その人物に対応する位置において有意な動きベクトルは検出されず、一方、短露光画像の大部分を占める周辺部（背景部分）において有意な動きベクトルが検出される。しかも、検出される、この有意な動きベクトルの大きさ及び向きは均一である。この場合、この有意な動きベクトルが検出される領域、即ち、画像中の支配的な動き領域を小画像抽出用領域として検出する（結果的に、図４４に示す場合と同様の小画像抽出用領域が検出される）。
【０２９６】
また例えば、５枚の短露光画像の撮影中に全被写体及び撮像装置１が実空間上で静止している場合は、短露光画像の全体領域において有意な動きベクトルは検出されない。この場合は、各短露光画像の全体領域が静被写体領域であり、この静被写体領域を小画像抽出用領域として検出する。また例えば、５枚の短露光画像の撮影中において、全被写体が実空間上で静止しているものの撮像装置１の筐体が右方向に振られている場合或いは撮像装置１が実空間上で静止しているものの全被写体が均一に左方向に移動している場合は、図４６に示す如く、短露光画像の全体に渡って、大きさ及び向きが均一な、有意な動きベクトルが検出される。この場合は、短露光画像の全体領域が支配的な動き領域であると判断され、その支配的な動き領域を小画像抽出用領域として検出する。
【０２９７】
このように、オプティカルフローを形成する複数の動きベクトルを統計処理することにより小画像抽出用領域を特定することができる。
【０２９８】
或いは、実空間上で動く動被写体（人物など）を検出し、その動被写体が位置していない領域を小画像抽出用領域として検出するようにしてもよい。画像処理による、公知の動被写体の追尾技術を用いれば、短露光画像の画像データを含む撮像部１１の出力から動被写体を検出して追尾することが可能である。
【０２９９】
撮影領域内で不規則に動く動被写体が描画されている領域より小画像Ｃｓiを抽出し、その小画像Ｃｓiに基づいて評価値（Ｋａi又はＫｂi）を算出するようにすると、該評価値が動被写体の動きの影響を受け、小画像Ｃｓi及び短露光画像Ｃｗiに対するぶれ量の推定精度が劣化する。結果、ぶれ量の小さな短露光画像の選択に失敗し、適切な参照画像Ｒｗを生成できなくなる可能性が高まる。しかしながら、上記の如く、小画像抽出用領域（静被写体領域又は支配的な動き領域）を検出して小画像抽出用領域から小画像Ｃｓiを抽出するようにすれば、短露光画像Ｃｗi中に不規則に動く動被写体が含まれていたとしても、ぶれ量の少ない短露光画像を正確に選択して適切な参照画像Ｒｗを生成できるようになる。
【０３００】
また、短露光画像Ｃｗiの回転角に基づく評価値Ｋｃiを算出する際にも（図３６参照）補正対象対象Ｌｗから小領域が抽出されるが、評価値Ｋｃiが動被写体の動きの影響を受けるのを回避すべく、この小領域も小画像抽出用領域から抽出するようにするとよい。この場合、補正対象画像Ｌｗと５枚の短露光画像Ｃｗ1〜Ｃｗ5から成る一連の連続撮影画像群に対して、上述したようにオプティカルフローを求め、そのオプティカルフローを形成する複数の動きベクトルを統計処理することにより小画像抽出用領域を補正対象画像Ｌｗ内に設定すればよい。
【０３０１】
第３実施形態に対する変形例または注釈事項として、以下に、注釈７及び注釈８を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合せることが可能である。尚、第１実施形態に対して上述した注釈２〜注釈５の記載内容を、第３実施形態に対して適用することも可能である。
【０３０２】
［注釈７］
第６、第７又は第８実施例における上述の動作では、補正対象画像Ｌｗを得るための通常露光撮影の直後にＮ回の短時間露光撮影を行うようにしているが、このＮ回の短時間露光撮影を通常露光撮影の直前に行うことも可能である。また、Ｎａ回の短時間露光撮影を通常露光撮影の直前に行い且つＮｂ回の短時間露光撮影を通常露光撮影の直後に行って、合計Ｎ回の短時間露光撮影を行うようにしてもよい（但し、Ｎ＝Ｎａ＋Ｎｂ）。
【０３０３】
［注釈８］
例えば、以下のように考えることができる。補正対象画像としての１枚の通常露光画像とＮ枚の短露光画像を取得する画像取得手段と、第６、第７又は第８実施例に記載した方法にてＮ枚の短露光画像から参照画像を生成する参照画像生成手段（第２画像生成手段）と、図２７のステップＳ２１２、図２８のステップＳ２３１又は図２９のステップＳ２５１の処理を実行して補正画像を生成する補正処理手段と、を有するぶれ補正装置が図２６の撮像装置１ｂに内在している。このぶれ補正装置は、主として、手ぶれ補正部２１にて形成される、或いは、手ぶれ補正部２１及び主制御部１３にて形成される。特に第８実施例の動作を実現する場合においては、参照画像生成手段（第２画像生成手段）は、図２９のステップＳ２４９の処理を実行する選択処理手段と、図２９のステップＳ２５０の処理を実行する合成処理手段と、図２９のステップＳ２４８の分岐処理を行うことでステップＳ２４９とＳ２５０の何れか一方のみを実行させる切替制御手段と、を有する。
【図面の簡単な説明】
【０３０４】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である。
【図２】本発明の第１実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。
【図３】図２の動作の流れの一部を表す概念図である。
【図４】図２のフーリエ反復法の詳細フローチャートである。
【図５】図２のフーリエ反復法を実現する構成のブロック図である。
【図６】本発明の第２実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。
【図７】図６の動作の流れの一部を表す概念図である。
【図８】本発明の第２実施例にて実行される、画像復元フィルタのフィルタ係数の縦横拡大処理を説明するための図である。
【図９】本発明の第３実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。
【図１０】図９の動作の流れの一部を表す概念図である。
【図１１】本発明の第３実施例にて実行される加重加算処理の意義を説明するための図である。
【図１２】本発明の第４実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。
【図１３】図１２の動作の流れの一部を表す概念図である。
【図１４】本発明の第５実施例に係る、手ぶれ検出及び手ぶれ補正を実現する構成ブロック図である。
【図１５】従来の加算式手ぶれ補正を説明するための図である。
【図１６】従来のフーリエ反復法を実現する構成のブロック図である。
【図１７】本発明の第２実施形態に係る撮像装置の全体ブロック図である。
【図１８】本発明の第２実施形態に係り、補正対象画像と参照画像の夫々から複数の小画像が抽出される様子を示す図である。
【図１９】本発明の第２実施形態に係り、補正対象画像及び参照画像から抽出された、互いに対応する小画像を示す図である。
【図２０】本発明の第２実施形態に係り、参照画像から抽出された小画像にエッジ抽出処理を施すことにより、エッジ方向に伸びる直線が検出される様子を示す図である。
【図２１】本発明の第２実施形態に係り、図１９の小画像に、エッジ方向に伸びる直線を重畳して示した図である。
【図２２】図２１の直線の直交方向における輝度値の分布を示すための図である。
【図２３】図２１の直線の直交方向における輝度値の分布を示すための図である。
【図２４】本発明の第２実施形態に係り、輝度値の分布に基づいて生成された平滑化関数としての空間フィルタを表す図である。
【図２５】本発明の第２実施形態に係り、手ぶれ検出の動作の流れを表すフローチャートである。
【図２６】本発明の第３実施形態に係る撮像装置の全体ブロック図である。
【図２７】本発明の第６実施例に係り、図２６の撮像装置による手ぶれ補正の動作の流れを表すフローチャートである。
【図２８】本発明の第７実施例に係り、図２６の撮像装置による手ぶれ補正の動作の流れを表すフローチャートである。
【図２９】本発明の第８実施例に係り、図２６の撮像装置による手ぶれ補正の動作の流れを表すフローチャートである。
【図３０】本発明の第８実施例に係り、図２６の撮像装置に設けられた測光回路及びＬＵＴを示す図である。
【図３１】本発明の第９実施例に係り、参照画像の生成に利用される第１評価値の算出動作を表すフローチャートである。
【図３２】本発明の第９実施例に係り、参照画像の生成に利用される第１評価値の算出方法を説明するための図である。
【図３３】本発明の第９実施例に係り、参照画像の生成に利用される第２評価値の算出動作を表すフローチャートである。
【図３４】図３３に対応する動作の意義を説明するための図であり、鮮明な短露光画像とぶれの大きい不鮮明な短露光画像を示す図である。
【図３５】図３４の各短露光画像に対応する輝度ヒストグラムを示す図である。
【図３６】本発明の第９実施例に係り、参照画像の生成に利用される第３評価値の算出方法を説明するための図である。
【図３７】本発明の第１０実施例に係り、第１の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。
【図３８】本発明の第１０実施例に係り、第２の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。
【図３９】図３８に対応する手ぶれ補正処理の概念図である。
【図４０】本発明の第１０実施例に係り、第３の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。
【図４１】図４０に対応する手ぶれ補正処理の概念図である。
【図４２】本発明の第１０実施例に係り、一次元のガウス分布を示す図である。
【図４３】図４０に対応する手ぶれ補正処理の効果を説明するための図である。
【図４４】本発明の第１１実施例に係り、各短露光画像と、隣接する短露光画像間のオプティカルフローの例を示す図である。
【図４５】本発明の第１１実施例に係り、隣接する短露光画像間のオプティカルフローの他の例を示す図である。
【図４６】本発明の第１１実施例に係り、隣接する短露光画像間のオプティカルフローの更に他の例を示す図である。
【符号の説明】
【０３０５】
１、１ａ、１ｂ  撮像装置
１１  撮像部
１３  主制御部
１９、２０  手ぶれ検出／補正部
２１  手ぶれ補正部
３１  メモリ
３２  劣化画像／初期復元画像設定部
３３  フーリエ反復処理部
３４  フィルタリング部
３５  リンギング除去部
【図１】
0004454657.tif 000011
【図２】
0004454657.tif 000012
【図３】
0004454657.tif 000013
【図４】
0004454657.tif 000014
【図５】
0004454657.tif 000015
【図６】
0004454657.tif 000016
【図７】
0004454657.tif 000017
【図８】
0004454657.tif 000018
【図９】
0004454657.tif 000019
【図１０】
0004454657.tif 000020
【図１１】
0004454657.tif 000021
【図１２】
0004454657.tif 000022
【図１３】
0004454657.tif 000023
【図１４】
0004454657.tif 000024
【図１５】
0004454657.tif 000025
【図１６】
0004454657.tif 000026
【図１７】
0004454657.tif 000027
【図１８】
0004454657.tif 000028
【図２４】
0004454657.tif 000029
【図２５】
0004454657.tif 000030
【図２６】
0004454657.tif 000031
【図２７】
0004454657.tif 000032
【図２８】
0004454657.tif 000033
【図２９】
0004454657.tif 000034
【図３０】
0004454657.tif 000035
【図３１】
0004454657.tif 000036
【図３２】
0004454657.tif 000037
【図３３】
0004454657.tif 000038
【図３６】
0004454657.tif 000039
【図３７】
0004454657.tif 000040
【図３８】
0004454657.tif 000041
【図３９】
0004454657.tif 000042
【図４０】
0004454657.tif 000043
【図４１】
0004454657.tif 000044
【図４２】
0004454657.tif 000045
【図４４】
0004454657.tif 000046
【図４５】
0004454657.tif 000047
【図４６】
0004454657.tif 000048
【図１９】
0004454657.tif 000049
【図２０】
0004454657.tif 000050
【図２１】
0004454657.tif 000051
【図２２】
0004454657.tif 000052
【図２３】
0004454657.tif 000053
【図３４】
0004454657.tif 000054
【図３５】
0004454657.tif 000055
【図４３】
0004454657.tif 000056