(57)【要約】【課題】画像復元を行うことのできる装置の形成容易化及び手ぶれ補正画像の再生高速化を図る。【解決手段】撮像部から原画像（補正対象画像）を取得して前記原画像を記録媒体（１６）に記録する画像記録装置において、前記撮像部から前記原画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された参照画像をも取得する。画像記録装置は、前記原画像及び前記参照画像に基づいて、前記原画像のぶれによる劣化を補正するための復元関数を生成する復元関数生成部（３２）と、前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する復元関数記録制御部（３３）と、を備えている。【選択図】図２
2009088933.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録装置において、
前記撮像手段から前記原画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された参照画像をも取得する画像取得手段と、
前記原画像及び前記参照画像に基づいて、前記原画像のぶれによる劣化を補正するための復元関数を生成する復元関数生成手段と、
前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する記録制御手段と、を備えた
ことを特徴とする画像記録装置。
【請求項２】
撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録装置において、
前記原画像のぶれによる劣化の状態を表す劣化関数を生成する劣化関数生成手段と、
前記劣化関数から前記劣化を補正するための復元関数を生成する復元関数生成手段と、
前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する記録制御手段と、を備えた
ことを特徴とする画像記録装置。
【請求項３】
前記復元関数は、二次元ＦＩＲフィルタによって表される
ことを特徴とする請求項１又は請求項２に記載の画像記録装置。
【請求項４】
前記記録制御手段は、前記二次元ＦＩＲフィルタのフィルタサイズ及びフィルタ係数を、前記復元関数データとして前記記録媒体に記録する
ことを特徴とする請求項３に記載の画像記録装置。
【請求項５】
前記記録制御手段は、前記フィルタ係数を圧縮する圧縮手段を有し、前記フィルタサイズ、圧縮後のフィルタ係数及び前記フィルタ係数の圧縮方法を示すデータを前記復元関数データとして前記記録媒体に記録する
ことを特徴とする請求項４に記載の画像記録装置。
【請求項６】
請求項１〜請求項５の何れかに記載の記録媒体から前記復元関数データを読み出す復元関数読出手段と、
読み出された前記復元関数データを用いて前記記録媒体に記録された前記原画像の劣化を補正する補正手段と、を備えた
ことを特徴とする画像補正装置。
【請求項７】
請求項１〜請求項５の何れかに記載の画像記録装置及び撮像手段を備えた
ことを特徴とする撮像装置。
【請求項８】
撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録方法において、
前記撮像手段から前記原画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された参照画像をも取得する画像取得ステップと、
前記原画像及び前記参照画像に基づいて、前記原画像のぶれによる劣化を補正するための復元関数を生成する復元関数生成ステップと、
前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する復元関数記録ステップと、を備えた
ことを特徴とする画像記録方法。
【請求項９】
撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録方法において、
前記原画像のぶれによる劣化の状態を表す劣化関数を生成する劣化関数生成ステップと、
前記劣化関数から前記劣化を補正するための復元関数を生成する復元関数生成ステップと、
前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する復元関数記録ステップと、を備えた
ことを特徴とする画像記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影によって得られた画像を記録する画像記録装置、及び、その画像を補正する画像補正装置に関する。また、本発明は、デジタルスチルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、手ぶれに由来する画像のぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の方式として様々な方式が提案されているが、その中に、復元式手ぶれ補正が存在する。
【０００３】
復元式手ぶれ補正では、ぶれによる画像の劣化を復元処理によって除去する。例えば、１枚又は複数枚の撮影画像の画像データに基づいて、或いは、手ぶれ検出センサの検出データに基づいて、撮影中の手ぶれの状態を表す手ぶれ情報（点広がり関数（Point Spread Function）など）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像を復元処理によって生成する。復元式手ぶれ補正に関する技術は、例えば下記特許文献１〜５に開示されている。
【０００４】
尚、フーリエ反復法を用いた復元式手ぶれ補正も提案されている（例えば、下記非特許文献１参照）。図２５にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像として、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【０００５】
【特許文献１】特開平５−３２３４４４号公報
【特許文献２】特開平６−３４３１６０号公報
【特許文献３】特開２００１−１９７３５５号公報
【特許文献４】特開２００１−３４６０９３号公報
【特許文献５】特開２００４−８８５６７号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【０００６】
手ぶれ画像は、手ぶれの影響のない理想画像に対して劣化関数を作用させることによって得られると考えられる。このため、実際に得られた手ぶれ画像に対して、劣化関数の逆関数に相当する復元関数を作用させれば、ぶれが除去或いは低減された復元画像を得ることができる。
【０００７】
従来の復元式手ぶれ補正では、撮影時に、劣化関数の基となる手ぶれ検出センサの検出データ又は劣化関数を記録媒体に記録し、再生時に、その検出データや劣化関数から復元関数を生成して復元処理を行っている。この場合、再生装置側に、復元関数を生成するための特別な演算手段を設ける必要があるため、手ぶれ補正のなされた画像を再生可能な装置が専用の再生装置に限られてしまっていた。また、通常、１枚の画像を再生する機会は複数存在するが、従来手法では、再生の度に、センサの検出データ又は劣化関数から復元関数を導出する必要がある。この導出のための演算処理には相当の時間（例えば、１秒〜数秒）がかかるため、結果として、再生に多くの時間がかかっていた。
【０００８】
そこで本発明は、画像復元を行うことのできる装置の形成容易化及び手ぶれ補正画像の再生高速化に寄与する、画像記録装置、画像補正装置、画像記録方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る第１の画像記録装置は、撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録装置において、前記撮像手段から前記原画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された参照画像をも取得する画像取得手段と、前記原画像及び前記参照画像に基づいて、前記原画像のぶれによる劣化を補正するための復元関数を生成する復元関数生成手段と、前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する記録制御手段と、を備えたことを特徴とする。
【００１０】
上記目的を達成するために本発明に係る第２の画像記録装置は、撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録装置において、前記原画像のぶれによる劣化の状態を表す劣化関数を生成する劣化関数生成手段と、前記劣化関数から前記劣化を補正するための復元関数を生成する復元関数生成手段と、前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する記録制御手段と、を備えたことを特徴とする。
【００１１】
第１又は第２の画像記録装置を用いれば、再生装置側に復元関数を生成するための特別な演算手段を設ける必要がなくなる。このため、簡易な構成で画像復元を行うことのできる装置を形成することが可能となる。また、再生装置側で復元関数を生成する必要がなくなるため、劣化が補正された画像の再生高速化も見込める。
【００１２】
具体的には例えば、前記復元関数は、二次元ＦＩＲフィルタによって表される。
【００１３】
そして例えば、前記記録制御手段は、前記二次元ＦＩＲフィルタのフィルタサイズ及びフィルタ係数を、前記復元関数データとして前記記録媒体に記録する。
【００１４】
或いは例えば、前記記録制御手段は、前記フィルタ係数を圧縮する圧縮手段を有し、前記フィルタサイズ、圧縮後のフィルタ係数及び前記フィルタ係数の圧縮方法を示すデータを前記復元関数データとして前記記録媒体に記録する。
【００１５】
これにより、復元関数データのデータ量の削減が図られる。
【００１６】
そして、本発明に係る画像補正装置は、前記記録媒体から前記復元関数データを読み出す復元関数読出手段と、読み出された前記復元関数データを用いて前記記録媒体に記録された前記原画像の劣化を補正する補正手段と、を備えたことを特徴とする。
【００１７】
また、本発明に係る撮像装置は、上記の何れかに記載の画像記録装置及び撮像手段を備えたことを特徴とする。
【００１８】
また、上記目的を達成するために本発明に係る第１の画像記録方法は、撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録方法において、前記撮像手段から前記原画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された参照画像をも取得する画像取得ステップと、前記原画像及び前記参照画像に基づいて、前記原画像のぶれによる劣化を補正するための復元関数を生成する復元関数生成ステップと、前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する復元関数記録ステップと、を備えたことを特徴とする。
【００１９】
また、上記目的を達成するために本発明に係る第２の画像記録方法は、撮像手段から原画像を取得して前記原画像を記録媒体に記録する画像記録方法において、前記原画像のぶれによる劣化の状態を表す劣化関数を生成する劣化関数生成ステップと、前記劣化関数から前記劣化を補正するための復元関数を生成する復元関数生成ステップと、前記復元関数を表す復元関数データを前記原画像に関連付けて前記記録媒体に記録する復元関数記録ステップと、を備えたことを特徴とする。
【発明の効果】
【００２０】
本発明は、画像復元を行うことのできる装置の形成容易化及び手ぶれ補正画像の再生高速化に寄与する。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２３】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画を撮影及び記録可能なデジタルスチルカメラ、又は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。
【００２４】
まず、撮像装置１の全体的な構成について説明する。撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、露光制御部１８と、手ぶれ検出／補正部１９と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。
【００２５】
撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、主制御部１３からのＡＦ／ＡＥ制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。
【００２６】
ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００２７】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００２８】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮影画像の画像データを含む、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
【００２９】
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画の撮影及び記録を指示するためのボタンである。
【００３０】
露光制御部１８は、撮像部１１の撮像素子の露光量が最適化されるように、撮像素子の各画素の露光時間を制御する。また、主制御部１３から露光制御部１８に対して露光時間制御信号が与えられている場合、露光制御部１８は、その露光時間制御信号に従って露光時間を制御する。
【００３１】
撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画または動画を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００３２】
撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行う。主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成し、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。
【００３３】
撮影モードにおいて、シャッタボタン１７ａが押下された際、主制御部１３は、１枚の撮影画像を表す画像データを記録媒体１６に格納する（即ち、記憶させる）。この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に、操作部１７等を介して与えられた補正指示に従って或いは自動的に手ぶれ検出／補正部１９によって補正される。このため、以下、シャッタボタン１７ａの押下に伴う上記１枚の撮影画像を、特に「補正対象画像」と呼ぶ。尚、本明細書において、画像を取得、保存、格納又は記録するという表現は、その画像の画像データを取得、保存、格納又は記録するということと同義である。
【００３４】
手ぶれ検出／補正部１９は、手ぶれ検出及び手ぶれ補正を行う。即ち、補正対象画像に含まれるぶれを検出し、その検出結果に従って補正対象画像を補正することにより、ぶれを除去或いは低減した補正画像を生成する。尚、本明細書において、ぶれ又は劣化に関する「除去」とは、完全なる除去のみを意味するものではなく、ぶれ又は劣化の一部が除去されることをも含む概念である。従って、例えば、「ぶれを除去する」という表現を「ぶれを除去或いは低減する」と読み替えてもよい。
【００３５】
次に、撮像装置１に含まれる、撮影に関与する部位の構成及び動作について説明する。図２は、撮影に関与する部位の構成を表すブロック図であり、図３は、それらの部位の動作手順を表すフローチャートである。
【００３６】
例えば、図２の画像取得部３１は図１の主制御部１３に備えられ、図２の復元関数生成部３２及び復元関数記録制御部３３は図１の手ぶれ検出／補正部１９に備えられる。符号ＦＬ１は、補正対象画像が記録されるべき画像ファイルであり、画像ファイルＦＬ１は、記録媒体１６に保存される。
【００３７】
図４に、画像ファイルＦＬ１を含む、記録媒体１６に保存されるべき画像ファイルの構成を示す。画像ファイルはヘッダ領域と本体領域から形成され、同一の画像ファイル内に定義されたヘッダ領域と本体領域は互いに関連付けられている。従って、同一の画像ファイル内に格納された、ヘッダ領域及び本体領域の各データは互いに関連付けられている。
【００３８】
図２に示された各部位の動作について説明する（図３も参照）。撮影モードにおいてシャッタボタン１７ａが押下された時、画像取得部３１は、その押下後の露光によって得られた１枚の撮影画像を補正対象画像として取得すると共に、その補正対象画像の撮影前又は撮影後に得られた撮影画像を参照画像として取得する。この参照画像の撮影時における露光時間は、補正対象画像のそれよりも短いものとする。
【００３９】
その後、復元関数生成部３２は、補正対象画像と参照画像の各画像データに基づいて、補正対象画像に含まれるぶれを除去するための復元関数を生成する。復元関数記録制御部３３は、生成された復元関数を表す復元関数データを画像ファイルＦＬ１のヘッダ領域に記録する。一方で、補正対象画像の画像データは、画像ファイルＦＬ１の本体領域に記録される。
【００４０】
参照画像の露光時間は補正対象画像のそれよりも短いため、参照画像に含まれるぶれは補正対象画像におけるそれよりも小さい。故に、参照画像と補正対象画像を対比することにより、補正対象画像に含まれるぶれの状態を推測可能であり、その推測内容に応じた復元関数を生成することが可能である。この復元関数の生成手法については、後述の他の実施形態にて例示する。
【００４１】
尚、図３は、復元関数の生成後に補正対象画像と復元関数データを画像ファイルＦＬ１に記録する手順を示しているが、復元関数を生成する処理と補正対象画像を画像ファイルＦＬ１に記録する処理を並行して行っても良い。例えば、復元関数の生成前或いは生成中に補正対象画像を画像ファイルＦＬ１に記録する処理を実行開始し、補正対象画像の記録後に復元関数データを画像ファイルＦＬ１に記録するようにしてもよい。これにより、補正対象画像と復元関数データが記録された画像ファイルＦＬ１の生成時間を短縮することができる。
【００４２】
続いて、撮像装置１に含まれる、再生に関与する部位の構成及び動作について説明する。図５は、再生に関与する部位の構成を表すブロック図であり、図６は、それらの部位の動作手順を表すフローチャートである。
【００４３】
例えば、図５の復元関数読出部４１及び復元処理部４２は、図１の手ぶれ検出／補正部１９に備えられ、それらは図１の主制御部１３の制御の下で、必要な動作を行う。図５の画像ファイルＦＬ１は、図２におけるそれと同じものである。
【００４４】
再生モードにおいて、画像ファイルＦＬ１内に記録された画像の再生を指示する操作が図１の操作部１７に対して施されると、その操作内容は図１の主制御部１３に伝達され、画像ファイルＦＬ１に記録された補正対象画像の画像データが主制御部１３を介して図５の復元処理部４２に送られる。一方において、この時、復元関数読出部４１は、画像ファイルＦＬ１のヘッダ領域に記録されている復元関数データを読み出して、その復元関数データを復元処理部４２に送る。
【００４５】
復元処理部４２は、与えられた補正対象画像に対して復元関数データを用いた復元処理を行うことにより、補正対象画像に含まれるぶれを除去し、これによってぶれが除去された補正画像を生成する。生成された補正画像は表示部１５に表示される。また、生成された補正画像は操作部１７に対する操作に応じて記録媒体１６に記録されうる。
【００４６】
次に、復元関数について詳細に説明する。第１実施形態において、劣化関数は生成されないが、説明の便宜上、劣化関数に対する説明も行いながら復元関数を説明する。劣化関数は、補正対象画像のぶれによる劣化の状態を表す。
【００４７】
補正対象画像の露光時間中に撮像装置１に対してぶれが加わると補正対象画像にはぶれが含まれることになるが、その露光時間中に、一切、撮像装置１に対してぶれが加わらなかった場合に得られたと想定される画像を「理想画像」と呼ぶ。ぶれ画像とも呼ぶべき補正対象画像は、図７に示す如く、理想画像に劣化関数を作用させることによって得られる画像と仮定できる。
【００４８】
復元関数は、画像に劣化関数を作用させる変換の逆の変換を行う関数である。従って、補正対象画像に復元関数を作用させることによって、補正対象画像からぶれが除去される。この除去によって得られた補正画像は、理想画像に近似しており、復元関数が理想的に求められたものであるならば補正画像と理想画像は完全に一致する。
【００４９】
復元関数は、実際には、二次元ＦＩＲ（Finite Impulse Response）フィルタにて表される。この復元関数を形成する二次元ＦＩＲフィルタを、以下、「画像復元フィルタ」と呼ぶ。尚、フィルタ係数は、フィルタ係数値と同義である。
【００５０】
図８に、画像復元フィルタの例を示す。Ｔｈ及びＴｖは、夫々、画像復元フィルタの水平方向のフィルタサイズ（換言すれば、水平タップサイズ）及び垂直方向のフィルタサイズ（換言すれば、垂直タップサイズ）を表す。図８の例の場合、Ｔｈ及びＴｖは夫々７及び５である（単位は画素）。従って、この画像復元フィルタの特性は、３５個のフィルタ係数によって規定され、この３５個のフィルタ係数を画像復元フィルタの左上隅から右下隅に向かってラスター走査順に書き並べると、データ列“００００００ｋA０００００ｋBｋC００００ｋDｋD００００ｋEｋF００ｋGｋGｋGｋH０００”が得られる。ここで、ｋA〜ｋHはゼロではないフィルタ係数である。
【００５１】
図２の復元関数記録制御部３３は、この画像復元フィルタのフィルタサイズ及びフィルタ係数を復元関数データとして画像ファイルＦＬ１に記録する。より具体的には、画像復元フィルタのフィルタサイズを表すＴｈ及びＴｖの値とフィルタ係数のデータ列を復元関数データとして画像ファイルＦＬ１のヘッダ領域に記録する。図９（ａ）は、この記録の様子を示す、画像ファイルＦＬ１のヘッダ領域のデータ構造を示している。ここで、Ｔａｇは、復元関数データが記録されている領域を識別するための記号である。
【００５２】
上記データ列を記録する場合、全てのフィルタ係数は圧縮されていないが、それらを圧縮してから記録するようにしてもよい。これにより、復元関数データの記録領域を削減することできる。例えば、図２の復元関数記録制御部３３にデータ列圧縮部（不図示）を設けておき、そのデータ列圧縮部が、上記のデータ列をランレングス法などの所定の圧縮方法を用いて圧縮することにより、圧縮データ列“０６ｋA１０５ｋB１ｋC１０４ｋD２０４ｋE１ｋF１０２ｋG３ｋH１０３”を得る。この場合、復元関数記録制御部３３は、画像復元フィルタのフィルタサイズを表すＴｈ及びＴｖの値と、上記の圧縮データ列と、圧縮データ列を得るために用いた圧縮方法を示すフラグデータＦｅｎｃを、復元関数データとして画像ファイルＦＬ１のヘッダ領域に記録する。図９（ｂ）は、この記録の様子を示す、画像ファイルＦＬ１のヘッダ領域のデータ構造を示している。
【００５３】
図５の復元関数読出部４１は、画像ファイルＦＬ１から、復元関数データとしての、Ｔｈ及びＴｖの値とフィルタ係数のデータ列を読み出して、これらを復元処理部４２に送る。フィルタ係数のデータ列が圧縮されている場合は、画像ファイルＦＬ１から、Ｔｈ及びＴｖの値とフィルタ係数の圧縮データ列とフラグデータＦｅｎｃを読み出して、圧縮データ列をフラグデータＦｅｎｃに基づいて伸張し、伸張によって得られた圧縮前のデータ列をＴｈ及びＴｖの値と共に復元処理部４２に送る。
【００５４】
復元処理部４２は、Ｔｈ及びＴｖの値とフィルタ係数のデータ列から、復元関数を表す画像復元フィルタを形成し、補正対象画像を形成する各画素に対して画像復元フィルタを適用することにより補正対象画像をフィルタリングする。このフィルタリング（より詳細には、二次元空間フィルタリング）によって得られた画像を、フィルタリング画像と呼ぶ。画像復元フィルタのフィルタサイズは補正対象画像の画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像の全体に対して適用することによって、補正対象画像の全体のぶれが除去される。
【００５５】
例えば、Ｔｈ＝Ｔｖ＝５とした場合、フィルタリング画像を形成する画素の画素値と、補正対象画像を形成する画素の画素値との関係は、下記式（Ａ１）によって表される。ここで、ＩF（ｉ，ｊ）は、フィルタリング画像の座標位置（ｉ，ｊ）の画素の画素値を表し、ＩO（ｉ＋ｕ，ｊ＋ｖ）は、補正対象画像の座標位置（ｉ＋ｕ，ｊ＋ｖ）の画素の画素値を表し、ｗ（ｕ，ｖ）は、画像復元フィルタの座標位置（ｕ，ｖ）のフィルタ係数を表す。
【００５６】
【数１】
2009088933.tif 000003
【００５７】
その後、復元処理部４２は、フィルタリング画像と補正対象画像を加重平均することにより、最終的な補正画像を生成する。この加重平均によって、フィルタリングによって生じたリンギングが除去される。例えば、この加重平均は、画素ごとに行われ、画素ごとの加重平均の比率は、補正対象画像の各画素のエッジ強度に応じて定められる。この加重平均よるリンギング除去手法は、公知であるため、詳細な説明を割愛する（例えば、特開２００６−１２９２３６号公報参照）。尚、加重平均よるリンギング除去処理を省略することも可能であり、この場合は、フィルタリング画像を最終的に求められるべき補正画像と捉えればよい。フィルタリング画像も、ぶれが除去された画像であることに相違はない。
【００５８】
尚、ランレングス法を用いてフィルタ係数のデータ列を圧縮する手法を例示したが、ランレングス法以外の圧縮方法を用いて、それを圧縮してもよい。また、ランレングス法によってデータ列の圧縮を行った場合、圧縮しないときよりもデータ量がかえって増大することもある。従って、複数の圧縮方法にてデータ列を圧縮できるようにしておき、最も圧縮効果の高い圧縮方法を選択して用いるようにしてもよい。この場合において、何れの圧縮方法を用いても、圧縮しないときよりもデータ量が増えてしまうのであれば、圧縮を行うことなくフィルタ係数のデータ列を画像ファイルＦＬ１に記録すればよい。またデータ量を更に削減するために、図２の復元関数生成部３２にて生成された復元関数を表す画像復元フィルタのフィルタサイズを、間引き処理などによって適当な縮小率で縮小し、縮小後の画像復元フィルタを縮小率と共に画像ファイルＦＬ１に記録するようにしてもよい（但し、この縮小処理による圧縮は可逆圧縮ではない）。この場合、再生時において、画像ファイルＦＬ１に記録された縮小後の画像復元フィルタを縮小率の逆数で拡大し、この拡大によって得られた画像復元フィルタを用いて復元処理を行えばよい。
【００５９】
また、図５の復元関数読出部４１及び復元処理部４２を、撮像装置１以外の他の装置（例えば、パーソナルコンピュータ）に設けることも可能である。画像に対して二次元フィルタによるフィルタリングを実施可能な装置であれば、容易に復元関数読出部４１及び復元処理部４２の機能を実現できる。
【００６０】
従来の復元処理手法では、撮影時に、撮像装置のぶれを検出するセンサの検出データ又は劣化関数を記録媒体に記録する。そして、再生時において、その検出データや劣化関数から復元関数を生成して復元処理を行っていた。この場合、再生装置側に、復元関数を生成するための特別な演算手段を設ける必要があるため、補正画像を再生可能な装置が専用の再生装置に限られてしまっていた。また、通常、１枚の画像を再生する機会は複数存在するが、従来の復元処理手法では、再生の度に、センサの検出データ又は劣化関数から復元関数を導出する必要がある。この導出のための演算処理には相当の時間（例えば、１秒〜数秒）がかかるため、結果として、再生に多くの時間がかかっていた。
【００６１】
一方、本実施形態の如く、撮影時に復元関数を生成して、それを補正対象画像と共に画像ファイルに記録しておくようにすれば、画像に対して二次元フィルタによるフィルタリングを実施可能な任意の装置において、ぶれが除去された補正画像を再生可能となる。このため、簡易な構成で画像復元を行うことのできる装置を形成でき、実用性が極めて高い。また、復元関数を導出するための演算処理を再生の度に行う必要もなく、再生時においてフィルタリング処理を実施するだけで補正画像が得られるため、補正画像の再生が高速化される。
【００６２】
尚、上述の例では、１枚の補正対象画像に対して１つの復元関数を生成し、１つの復元関数を補正対象画像の全体に対して作用させることにより補正対象画像の劣化を補正しているが、１枚の補正対象画像の全体領域をｎ個の部分領域（ｎは２以上の整数）に分割し、各部分領域に対して個別に復元関数を求めるようにしてもよい。この場合、図２の復元関数記録制御部３３は、ｎ個の復元関数についての復元関数データ及び補正対象画像中における各部分領域の座標位置を画像フィルタＦＬ１のヘッダ領域に記録する。図５の復元処理部４２は、復元関数読出部４１を介して、画像フィルタＦＬ１のヘッダ領域から各復元関数データと各部分領域の座標位置を受け取って、部分領域ごとに画像復元フィルタを形成する。そして、補正対象画像内の各部分領域の画像に対して対応する画像復元フィルタを用いたフィルタリング処理を実行することにより、フィルタリング画像を生成する。
【００６３】
撮像装置１に作用する手ぶれの方向が上下方向及び／又は左右方向のみである場合、手ぶれは画像全体に一様な劣化を与えると考えられるが、回転方向の手ぶれが加わると、劣化関数が補正対象画像内の異なる位置間で異なってくる。結果、作用させるべき復元関数も補正対象画像内の異なる位置間で異なってくる。このような場合に、複数の復元関数を利用する手法は有益である。
【００６４】
また例えば、撮影領域内に被写体距離の近い人物と被写体距離の遠い山が混在する場合、人物が描画されている領域に対して最適な復元関数と山が描画されている領域に対して最適な復元関数は異なる（両者間で劣化関数が異なるため）。このような混在が起きている場合にも、複数の復元関数を利用する手法は有益である。例えば、測距センサ（不図示）又はＴＴＬ（Through The Lens）方式の測距を用いて撮影領域に収まる各被写体の被写体距離を算出し、図１０に示す如く、補正対象画像の全体領域を、被写体距離の比較的小さい被写体が描画されている第１の部分領域と被写体距離の比較的大きい被写体が描画されている第２の部分領域に分割する。そして、各部分領域に対して個別に復元関数を求めるようにするとよい。尚、被写体距離とは、被写体と撮像装置１との間の実空間上の距離を意味する。
【００６５】
＜＜第２実施形態＞＞
次に、本発明の第２実施形態に係る撮像装置を説明する。第２実施形態に係る撮像装置の全体ブロック図は、図１に示すそれと同じであるため、第２実施形態に係る撮像装置も符号１によって参照することとする。第２実施形態に係る撮像装置１も、符号１１〜１９にて参照される各部位を備え（図１参照）、それらの各部位の基本的な動作は第１実施形態におけるそれと同様である。第２実施形態は、第１実施形態の変形例に相当し、矛盾なき限り、第１実施形態の記載内容は第２実施形態にも適用される。第１実施形態との相違点に着目して、第２実施形態の説明を行う。
【００６６】
図１１は、第２実施形態の撮像装置１に含まれる、撮影に関与する部位のブロック図である。図１２は、それらの部位の動作手順を表すフローチャートである。
【００６７】
例えば、図１１の劣化関数生成部３４、復元関数生成部３２ａ及び復元関数記録制御部３３は図１の手ぶれ検出／補正部１９に備えられる。
【００６８】
撮影モードにおいてシャッタボタン１７ａが押下された時、その押下後の露光によって得られた１枚の撮影画像が補正対象画像として取得される。一方において、劣化関数生成部３４は、補正対象画像のぶれによる劣化の状態を表す劣化関数を生成する。
【００６９】
劣化関数の生成手法として、公知の任意の生成手法を利用可能である。例えば、撮像装置１の筐体（不図示）の動きを検出するための手ぶれ検出センサ（不図示）が撮像装置１に備えられている場合は、補正対象画像の露光期間中における手ぶれ検出センサの検出結果に基づいて劣化関数を生成する。手ぶれ検出センサの検出結果に基づく劣化関数の生成手法は、例えば、特開２００６−１２９２３６号公報（以下、特許文献αと呼ぶ）に記載されており、それに記載された手法を本実施形態に適用可能である。
【００７０】
手ぶれ検出センサは、撮像装置１の筐体の角速度を検出する角速度センサや該筐体の加速度を検出する加速度センサなどである。劣化関数生成部３４は、補正対象画像の露光期間中における手ぶれ検出センサの検出結果を取得し、この検出結果と撮像部１１の焦点距離に基づいて、理想画像中の点が撮像装置１の筐体のぶれによって描く軌跡を求めると共に、この軌跡にあわせて重み付けがなされた二次元空間フィルタの各フィルタ係数（重み付け係数）を求める。この二次元空間フィルタによって劣化関数が表される。このような劣化関数は、一般に、点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）と呼ばれる。
【００７１】
また、上記特許文献３等に記載された手法を用いて、劣化関数を生成するようにしてもよい。この手法を用いる場合、連続撮影によって得られた、補正対象画像を含む複数の撮影画像に基づいて、補正対象画像の露光期間中における被写体像の移動軌跡を推定し、その移動軌跡からＰＳＦに相当する劣化関数を生成する。
【００７２】
この他、フーリエ反復法に基づいて劣化関数を生成することもできる。フーリエ反復法を利用した劣化関数の生成手法については、他の実施形態で後述する。
【００７３】
復元関数生成部３２ａは、劣化関数生成部３４によって生成された劣化関数から、補正対象画像に含まれるぶれを除去するための復元関数を生成する。劣化関数から復元関数を生成する手法も公知であるため、詳細な説明を割愛する。例えば、上記特許文献αに記載された手法に従って、劣化関数としてのＰＳＦの逆フィルタを復元関数として求めればよい。ＰＳＦの逆フィルタは、ＰＳＦによって表される行列の逆行列（一般逆行列）によって表され、その逆行列（一般逆行列）を形成する各要素が、復元関数を表す画像復元フィルタの各フィルタ係数に相当する。また、劣化関数からウィナーフィルタや周波数フィルタを、画像復元フィルタとして求めるようにしてもよい。
【００７４】
復元関数記録制御部３３は、復元関数生成部３２ａによって生成された復元関数を表す復元関数データを画像ファイルＦＬ１のヘッダ領域に記録する。一方で、補正対象画像の画像データは、画像ファイルＦＬ１の本体領域に記録される。
【００７５】
復元関数生成部３２ａによって生成される復元関数は、第１実施形態で述べたそれと同様のものであり、且つ、図１１の復元関数記録制御部３３の動作は、第１実施形態で述べたものと同様である。つまり、復元関数生成部３２ａによって生成される復元関数は、二次元ＦＩＲフィルタである、図８に示すような画像復元フィルタにて表され、復元関数記録制御部３３は、この画像復元フィルタのフィルタサイズを表すＴｈ及びＴｖの値とフィルタ係数のデータ列を復元関数データとして画像ファイルＦＬ１のヘッダ領域に記録する（図９（ａ）参照）。フィルタ係数のデータ列を圧縮する場合は、Ｔｈ及びＴｖの値と圧縮データ列と圧縮方法を表すフラグデータＦｅｎｃを画像ファイルＦＬ１のヘッダ領域に記録する（図９（ｂ）参照）
【００７６】
尚、図１２は、復元関数の生成後に補正対象画像と復元関数データを画像ファイルＦＬ１に記録する手順を示しているが、劣化関数及び復元関数を生成する処理と補正対象画像を画像ファイルＦＬ１に記録する処理を並行して行っても良い。例えば、劣化関数の生成前若しくは生成中又は復元関数の生成前或いは生成中に補正対象画像を画像ファイルＦＬ１に記録する処理を実行開始し、補正対象画像の記録後に復元関数データを画像ファイルＦＬ１に記録するようにしてもよい。これにより、補正対象画像と復元関数データが記録された画像ファイルＦＬ１の生成時間を短縮することができる。
【００７７】
撮像装置１に含まれる、再生に関与する部位の構成のブロック図は、図５に示すそれと同じであり、その動作も第１実施形態で述べたそれと同じである（図６も参照）。
【００７８】
第２実施形態によっても、第１実施形態と同様の効果が得られる。つまり、簡易な構成で画像復元を行うことのできる装置を形成できる。また、従来例に比べて、補正画像の再生が高速化される。
【００７９】
尚、上述の例では、１枚の補正対象画像に対して１つの劣化関数及び１つの復元関数を生成し、１つの復元関数を補正対象画像の全体に対して作用させることにより補正対象画像の劣化を補正している。しかしながら、第１実施形態で述べた手法と同様にして、１枚の補正対象画像の全体領域をｎ個の部分領域（ｎは２以上の整数）に分割し、各部分領域に対して個別に劣化関数及び復元関数を求めるようにしてもよい。この場合、図１１の復元関数記録制御部３３は、ｎ個の復元関数についての復元関数データ及び補正対象画像中における各部分領域の座標位置を画像フィルタＦＬ１のヘッダ領域に記録する。図５の復元処理部４２は、復元関数読出部４１を介して、画像フィルタＦＬ１のヘッダ領域から各復元関数データと各部分領域の座標位置を受け取って、部分領域ごとに画像復元フィルタを形成する。そして、補正対象画像内の各部分領域の画像に対して対応する画像復元フィルタを用いたフィルタリング処理を実行することにより、フィルタリング画像を生成する。
【００８０】
＜＜第３実施形態＞＞
次に、本発明の第３実施形態について説明する。第３実施形態に記載した技術内容は、第１又は第２実施形態と組み合わせて実施される。第３実施形態では、図２又は図１１の復元関数生成部３２又は３２ａにて利用可能な復元関数の生成手法、及び、図１１の劣化関数生成部３４にて利用可能な劣化関数の生成手法を説明する。
【００８１】
これらの生成手法はフーリエ反復法に基づいており、以下に、これらの生成手法の処理内容を、第１〜第４処理例として個別に説明する。或る処理例に記載した事項は、矛盾なき限り、他の処理例にも適用可能である。尚、各処理例の説明文中には、劣化関数及び復元関数の生成手法以外の説明も含まれている。また、第１〜第４処理例における記述において、画像などが記憶される「メモリ」とは、図１の内部メモリ１４又は手ぶれ検出／補正部１９内に設けられた図示されないメモリを意味するものとする。
【００８２】
［第１処理例］
まず、第１処理例について説明する。図１３及び図１４を参照する。図１３は、第１処理例に係る、撮像装置１の撮影及び再生動作の流れを表すフローチャートである。図１４は、この動作の流れの一部を表す概念図である。
【００８３】
ステップＳ１〜Ｓ１１の処理は撮影時に実行され、ステップＳ１２及びＳ１３の処理は再生時に実行される。第１処理例を第１実施形態に適用する場合は、図２の復元関数生成部３２がステップＳ５〜Ｓ１１の処理を実行することにより、復元関数を表す画像復元フィルタが求まる。ステップＳ１２及びＳ１３の処理は、図５の復元処理部４２によって実行される。第１処理例を第２実施形態に適用する場合は、図１１の劣化関数生成部３４がステップＳ５〜Ｓ１０の処理を実行することにより、劣化関数を表すＰＳＦが求まり、図１１の復元関数生成部３２ａがステップＳ１１の処理を実行することにより復元関数を表す画像復元フィルタが求まる。
【００８４】
撮像装置１の撮影及び再生動作の流れを図１３のフローチャートに沿って説明する。撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた補正対象画像をメモリ上に記憶する（ステップＳ１及びＳ２）。第１処理例における該補正対象画像を、以下、補正対象画像Ａ１と呼ぶ。
【００８５】
次に、ステップＳ３において、補正対象画像Ａ１を得る際の露光時間Ｔ１と閾値ＴTHとを比較し、露光時間Ｔ１が閾値ＴTHより小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして図１３の処理を終了する。つまり、この場合、復元関数の生成及び記録はなされない。閾値ＴTHとしては、例えば、手ぶれ限界露光時間を用いる。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、撮像部１１の焦点距離ｆの逆数から算出される。
【００８６】
露光時間Ｔ１が閾値ＴTHより大きい場合、ステップＳ４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第１処理例における該参照画像を、以下、参照画像Ａ２と呼ぶ。補正対象画像Ａ１と参照画像Ａ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ａ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ａ２の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しい。
【００８７】
次に、ステップＳ５において、補正対象画像Ａ１の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ａ１ａとしてメモリ上に記憶する。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。このように、特徴的な小領域は、その小領域内の画像のエッジ成分の大きさ（またはコントラスト量）に基づいて選定される。
【００８８】
次に、ステップＳ６において、補正対象画像Ａ１から抽出された小領域と同一座標の小領域を参照画像Ａ２から抽出し、参照画像Ａ２から抽出された小領域内の画像を小画像Ａ２ａとしてメモリ上に記憶する。補正対象画像Ａ１から抽出される小領域の中心座標（補正対象画像Ａ１における中心座標）と参照画像Ａ２から抽出される小領域の中心座標（参照画像Ａ２における中心座標）は等しく、また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しいため、両小領域の画像サイズも等しくされる。
【００８９】
参照画像Ａ２の露光時間は比較的短いので、小画像Ａ２ａの信号対雑音比（以下、Ｓ／Ｎ比という）は比較的低い。そこで、ステップＳ７にて、小画像Ａ２ａに対してノイズ除去処理を行う。ノイズ除去後の小画像Ａ２ａを、小画像Ａ２ｂとする。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて小画像Ａ２ａをフィルタリングすることにより行われる。
【００９０】
小画像Ａ２ｂは低輝度であるため、ステップＳ８において、小画像Ａ２ｂの輝度レベルが増加させる。即ち例えば、小画像Ａ２ｂの輝度レベルが小画像Ａ１ａの輝度レベルと等しくなるように（小画像Ａ２ｂの平均輝度と小画像Ａ１ａの平均輝度が等しくなるように）、小画像Ａ２ｂの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。このようにして輝度レベルを増加させた後の小画像Ａ２ｂを、小画像Ａ２ｃとする。
【００９１】
上述のようにして得られた小画像Ａ１ａを劣化画像として且つ小画像Ａ２ｃを初期復元画像として取り扱った上で（ステップＳ９）、ステップＳ１０にて、フーリエ反復法を実施することにより、劣化関数（画像劣化関数）としてのＰＳＦを求める。フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。通常、手ぶれは画像全体に対して一様な劣化を与えるため、小領域Ａ１ａに対して求めたＰＳＦは、補正対象画像Ａ１の全体に対するＰＳＦとして利用することができる。
【００９２】
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図１５及び図１６を参照して詳細に説明する。図１５は、図１３のステップＳ１０の処理の詳細フローチャートである。図１６は、フーリエ反復法を実施する部位のブロック図である。
【００９３】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として上記の初期復元画像（本処理例において小画像Ａ２ｃ）を用いるようにする。次に、ステップＳ１０２において、劣化画像（本処理例において小画像Ａ１ａ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【００９４】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【００９５】
【数２】
2009088933.tif 000004
【００９６】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（２ａ）の拘束条件で修正した後、更に式（２ｂ）の拘束条件にて修正する。
【００９７】
【数３】
2009088933.tif 000005
【００９８】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（２ｂ）の拘束条件による修正である。
【００９９】
式（２ａ）及び（２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【０１００】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【０１０１】
【数４】
2009088933.tif 000006
【０１０２】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【０１０３】
【数５】
2009088933.tif 000007
【０１０４】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（４）の拘束条件による修正である。
【０１０５】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【０１０６】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【０１０７】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図１３のステップＳ１０で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図１６参照）は、順次、最新のものに更新されていく。
【０１０８】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（２ａ）及び（２ｂ）を用いたステップＳ１１３における修正量、或いは、式（４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【０１０９】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像の補正は行われない。
【０１１０】
図１３の各ステップの説明に戻る。ステップＳ１０にて、ＰＳＦが算出された後、ステップＳ１１に移行する。ステップＳ１１では、ステップＳ１０で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（３）の右辺の一部に相当する下記式（５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ１０におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【０１１１】
【数６】
2009088933.tif 000008
【０１１２】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ａ１をフィルタリングすることにより、補正対象画像Ａ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【０１１３】
［第２処理例］
次に、第２処理例について説明する。
【０１１４】
上述したように、撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行い、主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成して、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。
【０１１５】
スルー表示用画像は、動画用の画像であり、その画像サイズは、静止画としての補正対象画像のそれよりも小さい。補正対象画像は、撮像部１１の撮像素子の有効撮像領域内における全画素の画素信号から生成される一方、スルー表示用画像は、該有効撮像領域の各画素の画素信号を間引きつつ生成される。撮影画像を、有効撮像領域内における全画素の画素信号から生成される画像と考えた場合、補正対象画像は、シャッタボタン１７ａの押下に従って通常露光撮影及び記録される撮影画像そのものであり、スルー表示用画像は、各フレームの撮影画像の間引き画像に相当する。
【０１１６】
第２処理例では、補正対象画像が撮影されるフレームの直前或いは直後のフレームの撮影画像に基づくスルー表示用画像を参照画像として利用する。以下、補正対象画像が撮影されるフレームの直前のフレームのスルー表示用画像を利用する場合を例示する。
【０１１７】
図１７及び図１８を参照する。図１７は、第２処理例に係る、撮像装置１の撮影及び再生動作の流れを表すフローチャートである。図１８は、この動作の流れの一部を表す概念図である。
【０１１８】
ステップＳ２０〜Ｓ２９並びにＳ１０及びＳ１１の処理は撮影時に実行され、ステップＳ１２及びＳ１３の処理は再生時に実行される。第２処理例を第１実施形態に適用する場合は、図２の復元関数生成部３２がステップＳ２５〜Ｓ２９並びにＳ１０及びＳ１１の処理を実行することにより、復元関数を表す画像復元フィルタが求まる。ステップＳ１２及びＳ１３の処理は、図５の復元処理部４２によって実行される。第２処理例を第２実施形態に適用する場合は、図１１の劣化関数生成部３４がステップＳ２５〜Ｓ２９及びＳ１０の処理を実行することにより、劣化関数を表すＰＳＦが求まり、図１１の復元関数生成部３２ａがステップＳ１１の処理を実行することにより復元関数を表す画像復元フィルタが求まる。
【０１１９】
撮像装置１の撮影及び再生動作の流れを図１７のフローチャートに沿って説明する。撮影モードにおいて、上述の如く、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ２０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた補正対象画像を記憶する（ステップＳ２１及びＳ２２）。第２処理例における該補正対象画像を、以下、補正対象画像Ｂ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｂ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｂ３と呼ぶ。
【０１２０】
次に、ステップＳ２３において、補正対象画像Ｂ１を得る際の露光時間Ｔ１と閾値ＴTHとを比較する。露光時間Ｔ１が上記閾値ＴTH（例えば、焦点距離ｆの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図１７の処理を終了する。つまり、この場合、復元関数の生成及び記録はなされない。
【０１２１】
露光時間Ｔ１が閾値ＴTHより大きい場合、ステップＳ２４に移行して、露光時間Ｔ１と参照画像Ｂ３を得る際の露光時間Ｔ３とを比較する。Ｔ１≦Ｔ３の場合、参照画像Ｂ３の方が手ぶれが大きいとみなし、手ぶれ補正を行わずに図１７の処理を終了する。Ｔ１＞Ｔ３の場合、ステップＳ２５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｂ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｂ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１処理例で述べたものと同様である。
【０１２２】
次に、ステップＳ２６において、小画像Ｂ３ａの座標に対応して、補正対象画像Ｂ１の中から小領域を抽出する。そして、補正対象画像Ｂ１から抽出したその小領域内の画像を補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて縮小した画像を、小画像Ｂ１ａとしてメモリ上に記憶する。つまり、小画像Ｂ１ａを生成する際、小画像Ｂ１ａとＢ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。
【０１２３】
仮に補正対象画像Ｂ１と参照画像Ｂ３の画像サイズが等しくなるように参照画像Ｂ３を拡大したならば、補正対象画像Ｂ１から抽出される小領域の中心座標（補正対象画像Ｂ１における中心座標）と参照画像Ｂ３から抽出される小領域の中心座標（参照画像Ｂ３における中心座標）は一致する。但し、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズは実際には異なるため、両小領域の画像サイズは、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて異なる。従って、補正対象画像Ｂ１から抽出される小領域の画像サイズに対する参照画像Ｂ３から抽出される小領域の画像サイズの比を、補正対象画像Ｂ１の画像サイズに対する参照画像Ｂ３の画像サイズの比と一致させる。そして、最終的に小画像Ｂ１ａとＢ３ａの画像サイズが等しくなうように、補正対象画像Ｂ１から抽出される小領域内の画像を縮小することにより小画像Ｂ１ａを得る。
【０１２４】
次に、ステップＳ２７において、小画像Ｂ１ａ及びＢ３ａに対してエッジ抽出処理を施し、小画像Ｂ１ｂ及びＢ３ｂを得る。例えば、小画像Ｂ１ａの各画素に対して任意のエッジ検出オペレータを適用することにより小画像Ｂ１ａのエッジ抽出画像を生成し、このエッジ抽出画像を小画像Ｂ１ｂとする。小画像Ｂ３ｂについても同様である。
【０１２５】
この後、ステップＳ２８において、小画像Ｂ１ｂとＢ３ｂに対して輝度正規化処理を行う。つまり、小画像Ｂ１ｂとＢ３ｂの輝度レベルが等しくなるように（小画像Ｂ１ｂの平均輝度と小画像Ｂ３ｂの平均輝度が等しくなるように）、小画像Ｂ１ｂ及び／又はＢ３ｂの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｂ１ｂ及びＢ３ｂを、小画像Ｂ１ｃ及びＢ３ｃとする。
【０１２６】
参照画像Ｂ３としてのスルー表示用画像は動画用の画像であるため、例えば、それが動画に適した色合いを持つように動画用の画像処理を介して得られる。一方、補正対象画像Ｂ１は、シャッタボタン１７ｂの押下に伴って撮影された静止画であるため、それは静止画用の画像処理を介して得られる。両画像処理間の相違に起因して、被写体が同一であっても小画像Ｂ１ａとＢ３ａ間で色合いなどが異なる。この相違は、エッジ抽出処理によって除去されるため、ステップＳ２７にてエッジ抽出処理を行う。更に、補正対象画像Ｂ１と参照画像Ｂ３の輝度差はエッジ抽出処理によって概ね除去されるため、エッジ抽出処理によっても輝度差の影響が抑制される（即ち、ぶれ検出精度が向上する）が、完全に除去されるわけではないため、その後、ステップＳ２８にて輝度正規化処理を行うようにしている。
【０１２７】
上述のようにして得られた小画像Ｂ１ｃを劣化画像として且つ小画像Ｂ３ｃを初期復元画像として取り扱った上で（ステップＳ２９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。
【０１２８】
ステップＳ１０〜Ｓ１３の各処理内容は、第１処理例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。
【０１２９】
例えば、スルー表示用画像と補正対象画像との画像サイズ比が３：５であって且つステップＳ１０及びＳ１１を介して得られる画像復元フィルタのフィルタサイズが３×３である場合において、図１９の符号１０１に示されるような各フィルタ係数が算出されたとき、縦横拡大処理によって図１９の符号１０２に示されるような５×５サイズの画像復元フィルタの各フィルタ係数を生成する。そして、最終的に、５×５サイズの画像復元フィルタの各フィルタ係数を、ステップＳ１１にて得られる各フィルタ係数とする。尚、図１９の符号１０２に対応する例では、縦横拡大処理によって補間されたフィルタ係数を０としているが、線形補間などによって、補間されるべきフィルタ係数を算出するようにしても良い。
【０１３０】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｂ１をフィルタリングすることにより、補正対象画像Ｂ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【０１３１】
［第３処理例］
次に、第３処理例について説明する。図２０及び図２１を参照する。図２０は、第３処理例に係る、撮像装置１の撮影及び再生動作の流れを表すフローチャートである。図２１は、この動作の流れの一部を表す概念図である。
【０１３２】
ステップＳ３０〜Ｓ４０並びにＳ１０及びＳ１１の処理は撮影時に実行され、ステップＳ１２及びＳ１３の処理は再生時に実行される。第３処理例を第１実施形態に適用する場合は、図２の復元関数生成部３２がステップＳ３５〜Ｓ４０並びにＳ１０及びＳ１１の処理を実行することにより、復元関数を表す画像復元フィルタが求まる。ステップＳ１２及びＳ１３の処理は、図５の復元処理部４２によって実行される。第３処理例を第２実施形態に適用する場合は、図１１の劣化関数生成部３４がステップＳ３５〜Ｓ４０及びＳ１０の処理を実行することにより、劣化関数を表すＰＳＦが求まり、図１１の復元関数生成部３２ａがステップＳ１１の処理を実行することにより復元関数を表す画像復元フィルタが求まる。
【０１３３】
撮像装置１の撮影及び再生動作の流れを図２０のフローチャートに沿って説明する。撮影モードにおいて、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ３０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた補正対象画像を記憶する（ステップＳ３１及びＳ３２）。第３処理例における該補正対象画像を、以下、補正対象画像Ｃ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｃ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｃ３と呼ぶ。
【０１３４】
次に、ステップＳ３３において、補正対象画像Ｃ１を得る際の露光時間Ｔ１と閾値ＴTHとを比較する。露光時間Ｔ１が上記閾値ＴTH（例えば、焦点距離ｆの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２０の処理を終了する。つまり、この場合、復元関数の生成及び記録はなされない。
【０１３５】
露光時間Ｔ１が閾値ＴTHより大きい場合、露光時間Ｔ１と参照画像Ｃ３を得る際の露光時間Ｔ３とを比較し、Ｔ１≦Ｔ３の場合、参照画像Ｃ３の方が手ぶれが大きいとみなして、以下、第１処理例と同様の手ぶれ検出及び手ぶれ補正を実行する（即ち、図１３のステップＳ４〜Ｓ１３と同様の処理を行うようにする）。一方、Ｔ１＞Ｔ３の場合、ステップＳ３４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像Ｃ２としてメモリ上に記憶する。図２０において、Ｔ１とＴ３の比較に関する処理内容の記載を省略しており、以下、Ｔ１＞Ｔ３である場合について説明する。
【０１３６】
補正対象画像Ｃ１と参照画像Ｃ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ｃ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ｃ２の露光時間は、Ｔ３／４とされる。また、補正対象画像Ｃ１と参照画像Ｃ２の画像サイズは等しい。
【０１３７】
ステップＳ３４の後、ステップＳ３５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｃ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｃ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１処理例で述べたものと同様である。
【０１３８】
次に、ステップＳ３６において、小画像Ｃ３ａの座標に対応して、補正対象画像Ｃ１の中から小領域を抽出する。そして、補正対象画像Ｃ１から抽出した小領域内の画像を補正対象画像Ｃ１と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ１ａとしてメモリ上に記憶する。つまり、小画像Ｃ１ａを生成する際、小画像Ｃ１ａとＣ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。同様に、小画像Ｃ３ａの座標に対応して、参照画像Ｃ２の中から小領域を抽出する。そして、参照画像Ｃ２から抽出した小領域内の画像を参照画像Ｃ２と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ２ａとしてメモリ上に記憶する。補正対象画像Ｃ１（または参照画像Ｃ２）から小画像Ｃ１ａ（または小画像Ｃ２ａ）を得る手法は、第２処理例にて説明した補正対象画像Ｂ１から小画像Ｂ１ａを得る手法（図１７のステップＳ２６）と同様である。
【０１３９】
次に、ステップＳ３７において、小画像Ｃ３ａを基準として、小画像Ｃ２ａに対して輝度正規化処理を行う。つまり、小画像Ｃ３ａとＣ２ａの輝度レベルが等しくなるように（小画像Ｃ３ａの平均輝度と小画像Ｃ２ａの平均輝度が等しくなるように）、小画像Ｃ２ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ２ａを、小画像Ｃ２ｂとする。
【０１４０】
ステップＳ３７の処理の後、ステップＳ３８に移行する。ステップＳ３８では、まず、小画像Ｃ３ａと小画像Ｃ２ｂとの差分画像を生成する。小画像Ｃ３ａとＣ２ｂとの間において差異がある部分についてのみ、差分画像の画素値は０以外の値をとる。そして、差分画像の各画素の画素値を重み付け係数と捉えて、小画像Ｃ３ａとＣ２ｂを加重加算することにより、小画像Ｃ４ａを生成する。
【０１４１】
差分画像の各画素の画素値をＩD（ｐ，ｑ）で表し、小画像Ｃ３ａの各画素の画素値をＩ3（ｐ，ｑ）で表し、小画像Ｃ２ｂの各画素の画素値をＩ2（ｐ，ｑ）で表し、小画像Ｃ４ａの各画素の画素値をＩ4（ｐ，ｑ）で表すとすると、Ｉ4（ｐ，ｑ）は、下記式（６）によって表される。ここで、ｋは、定数であり、ｐ及びｑは、差分画像又は各小画像における、水平座標及び垂直座標を表す。
【０１４２】
【数７】
2009088933.tif 000009
【０１４３】
後述の説明からも明らかとなるが、小画像Ｃ４ａは、補正対象画像Ｃ１のぶれに対応するＰＳＦを算出するための画像として利用される。良好なＰＳＦを得るためには、小画像Ｃ４ａの中に、エッジ部分を適切に保存しておく必要がある。また、当然、小画像Ｃ４ａのＳ／Ｎ比が高ければ高いほど良好なＰＳＦを得ることができる。一般的に複数の画像を加算すればＳ／Ｎ比が向上するため、小画像Ｃ３ａとＣ２ｂを加算することによって小画像Ｃ４ａを生成する訳であるが、この加算によってエッジ部分がぼけてしまうと良好なＰＳＦが得られない。
【０１４４】
そこで、上述の如く、差分画像の画素値に応じた加重加算によって小画像Ｃ４ａを生成するようにする。この加重加算の意義を、図２２を参照して補足説明する。小画像Ｃ３ａの露光時間は小画像Ｃ２ｂの露光時間よりも長いため、図２２（ａ）に示す如く、同一のエッジ体を撮影した時における前者のぶれは後者のぶれよりも通常大きくなる。従って、両小画像を単純加算すると、図２２（ａ）に示す如くエッジ部がぼやけてしまうが、図２２（ｂ）に示す如く、両小画像間の差分画像の画素値に応じて両小画像を加重加算すれば、エッジ部は比較的良好に保存される。小画像Ｃ３ａのぶれが大きいことに起因して生じた相違部分１１０（エッジ部の劣化が異なる部分）では、ＩD（ｐ，ｑ）が大きくなって小画像Ｃ２ｂの重みが大きくなり、小画像Ｃ４ａに小画像３ａの大きなエッジ部劣化が反映されにくくなるからである。逆に、非相違部分１１１では、露光時間が比較的長い小画像３ａの重みが大きくなるようにしているため、Ｓ／Ｎ比の向上効果（ノイズ低減効果）も得られる。
【０１４５】
次に、ステップＳ３９において、小画像Ｃ１ａを基準として、小画像Ｃ４ａに対して輝度正規化処理を行う。つまり、小画像Ｃ１ａとＣ４ａの輝度レベルが等しくなるように（小画像Ｃ１ａの平均輝度と小画像Ｃ４ａの平均輝度が等しくなるように）、小画像Ｃ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ４ａを、小画像Ｃ４ｂとする。
【０１４６】
上述のようにして得られた小画像Ｃ１ａを劣化画像として且つ小画像Ｃ４ｂを初期復元画像として取り扱った上で（ステップＳ４０）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。
【０１４７】
ステップＳ１０〜Ｓ１３の各処理内容は、第１処理例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２処理例で説明したものと同様である。
【０１４８】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｃ１をフィルタリングすることにより、補正対象画像Ｃ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【０１４９】
［第４処理例］
次に、第４処理例について説明する。図２３及び図２４を参照する。図２３は、第４処理例に係る、撮像装置１の撮影及び再生動作の流れを表すフローチャートである。図２４は、この動作の流れの一部を表す概念図である。
【０１５０】
ステップＳ５０〜Ｓ５９並びにＳ１０及びＳ１１の処理は撮影時に実行され、ステップＳ１２及びＳ１３の処理は再生時に実行される。第４処理例を第１実施形態に適用する場合は、図２の復元関数生成部３２がステップＳ５５〜Ｓ５９並びにＳ１０及びＳ１１の処理を実行することにより、復元関数を表す画像復元フィルタが求まる。ステップＳ１２及びＳ１３の処理は、図５の復元処理部４２によって実行される。第４処理例を第２実施形態に適用する場合は、図１１の劣化関数生成部３４がステップＳ５５〜Ｓ５９及びＳ１０の処理を実行することにより、劣化関数を表すＰＳＦが求まり、図１１の復元関数生成部３２ａがステップＳ１１の処理を実行することにより復元関数を表す画像復元フィルタが求まる。
【０１５１】
撮像装置１の撮影及び再生動作の流れを図２３のフローチャートに沿って説明する。第４処理例では、まず、ステップＳ５０〜Ｓ５６の各処理が実施される。ステップＳ５０〜Ｓ５６の各処理内容は、第３処理例におけるステップＳ３０〜Ｓ３６（図２０参照）のそれらと同様であるため重複する説明を割愛する。但し、第３処理例における補正画像対象Ｃ１並びに参照画像Ｃ２及びＣ３は、第４処理例において、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に読み替えられる。また例えば、参照画像Ｄ２の露光時間は、Ｔ１／４とされる。
【０１５２】
ステップＳ５０〜Ｓ５６を経て、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に基づく小画像Ｄ１ａ、Ｄ２ａ及びＤ３ａが得られ、その後、ステップＳ５７に移行する。
【０１５３】
ステップＳ５７では、小画像Ｄ２ａ及びＤ３ａの内、何れか一方の小画像を小画像Ｄ４ａとして選択する。選択は、様々な指標に基づいて行うことができる。
【０１５４】
例えば、小画像Ｄ２ａのエッジ強度と小画像Ｄ３ａのエッジ強度を比較し、エッジ強度がより大きい小画像を小画像Ｄ４ａとして選択する。小画像Ｄ４ａは、フーリエ反復法の初期復元画像の基とされるが、エッジ強度が大きい画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。例えば、小画像Ｄ２ａの各画素に対して所定のエッジ検出オペレータを適用することにより小画像Ｄ２ａのエッジ抽出画像を生成し、このエッジ抽出画像の画素値の総和を小画像Ｄ２ａのエッジ強度とする。同様にして、小画像Ｄ３ａのエッジ強度も算出される。
【０１５５】
また例えば、参照画像Ｄ２の露光時間と参照画像Ｄ３の露光時間を比較し、より短い露光時間に対応する小画像を小画像Ｄ４ａとして選択するようにしてもよい。露光時間が短い画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。また例えば、図１の操作部１７等を介して予め設定された選択情報（外部情報）に基づいて、小画像Ｄ２ａ及びＤ３ａから小画像Ｄ４ａを選択するようにしてもよい。また、上記のエッジ強度、露光時間及び選択情報を組み合せた指標値に基づいて、この選択を行うことも可能である。
【０１５６】
次に、ステップＳ５８において、小画像Ｄ１ａを基準として、小画像Ｄ４ａに対して輝度正規化処理を行う。つまり、小画像Ｄ１ａとＤ４ａの輝度レベルが等しくなるように（小画像Ｄ１ａの平均輝度と小画像Ｄ４ａの平均輝度が等しくなるように）、小画像Ｄ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｄ４ａを、小画像Ｄ４ｂとする。
【０１５７】
上述のようにして得られた小画像Ｄ１ａを劣化画像として且つ小画像Ｄ４ｂを初期復元画像として取り扱った上で（ステップＳ５９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。
【０１５８】
ステップＳ１０〜Ｓ１３の各処理内容は、第１処理例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２処理例で説明したものと同様である。
【０１５９】
ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｄ１をフィルタリングすることにより、補正対象画像Ｄ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。
【０１６０】
［各処理例に対する考察］
以下に、第１〜第４処理例を利用することの意義や変形例について記述する。
【０１６１】
通常露光撮影よりも短い露光時間の撮影によって参照画像は、低輝度であるものの含まれる手ぶれ量が少ないため、それのエッジ成分は、手ぶれのない画像のエッジ成分に近い。従って、上述の如く、この参照画像から得られる画像をフーリエ反復法における初期復元画像（復元画像の初期値）とする。
【０１６２】
フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）作成用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０１６３】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０１６４】
この際、各処理例で述べたように、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、手ぶれ情報をより正確に検出することができるようになる。
【０１６５】
また、第２処理例では参照画像取得用の専用の撮影を必要とせず、第１、第３及び第４処理例でも参照画像取得用の専用の撮影（短時間露光撮影）は１回分であるため、撮影時の負荷増大は殆どない。また、言うまでもないが、角速度センサ等を用いることなく手ぶれ検出及び手ぶれ補正を行うため、撮像装置１の低コスト化が図られる。
【０１６６】
尚、参照画像に基づく画像を初期復元画像として用いてフーリエ反復法を行うことにより上述のような様々な効果が得られるが、補正対象画像に基づく画像又はランダム画像を初期復元画像として用いてフーリエ反復法を行うことによりＰＳＦ及び画像復元フィルタを導出することも可能であり、その導出法を第１又は第２実施形態に適用しても良い。例えば、第１処理例において（図１４参照）、参照画像Ａ２を取得することなく、補正対象画像Ａ１から抽出した小画像Ａ１ａを劣化画像及び初期復元画像として用いてフーリエ反復法を行うことによりＰＳＦ及び画像復元フィルタを導出してもよい。この場合、参照画像に基づく画像を初期復元画像として用いることによる効果は望めなくなるが、第１又は第２実施形態に特有の効果は得られる。
【０１６７】
また、第１、第３又は第４処理例において（図１４、図２１又は図２４参照）、参照画像Ａ２、Ｃ２又はＤ２は補正対象画像を得るための通常露光撮影の直後の短時間露光撮影によって得られると説明したが、それらを、その通常露光撮影の直前の短時間露光撮影によって得るようにしても構わない。この場合、第３又は第４処理例における参照画像Ｃ３又はＤ３を、補正対象画像を撮影するフレームの直後のフレームにおけるスルー表示用画像とすればよい。
【０１６８】
また、各処理例では、各小画像からフーリエ反復法に対する劣化画像及び初期復元画像を生成する過程において、各小画像に対して、ノイズ除去処理、輝度正規化処理、エッジ抽出処理及び画像サイズ正規化処理（図１４、図１８、図２１及び図２４参照）の内の何れか１以上の処理を適用している。各処理例で述べたこれらの処理の適用方法は、あくまで例であり、様々に変更可能である。極端には、各処理例における劣化画像及び初期復元画像の生成過程において、各小領域に対して上記の４つの処理の全てを施すことも可能である（但し、第１処理例においては、画像サイズ正規化処理は無意味である）。
【０１６９】
また、補正対象画像または参照画像からエッジ成分を比較的多く含む特徴的な小領域を抽出する手法として、様々な手法が採用可能である。例えば、オートフォーカス制御において算出されるＡＦ評価値を流用して、この抽出を行ってもよい。このオートフォーカス制御は、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いる。
【０１７０】
撮像装置１にはＡＦ評価部（不図示）が設けられており、ＡＦ評価部は、各撮影画像（又は各スルー表示用画像）を複数の分割領域に分割して、分割領域内の画像のコントラスト量に応じたＡＦ評価値を分割領域ごとに算出する。図１の主制御部１３は、上記複数の分割領域の内の何れかの分割領域についてのＡＦ評価値を参照して、このＡＦ評価値が最大値（或いは極大値）をとるように山登り制御によって撮像部１１のフォーカスレンズの位置を制御することにより、被写体の光学像を撮像素子の撮像面上に結像させる。
【０１７１】
このようなオートフォーカス制御が実行される場合において、補正対象画像または参照画像から特徴的な小領域を抽出する際、その抽出元画像の各分割領域についてのＡＦ評価値を参照するようにする。例えば、抽出元画像の各分割領域についてのＡＦ評価値の内、最大のＡＦ評価値を特定し、その最大のＡＦ評価値に対応する分割領域（又は該分割領域を基準とした領域）を特徴的な小領域として抽出するようにする。ＡＦ評価値は、分割領域内の画像のコントラスト量（或いはエッジ成分）の増大に伴って増大するため、これによっても、エッジ成分を比較的多く含む小領域を特徴的な小領域として抽出することが可能である。
【０１７２】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。
【０１７３】
［注釈１］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図２、図５及び図１１に示される各部位（但し、記録媒体１６を除く）の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、それらの各機能を撮像装置１の外部装置（コンピュータ等）にて実現することも可能である。
【０１７４】
ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。図２、図５及び図１１に示される各部位（但し、記録媒体１６を除く）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１７５】
［注釈２］
例えば、以下のように考えることができる。第１実施形態において、図２の画像取得部３１、復元関数生成部３２及び復元関数記録制御部３３は、画像記録装置を形成する。第２実施形態においては、図１１の劣化関数生成部３４、復元関数生成部３２ａ及び復元関数記録制御部３３が、画像記録装置を形成する。図５の復元関数読出部４１及び復元処理部４２は、画像補正装置を形成する。
【図面の簡単な説明】
【０１７６】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】本発明の第１実施形態に係り、図１の撮像装置に含まれる、撮影に関与する部位の構成を表すブロック図である。
【図３】図２に示される部位の動作手順を示すフローチャートである。
【図４】図１の記録媒体に保存される画像ファイルの構成を示す図である。
【図５】図１の撮像装置に含まれる、再生に関与する部位の構成を表すブロック図である。
【図６】図５に示される部位の動作手順を示すフローチャートである。
【図７】本発明の実施形態に係り、理想画像とぶれ画像としての補正対象画像と補正画像との関係を示す図である。
【図８】本発明の実施形態に係り、復元関数を表す画像復元フィルタを示す図である。
【図９】図１の記録媒体に保存される画像ファイルのヘッダ領域のデータ構造を示す図である。
【図１０】本発明の実施形態に係り、補正対象画像の全体領域が複数の部分領域に分割される様子を示す図である。
【図１１】本発明の第２実施形態に係り、図１の撮像装置に含まれる、撮影に関与する部位の構成を表すブロック図である。
【図１２】図１１に示される部位の動作手順を示すフローチャートである。
【図１３】本発明の第３実施形態の第１処理例における、撮像装置の撮影及び再生動作の流れを表すフローチャートである。
【図１４】図１３の動作の流れの一部を表す概念図である。
【図１５】図１３に示すフーリエ反復法の詳細フローチャートである。
【図１６】図１３に示すフーリエ反復法を実現する構成のブロック図である。
【図１７】本発明の第３実施形態の第２処理例における、撮像装置の撮影及び再生動作の流れを表すフローチャートである。
【図１８】図１７の動作の流れの一部を表す概念図である。
【図１９】第２処理例にて実行される、画像復元フィルタのフィルタ係数の縦横拡大処理を説明するための図である。
【図２０】本発明の第３実施形態の第３処理例における、撮像装置の撮影及び再生動作の流れを表すフローチャートである。
【図２１】図２０の動作の流れの一部を表す概念図である。
【図２２】第３処理例にて実行される加重加算処理の意義を説明するための図である。
【図２３】本発明の第３実施形態の第４処理例における、撮像装置の撮影及び再生動作の流れを表すフローチャートである。
【図２４】図２３の動作の流れの一部を表す概念図である。
【図２５】従来のフーリエ反復法を実現する構成のブロック図である。
【符号の説明】
【０１７７】
１  撮像装置
１１  撮像部
１３  主制御部
１６  記録媒体
１９  手ぶれ検出／補正部
３１  画像取得部
３２、３２ａ  復元関数生成部
３３  復元関数記録制御部
３４  劣化関数生成部
４１  復元関数読出部
４２  復元処理部
ＦＬ１  画像ファイル
【図１】
2009088933.tif 000010
【図２】
2009088933.tif 000011
【図３】
2009088933.tif 000012
【図４】
2009088933.tif 000013
【図５】
2009088933.tif 000014
【図６】
2009088933.tif 000015
【図８】
2009088933.tif 000016
【図９】
2009088933.tif 000017
【図１０】
2009088933.tif 000018
【図１１】
2009088933.tif 000019
【図１２】
2009088933.tif 000020
【図１３】
2009088933.tif 000021
【図１４】
2009088933.tif 000022
【図１５】
2009088933.tif 000023
【図１６】
2009088933.tif 000024
【図１７】
2009088933.tif 000025
【図１８】
2009088933.tif 000026
【図１９】
2009088933.tif 000027
【図２０】
2009088933.tif 000028
【図２１】
2009088933.tif 000029
【図２２】
2009088933.tif 000030
【図２３】
2009088933.tif 000031
【図２４】
2009088933.tif 000032
【図２５】
2009088933.tif 000033
【図７】
2009088933.tif 000034