(57)【要約】【課題】撮像素子の出力に基づいて手ぶれ補正を行う撮像装置において、周辺照度が低い場合でも良好に手ぶれ補正を行う。【解決手段】シャッタ操作がなされると、撮像装置は、通常露光撮影によって補正対象画像を取得するだけでなく短時間露光撮影によって参照画像を取得する。この際、補正対象画像を全画素読み出しモードにて取得する一方で、参照画像を４画素加算モードにて取得する。補正対象画像と参照画像の画像サイズを併せてから両画像を対比することにより、補正対象画像に含まれるぶれを補正するための復元関数を求め、復元関数（画像復元フィルタ）を用いたフィルタリング処理によって、そのぶれを除去する。【選択図】図８
2009089228.tif 000002
【特許請求の範囲】
【請求項１】
入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、
前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、
前記第１及び第２画像に基づいて、前記第１画像に含まれるぶれを補正するぶれ補正手段と、を備え、
前記画像取得手段は、前記撮像素子の画素加算機能を利用して前記第２画像を取得する第１取得手段を備えた
ことを特徴とする撮像装置。
【請求項２】
前記画像取得手段は、前記画素加算機能を利用することなく前記第１画像を取得する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１取得手段は、前記撮像素子内の複数の受光画素についての画素信号の加算信号を、前記第２画像内の１つの画素についての画素信号として取り扱うことによって、前記第２画像を取得する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記ぶれ補正手段は、
前記第１及び第２画像に基づいて、前記ぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、
求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第１画像又は前記第１画像の縮小画像をフィルタリングすることにより前記ぶれを補正するフィルタリング処理手段と、を備えた
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記ぶれ補正手段は、
前記第１取得手段を用いて得られた前記第２画像の画像サイズに応じて前記第１画像を縮小することによって第１縮小画像を生成する画像縮小手段と、
前記第２画像と前記第１縮小画像に基づいて、前記第１縮小画像に含まれるぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、
求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第１縮小画像をフィルタリングすることにより前記第１縮小画像のぶれを補正するフィルタリング処理手段と、を備え、
補正後の第１縮小画像の画像サイズを拡大することによって、前記第１画像に含まれるぶれが補正された補正画像を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項６】
前記画像取得手段は、前記第２画像を取得する際に前記画素加算機能を利用するか否かを、前記第２画像の露光期間前における前記撮像素子への入射光の明るさに応じて判断する
ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。
【請求項７】
当該撮像装置は、被写体をフラッシュ光にて照らす発光手段を更に備え、
前記画像取得手段は、
前記画素加算機能を利用せず且つ前記フラッシュ光にて前記被写体を照らしながら前記第２画像を取得する第２取得手段と、
前記画素加算機能及び前記フラッシュ光を利用することなく前記第２画像を取得する第３取得手段と、
前記第１〜第３取得手段の内の何れか１つの取得手段を、前記第２画像の露光期間前における前記撮像素子への入射光の明るさ及び被写体距離に基づいて選択する選択手段と、を更に備え、選択した取得手段を用いて前記第２画像を取得する
ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。
【請求項８】
入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、
前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、
前記第２画像から、前記第２画像の画像サイズよりも小さな画像サイズを有する第３画像を生成する第３画像生成手段と、
前記第１及び第３画像に基づいて、前記第１画像に含まれるぶれを補正するぶれ補正手段と、を備え、
前記第３画像生成手段は、前記第２画像内の複数の画素についての画素信号の加算信号を、前記第３画像内の１つの画素についての画素信号として取り扱うことによって、前記第３画像を生成する
ことを特徴とする撮像装置。
【請求項９】
入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、
前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、
前記第２画像内の高域周波数成分を低減するための空間フィルタリング処理を前記第２画像に施すことによって、第３画像を生成する第３画像生成手段と、
前記第１及び第３画像に基づいて、前記第１画像に含まれるぶれを補正するぶれ補正手段と、を備えた
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、手ぶれに由来する画像のぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の方式として様々な方式が提案されているが、その中に、画像復元式手ぶれ補正が存在する。
【０００３】
画像復元式手ぶれ補正では、ぶれによる画像の劣化を復元処理によって除去する。例えば、撮像素子から得た画像データに基づいて、或いは、手ぶれ検出センサの検出データに基づいて、撮影中の手ぶれの状態を表す手ぶれ情報（点広がり関数（Point Spread Function）など）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像を復元処理によって生成する。
【０００４】
この種の手ぶれ補正手法として、第１画像と第１画像の露光時間よりも短い露光時間にて撮影された第２画像とに基づいて第１画像に含まれるぶれを補正するという手法も提案されている（例えば、下記特許文献１参照）。第２画像の露光時間は本来取得すべき第１画像のそれよりも短いため、第２画像に含まれるぶれは少なく、第２画像の露光時間を十分に短くすれば、第２画像に含まれるぶれは無視できる程度に小さくなる。この第２画像を用いて第１画像のぶれの状態を推定すれば、そのぶれを除去するための復元処理を行うことができる。
【０００５】
しかしながら、第２画像は短時間の露光にて得られるため、その画像のＳ／Ｎ比（信号対雑音比）は比較的悪くなる。特に、室内で撮影する場合など、撮像装置の周辺照度が低いと、ぶれの状態を推定できないほど第２画像のＳ／Ｎ比が悪化し、良好な手ぶれ補正が望めなくなるという問題がある。
【０００６】
尚、フーリエ反復法を用いた画像復元式手ぶれ補正も提案されている（例えば、下記非特許文献１参照）。図２５にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像として、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【０００７】
【特許文献１】特開２００１−３４６０９３号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【０００８】
そこで本発明は、周辺照度が低い場合でも良好にぶれ補正を行うことのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る第１の撮像装置は、入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、前記第１及び第２画像に基づいて、前記第１画像に含まれるぶれを補正するぶれ補正手段と、を備え、前記画像取得手段は、前記撮像素子の画素加算機能を利用して前記第２画像を取得する第１取得手段を備えたことを特徴とする。
【００１０】
これにより、ぶれ補正用の第２画像のＳ／Ｎ比が向上し、周辺照度が低い場合でも良好にぶれ補正を行うことが可能となる。
【００１１】
具体的には例えば、前記画像取得手段は、前記画素加算機能を利用することなく前記第１画像を取得する。
【００１２】
また具体的には例えば、前記第１取得手段は、前記撮像素子内の複数の受光画素についての画素信号の加算信号を、前記第２画像内の１つの画素についての画素信号として取り扱うことによって、前記第２画像を取得する。
【００１３】
また具体的には例えば、前記ぶれ補正手段は、前記第１及び第２画像に基づいて、前記ぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第１画像又は前記第１画像の縮小画像をフィルタリングすることにより前記ぶれを補正するフィルタリング処理手段と、を備えている。
【００１４】
また具体的には例えば、前記ぶれ補正手段は、前記第１取得手段を用いて得られた前記第２画像の画像サイズに応じて前記第１画像を縮小することによって第１縮小画像を生成する画像縮小手段と、前記第２画像と前記第１縮小画像に基づいて、前記第１縮小画像に含まれるぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第１縮小画像をフィルタリングすることにより前記第１縮小画像のぶれを補正するフィルタリング処理手段と、を備え、補正後の第１縮小画像の画像サイズを拡大することによって、前記第１画像に含まれるぶれが補正された補正画像を生成する。
【００１５】
また例えば、前記画像取得手段は、前記第２画像を取得する際に前記画素加算機能を利用するか否かを、前記第２画像の露光期間前における前記撮像素子への入射光の明るさに応じて判断する。
【００１６】
これにより、撮像装置の周辺照度に応じた適切なぶれ補正が可能となる。
【００１７】
また例えば、当該撮像装置は、被写体をフラッシュ光にて照らす発光手段を更に備え、前記画像取得手段は、前記画素加算機能を利用せず且つ前記フラッシュ光にて前記被写体を照らしながら前記第２画像を取得する第２取得手段と、前記画素加算機能及び前記フラッシュ光を利用することなく前記第２画像を取得する第３取得手段と、前記第１〜第３取得手段の内の何れか１つの取得手段を、前記第２画像の露光期間前における前記撮像素子への入射光の明るさ及び被写体距離に基づいて選択する選択手段と、を更に備え、選択した取得手段を用いて前記第２画像を取得する。
【００１８】
これにより、状況に応じた適切なぶれ補正が可能となる。
【００１９】
また、上記目的を達成するために本発明に係る第２の撮像装置は、入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、前記第２画像から、前記第２画像の画像サイズよりも小さな画像サイズを有する第３画像を生成する第３画像生成手段と、前記第１及び第３画像に基づいて、前記第１画像に含まれるぶれを補正するぶれ補正手段と、を備え、前記第３画像生成手段は、前記第２画像内の複数の画素についての画素信号の加算信号を、前記第３画像内の１つの画素についての画素信号として取り扱うことによって、前記第３画像を生成することを特徴とする。
【００２０】
第３画像は、含まれるぶれが少ないながらも比較的高いＳ／Ｎ比を有することとなる。この第３画像を用いることにより、周辺照度が低い場合でも良好にぶれ補正を行うことが可能となる。
【００２１】
また、上記目的を達成するために本発明に係る第３の撮像装置は、入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第１露光時間によって前記撮像素子から第１画像を取得する一方で前記第１露光時間よりも短い第２露光時間によって前記撮像素子から第２画像を取得する画像取得手段と、前記第２画像内の高域周波数成分を低減するための空間フィルタリング処理を前記第２画像に施すことによって、第３画像を生成する第３画像生成手段と、前記第１及び第３画像に基づいて、前記第１画像に含まれるぶれを補正するぶれ補正手段と、を備えたことを特徴とする。
【００２２】
第３画像は、含まれるぶれが少ないながらも比較的高いＳ／Ｎ比を有することとなる。この第３画像を用いることにより、周辺照度が低い場合でも良好にぶれ補正を行うことが可能となる。
【発明の効果】
【００２３】
本発明によれば、周辺照度が低い場合でも良好にぶれ補正を行うことのできる撮像装置を提供することが可能となる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２６】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。
【００２７】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、発光部２９と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００２８】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。
【００２９】
ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。内部メモリ１７は、フレームメモリとして機能し、撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００３０】
図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。
【００３１】
撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０、フォーカスレンズ３１及び補正レンズ３６を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。補正レンズ３６は光軸に直交する２次元平面上を移動可能なように光学系３５内に設置される。
【００３２】
ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて絞り３２の開口量（開口部の大きさ）を制御する。光学系３５に入射する光学像が同じである場合、絞り３２の開口量が大きくなるに従って、撮像素子３３への単位時間当たりの入射光量は増大する。更に、ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて補正レンズ３６を駆動することにより、所謂光学式手ぶれ補正を実現する。
【００３３】
被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００３４】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。光学系３５に入射する光学像が同じであり且つ絞り３２の開口量が同じである場合、撮像素子３３（各画素）からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。
【００３５】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度（以下、ゲインという）は可変となっている。
【００３６】
映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。映像信号処理部１３にて生成された映像信号は、圧縮処理部１６と映像出力回路２０に送られる。
【００３７】
図３に映像信号処理部１３の内部ブロック図を示す。映像信号処理部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値を検出するＡＦ評価値検出部４１、撮影画像の明るさに応じたＡＥ評価値を検出するＡＥ評価値検出部４２、及び、撮影画像中の物体の動きを検出する動き検出部４３などを含む。着目した撮影画像についてのＡＥ評価値は、例えば、着目した撮影画像を形成する各画素の輝度値の平均値とされる。
【００３８】
ＡＦ評価値等を含む、映像信号処理部１３にて生成された各種の信号は、必要に応じてＣＰＵ２３に伝達される。ＣＰＵ２３は、ＡＦ評価値に応じて図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３上に結像させる。また、ＣＰＵ２３は、ＡＥ評価値に応じて図２のドライバ３４を介して絞り３２の開口量（及び必要に応じてＡＦＥ１２のゲイン）を調節することにより、画像の明るさを制御する。
【００３９】
図１において、マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。
【００４０】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影及び記録時において、圧縮された映像信号は外部メモリ１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に送られる。
【００４１】
録画ボタン２６ａは、ユーザが動画の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影及び記録を指示するための押しボタンスイッチである。
【００４２】
撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００４３】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。
【００４４】
また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影及び記録が行われる。具体的には、ＣＰＵ２３の制御の下、その押下後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。
【００４５】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６に対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。
【００４６】
映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。
【００４７】
また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００４８】
発光部２９は、キセノン管や発光ダイオードを光源とする発光装置であり、ＣＰＵ２３にて指示されたタイミングにおいて、その光源にて生成されたフラッシュ光を被写体に照射する。
【００４９】
［画素加算機能について］
撮像素子３３は、いわゆる画素加算機能を備えており、その機能を利用した画素加算モードにて動作することが可能となっている。また、画素加算機能を利用することなく、全画素モード（全画素読み出しモード）にて動作することも可能となっている。ＣＰＵ２３の制御の下、撮像素子３３は全画素モードと画素加算モードのどちらかにて動作する。全画素モード及び画素加算モードについて説明する。説明の具体化のため、画素加算モードが４画素加算モードである場合を考える。
【００５０】
図４は、撮像素子３３の有効領域内の受光画素配列を示している。撮像素子３３の有効領域は長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点ＯSと捉える。原点ＯSが撮像素子３３の有効領域の左上隅に位置するものとする。また、撮像素子３３の垂直方向における有効画素数をＭとし、撮像素子３３の水平方向における有効画素数をＮとする（Ｍ及びＮは、数１００から数１０００程度の整数）。従って、マトリクス状に配列された（Ｍ×Ｎ）個の受光画素によって有効領域が形成される。そして、撮像素子３３の有効領域内の各受光画素をＰS［ｉ，ｊ］にて表す。ここで、ｉ及びｊは整数であって、１≦ｉ≦Ｍ且つ１≦ｊ≦Ｎ、を満たす。原点ＯSから見て、下方向に位置する受光画素ほど変数ｉの値が大きくなり、右方向に位置する受光画素ほど変数ｊの値が大きくなるものとする。ＰS［１，１］は原点ＯSに最も近い受光画素を表し、ＰS［Ｍ，Ｎ］は原点ＯSから最も遠い受光画素、即ち、撮像素子３３の有効領域の右下隅に位置する受光画素を表す。
【００５１】
以下は、説明の便宜上、原点ＯSを基準とする、８×８の領域に特に着目する。
【００５２】
撮像装置１は、いわゆる単板方式を採用している。図５は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図５に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素ＰS［２ｎA−１，２ｎB］の前面に配置され、青フィルタは、受光画素ＰS［２ｎA，２ｎB−１］の前面に配置され、緑フィルタは、受光画素ＰS［２ｎA−１，２ｎB−１］又はＰS［２ｎA，２ｎB］の前面に配置される。ここで、ｎA及びｎBは自然数である。尚、図５及び後述の図７（ａ）及び（ｂ）では、受光画素ＰS［２ｎA−１，２ｎB−１］における緑フィルタをＧｒにて表し、受光画素ＰS［２ｎA，２ｎB］における緑フィルタをＧｂにて表している。
【００５３】
赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号を以下「受光画素信号」とも呼ぶ。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系３５の入射光の、赤成分、緑成分及び青成分にのみ反応する。
【００５４】
撮像素子３３が全画素モードにて動作する場合、撮像素子３３の有効領域内に位置する全ての受光画素からの受光画素信号が個別にＡＦＥ１２を介して映像信号処理部１３に与えられる。従って、この場合において取得される撮影画像の垂直方向及び水平方向の画素数は、図６（ａ）に示す如く、夫々Ｍ及びＮとなる。
【００５５】
撮影画像の全体領域は長方形形状を有しており、その長方形の一頂点を撮影画像の原点Ｏと捉える。原点Ｏが撮影画像の全体領域の左上隅に位置するものとする。原点Ｏは、図４の原点ＯSに対応している。そして、マトリクス状に配列された撮影画像の各画素をＰ［ｉ，ｊ］にて表す。変数ｉ及びｊは自然数であるが、それらの最大値は撮影画像の画像サイズに依存する。原点Ｏから見て、下方向に位置する画素ほど変数ｉの値が大きくなり、右方向に位置する画素ほど変数ｊの値が大きくなるものとする。
【００５６】
撮像素子３３を全画素モードにて動作させることによって得られる撮影画像を、以下「非画素加算画像」とも呼ぶ。非画素加算画像は、画素Ｐ［１，１］〜Ｐ［Ｍ，Ｎ］から形成され、画素Ｐ［１，１］〜Ｐ［Ｍ，Ｎ］の画素信号によって表現される。ここで、画素信号とは、撮影画像を形成する画素の信号強度を表す信号である。また、画素信号の値を画素値と呼ぶ。受光画素ＰS［ｉ，ｊ］の光電変換によって得られる受光画素信号を、ＡＦＥ１２で増幅した信号が、非画素加算画像の画素Ｐ［ｉ，ｊ］の画素信号である。
【００５７】
撮像素子３３が４画素加算モードにて動作する場合、撮像素子３３は４つの受光画素の受光画素信号を加算する。そして、加算によって得られた信号を１つの仮想的な受光画素からの受光画素信号として取り扱ってＡＦＥ１２を介して映像信号処理部１３に与える。この加算は、同一色のカラーフィルタが配置された、垂直方向及び水平方向に近接する４つの受光画素の受光画素信号同士で行われる。
【００５８】
撮像素子３３を画素加算モード（今の例において、４画素加算モード）にて動作させることによって得られる撮影画像を、以下「画素加算画像」とも呼ぶ。この画素加算画像の垂直方向及び水平方向の画素数は、図６（ｂ）に示す如く、夫々Ｍ／２及びＮ／２となる。つまり、非画素加算画像は、画素Ｐ［１，１］〜Ｐ［Ｍ／２，Ｎ／２］から形成され、画素Ｐ［１，１］〜Ｐ［Ｍ／２，Ｎ／２］の画素信号によって表現されることになる。
【００５９】
具体的には例えば、４つの赤受光画素ＰS［１，２］、ＰS［１，４］、ＰS［３，２］及びＰS［３，４］からの受光画素信号を足し合わせることにより１つの加算受光画素信号を生成し、この加算受光画素信号を上記の４つの赤受光画素の中心に位置する仮想的な赤受光画素１０１からの受光画素信号として取り扱う（図７（ｂ）参照）。
【００６０】
また例えば、４つの青受光画素ＰS［２，１］、ＰS［２，３］、ＰS［４，１］及びＰS［４，３］からの受光画素信号を足し合わせることにより１つの加算受光画素信号を生成し、この加算受光画素信号を上記の４つの青受光画素の中心に位置する仮想的な青受光画素１０２からの受光画素信号として取り扱う（図７（ｂ）参照）。
【００６１】
緑受光画素については、ＰS［２ｎA−１，２ｎB−１］で表記される緑受光画素の受光画素信号同士で加算処理が行われ、ＰS［２ｎA，２ｎB］で表記される緑受光画素の受光画素信号同士で加算処理が行われる。即ち例えば、４つの緑受光画素ＰS［１，１］、ＰS［１，３］、ＰS［３，１］及びＰS［３，３］からの受光画素信号を足し合わせることにより１つの加算受光画素信号を生成し、この加算受光画素信号を上記の４つの緑受光画素の中心に位置する仮想的な緑受光画素１０３ｒからの受光画素信号として取り扱う（図７（ｂ）参照）。一方で例えば、４つの緑受光画素ＰS［２，２］、ＰS［２，４］、ＰS［４，２］及びＰS［４，４］からの受光画素信号を足し合わせることにより１つの加算受光画素信号を生成し、この加算受光画素信号を上記の４つの緑受光画素の中心に位置する仮想的な緑受光画素１０３ｂからの受光画素信号として取り扱う（図７（ｂ）参照）。
【００６２】
尚、図７（ｂ）は、仮想的な赤受光画素１０１などを含む、仮想的な受光画素の配列を示している。これに対し、図７（ａ）は、実際の受光画素の配列を示している。図７（ａ）及び（ｂ）では、受光画素の色の分類を、Ｒ、Ｇｒ及びＧｂ、Ｂによって表現している。
【００６３】
そして、仮想的な緑受光画素１０３ｒの受光画素信号、仮想的な赤受光画素１０１の受光画素信号、仮想的な赤受光画素１０２の受光画素信号及び仮想的な緑受光画素１０３ｂの受光画素信号をＡＦＥ１２にて増幅した信号が、夫々、図６（ｂ）の画素加算画像における画素Ｐ［１，１］、Ｐ［１，２］、Ｐ［２，１］及びＰ［２，２］の画素信号となる。
【００６４】
このように、合計１６個の受光画素ＰS［１，１］〜ＰS［４，４］の受光画素信号から、４つの仮想的な受光画素についての受光画素信号（加算受光画素信号）を生成して、生成した４つの受光画素信号（加算受光画素信号）から画素加算画像の４つの画素の画素信号を生成する。
【００６５】
撮像素子３３の有効領域を４×４の受光画素のブロックにて分割して考え、各ブロックに対しても同様の処理を行う。図７（ａ）及び（ｂ）における一点鎖線１１１及び１１２は、この分割の境界を表している（ブロックの総数は、（Ｍ／４）×（Ｎ／４）となる）。
【００６６】
つまり例えば、５≦ｉ≦８且つ１≦ｊ≦４の受光画素ＰS［ｉ，ｊ］の受光画素信号から４つの仮想的な受光画素についての受光画素信号（加算受光画素信号）を生成し、生成した４つの受光画素信号（加算受光画素信号）から画素加算画像の画素Ｐ［３，１］、［３，２］、［４，１］及び［４，２］の画素信号を生成する。
同様に、１≦ｉ≦４且つ５≦ｊ≦８の受光画素ＰS［ｉ，ｊ］の受光画素信号から４つの仮想的な受光画素についての受光画素信号（加算受光画素信号）を生成し、生成した４つの受光画素信号（加算受光画素信号）から画素加算画像の画素Ｐ［１，３］、［１，４］、［２，３］及び［２，４］の画素信号を生成する。
同様に、５≦ｉ≦８且つ５≦ｊ≦８の受光画素ＰS［ｉ，ｊ］の受光画素信号から４つの仮想的な受光画素についての受光画素信号（加算受光画素信号）を生成し、生成した４つの受光画素信号（加算受光画素信号）から画素加算画像の画素Ｐ［３，３］、［３，４］、［４，３］及び［４，４］の画素信号を生成する。
【００６７】
ところで、撮像装置１は、静止画に対する手ぶれ検出及び手ぶれ補正機能を備えている。この機能によって、ぶれを含む撮影画像からぶれが補正された補正画像を得ることができる。この補正画像を表す映像信号は、例えば、撮像装置１に設けられた外部出力端子（不図示）を介して外部の表示装置（不図示）に供給され、その表示装置上で補正画像が表示される。勿論、表示部２７にて補正画像を表示することも可能である。また、操作部２６に対する操作に応じて、補正画像は外部メモリ１８に記録される。
【００６８】
この手ぶれ検出及び手ぶれ補正機能に関する実施例として、以下に、第１〜第６実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用することが可能である。尚、各実施例における記述において、画像などが記憶される「メモリ」とは、内部メモリ１７を意味するものとする。また、後述の、補正対象画像及び参照画像に基づいて補正画像を生成する処理は、図１のＣＰＵ２３及び映像信号処理部１３によって行われる。補正対象画像及び参照画像は、ＡＦＥ１２による信号増幅を経て得られた画像であり、それらの画像の各画素の画素値は、ＡＦＥ１２のゲインに依存する。
【００６９】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図８は、第１実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図９は、第１実施例に係る、撮影モードにおいてシャッタボタン１７ａが押下された後の動作の流れを表すフローチャートである。
【００７０】
撮影モードにおいてシャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する（ステップＳ１）。通常露光撮影とは、適正な画像明るさを得るための適正露光時間によって行われる撮影である。適正露光時間は、補正対象画像の撮影前に得られた撮影画像についてのＡＥ評価値に基づいて決定される。第１実施例における該補正対象画像を、以下、補正対象画像２０１と呼ぶ。補正対象画像２０１を得る際の露光時間（露光時間の長さ）をＴ１にて表す。
【００７１】
また、補正対象画像２０１を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する（ステップＳ１）。第１実施例における該参照画像を、以下、参照画像２０２と呼ぶ。補正対象画像２０１と参照画像２０２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像２０２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、ＣＰＵ２３は、撮像素子３３を制御する。今、参照画像２０２の露光時間は、Ｔ１／４、であるとする。補正対象画像２０１は、全画素モードにて取得される非画素加算画像であるが、参照画像２０２は、４画素加算モードにて取得される画素加算画像である。
【００７２】
尚、露光時間Ｔ１と手ぶれ限界露光時間とを比較し、前者（Ｔ１）が後者より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく処理を終了するようにしてもよい（後述の第２〜第４実施例においても同様）。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、撮像部１１の焦点距離ｆの逆数から算出される。
【００７３】
また、参照画像２０２の露光時間は補正対象画像２０１のそれの１／４であるが、参照画像２０２は４画素加算モードにて取得されるため、参照画像２０２の取得時におけるＡＦＥ１２のゲインは、補正対象画像２０１の取得時におけるそれと同じとされる（但し、両画像取得時の絞り３２の開口量は同じであるとする）。
【００７４】
補正対象画像２０１の露光時間は比較的長いため、手ぶれに由来して補正対象画像２０１に含まれるぶれは比較的多い。一方、参照画像２０２の露光時間は比較的短いため、参照画像２０２に含まれるぶれは軽微である。そこで、補正対象画像２０１と参照画像２０２の対比から、補正対象画像２０１のぶれによる劣化の状態を推定し、その劣化を補正するための復元関数を求める。
【００７５】
但し、補正対象画像２０１と参照画像２０２の画像サイズが異なるため、ステップＳ２において、両者の画像サイズを一致させるべく、画素の間引きなどを行うことによって補正対象画像２０１の画像サイズを縮小する。今、参照画像２０２は４画素加算モードで取得されているため、補正対象画像２０１の垂直方向及び水平方向の画像サイズをそれぞれ１／２に縮小する。縮小された補正対象画像２０１を縮小画像２０３と呼ぶ。縮小前の補正対象画像２０１は、画素Ｐ［１，１］〜Ｐ［Ｍ，Ｎ］から形成されているが、参照画像２０２及び縮小画像２０３は、夫々、画素Ｐ［１，１］〜Ｐ［Ｍ／２，Ｎ／２］から形成される（図６（ａ）及び（ｂ）参照）。
【００７６】
そして、続くステップＳ３において、縮小画像２０３及び参照画像２０２に基づいて、補正対象画像２０１の劣化を補正するための復元関数を算出する。復元関数は、二次元の空間フィルタである画像復元フィルタによって表される。ステップＳ３では、この画像復元フィルタの各フィルタ係数を算出する。
【００７７】
図１０を参照して、この算出処理を詳細に説明する。図１０は、ステップＳ３の処理の詳細フローチャートに相当し、ステップＳ３は図１０のステップＳ１１〜Ｓ１５から形成される。
【００７８】
まず、ステップＳ１１において、参照画像２０２の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像２０２ａとしてメモリ上に記憶する（図１１参照）。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。このように、特徴的な小領域は、その小領域内の画像のエッジ成分の大きさ（またはコントラスト量）に基づいて選定される。
【００７９】
次に、ステップＳ１２において、参照画像２０２から抽出された小領域に対応する小領域を縮小画像２０３から抽出し、縮小画像２０３から抽出された小領域内の画像を小画像２０３ａとしてメモリ上に記憶する（図１１参照）。参照画像２０２から抽出される小領域の中心座標（参照画像２０２内における中心座標）と縮小画像２０３から抽出される小領域の中心座標（縮小画像２０３内における中心座標）は等しく、また、参照画像２０２と縮小画像２０３の画像サイズは等しいため、両小領域の画像サイズも等しくされる。例えば、参照画像２０２から抽出される小領域の中心画素が参照画像２０２上の画素Ｐ［３００，２００］である場合、縮小画像２０３から抽出される小領域の中心画素は縮小画像２０３上の画素Ｐ［３００，２００］とされる。図１１は、参照画像２０２と小画像２０２ａとの関係及び縮小画像２０３と小画像２０３ａとの関係を示している。
【００８０】
尚、２つの小画像を生成する順序を逆にしても良い。つまり、縮小画像２０３から特徴的な小領域を抽出して小画像２０３ａを生成した後に、その小画像２０３ａに対応する小画像２０２ａを参照画像２０２から抽出するようにしてもよい。
【００８１】
ステップＳ１３では、上述のようにして得られた小画像２０３ａを劣化画像として且つ小画像２０２ａを初期復元画像として設定する。その後、ステップＳ１４にて、フーリエ反復法を実施し、劣化関数（画像劣化関数）を求める。初期復元画像は、フーリエ反復法を実施する際に必要な、復元画像の初期値に対応する。
【００８２】
尚、今の例の場合、参照画像２０２の露光時間は補正対象画像２０１の露光時間の１／４である一方で参照画像２０２は４画素加算モードにて取得されるため、参照画像２０２と縮小画像２０３の輝度レベルは理想的には一致する。但し、両者の輝度レベル間に相違が生じている場合もあるため、小画像２０２ａの輝度レベルが小画像２０３ａの輝度レベルと等しくなるように（即ち、小画像２０２ａの平均輝度と小画像２０３ａの平均輝度が等しくなるように）、小画像２０２ａ（及び／又は２０３ａ）の各画素の輝度値に一定値を乗じる輝度正規化処理を行い、この輝度正規化処理後の小画像２０２ａ及び２０３ａを、ステップＳ１４において、それぞれ初期復元画像及び劣化画像として設定するとよい。
【００８３】
ステップＳ１４では、劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）を求める。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。通常、手ぶれは画像全体に対して一様な劣化を与えるため、小画像２０３ａに対して求めたＰＳＦは、縮小画像２０３の全体に対するＰＳＦとして利用することができる。
【００８４】
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図１２及び図１３を参照して詳細に説明する。図１２は、図１０のステップＳ１４の処理の詳細フローチャートである。図１３は、フーリエ反復法を実施する部位のブロック図である。
【００８５】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として上記の初期復元画像（本実施例において小画像２０２ａ）を用いるようにする。次に、ステップＳ１０２において、劣化画像（本実施例において小画像２０３ａ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【００８６】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【００８７】
【数１】
2009089228.tif 000003
【００８８】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（２ａ）の拘束条件で修正した後、更に式（２ｂ）の拘束条件にて修正する。
【００８９】
【数２】
2009089228.tif 000004
【００９０】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（２ｂ）の拘束条件による修正である。
【００９１】
式（２ａ）及び（２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【００９２】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【００９３】
【数３】
2009089228.tif 000005
【００９４】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【００９５】
【数４】
2009089228.tif 000006
【００９６】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（４）の拘束条件による修正である。
【００９７】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【００９８】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【００９９】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図１０のステップＳ１４で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図１３参照）は、順次、最新のものに更新されていく。
【０１００】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（２ａ）及び（２ｂ）を用いたステップＳ１１３における修正量、或いは、式（４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【０１０１】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像の補正は行われない。
【０１０２】
図１０の各ステップの説明に戻る。ステップＳ１４にて、ＰＳＦが算出された後、ステップＳ１５に移行する。ステップＳ１５では、ステップＳ１４で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（３）の右辺の一部に相当する下記式（５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ１４におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【０１０３】
【数５】
2009089228.tif 000007
【０１０４】
ステップＳ１５にて画像復元フィルタの各フィルタ係数が求まると図１０の処理は終了する。即ち、図９のステップＳ３の処理は終了し、ステップＳ４に移行する。ステップＳ４では、ステップＳ３で求められた各フィルタ係数を有する画像復元フィルタを用いて縮小画像２０３の全体をフィルタリングすることにより、縮小画像２０３に含まれるぶれが除去或いは低減されたフィルタリング画像２０４を生成する（図８参照）。フィルタリング画像にはフィルタリングに伴うリンギングが含まれうるため、ステップＳ５にて、これを除去するためのリンギング除去処理をフィルタリング画像に施す。その後、ステップＳ６においてフィルタリング画像の画像サイズを垂直及び水平方向にそれぞれ２倍に拡大することにより、補正対象画像２０１に含まれるぶれが除去或いは低減された補正画像２０５を生成する。画像を拡大する手法として、ニアレストネイバー法、バイリニア法、バイキュービック法など、各種の手法を利用可能である。
【０１０５】
ステップＳ４及びＳ５の各処理について補足説明を加える。例えば、画像復元フィルタのフィルタサイズが５×５である場合、フィルタリング前の画像を形成する画素の画素値と、フィルタリング後の画像を形成する画素の画素値との関係は、下記式（６）によって表される。ここで、ＩF（ｉ，ｊ）は、フィルタリング後の画像内における座標位置（ｉ，ｊ）の画素の画素値を表し、ＩO（ｉ＋ｕ，ｊ＋ｖ）は、フィルタリング前の画像内における座標位置（ｉ＋ｕ，ｊ＋ｖ）の画素の画素値を表し、ｗ（ｕ，ｖ）は、画像復元フィルタの座標位置（ｕ，ｖ）のフィルタ係数を表す。
【０１０６】
【数６】
2009089228.tif 000008
【０１０７】
リンギング除去処理は、画像復元フィルタによるフィルタリング前後の画像を加重平均することにより行う。この加重平均によって、フィルタリングによって生じたリンギングが除去される。この加重平均よるリンギング除去手法は、公知であるため、詳細な説明を割愛する（例えば、特開２００６−１２９２３６号公報参照）。尚、リンギング除去処理を省略することも可能である（これは、後述の各実施例にも当てはまる）。
【０１０８】
本実施例によって期待される効果等について考察する。参照画像を用いて復元関数（画像復元フィルタの各フィルタ係数）を求める場合において、図１４に示す如く、参照画像を全画素モードにて取得するという手法も考えられる。参照画像を得るための短時間露光撮影では撮像素子３３の受光量が低くなるため、参照画像を全画素モードにて取得する場合は、参照画像の輝度レベルを補正対象画像の輝度レベルに合わせるように増加させてから、両画像を比較して復元関数を求める。撮像装置１の周辺照度が高い場合は、全画素モードで参照画像を取得したとしても参照画像のＳ／Ｎ比（信号対雑音比）はそれほど悪くないため、支障のない精度で復元関数が算出される。しかし、撮像装置１の周辺照度が低くなると、参照画像のＳ／Ｎ比が悪化して復元関数の算出精度が低くなり、良好に手ぶれ補正を行うことができなくなる惧れがある。
【０１０９】
本実施例では、これを考慮し、参照画像を画素加算モードで取得することにより参照画像のＳ／Ｎ比を向上させる。これによって、撮像装置１の周辺照度が低くても、良好に手ぶれ補正を行うことができる。尚、画像の縮小及び拡大処理によって解像度劣化が発生するが、その劣化の程度は、ぶれによる解像度劣化に比べると遥かに軽微である。故に、本実施例の手法は有益である。
【０１１０】
また、上述の如く、本実施例では、短時間露光撮影によって得られる参照画像に基づく画像をフーリエ反復法における初期復元画像としている。フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来のフーリエ反復法の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ検出及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０１１１】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから復元関数を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ検出及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０１１２】
この際、各実施例で述べたように、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、復元関数をより正確に検出することができるようになる。
【０１１３】
尚、上述の例では、補正対象画像２０１の全体を縮小することにより縮小画像２０３を生成し、参照画像２０２及び縮小画像２０３から抽出した小画像同士を対比することで復元関数を求めているが、縮小画像２０３を生成することなく復元関数を求めることも可能である。図１５〜図１７を参照して、この場合の処理について説明する。図１５は、縮小画像２０３を生成することなく復元関数を求める場合の動作の流れを表す概念図である。
【０１１４】
上述のようにして補正対象画像２０１及び参照画像２０２を取得した後、まず、図１６に示す如く、参照画像２０２から特徴的な小領域を抽出してその小領域内の画像を小画像２０２ａとしてメモリ上に記憶する。次に、参照画像２０２内における小画像２０２ａの座標位置に対応して、補正対象画像２０１の中から小領域を抽出する。補正対象画像２０１から抽出される小領域の垂直及び水平方向の画素数は、参照画像２０２から抽出される小領域のそれらの２倍である。そして、間引き処理などを用いて補正対象画像２０１から抽出した小領域内の画像を補正対象画像２０１と参照画像２０２の画像サイズ比に応じて縮小し、この縮小後の画像を、小画像２０１ａとしてメモリ上に記憶する。つまり、小画像２０１ａを生成する際、小画像２０１ａと２０２ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。例えば、参照画像２０２から抽出される小領域の中心画素が参照画像２０２上の画素Ｐ［３００，２００］である場合、補正対象画像２０１から抽出される小領域の中心画素は補正対象画像２０１上の画素Ｐ［６００，４００］とされる。
【０１１５】
そして、小画像２０１ａを劣化画像として且つ小画像２０２ａを初期復元画像として設定した上で、図１０のステップＳ１４及びＳ１５の処理を行うことにより、ＰＳＦの算出を介して画像復元フィルタの各フィルタ係数を求める。但し、ここで得られる画像復元フィルタ（及びＰＳＦ）のサイズは、参照画像２０２の画像サイズに適合したものであるため、それが補正対象画像２０１の画像サイズに適合するように画像復元フィルタに対して縦横拡大処理を行う。
【０１１６】
今の例の場合、補正対象画像２０１と参照画像２０２の画像サイズ比は２：１である。従って例えば、図１７の符号２１１に示されるようなフィルタ係数を有する３×３サイズの画像復元フィルタがステップＳ１４及びＳ１５の処理によって得られたとき、縦横拡大処理によって図１７の符号２１２に示されるような６×６サイズの画像復元フィルタの各フィルタ係数を生成する。そして、最終的に、６×６サイズの画像復元フィルタの各フィルタ係数を、ステップＳ１５にて得られる各フィルタ係数とする。尚、図１７に示す例では、縦横拡大処理によって補間されたフィルタ係数を０としているが、線形補間などによって、補間されるべきフィルタ係数を算出するようにしても良い。
【０１１７】
この後、ステップＳ４及びＳ５の処理を行うことにより、補正画像を得る。つまり、縦横拡大処理後の画像復元フィルタを用いて補正対象画像２０１の全体をフィルタリングすることにより補正対象画像２０１に含まれるぶれが除去或いは低減されたフィルタリング画像を生成し、このフィルタリング画像に対してリンギング除去処理を施すことによって最終的な補正画像を得る。補正対象画像２０１に対して画像縮小処理は施されていないため、フィルタリング後の画像拡大処理は不要である。
【０１１８】
＜＜第２実施例＞＞
第１実施例では、４画素加算モードを用いることによってＳ／Ｎ比が改善された参照画像を得るようにしているが、参照画像を全画素モードにて取得した後、画像処理によって図８の参照画像２０２と同等の画像を生成し、それを用いて復元関数を算出するようにしてもよい。この手法を説明する実施例として第２実施例を説明する。
【０１１９】
図１８は、第２実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図１８を参照しつつ、この動作を説明する。
【０１２０】
撮影モードにおいてシャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する。第２実施例における該補正対象画像を、以下、補正対象画像２２１と呼ぶ。補正対象画像２２１を得る際の露光時間（露光時間の長さ）をＴ１にて表す。その後、画素の間引きなどを行うことによって補正対象画像２２１の画像サイズを１／２に縮小する。縮小された補正対象画像２２１を縮小画像２２３と呼ぶ。補正対象画像２２１及び縮小画像２２３は、夫々、第１実施例における補正対象画像２０１及び縮小画像２０３（図８参照）と同じものである。
【０１２１】
また、補正対象画像２２１を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第２実施例における該参照画像を、以下、参照画像２２２と呼ぶ。補正対象画像２２１と参照画像２２２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像２２２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、ＣＰＵ２３は、撮像素子３３を制御する。今、参照画像２２２の露光時間は、Ｔ１／４、であるとする。補正対象画像２２１及び参照画像２２２は、共に、全画素モードにて取得される非画素加算画像である。
【０１２２】
続いて、図１の映像信号処理部１３は、Ｍ×Ｎの画像サイズを有する参照画像２２２から、Ｍ／２×Ｎ／２の画像サイズを有する参照画像２２４を生成する。この際、参照画像２２２内の４つの画素についての画素信号の加算信号が、参照画像２２４内の１つの画素についての画素信号とされる。これによって、参照画像２２４の輝度レベルは、参照画像２２２のそれの４倍となる。この加算の仕方は、４画素加算モードにおける受光画素信号の加算の仕方と同じである。つまり、参照画像２２４内の各画素の画素値が図８の参照画像２０２のそれらと等価となるように、参照画像２２２から参照画像２２４を生成する。但し、理想的には、図８の参照画像２０２と図１８の参照画像２２４は完全に同じとなって両者のＳ／Ｎ比も同じとなるが、実際には、ＡＦＥ１２における信号増幅の過程でノイズ成分も増幅されるため、ＡＦＥ１２の前段で画素加算を行う参照画像２０２の方が参照画像２２４よりもＳ／Ｎ比は高くなる（ノイズ成分を無視すれば、参照画像２０２と参照画像２２４は同じものである）。故に、第１実施例の如く、撮像素子３３の画素加算機能を利用することが望ましい。
【０１２３】
尚、参照画像２２２の露光時間は補正対象画像２２１のそれの１／４であるが、参照画像２２４の生成時に輝度レベルが４倍されるため、参照画像２２２の取得時におけるＡＦＥ１２のゲインは、補正対象画像２２１の取得時におけるそれと同じとされる（但し、両画像取得時の絞り３２の開口量は同じであるとする）。
【０１２４】
縮小画像２２３及び参照画像２２４が得られた後の動作は、第１実施例と同様である。第１実施例の記載を本実施例に当てはめる場合、縮小画像に対する符号２０３を符号２２３に読み替え且つ参照画像に対する符号２０２を符号２２４に読み替えればよい。
【０１２５】
つまり、まず、縮小画像２２３及び参照画像２２４を用いて図９のステップＳ３の処理を行う。より具体的には、参照画像２２４から特徴的な小領域を抽出してその小領域内の画像を小画像２２４ａ（不図示）としてメモリ上に記憶する。更に、参照画像２２４から抽出された小領域に対応する小領域を縮小画像２２３から抽出して、縮小画像２２３から抽出された小領域内の画像を小画像２２３ａ（不図示）としてメモリ上に記憶する。参照画像２２４から抽出される小領域の中心座標（参照画像２２４内における中心座標）と縮小画像２２３から抽出される小領域の中心座標（縮小画像２２３内における中心座標）は等しく、且つ、両小領域の画像サイズも等しい。
【０１２６】
そして、小画像２２３ａを劣化画像として且つ小画像２２４ａを初期復元画像として設定した上で図１０のステップＳ１４及びＳ１５の処理を実行することにより、ＰＳＦの算出を介して画像復元フィルタの各フィルタ係数を求める。
【０１２７】
その後、図９のステップＳ４〜Ｓ６の処理と同様の処理を行う。つまり、求められた各フィルタ係数を有する画像復元フィルタを用いて縮小画像２２３の全体をフィルタリングすることにより、縮小画像２２３に含まれるぶれが除去或いは低減されたフィルタリング画像２２５を生成する。このフィルタリング画像２２５に対してリンギング除去処理を施し、その後、フィルタリング画像の画像サイズを垂直及び水平方向にそれぞれ２倍に拡大することにより、補正対象画像２２１に含まれるぶれが除去或いは低減された補正画像２２６を生成する。
【０１２８】
尚、上述の例では、補正対象画像２２１の全体を縮小することにより縮小画像２２３を生成し、参照画像２２４及び縮小画像２２３から抽出した小画像同士を対比することで復元関数を求めているが、縮小画像２２３を生成することなく復元関数を求めることも可能である。縮小画像（今の例において、縮小画像２２３）を生成することなく復元関数を求める手法は、第１実施例で述べた手法と同様であるため、再度の説明を省略する。
【０１２９】
＜＜第３実施例＞＞
次に、第３実施例を説明する。第３実施例では、ノイズ除去処理によって参照画像のＳ／Ｎ比の改善を図る。図１９は、第３実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図１９を参照しつつ、この動作を説明する。
【０１３０】
撮影モードにおいてシャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する。第３実施例における該補正対象画像を、以下、補正対象画像２４１と呼ぶ。補正対象画像２４１を得る際の露光時間（露光時間の長さ）をＴ１にて表す。補正対象画像２４１は、第１実施例における補正対象画像２０１（図８参照）と同じものである。
【０１３１】
また、補正対象画像２４１を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第３実施例における該参照画像を、以下、参照画像２４２と呼ぶ。補正対象画像２４１と参照画像２４２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像２４２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、ＣＰＵ２３は、撮像素子３３を制御する。今、参照画像２４２の露光時間が、Ｔ１／４、であるとする。補正対象画像２４１及び参照画像２４２は、共に、全画素モードにて取得される非画素加算画像である。
【０１３２】
参照画像２４２の露光時間は補正対象画像２４１のそれの１／４である。従って、両画像取得時の絞り３２の開口量が同じであったならば、参照画像２４２の取得時におけるＡＦＥ１２のゲインは、補正対象画像２４１の取得時におけるそれの４倍とされる。このため、両画像の輝度レベルは同等となるが、撮像装置１の周辺照度が低いと手ぶれ検出及び手ぶれ補正に支障が出る程度に参照画像２４２のＳ／Ｎ比が悪くなる。
【０１３３】
そこで、映像信号処理部１３は、参照画像２４２内の高域周波数成分を除去或いは低減するためのノイズ除去処理を参照画像２４２に対して施す。ノイズ低減処理後の参照画像２４２を、参照画像２４３と呼ぶ。このノイズ低減処理は、二次元の空間フィルタリング処理である。具体的には、所定のフィルタサイズを有する平滑化フィルタを参照画像２４２の各画素に対して作用させることによって、参照画像２４３を得る。平滑化フィルタとして、ローパスフィルタ、加重平均フィルタ、メディアンフィルタなどの各種のフィルタを用いることが可能である。
【０１３４】
補正対象画像２４１と参照画像２４３が得られた後の動作は、第１実施例と同様である。但し、補正対象画像２４１が第１実施例における縮小画像２０３に相当し、参照画像２４３が第１実施例における参照画像２０２に相当する。
【０１３５】
つまり、まず、補正対象画像２４１及び参照画像２４３を用いて図９のステップＳ３の処理を行う。より具体的には、参照画像２４３から特徴的な小領域を抽出してその小領域内の画像を小画像２４３ａ（不図示）としてメモリ上に記憶する。更に、参照画像２４３から抽出された小領域に対応する小領域を補正対象画像２４１から抽出して、補正対象画像２４１から抽出された小領域内の画像を小画像２４１ａ（不図示）としてメモリ上に記憶する。参照画像２４３から抽出される小領域の中心座標（参照画像２４３内における中心座標）と補正対象画像２４１から抽出される小領域の中心座標（補正対象画像２４１内における中心座標）は等しく、且つ、両小領域の画像サイズも等しい。
【０１３６】
そして、小画像２４１ａを劣化画像として且つ小画像２４３ａを初期復元画像として設定した上で図１０のステップＳ１４及びＳ１５の処理を実行することにより、ＰＳＦの算出を介して画像復元フィルタの各フィルタ係数を求める。
【０１３７】
その後、図９のステップＳ４及びＳ５の処理と同様の処理を行う。つまり、求められた各フィルタ係数を有する画像復元フィルタを用いて補正対象画像２４１の全体をフィルタリングすることにより、補正対象画像２４１に含まれるぶれが除去或いは低減されたフィルタリング画像を生成する。そして、このフィルタリング画像に対してリンギング除去処理を施すことによって、補正対象画像２４１に含まれるぶれが除去或いは低減された補正画像２４４を生成する。
【０１３８】
上述の如く、本実施例では、ノイズ除去処理によって参照画像の高域周波数成分を低減させ、これによって参照画像のＳ／Ｎ比を向上させる。このため、撮像装置１の周辺照度が低くても、良好に手ぶれ補正を行うことができる。参照画像の高域周波数成分は正確なＰＳＦの算出にとって重要な情報を含み、ノイズ除去処理によって、その情報の一部が失われる。しかしながら、その損失の程度は、ぶれによる解像度劣化に比べると遥かに軽微である。故に、本実施例の手法は有益である。
【０１３９】
＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、フラッシュ光を利用して参照画像を取得するようにする。図２０は、第４実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図２０を参照しつつ、この動作を説明する。
【０１４０】
撮影モードにおいてシャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する。第４実施例における該補正対象画像を、以下、補正対象画像２６１と呼ぶ。補正対象画像２６１を得る際の露光時間（露光時間の長さ）をＴ１にて表す。補正対象画像２６１は、第１実施例における補正対象画像２０１（図８参照）と同じものである。
【０１４１】
また、補正対象画像２６１を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第４実施例における該参照画像を、以下、参照画像２６２と呼ぶ。補正対象画像２６１と参照画像２６２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像２６２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、ＣＰＵ２３は、撮像素子３３を制御する。今、参照画像２６２の露光時間が、Ｔ１／４、であるとする。補正対象画像２６１及び参照画像２６２は、共に、全画素モードにて取得される非画素加算画像である。
【０１４２】
参照画像２６２の露光期間中において、図１のＣＰＵ２３は発光部２９内の光源を発光させ、フラッシュ光を被写体に照射する。つまり、参照画像２６２は、被写体をフラッシュ光にて照らした状態で短時間露光撮影された画像である。良好な復元関数の導出のために必要な成分は被写体のエッジ成分であるため参照画像から被写体のエッジ成分が精度良く抽出できればよい。そこで、参照画像２６２をフラッシュ光を利用して取得する。着目した被写体がフラッシュ光の届く範囲内に位置しておれば、参照画像２６２内において被写体は明瞭に描画される（即ち、参照画像２６２内に被写体のエッジ成分情報が精度良く含まれる）。尚、フラッシュの発光時間は１ミリ秒以下である。
【０１４３】
補正対象画像２６１と参照画像２６２が得られた後の動作は、第１実施例と同様である。補正対象画像２６１が第１実施例における縮小画像２０３に相当し、参照画像２６２が第１実施例における参照画像２０２に相当する。但し、フラッシュ光を利用したことに伴い、エッジ抽出処理などを介して復元関数を導出した方が望ましい。図２１を参照して、補正対象画像２６１と参照画像２６２が得られた後の処理の流れについて説明する。
【０１４４】
まず、参照画像２６２から特徴的な小領域を抽出してその小領域内の画像を小画像２６２ａとしてメモリ上に記憶する。更に、参照画像２６２から抽出された小領域に対応する小領域を補正対象画像２６１から抽出し、補正対象画像２６１から抽出された小領域内の画像を小画像２６１ａとしてメモリ上に記憶する。参照画像２６２から抽出される小領域の中心座標（参照画像２６２内における中心座標）と補正対象画像２６１から抽出される小領域の中心座標（補正対象画像２６１内における中心座標）は等しく、且つ、両小領域の画像サイズも等しい。
【０１４５】
次に、小画像２６１ａ及び２６２ａに対してエッジ抽出処理を施し、小画像２６１ｂ及び２６２ｂを得る。例えば、小画像２６１ａの各画素に対して任意のエッジ検出オペレータを適用することにより小画像２６１ａのエッジ抽出画像を生成し、このエッジ抽出画像を小画像２６１ｂとする。小画像２６２ｂについても同様である。
【０１４６】
この後、小画像２６１ｂ及び２６２ｂに対して輝度正規化処理を行う。つまり、小画像２６１ｂと２６２ｂの輝度レベルが等しくなるように（小画像２６１ｂの平均輝度と小画像２６２ｂの平均輝度が等しくなるように）、小画像２６１ｂ及び／又は２６２ｂの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像２６１ｂ及び２６２ｂを、小画像２６１ｃ及び２６２ｃとする。
【０１４７】
参照画像２６２の取得時にのみフラッシュ光を利用しているため、実空間上の被写体が不変であっても小画像２６１ａと２６１ｂの間で色合いなどが異なる。この相違は、エッジ抽出処理によって除去されるため、エッジ抽出処理を行う。また、エッジ抽出処理によって、復元関数の導出のために必要なエッジ成分が抽出される。補正対象画像２６１と参照画像２６２の輝度差はエッジ抽出処理によって概ね除去されるため、エッジ抽出処理によっても輝度差の影響が抑制されるが、完全に除去されるわけではないため、その後、輝度正規化処理を行うようにしている。
【０１４８】
そして、小画像２６１ｃを劣化画像として且つ小画像２６２ｃを初期復元画像として設定した上で図１０のステップＳ１４及びＳ１５の処理を実行することにより、ＰＳＦの算出を介して画像復元フィルタの各フィルタ係数を求める。
【０１４９】
その後、図９のステップＳ４及びＳ５の処理と同様の処理を行う。つまり、求められた各フィルタ係数を有する画像復元フィルタを用いて補正対象画像２６１の全体をフィルタリングすることにより、補正対象画像２６１に含まれるぶれが除去或いは低減されたフィルタリング画像を生成する。そして、このフィルタリング画像に対してリンギング除去処理を施すことによって、補正対象画像２６１に含まれるぶれが除去或いは低減された補正画像２６３を生成する。
【０１５０】
上述の如く、本実施例では、フラッシュ光を利用することによって明瞭な参照画像を取得するようにし、これによって精度良く復元関数を算出する。このため、撮像装置１の周辺照度が低くても、良好に手ぶれ補正を行うことができる。フラッシュ光を利用すると、主要な被写体部分が明るく描画され、フラッシュ光が届かない背景部分が暗くなる。また、フラッシュ光の色温度とフラッシュ光以外の照明光の色温度が相違するため、主要な被写体部分と背景部分の色温度が合わない不自然な画像が得られる。しかしながら、本実施例では、参照画像の取得時においてのみフラッシュ光を照射しているため、本来取得されるべき画像（補正対象画像及び補正画像）に対して、フラッシュ光の影響はない。
【０１５１】
尚、第１〜第３実施例の説明文中では特に意識していなかったが、第１〜第３実施例で述べた補正対象画像及び参照画像の撮影時には、発光部２９は機能しておらず、フラッシュ光は被写体に照射されていない。
【０１５２】
＜＜第５実施例＞＞
上述の各実施例に記載した手ぶれ検出及び手ぶれ補正の処理を、組み合わせて実施することも可能である。第１及び第４実施例を組み合わせた場合の撮像装置１の動作例を第５実施例として説明する。図２２は、第５実施例に係る、撮像装置１の動作の流れを示すフローチャートである。尚、ステップＳ６２〜Ｓ６８及びＳ７０〜Ｓ７２の処理は、操作部２６及び映像信号処理部１３から得られる情報を必要に応じて参照しつつ、ＣＰＵ２３によって実行される。
【０１５３】
撮像装置１の動作モードが撮影モードに設定されると、まず、プレビュー期間に移行し、所謂プレビューが行われる。プレビュー期間では、所定のフレーム周期にて取得される撮影画像が、順次、図１の表示部２７に更新表示される。
【０１５４】
ステップＳ６１では、図１のＴＧ２２から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点で生成及び出力される。垂直同期信号に同期して、撮像素子３３の出力信号が読み出されて撮影画像が順次取得される。ＴＧ２２から垂直同期信号が出力された場合はステップＳ６２に移行し、出力されていない場合はステップＳ６１の処理が繰り返される。
【０１５５】
ステップＳ６２では、順次取得される撮影画像についてのＡＥ評価値及びＡＦ評価値に基づいてＡＥ制御及びＡＦ制御がなされる（図３参照）。ＡＥ制御は、絞り３２の開口量、露光時間及びＡＦＥ１２のゲインに対する制御であり、ＡＦ制御は、フォーカスレンズ３１に対する制御である（図１及び図２参照）。また、オートホワイトバランス制御も実行される。
【０１５６】
図１のシャッタボタン２６ｂは、２段階の押下操作が可能となっており、撮影者がシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。ステップＳ６２に続くステップＳ６３において、ＣＰＵ２３は、シャッタボタン２６ｂが半押しの状態となっているかを確認する。シャッタボタン２６ｂが半押しの状態にある場合は、ステップＳ６３からＳ６４に移行する一方、そうでない場合はステップＳ６１に戻る。
【０１５７】
ステップＳ６４では、最新の撮影画像についてのＡＥ評価値に基づいて通常露光撮影に対するＡＥ設定値を決定する。このＡＥ設定値は、通常露光撮影時における絞り３２の開口量、露光時間、及び、ＡＦＥ１２のゲイン（以下、基準ゲインＧS1と呼ぶ）を規定する。続いて、ステップＳ６５では、最新の撮影画像についてのＡＦ評価値に基づいてＡＦ設定値を決定する。このＡＦ設定値は、通常露光撮影及び短時間露光撮影時におけるフォーカスレンズ３１の位置を規定する。
【０１５８】
そして、ステップＳ６６では、通常露光撮影に対するＡＥ設定値に従って、補正対象画像を取得する際の露光時間Ｔ１を決定する。この露光時間Ｔ１は、通常露光撮影に対するＡＥ設定値にて規定された露光時間に等しい。更に、参照画像を取得する際における露光時間Ｔ２を決定する。今、Ｔ２＝Ｔ１／４、とする。
【０１５９】
露光時間Ｔ２が決定された後、短時間露光撮影に対するＡＥ設定値も定められる。短時間露光撮影に対するＡＥ設定値は、短時間露光撮影時における絞り３２の開口量、露光時間Ｔ２及びＡＦＥ１２のゲインを規定する。通常露光撮影時における絞り３２の開口量と短時間露光撮影時における絞り３２の開口量が同じであれば、短時間露光撮影のＡＥ設定値にて規定される、短時間露光撮影時におけるＡＦＥ１２のゲイン（以下、「参照画像用の設定ゲインＧS2」と呼ぶ）は、基準ゲインＧS1の４倍とされる。勿論、通常露光撮影時における絞り３２の開口量よりも短時間露光撮影時におけるそれを大きくすることができるのであれば、参照画像用の設定ゲインＧS2を基準ゲインＧS1の４倍よりも小さくすることが可能である。
【０１６０】
続いて、ステップＳ６７において、ＣＰＵ２３は、撮像部１１の撮影領域内に収まる各被写体の中から主要被写体を特定し、主要被写体の被写体距離を算出する。被写体距離とは、被写体と撮像装置１との間の実空間上の距離を意味する。例えば、測距センサ（不図示）又はＴＴＬ（Through The Lens）方式の測距を用いて撮影領域に収まる各被写体の被写体距離を算出し、最も小さな被写体距離に対応する被写体を主要被写体として特定する。この場合、上記の最も小さな被写体距離が主要被写体の被写体距離となる。
【０１６１】
その後、ステップＳ６８において、ＣＰＵ２３は、シャッタボタン２６ｂの状態が半押しの状態から全押しの状態に移行したか否かを確認し、全押しの状態に移行したのを確認後、ステップＳ６９に移行する。
【０１６２】
ステップＳ６９では、通常露光撮影を行い、全画素モードにて補正対象画像を取得する。ここで取得される補正対象画像は、図８の補正対象画像２０１と同じものである。この通常露光撮影の撮影条件は、ステップＳ６４で決定された通常露光撮影に対するＡＥ設定値及びステップＳ６５で決定されたＡＦ設定値に従う。このため、補正対象画像の露光時間はＴ１である。また、通常露光撮影時においてフラッシュ光は被写体に照射されない。
【０１６３】
続いて、ステップＳ７０において、ＣＰＵ２３は、通常露光撮影時における露光時間Ｔ１が、撮像部１１の焦点距離ｆの逆数から求まる手ぶれ限界露光時間より長いか否かを判断する。露光時間Ｔ１が手ぶれ限界露光時間以下である場合は、手ぶれ補正が不要であるため、手ぶれ検出及び手ぶれ補正を行うことなくステップＳ６１に戻る。一方、露光時間Ｔ１が手ぶれ限界露光時間より長い場合はステップＳ７１に移行する。
【０１６４】
ステップＳ７１では、参照画像用の設定ゲインＧS2が所定の手ぶれ検出限界値よりも大きいか否かを判断する。そして、前者（ＧS2）が後者よりも大きい場合は、ＧS2にて参照画像を取得するとＳ／Ｎ比が悪くなりすぎて手ぶれ検出が良好になされないと判断し、ステップＳ７２に移行する。一方、前者（ＧS2）が後者以下の場合は、ＧS2にて参照画像を取得しても十分なＳ／Ｎ比が確保されると判断し、ステップＳ９０に移行する。
【０１６５】
基準ゲインＧS1及び参照画像用の設定ゲインＧS2は、シャッタボタン２６ｂが半押しの状態となってから全押しの状態となるまでの期間に得られた撮影画像のＡＥ評価値に基づいて定まる。一方、ＡＥ評価値は、撮像素子３３への入射光の明るさに依存する、撮影画像の明るさを表す。このため、ステップＳ７１の分岐判断は、参照画像の露光期間前における撮像素子３３への入射光の明るさに応じて行われる、と言える。
【０１６６】
ステップＳ７２では、ステップＳ６７にて算出された主要被写体の被写体距離と所定のフラッシュ到達距離とを比較する。そして、前者が後者以下である場合は、フラッシュ光が主要被写体を十分に照らすことができると判断してステップＳ８５に移行する。一方、前者が後者よりも大きい場合は、フラッシュ光によって主要被写体を十分に照らすことができないと判断してステップＳ８０に移行する。
【０１６７】
ステップＳ７２からＳ８０に移行した場合、ステップＳ８０及びＳ８１の処理が実行される。ステップＳ８０に至った場合に実行される手ぶれ検出及び手ぶれ補正の処理は、第１実施例にて述べたそれと同様である。
【０１６８】
即ち、ステップＳ８０において、フラッシュ光で被写体を照らすことなく４画素加算モードにて短時間露光撮影を行って参照画像を取得する。そして、ステップＳ６９にて取得された補正対象画像及びステップＳ８０にて取得された参照画像をそれぞれ図８の補正対象画像２０１及び参照画像２０２として取り扱った上で、ステップＳ８１において第１実施例で述べた処理を行うことにより、補正対象画像に含まれるぶれが除去或いは低減された補正画像（補正画像２０５）を得る。
【０１６９】
ステップＳ８０にて撮影される参照画像の露光時間は、ステップＳ６６にて決定されたＴ２（＝Ｔ１／４）である。一方で、その撮影時におけるＡＦＥ１２のゲインは、ステップＳ６６にて決定された参照画像用の設定ゲインＧS2よりも小さい。ステップＳ８０では４画素加算モードが用いられるので、撮像素子３３から得られる信号のレベルが上がり、ＡＦＥ１２のゲインを下げることができるからである。具体的には、ステップＳ８０の参照画像の撮影時におけるＡＦＥ１２のゲインは、ＧS2／４とされる。
【０１７０】
ステップＳ７２からＳ８５に移行した場合、ステップＳ８５及びＳ８６の処理が実行される。ステップＳ８５に至った場合に実行される手ぶれ検出及び手ぶれ補正の処理は、第４実施例で述べたそれと同様である。
【０１７１】
即ち、ステップＳ８５において、フラッシュ光で被写体を照らしつつ全画素モードにて短時間露光撮影を行って参照画像を取得する。そして、ステップＳ６９にて取得された補正対象画像及びステップＳ８５にて取得された参照画像をそれぞれ図２０の補正対象画像２６１及び参照画像２６２として取り扱った上で、ステップＳ８６において第４実施例で述べた処理を行うことにより、補正対象画像に含まれるぶれが除去或いは低減された補正画像（補正画像２６３）を得る。
【０１７２】
ステップＳ８５にて撮影される参照画像の露光時間は、ステップＳ６６にて決定されたＴ２（＝Ｔ１／４）である。一方で、その撮影時におけるＡＦＥ１２のゲインは、ステップＳ６６にて決定された参照画像用の設定ゲインＧS2よりも小さい。ステップＳ８５ではフラッシュ光が利用されるので、入射光量の増加によって撮像素子３３から得られる信号のレベルが上がり、ＡＦＥ１２のゲインを下げることができるからである。ＧS2からゲインをどの程度下げるかは、予め定めておくことができる。
【０１７３】
ステップＳ７２からＳ９０に移行した場合、ステップＳ９０及びＳ９１の処理が実行される。ステップＳ９０では、フラッシュ光で被写体を照らすことなく全画素モードにて短時間露光撮影を行って参照画像を取得する。そして、ステップＳ９１では、ステップＳ６９にて取得された補正対象画像及びステップＳ９０にて取得された参照画像から、補正画像を生成する。即ち、補正対象画像及び参照画像に基づいて上述のフーリエ反復法を実施することにより補正対象画像に対する画像復元フィルタの各フィルタ係数を求め、その各フィルタ係数を有する画像復元フィルタを用いて補正対象画像の全体をフィルタリングすることによりフィルタリング画像を生成する。更に、このフィルタリング画像に対して上述のリンギング除去処理を施して、補正対象画像のぶれが除去或いは低減された補正画像を生成する。ステップＳ６９、Ｓ９０及びＳ９１にて実行される処理は、第３実施例で行われる処理からノイズ除去処理を省略したものに等しい（図１９参照）。
【０１７４】
ステップＳ９０にて撮影される参照画像の露光時間は、ステップＳ６６にて決定されたＴ２（＝Ｔ１／４）である。また、ステップＳ９０の参照画像の撮影時におけるＡＦＥ１２のゲインは、ステップＳ６６にて決定された参照画像用の設定ゲインＧS2である。
【０１７５】
ステップＳ８１、Ｓ８６又はＳ９１の処理を終えると、ステップＳ６１に戻る。
【０１７６】
上述の如く、画素換算機能やフラッシュ光を利用せずとも十分なＳ／Ｎ比が確保されると判断される場合は、それらを利用することなく参照画像を取得し、それらが必要な場合にのみ、それらを利用する。これにより、状況に応じた最適な手ぶれ検出及び手ぶれ補正が実現される。
【０１７７】
＜＜第６実施例＞＞
次に、第６実施例を説明する。第６実施例では、上述の各実施例に対応し且つ撮像装置１に内在する、手ぶれ検出及び手ぶれ補正に関与する部位の機能ブロック図を例示する。その機能ブロック図を、図２３に示す。
【０１７８】
補正対象画像取得部６１は、ＡＦＥ１２の出力信号を受け、通常露光撮影によって補正対象画像を取得する。参照画像取得部６２は、ＡＦＥ１２の出力信号を受け、短時間露光撮影によって参照画像を取得する。補正対象画像取得部６１及び参照画像取得部６２は、主として、図１のＣＰＵ２３及び映像信号処理部１３によって実現される。勿論、補正対象画像及び参照画像の取得に際して、ＣＰＵ２３及び映像信号処理部１３以外の部位（撮像部１１やＡＦＥ１２など）も機能する必要がある。符号６１及び６２にて参照される各部位によって、画像取得部が形成される。
【０１７９】
復元関数生成部（フィルタ係数導出部）６３は、補正対象画像及び参照画像に基づいて、補正対象画像に対する復元関数を生成する。復元関数は画像復元フィルタによって表され、復元関数生成部６３は、この画像復元フィルタのフィルタ係数を求める。画像復元フィルタそのものは、フィルタング部６４に実装されている。フィルタング部６４は、求められた各フィルタ係数を有する画像復元フィルタを用いて補正対象画像をフィルタリングすることによりフィルタリング画像を生成する。リンギング除去部６５は、このフィルタリング画像に対してリンギング除去処理を施して補正画像を生成する。符号６３〜６５にて参照される各部位によって、手ぶれ補正部が形成される。この手ぶれ補正部は、主として、図１のＣＰＵ２３及び映像信号処理部１３によって実現される。
【０１８０】
尚、第１又は第２実施例にて示したように補正対象画像の縮小画像を生成する必要がある場合は（図８又は図１８参照）、補正対象画像を縮小するための画像縮小部（不図示）が図２３の機能ブロック図内に設けられる。この場合、フィルタング部６４によって補正対象画像の縮小画像に画像復元フィルタを作用させてから画像拡大処理を行って、補正対象画像と同じ画像サイズを有する補正画像を生成すればよい。
【０１８１】
第５実施例（図２２参照）にて述べた処理を実現する場合、参照画像取得部６２は、図２４に示す如く、フラッシュ光を利用することなく画素加算モードにて参照画像を取得する第１の取得部７１と、フラッシュ光を利用して全画素モードにて参照画像を取得する第２の取得部７２と、フラッシュ光を利用することなく全画素モードにて参照画像を取得する第３の取得部７３と、第１〜第３の取得部７１〜７３の内の何れか１つを選択し、選択した取得部のみを機能させる選択部７４と、を含む。第１の取得部７１、第２の取得部７２及び第３の取得部７３は、夫々、図２２のステップＳ８０の処理、ステップＳ８５の処理及びステップＳ９０の処理を実行し、選択部７４は、図２２のステップＳ７１及びＳ７２の分岐処理を実行する。
【０１８２】
第２実施例（図１８参照）にて述べた処理を実現する場合、参照画像２２２から参照画像２２４を生成する部位（不図示）が、図２３の機能ブロック図内に設けられる。
【０１８３】
第３実施例（図１９参照）にて述べた処理を実現する場合、参照画像２４２から参照画像２４３を生成する部位（不図示）が、図２３の機能ブロック図内に設けられる。
【０１８４】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１８５】
［注釈１］
上述の例では、画素加算モードが、４つの受光画素信号を足し合わせる４画素加算モードである場合を取り扱ったが、本発明が利用可能な画素加算モードは４画素加算モードに限られない。例えば、９つの受光画素信号を足し合わせる９画素加算モードなどを、画素加算モードとして利用可能である。
【０１８６】
これと同様のことが第２実施例にも当てはまる。つまり、第２実施例では（図１８参照）、参照画像２２２の画像サイズを縮小して参照画像２２４を生成する際、参照画像２２２内の４つの画素についての画素信号の加算信号を、参照画像２２４内の１つの画素についての画素信号としたが、加算される画素信号の個数は４以外であってもよい（例えば９であってもよい）。
【０１８７】
［注釈２］
上述の例では、１枚の補正対象画像に対して１つの復元関数を生成し、１つの復元関数を補正対象画像の全体に対して作用させることにより補正対象画像の劣化を補正しているが、１枚の補正対象画像の全体領域をｎ個の部分領域（ｎは２以上の整数）に分割し、各部分領域に対して個別に復元関数（画像復元フィルタの各フィルタ係数）を求めるようにしてもよい。この場合、補正対象画像内の各部分領域の画像に対して対応する画像復元フィルタを用いたフィルタリング処理を実行することにより、フィルタリング画像を生成し、更にリンギング除去処理を介して補正画像を生成する。尚、補正対象画像の縮小画像を生成する必要がある場合は、その縮小画像内の各部分領域の画像に対して対応する画像復元フィルタを作用させればよい。
【０１８８】
撮像装置１に作用する手ぶれの方向が上下方向及び／又は左右方向のみである場合、手ぶれは画像全体に一様な劣化を与えると考えられるが、回転方向の手ぶれが加わると、劣化関数（ＰＳＦ）が補正対象画像内の異なる位置間で異なってくる。結果、作用させるべき復元関数も補正対象画像内の異なる位置間で異なってくる。このような場合に、複数の復元関数を利用する手法は有益である。
【０１８９】
［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図２３及び図２４に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０１９０】
また、図２３の手ぶれ補正部の機能を撮像装置１の外部装置にて実現することも可能である。その手ぶれ補正部にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【０１９１】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部ブロック図である。
【図３】図１の映像信号処理部の内部ブロック図である。
【図４】図２の撮像素子の有効領域内における受光画素配列を示す図である。
【図５】図２の撮像素子に設けられたカラーフィルタの配列を示す図である。
【図６】全画素モードにて得られる撮影画像の画素配列と、４画素加算モードにて得られる撮影画像の画素配列と、を示す図である。
【図７】撮像素子の実際の受光画素配列と、４画素加算モードにおける仮想的な受光画素配列と、を示す図である。
【図８】本発明の第１実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。
【図９】本発明の第１実施例に係り、シャッタボタン押下後における撮像装置の動作の流れを表すフローチャートである。
【図１０】図９のステップＳ３の処理の詳細フローチャートである。
【図１１】図８の参照画像と該参照画像から抽出される小画像との関係、及び、図８の縮小画像と該縮小画像から抽出される小画像との関係を示す図ある。
【図１２】図１０のステップＳ１４の処理の詳細フローチャートである。
【図１３】本発明の第１実施例に係り、フーリエ反復法を実施する部位のブロック図である。
【図１４】参照画像を全画素モードにて取得する場合における、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。
【図１５】図８の変形例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。
【図１６】図１５の参照画像と該参照画像から抽出される小画像との関係、及び、図１５の補正対象画像と該補正対象画像から抽出される小画像との関係を示す図ある。
【図１７】画像復元フィルタに対する縦横拡大処理を説明するための図である。
【図１８】本発明の第２実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。
【図１９】本発明の第３実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。
【図２０】本発明の第４実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。
【図２１】図２０の補正対象画像及び参照画像から抽出され且つ画像処理が施される小画像を示す図である。
【図２２】本発明の第５実施例に係る、図１の撮像装置の動作の流れを示すフローチャートである。
【図２３】本発明の第６実施例に係り、図１の撮像装置に内在する、手ぶれ検出及び手ぶれ補正に関与する部位の機能ブロック図である。
【図２４】図２３の参照画像取得部の内部ブロック図である。
【図２５】従来のフーリエ反復法を実現する構成のブロック図である。
【符号の説明】
【０１９２】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  映像信号処理部
２３  ＣＰＵ
２６  操作部
２９  発光部
３３  撮像素子
６１  補正対象画像取得部
６２  参照画像取得部
６３  復元関数生成部
６４  フィルタリング部
６５  リンギング除去部
７１〜７３  第１〜第３の取得部
７４  選択部
【図１】
2009089228.tif 000009
【図２】
2009089228.tif 000010
【図３】
2009089228.tif 000011
【図４】
2009089228.tif 000012
【図５】
2009089228.tif 000013
【図６】
2009089228.tif 000014
【図７】
2009089228.tif 000015
【図９】
2009089228.tif 000016
【図１０】
2009089228.tif 000017
【図１１】
2009089228.tif 000018
【図１２】
2009089228.tif 000019
【図１３】
2009089228.tif 000020
【図１６】
2009089228.tif 000021
【図１７】
2009089228.tif 000022
【図２１】
2009089228.tif 000023
【図２２】
2009089228.tif 000024
【図２３】
2009089228.tif 000025
【図２４】
2009089228.tif 000026
【図２５】
2009089228.tif 000027
【図８】
2009089228.tif 000028
【図１４】
2009089228.tif 000029
【図１５】
2009089228.tif 000030
【図１８】
2009089228.tif 000031
【図１９】
2009089228.tif 000032
【図２０】
2009089228.tif 000033