(57)【特許請求の範囲】
【請求項１】
撮影によって撮像装置にて得られた静止画像である補正対象画像のぶれを画像処理によって補正するための補正用情報を記録手段に記録する記録制御手段を備えたぶれ検出装置において、
前記補正対象画像の露光期間中における前記撮像装置の動きを検出する装置動き検出手段を備え、
前記記録制御手段は、複数種類の補正用情報を生成可能であり、前記検出された動きに基づいて、前記記録手段に記録する前記補正用情報の種類を選択する
ことを特徴とするぶれ検出装置。
【請求項２】
前記記録制御手段は、前記検出された動きの大きさが、比較的大きな大きさが属すべき第１範囲及び比較的小さな大きさが属すべき第２範囲の何れかに属するか否かを判断し、前記検出された動きの大きさが前記第１範囲に属する場合と前記第２範囲に属する場合とで異なる種類の補正用情報を生成し、前記検出された動きの大きさが前記第２範囲に属するとき、前記補正対象画像の補正方法を示す情報を前記補正用情報として前記記録媒体に記録する
ことを特徴とする請求項１に記載のぶれ検出装置。
【請求項３】
前記記録制御手段は、前記検出された動きの大きさが前記第１範囲に属するとき、前記補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の一部又は全部の画像データを、前記補正用情報として前記記録媒体に記録する
ことを特徴とする請求項２に記載のぶれ検出装置。
【請求項４】
前記装置動き検出手段は、前記補正対象画像の撮影条件に基づいて前記検出された動きの大きさを導出する
ことを特徴とする請求項１〜請求項３の何れかに記載のぶれ検出装置。
【請求項５】
前記装置動き検出手段は、前記補正対象画像の撮影前又は撮影後に撮影される画像であ
って且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像のエッジ強度と前記補正対象画像のエッジ強度とに基づいて、前記検出した動きの大きさを導出する
ことを特徴とする請求項１〜請求項３の何れかに記載のぶれ検出装置。
【請求項６】
前記装置動き検出手段は、
前記撮像装置にて撮影された時系列で並ぶ複数の静止画像の夫々を補正対象画像とし、各補正対象画像の露光期間中における前記撮像装置の動きを検出し、
着目した補正対象画像についての前記検出された動きの大きさを、前記着目した補正対象画像の過去の補正対象画像の画像データ、及び、前記過去の補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記過去の補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の画像データ、をも用いて導出する
ことを特徴とする請求項４または請求項５に記載のぶれ検出装置。
【請求項７】
前記装置動き検出手段は、前記補正対象画像の撮影前に撮影された画像列に着目し、前記画像列を形成する時間的に隣接する画像間の動きベクトルの大きさが一定値以下となる状態が所定時間継続して観測されたとき、その動きベクトル、前記画像列の撮影時おけるフレームレート及び前記補正対象画像の露光期間の長さに基づいて、前記補正対象画像の露光期間中における前記撮像装置の動きの大きさを導出する
ことを特徴とする請求項１〜請求項３の何れかに記載のぶれ検出装置。
【請求項８】
前記記録制御手段は、前記補正対象画像のぶれが予め規定された類型ぶれに属するか否かを前記撮像装置の動きを計測するセンサの出力信号に基づいて判断し、その判断結果に基づいて、前記記録手段に記録する前記補正用情報の種類を選択する
ことを特徴とする請求項１に記載のぶれ検出装置。
【請求項９】
前記記録制御手段は、
前記補正対象画像のぶれが前記類型ぶれに属すると判断したとき、前記類型ぶれの軌跡形状及び該軌跡を描く速度状態を表す数式データを前記補正用情報として前記記録手段に記録する一方、
前記補正対象画像のぶれが前記類型ぶれに属さないと判断したとき、前記補正対象画像の露光期間中における前記センサの出力信号を表すデータを前記補正用情報として前記記録手段に記録する
ことを特徴とする請求項８に記載のぶれ検出装置。
【請求項１０】
請求項１〜請求項９の何れかに記載のぶれ検出装置と、
前記記録手段に記録された前記補正用情報に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えた
ことを特徴とするぶれ補正装置。
【請求項１１】
請求項１〜請求項９の何れかに記載のぶれ検出装置を備え、撮影によって画像を取得する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれ等に由来する静止画像のぶれを検出するぶれ検出装置、及び、そのぶれを補正するぶれ補正装置に関する。また、本発明は、ぶれ検出機能を備えた撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、手ぶれに由来する画像のぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。
【０００３】
手ぶれ補正の方法として、補正対象画像のぶれを画像処理によって補正するための手ぶれ情報を撮影時に記録しておき、画像再生時などに、その手ぶれ情報を読み出して補正対象画像のぶれを補正する方法が提案されている。例えば、補正対象画像の露光期間中における撮像装置の筐体の角速度を角速度センサにて計測しておき、角速度センサの出力データを補正対象画像の画像データと共に記録媒体に記録しておく。そして、画像再生時などにおいて、記録された角速度センサの出力データから、補正対象画像の点広がり関数（Point Spread Function；ＰＳＦ）を求めて画像復元処理によってぶれ補正画像を生成する（下記特許文献１及び２参照）。
【０００４】
理想的な点像が撮像装置のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。ＰＳＦは行列で表現されており、そのＰＳＦの逆行列の各要素を各フィルタ係数として有する画像復元フィルタを用いて補正対象画像をフィルタリングすれば、ぶれのない画像が復元される。図３３に、手ぶれの軌跡と行列表現されたＰＳＦと画像復元フィルタの関係を示すと共に補正対象画像としての手ぶれ画像から復元画像が生成される様子を示す。尚、ＰＳＦの図示において、斜線が付された部分は重み付けがなされた行列要素を表している。
【０００５】
また、角速度センサ等の手ぶれ検出センサを用いることなく、撮像素子の出力信号のみに基づいて補正対象画像のぶれを除去する方法も提案されている。例えば、補正対象画像としての主画像の撮影前後に主画像のぶれ補正用の副画像を撮影し、副画像の画像データを主画像の画像データと共に記録しておく。そして、画像再生時などにおいて、その副画像の画像データから主画像のぶれの状態を推定して主画像のぶれを補正する（下記特許文献３参照）。
【０００６】
上述の如く、角速度センサ等の手ぶれ検出センサを用いるか否かに関わらず、補正対象画像の撮影後に画像処理によってぶれ補正を行うためには、そのぶれを行うための補正用情報（上述の従来例においては、角速度センサの出力データ又は副画像の画像データ）を記録媒体に記録しておく必要がある。一方において、記録媒体の記録容量は有限であるため、補正用情報のデータサイズは小ければ小さいほどよいことは自明である。
【０００７】
尚、１枚の手ぶれ画像（補正対象画像）から、撮影中の手ぶれを表す手ぶれ情報（ＰＳＦ）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像を画像処理によって生成する方式も提案されている。この種の方式の中で、フーリエ反復法を用いた方式が下記非特許文献１に開示されている。図３４にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像とＰＳＦの修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
【０００８】
上述のフーリエ反復法を用いれば、補正対象画像の画像データのみから補正対象画像のぶれを除去することも可能ではある。しかし、フーリエ反復法は非線形最適化手法であり、適当な復元画像を得るためには多くの反復回数が必要となる。つまり、手ぶれ検出及び補正に必要な処理時間が非常に長くなってしまう。このため、デジタルスチルカメラ等での実用化が難しく、補正対象画像の画像データ以外の補正用情報を記録して利用することが現実的である。
【０００９】
【特許文献１】特開２００６−１２９２３６号公報
【特許文献２】特開２００４−８８５６７号公報
【特許文献３】特開２００１−３４６０９３号公報
【非特許文献１】G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549
【発明の開示】
【発明が解決しようとする課題】
【００１０】
そこで本発明は、補正対象画像のぶれを補正するための補正用情報のデータサイズ低減に寄与する、ぶれ検出装置、ぶれ補正装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るぶれ検出装置は、撮影によって撮像装置にて得られた静止画像である補正対象画像のぶれを画像処理によって補正するための補正用情報を記録手段に記録する記録制御手段を備えたぶれ検出装置において、前記記録制御手段は、複数種類の補正用情報を生成可能であり、前記補正対象画像の露光期間中における前記撮像装置の動きに応じて、前記記録手段に記録する前記補正用情報の種類を選択することを特徴とする。
【００１２】
例えば、補正対象画像の露光期間中における撮像装置の動きが小さい場合や該動きを単純な運動にて近似できる場合、補正用情報を簡略化しても、実用上問題ない程度のぶれ補正効果を得ることができる。これを考慮し、複数種類の補正用情報（或る種類の補正用情報のデータサイズは比較的大きく、他の種類の補正用情報のデータサイズは比較的小さい）を生成可能としておき、撮像装置の動きに応じて記録媒体に記録する補正用情報の種類を選択する。これにより、補正用情報のデータサイズを低減することが可能となる。
【００１３】
具体的には例えば、前記ぶれ検出装置は、前記補正対象画像の露光期間中における前記撮像装置の動きの大きさを推定する装置動き推定手段を更に備え、前記記録制御手段は、推定された前記大きさに基づいて、前記記録手段に記録する前記補正用情報の種類を選択する。
【００１４】
より具体的には例えば、前記記録制御手段は、推定された前記大きさが、比較的大きな大きさが属すべき第１範囲及び比較的小さな大きさが属すべき第２範囲の何れかに属するか否かを判断し、推定された前記大きさが前記第１範囲に属する場合と前記第２範囲に属する場合とで異なる種類の補正用情報を生成し、推定された前記大きさが前記第２範囲に属するとき、前記補正対象画像の補正方法を示す情報を前記補正用情報として前記記録媒体に記録する。
【００１５】
そして例えば、前記記録制御手段は、推定された前記大きさが前記第１範囲に属するとき、前記補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の一部又は全部の画像データを、前記補正用情報として前記記録媒体に記録する。
【００１６】
また具体的には例えば、前記装置動き推定手段は、前記補正対象画像の撮影条件に基づいて前記大きさを推定する。
【００１７】
補正対象画像の撮影条件は補正対象画像の撮影前（又は撮影時）に定まる。このため、補正対象画像の撮影条件から補正対象画像の露光期間中における撮像装置の動きの大きさを推定するようにすれば、推定が短時間で完了する。結果、補正対象画像となるべき静止画像の連続撮影性能の低下を回避或いは抑制することができる。
【００１８】
或いは具体的には例えば、前記装置動き推定手段は、前記補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像のエッジ強度と前記補正対象画像のエッジ強度とに基づいて、前記大きさを推定する。
【００１９】
これによっても、推定を比較的短時間で完了することができ、補正対象画像となるべき静止画像の連続撮影性能の低下を回避或いは抑制することができる。
【００２０】
また例えば、前記装置動き推定手段は、前記撮像装置にて撮影された時系列で並ぶ複数の静止画像の夫々を補正対象画像として取り扱って各補正対象画像の露光期間中における前記撮像装置の動きの大きさを推定し、着目した補正対象画像に対して推定されるべき前記大きさを、前記着目した補正対象画像の過去の補正対象画像の画像データ、及び、前記過去の補正対象画像の撮影前又は撮影後に撮影される画像であって且つ前記過去の補正対象画像の露光期間よりも長さの短い露光期間にて撮影される短露光画像の画像データ、をも用いて推定する。
【００２１】
また例えば、前記装置動き推定手段は、前記補正対象画像の撮影前に撮影された画像列に着目し、前記画像列を形成する時間的に隣接する画像間の動きベクトルの大きさが一定値以下となる状態が所定時間継続して観測されたとき、その動きベクトル、前記画像列の撮影時おけるフレームレート及び前記補正対象画像の露光期間の長さに基づいて、前記補正対象画像の露光期間中における前記撮像装置の動きの大きさを推定する。
【００２２】
補正対象画像の撮影前に撮影された画像列から補正対象画像の露光期間中における撮像装置の動きの大きさを推定するようにすれば、推定を補正対象画像の撮影前又はその近傍時点で完了することができる。結果、補正対象画像となるべき静止画像の連続撮影性能の低下を回避或いは抑制することができる。
【００２３】
また例えば、前記記録制御手段は、前記補正対象画像のぶれが予め規定された類型ぶれに属するか否かを前記撮像装置の動きを計測するセンサの出力信号に基づいて判断し、その判断結果に基づいて、前記記録手段に記録する前記補正用情報の種類を選択する。
【００２４】
補正対象画像の露光期間中における撮像装置の動きが比較的単純であって、補正対象画像のぶれが予め規定された類型ぶれ（例えば、直線的且つ等速的なぶれ）にて近似できる場合、補正用情報を簡略化しても、実用上問題ない程度のぶれ補正効果を得ることができる。これを考慮し、複数種類の補正用情報（或る種類の補正用情報のデータサイズは比較的大きく、他の種類の補正用情報のデータサイズは比較的小さい）を生成可能としておき、補正対象画像のぶれが類型ぶれに属するか否かに応じて、記録媒体に記録する補正用情報の種類を選択する。これにより、補正用情報のデータサイズを低減することが可能となる。
【００２５】
より具体的には例えば、前記記録制御手段は、前記補正対象画像のぶれが前記類型ぶれに属すると判断したとき、前記類型ぶれの軌跡形状及び該軌跡を描く速度状態を表す数式データを前記補正用情報として前記記録手段に記録する一方、前記補正対象画像のぶれが前記類型ぶれに属さないと判断したとき、前記補正対象画像の露光期間中における前記センサの出力信号を表すデータを前記補正用情報として前記記録手段に記録する。
【００２６】
本発明に係るぶれ補正装置は、前記ぶれ検出装置と、前記記録手段に記録された前記補正用情報に基づいて前記補正対象画像のぶれを補正する補正処理手段と、を備えたことを特徴とする。
【００２７】
本発明に係る撮像装置は、前記ぶれ検出装置を備え、撮影によって画像を取得することを特徴とする。
【発明の効果】
【００２８】
本発明によれば、補正対象画像のぶれを補正するための補正用情報のデータサイズ低減に寄与する、ぶれ検出装置、ぶれ補正装置及び撮像装置を提供することができる。
【００２９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３１】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。
【００３２】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。
【００３３】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの駆動制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
【００３４】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。
【００３５】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００３６】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。また、主制御部１３は、撮像素子３３の露光時間を制御するための露光時間制御信号を撮像部１１に出力する。
【００３７】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
【００３８】
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画像の撮影及び記録を指示するためのボタンである。シャッタボタン１７ａを押下することによって静止画像の撮影及び記録が指示される。
【００３９】
撮像装置１の動作モードには、静止画像または動画像の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画像または動画像を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００４０】
撮影画像は、手ぶれに起因するぶれを含みうる。主制御部１３にはぶれ補正処理を実行するぶれ補正部（ぶれ補正装置）が内在されており、画像処理によって静止画像のぶれを補正する機能を備える。以下、ぶれ補正部によってぶれが補正されるべき静止画像としての撮影画像を、特に「補正対象画像」と呼び、そのぶれの補正後の画像を「ぶれ補正画像」と呼ぶ。
【００４１】
撮影モードにおいてシャッタボタン１７ａを押下することによって、補正対象画像を撮影するための露光が行われて補正対象画像を表す信号が撮像素子３３から出力される。補正対象画像を含む１枚又は複数枚の撮影画像の露光が行われる期間を実撮影期間と呼ぶ。撮影モードにおいて、撮像部１１は所定のフレーム周期（例えば、１／３０秒）にて順次撮影を行っており、実撮影期間以外の期間（以下、プレビュー期間という）中の撮影によって得られる各撮影画像をプレビュー画像と呼ぶ。次々と得られるプレビュー画像は、順次、表示部１５上で更新表示される。
【００４２】
図３に、撮影モードにおける、プレビュー期間と実撮影期間との時間的関係を示す。プレビュー期間中における周期的な撮影によってプレビュー画像列を取得している状態において、シャッタボタン１７ａが押下されるとプレビュー期間から実撮影期間に移行し、その期間中に補正対象画像の露光が実施される。補正対象画像の露光を含む必要な露光が完了すると、実撮影期間から再度プレビュー期間に戻る。以後、シャッタボタン１７ａが押下される度に、上述と同様にして、プレビュー期間から実撮影期間への遷移と実撮影期間からプレビュー期間への遷移が生じる。
【００４３】
図４に、撮像装置１の一部ブロック図を示す。主制御部１３は、補正対象画像の露光期間中に撮像装置１に作用した手ぶれ量を推定するための手ぶれ量推定部５１と、撮像素子３３の露光時間に対する制御を含む撮影制御を行う撮影制御部５２と、記録媒体１６に記録されるべきデータを生成して該データを記録媒体１６に記録させる記録制御部５３と、記録媒体１６の記録データを受け取って補正対象画像に対するぶれ補正処理を実行する補正処理部５４と、を備える。
【００４４】
尚、本明細書では、画像を表すデータを画像データと呼び、或る画像の画像データに対して何らかの処理（記録、保存、読み出し等）を行うことを説明する文章において、記述の簡略化上、画像データの記述を省略することがある。例えば、静止画像の画像データの記録という表現と、静止画像の記録という表現は同義である。また、本明細書では、記号を記述することによって、その記号に対応する画像等の呼び名を簡略化することがある。例えば、通常露光画像ＧLと画像ＧLは同じものを指す。また、本明細書において、画像列とは、時系列で並ぶ複数の画像の集まりを指す。
【００４５】
以下、撮像装置１の動作（特にぶれ補正処理の動作）を詳細に説明する実施例として、第１〜第７実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。
【００４６】
［第１実施例］
まず、第２実施例以降に示される処理の基本動作を実現する実施例として、第１実施例を説明する。第１実施例にて説明される事項は、第２実施例以降の説明において適宜参照される。図５は、第１実施例に係る、撮像装置１の撮影動作及び補正動作の流れを表すフローチャートである。尚、第１実施例において、図４の手ぶれ量推定部５１は機能しない。
【００４７】
撮影モードにおいて実行されるステップＳ１〜Ｓ５の各処理内容を説明する。撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ１において、主制御部１３は、光学系３５内のレンズの位置及び既知情報等に基づいて撮像部１１の焦点距離ｆDを表すデータを取得すると共に、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づいて撮像素子３３の露光量が適正となる露光時間ＴEPを算出する。露光時間とは、或る静止画像を撮影するための露光期間の長さである。
【００４８】
この後、ステップＳ２において、撮像装置１は、通常露光撮影と短露光撮影を連続的に実行することにより通常露光画像及び短露光画像を取得する。短露光撮影は、通常露光撮影の露光時間よりも短い露光時間にて行われる撮影である。通常露光撮影の露光時間としてＴEPが用いられ、短露光撮影の露光時間として例えばＴEP／４が用いられる。撮影制御部５２が、露光時間ＴEPに基づいて通常露光撮影及び短露光撮影用の露光時間制御信号を生成して撮像素子３３に与えることにより通常露光撮影及び短露光撮影が実行される。また、通常露光撮影と短露光撮影の実行時における撮像部１１の焦点距離はｆDである。
【００４９】
通常露光画像は、通常露光撮影によって得られた静止画像としての撮影画像を意味し、短露光画像は、短露光撮影によって得られた静止画像としての撮影画像を意味する。ステップＳ２の通常露光撮影及び短露光撮影は実撮影期間中に行われ（図３参照）、短露光撮影は、通常露光画像の撮影直前又は直後に実行される。ここで得られた通常露光画像及び短露光画像をそれぞれ記号ＧL及びＧSで表す。通常露光画像ＧL及び短露光画像ＧSの各画像データは図４の記録制御部５３に与えられる。通常露光画像ＧLと短露光画像ＧSの画像サイズ（即ち、水平方向及び垂直方向の画素数）は等しいものとする。
【００５０】
ステップＳ２の後、ステップＳ３において、記録制御部５３は、短露光画像ＧSの中から特徴的な小領域を抽出する。この抽出された小領域内の画像を小画像ＧSAで表す。例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。
【００５１】
その後、ステップＳ４において、記録制御部５３は、通常露光画像ＧL及び小画像ＧSAの画像データをＪＰＥＧ（Joint Photographic Experts Group）の圧縮方式に従って圧縮する。以下、この圧縮をＪＰＥＧ圧縮という。このＪＰＥＧ圧縮によって画像サイズの変化は生じないものとする。通常露光画像ＧL及び小画像ＧSAに、この圧縮を施して得た画像をそれぞれ記号ＪL及びＪSAにて表す。画像ＧLとＪLは圧縮の有無が異なるだけであるので、以下、画像ＪLも通常露光画像と呼ぶこともある。同様に、画像ＪSAも、小画像又は短露光画像内の小画像などと呼ぶことがある。
【００５２】
そして、ステップＳ５において、記録制御部５３は、画像データを記録するための画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像ＪLの画像データを記録する一方で、その画像ファイルのヘッダ領域に短露光画像内の小画像ＪSAの画像データを記録する。尚、この際、記録制御部５３は、小画像ＪSAの位置を表す位置データ、焦点距離ｆDを表すデータ及び露光時間ＴEPを表すデータもヘッダ領域に記録する。位置データは、小画像ＧSAの中心画素の、短露光画像ＧS上における座標値を表す。画像ＪSAの画像データは、ぶれ補正処理の実行時において通常露光画像ＪLのぶれを補正するために用いられる補正用情報であり、この補正用情報に上記位置データも含まれる。
【００５３】
例えば、画像ファイルは、Ｅｘｉｆ（Exchangeable image file format）のファイルフォーマットに準拠するように作成される。図６に、１つの画像ファイルの構造を示す。画像ファイルは、本体領域とヘッダ領域から形成されている。Ｅｘｉｆのファイルフォーマットに準拠する場合、ヘッダ領域はＥｘｉｆタグ又はＥｘｉｆ領域とも呼ばれる。尚、以下の説明おいて、特に記述なき限り、画像ファイルとは、記録媒体１６内に記録された画像ファイルを指す。
【００５４】
上述の撮影動作の後において、撮像装置１に補正指示が与えられると（或いは所定条件が満たされると）補正動作が実行される。第１実施例において、補正動作はステップＳ６〜Ｓ９の各処理から成る。補正指示は、例えば、ユーザによる操作部１７への所定操作によって撮像装置１に与えられる。但し、補正指示の有無に関係なく、補正動作を実行することも可能である。補正動作は再生モードにおいて実行される。但し、補正動作を撮影モードにて行うことも可能である。
【００５５】
ステップＳ６〜Ｓ９の各処理について説明する。撮像装置１に補正指示が与えられると、ステップＳ６において、補正処理部５４は、記録媒体１６から通常露光画像ＪLの画像データ及び短露光画像から抽出された小画像ＪSAの画像データを読み出すと共に、小画像ＪSAの位置データも記録媒体１６から読み出す。補正処理部５４は、通常露光画像ＪLを補正対象画像として取り扱う。
【００５６】
続くステップＳ７において、補正処理部５４は、通常露光画像ＪL及び小画像ＪSAの各画像データに基づき、通常露光画像ＪLに含まれるぶれの状態を表す手ぶれ情報を算出する。手ぶれ情報は、例えば、通常露光画像ＪLの劣化の状態を表す画像劣化関数であり、画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）が求められる。また、ここで得られる手ぶれ情報を記号ＰLにて表す。
【００５７】
そしてステップＳ８において、補正処理部５４は、ステップＳ７にて求められた手ぶれ情報ＰLに基づいて、通常露光画像ＪLに含まれるぶれを除去するための画像復元処理を通常露光画像ＪLに対して施し、これによって補正対象画像である通常露光画像ＪLからぶれ補正画像を生成する。通常露光画像ＪL及び小画像ＪSAの各画像データに基づく手ぶれ情報の算出方法例、並びに、その手ぶれ情報を利用した画像復元処理の方法例については、後述する（第７実施例参照）。
【００５８】
その後、ステップＳ９において、主制御部１３は、ステップＳ８にて生成されたぶれ補正画像の画像データを記録するための画像ファイルを新たに生成して、その画像ファイルを記録媒体１６に記録する。或いは、画像ファイルを新たに生成することなく、通常露光画像ＪLの画像データが上書きされるように、通常露光画像ＪLの画像データを記録していた画像ファイルの本体領域にぶれ補正画像の画像データを記録してもよい。また、ぶれ補正画像は、表示部１５に表示される。
【００５９】
通常露光画像よりも短露光画像の方がぶれは通常小さく、短露光画像のエッジ状態を目標に通常露光画像を補正すれば、通常露光画像のぶれは低減される。このため、上述の如く、シャッタボタン１７ａの押下に応じて通常露光画像と短露光画像を撮影する。この際、ステップＳ５において、短露光画像ＧSの全体画像をＪＰＥＧ圧縮して得た画像の全画像データを、補正用情報として、小画像ＪSAの画像データの代わりに画像ファイルのヘッダ領域に記録することも可能ではある。この場合、ぶれ補正処理時において、記録された短露光画像の全体画像から小画像ＪSAと同等の小画像をステップＳ３の処理を利用して抽出し、抽出した小画像を小画像ＪSAとして取り扱ってステップＳ７の処理を実行することで手ぶれ情報ＰLを作成することができる。但し、そのようにすると、補正用情報を記録することによる、画像ファイルのサイズ増大量がかなり大きくなる。そこで、上述の如く、短露光画像の一部画像に相当する小画像（即ち、ＪSA）の画像データを補正用情報として画像ファイルに記録する。これにより、画像ファイルのサイズの増大が抑制される。
【００６０】
しかしながら、小画像（即ち、ＪSA）の画像データも十分に小さいとは言えない。補正用情報のサイズ増大は、所定の記録容量を有する記録媒体１６の記録可能画像枚数を減少させる。故に、画像ファイルのサイズ増大を更に抑制するための機能を設けておくことが望ましい。その機能をも実現する実施例を第２実施例以降に説明する。
【００６１】
尚、通常露光画像及び短露光画像の各画像データに基づく手ぶれ情報の作成を撮影時に実行する、といったことも考えられる。この場合、小画像の画像データを含む補正用情報を記録媒体１６に記録する必要はなく、例えば、作成された手ぶれ情報を画像ファイルのヘッダ領域に記録しておけばよい。手ぶれ情報のデータサイズは小画像（即ち、ＪSA）のデータサイズよりも小さいため、撮影時に手ぶれ情報を作成する方法は、画像ファイルのサイズ増大抑制効果が大きい。
【００６２】
しかし、通常露光画像及び短露光画像の各画像データに基づいて手ぶれ情報を正確に算出するためには大きな処理時間が必要であり、仮に撮影時に手ぶれ情報の作成を行うようにすると、その作成処理の一部又は全部が完了するまでの比較的長い時間の間、次の静止画像撮影を実行することができなくなる。ぶれ検出及びぶれ補正のために、撮像装置の重要性能である連続撮影の性能を低下させることは望ましくない。故に、撮像装置１は、手ぶれ情報の算出を比較的長時間の処理が許されやすい期間（例えば、画像の再生時）に実行する。
【００６３】
［第２実施例］
第２実施例について説明する。図７は、第２実施例に係る、撮像装置１の撮影動作の流れを表すフローチャートである。第２実施例において実行される、図７に示すステップＳ１〜Ｓ５の各処理は、第１実施例で説明したそれらと同じであるため（図５参照）、第２実施例の説明ではステップＳ１〜Ｓ５の各処理内容の説明を簡略化する。
【００６４】
撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ１にて焦点距離ｆDを表すデータが取得されると共に露光時間ＴEPが算出され、その後、ステップＳ１１に移行する。第１実施例で述べたように、焦点距離ｆD及び露光時間ＴEPは、補正対象画像となるべき通常露光画像ＧLの撮影時における焦点距離及び露光時間である。
【００６５】
ステップＳ１１において、図４の手ぶれ量推定部５１は、通常露光画像の露光期間中における撮像装置１の動きの大きさを推定する。撮像装置１の動き（即ち、実空間上における、撮像装置１の筐体の動き）は主として手ぶれによって引き起こされるが、撮像装置１の筐体が手で把持されておらず三脚などで固定されている場合でも地面の振動などに由来して撮像装置１は動きうる。撮像装置１が三脚で固定されている場合における撮像装置１の動きは手ぶれに由来するものではないが、撮像装置１が手ぶれに由来して動くことを主として想定し、通常露光画像の露光期間中における撮像装置１の動きの大きさを手ぶれ量と呼ぶ。従って、手ぶれ量推定部５１は、手ぶれ量を推定する。手ぶれ量は一次元量であり、通常露光画像の露光期間中における撮像装置１の動きの大きさ（例えば、その露光期間中における、撮像装置１のヨー方向の回転量）が大きい程、手ぶれ量は増大するものとする。ステップＳ１１で推定された手ぶれ量をＳLで表す。手ぶれ量ＳLは、図４の記録制御部５３に与えられる。
【００６６】
手ぶれ量は、概ね、焦点距離と露光時間に比例する。そこで、手ぶれ量推定部５１は、ステップＳ１にて取得された焦点距離ｆD及び露光時間ＴEPを用い、下記式（Ａ−１）に従って手ぶれ量ＳLを推定する。ここで、ｋESTは変換係数である。変換係数ｋESTの値を可変とすることも可能であるが、第１実施例では、変換係数ｋESTの値は予め設定された固定値（例えば、０．７）であるとする。
ＳL＝ｋEST×ＴEP×ｆD                          ・・・（Ａ−１）
【００６７】
手ぶれ量ＳLが求められた後、ステップＳ１２及びＳ１３において、記録制御部５３は、その手ぶれ量ＳLと、所定の閾値ＴＨ1〜ＴＨ3との大小関係を判断する。ここで、０＜ＴＨ1＜ＴＨ2＜ＴＨ3である（図８参照）。まず、ステップＳ１２において、第１不等式「ＳL＜ＴＨ1」又は第２不等式「ＳL＞ＴＨ3」が成立するかを判断し、前者の不等式が成立する場合は、補正対象画像となるべき通常露光画像のぶれ量が無視できる程度に小さくぶれ補正が不要であると判断してステップＳ１７に移行し、後者の不等式が成立する場合は、そのぶれ量が大きすぎてぶれ補正が困難であると判断し、この場合もステップＳ１７に移行する。
【００６８】
ステップＳ１７に移行した場合、実撮影期間において通常露光撮影のみを実行し、これによって得た通常露光画像ＧLをステップＳ１８にてＪＰＥＧ圧縮して画像ＪLを生成し、この画像ＪLの画像データをステップＳ１９にて画像ファイルに記録して該画像ファイルを記録媒体１６に保存する。つまり、ステップＳ１７に移行した場合は、補正用情報は記録媒体１６に記録されない。
【００６９】
ステップＳ１２において、第１及び第２不等式の双方が不成立の場合、ステップＳ１３に移行して、第３不等式「ＳL＜ＴＨ2」が成立するか否かを判断する。この第３不等式が成立しない場合は、補正対象画像となるべき通常露光画像のぶれ量がある程度大きいため、通常露光画像と短露光画像に基づく画像復元処理を行うべきであると判断し、ステップＳ１３からステップＳ２に移行してステップＳ２〜Ｓ５の各処理を実行する。つまり、通常露光撮影と短露光撮影によって通常露光画像ＧL及び短露光画像ＧSを取得し（ステップＳ２）、小領域抽出処理及びＪＰＥＧ圧縮（ステップＳ３及びＳ４）を介して得た通常露光画像ＪL及び短露光画像内の小画像ＪSAを画像ファイルに記録し、その画像ファイルを記録媒体１６に保存する（ステップＳ５）。
【００７０】
一方、ステップＳ１３において、第３不等式が成立する場合は、補正対象画像となるべき通常露光画像のぶれ量は軽微である。このような場合は、正確な手ぶれ情報を用いた画像復元処理ではなく、他の画像処理によってもぶれを補正することが可能である。例えば、通常露光画像にエッジ強調処理を行うことによっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することが可能である。そこで、ステップＳ１３において第３不等式「ＳL＜ＴＨ2」が成立する場合は、ステップＳ１３からステップＳ１４に移行し、ステップＳ１４、Ｓ１５及びＳ１６の処理を実行する。
【００７１】
即ち、ステップＳ１４において、撮像装置１は実撮影期間中に通常露光撮影のみを実行する。続くステップＳ１５において  記録制御部５３は、ステップＳ１４の通常露光撮影によって得られた通常露光画像ＧLの画像データをＪＰＥＧ圧縮して画像ＪLを生成する。その後、ステップＳ１６において、記録制御部５３は、画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像ＪLの画像データを記録する一方で、その画像ファイルのヘッダ領域にエッジ強調フラグを記録する。エッジ強調フラグは、ぶれ補正処理の実行時において参照される補正用情報であり、そのデータサイズは高々数バイトである。
【００７２】
ステップＳ１３にて成される分岐判断から理解されるように、エッジ強調処理を行って得られるべきぶれ補正画像と、通常露光画像と短露光画像に基づく画像復元処理を行って得られるべきぶれ補正画像とを対比した場合において、両画像間に視覚的な差がある程度生じるような場合にステップＳ１３からステップＳ２に移行するように且つ視覚的な差が殆ど生じないような場合にステップＳ１３からステップＳ１４に移行するように、閾値ＴＨ2を実験を介して設定しておくとよい。
【００７３】
ステップＳ５、Ｓ１６又はＳ１９の記録処理を終えると、１枚の通常露光画像を得るための動作を終了する。再度、シャッタボタン１７ａが押下されると、上述したステップＳ１以降の動作が実行される。尚、ステップＳ５、Ｓ１６及びＳ１９において、画像ＪLの画像データが記録されるべき画像ファイルのヘッダ領域には、焦点距離ｆD及び露光時間ＴEPを表すデータも記録される。
【００７４】
次に、補正動作について説明する。図９は、第２実施例に係る、撮像装置１の補正動作の流れを表すフローチャートである。第２実施例において実行される、図９に示すステップＳ７〜Ｓ９の各処理は、第１実施例で説明したそれらと同じであるため（図５参照）、第２実施例の説明ではステップＳ７〜Ｓ９の各処理内容の説明を簡略化する。
【００７５】
図７に示す撮影動作の後、撮像装置１に補正指示が与えられると（或いは所定条件が満たされると）、ステップＳ２１以降の補正動作が実行される。ステップＳ２１において、補正処理部５４は、記録媒体１６から通常露光画像ＪLの画像データを読み出す。補正処理部５４は、通常露光画像ＪLを補正対象画像として取り扱う。
【００７６】
次に、ステップＳ２２において、補正処理部５４は、通常露光画像ＪLが記録されている画像ファイルのヘッダ領域に短露光画像に基づく画像データ、即ち小画像ＪSAの画像データが存在しているか否かを確認する。そして、小画像ＪSAの画像データが存在している場合は、ステップＳ２２からステップＳ２３に移行し、該小画像ＪSAの画像データを記録媒体１６内の画像ファイルから読み出して、その後ステップＳ７〜Ｓ９の処理を実行する。即ち、ステップＳ２１及びＳ２３にて読み出した画像ＪL及びＪSAの画像データに基づいて画像ＪLの手ぶれ情報ＰLを算出し（ステップＳ７）、手ぶれ情報ＰLに基づく画像復元処理を補正対象画像である画像ＪLに施すことによってぶれ補正画像を生成して（ステップＳ８）、それを画像ファイルに記録する（ステップＳ９）。
【００７７】
一方、通常露光画像ＪLが記録されている画像ファイルのヘッダ領域に小画像ＪSAの画像データが存在していない場合は、ステップＳ２２からステップＳ２４に移行し、補正処理部５４は、そのヘッダ領域内にエッジ強調フラグが存在しているか否かを確認する。エッジ強調フラグが存在していない場合は、通常露光画像ＪLに対するぶれ補正処理を実行することなく図９に示す補正動作を終了する一方、エッジ強調フラグが存在している場合はステップＳ２４からステップＳ２５に移行して、ステップＳ２５及びＳ２６の各処理を実行する。
【００７８】
ステップＳ２５において、補正処理部５４は、補正対象画像である通常露光画像ＪLに、通常露光画像ＪL内のエッジを強調するためのエッジ強調処理を施し、エッジ強調処理後の通常露光画像ＪLをぶれ補正画像として生成する。
【００７９】
例えば、所定のフィルタサイズを有する予め設定された鮮鋭化フィルタを用いて通常露光画像ＪLの全体を空間フィルタリングすることにより、エッジ強調処理後の通常露光画像ＪLを生成する。或いは、アンシャープマスクフィルタを用いたフィルタリングによってステップＳ２５のエッジ強調処理を実現しても良い。アンシャープマスクフィルタを用いたフィルタリングは、アンシャープマスキングとも呼ばれる。アンシャープマスキングでは、入力画像（今の例おいて、通常露光画像ＪL）を平滑化して平滑化画像を生成した後、その平滑化画像と入力画像との差分画像を生成する。そして、その差分画像の各画素値と入力画像の各画素値を足し合わせるように差分画像と入力画像を合成することで出力画像（今の例において、ぶれ補正画像）を生成する。
【００８０】
ステップＳ２５に続くステップＳ２６における処理はステップＳ９のそれと同じである。但し、ステップＳ２６において記録されるべきぶれ補正画像は、ステップＳ２５にて生成されたぶれ補正画像である。
【００８１】
上述の如く、通常露光画像にエッジ強調処理を行うことによっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することができると判断される場合には、補正用情報を簡略化して、通常露光画像（補正対象画像）のぶれを補正する方法を示す情報（本実施例において、エッジ強調フラグ）を補正用情報として記録媒体１６に記録しておく。これにより、ぶれ補正処理の視覚的な効果を殆ど減少させることなく、第１実施例と比べて補正用情報のデータサイズを大幅に低減することができる。
【００８２】
また、手ぶれ量を、通常露光画像の撮影前に得られる撮影条件（具体的にはｆD及びＴEP）を用いた極めて簡素な演算によって推定しているため、撮像装置の重要性能である連続撮影の性能を低下させることもない。
【００８３】
尚、上述の例におけるステップＳ２５では、固定的に設定された鮮鋭化フィルタを用いることなどによって一定のエッジ強調処理を通常露光画像ＪLに施すようにしているが、このエッジ強調処理におけるエッジ強調度合いを手ぶれ量ＳLに応じて変更するようにしてもよい。この場合は、例えば、図７のステップＳ１６において、通常露光画像ＪLが記録されるべき画像ファイルのヘッダ領域にエッジ強調フラグと共に手ぶれ量ＳLを表すデータを記録しておくようにする。そして、図９のステップＳ２５におけるエッジ強調処理のエッジ強調度合いを、その記録された手ぶれ量ＳLを表すデータに応じて変更するとよい。
【００８４】
また、通常露光画像と短露光画像に基づく画像復元処理を行うことを想定した場合において、手ぶれ量が比較的小さいときは、その小さな手ぶれを良好に検出するべく、手ぶれ情報としてのＰＳＦを精度良く求める必要がある。一方において、手ぶれ量が比較的大きいときは、通常露光画像にかなりのぼけが含まれることとなるため、ＰＳＦの算出精度はそれ程高くなくても実用上問題は少ない。これを考慮し、図７のステップＳ４の、小画像ＧSAに対するＪＰＥＧ圧縮の圧縮率を、手ぶれ量ＳLが増加するに従って増加させるようにしてもよい。これにより、補正用情報のデータサイズを更に低減することができる。
【００８５】
具体的には例えば、ステップＳ４において不等式「ＴＨ1≦ＳL＜ＴＨ4」が満たされるか否かを判断し、それが満たされる場合は、画像ＧSAから画像ＪSAを生成する際におけるＪＰＥＧ圧縮の圧縮率を第１圧縮率とする一方、それが満たされない場合は、その圧縮率を、第１圧縮率よりも大きな第２圧縮率とする。ここで、ＴＨ4は「ＴＨ1＜ＴＨ4＜ＴＨ2」を満たす所定の閾値である（図８参照）。この例では、圧縮率を２段階に可変設定しているが、圧縮率を３段階以上に可変設定してもよい。
【００８６】
［第３実施例］
第３実施例について説明する。手ぶれ量が小さいとき、ＰＳＦの形状は点に近づくため、ＰＳＦは方向性のないガウスぼけ（即ち、ガウシアンフィルタを用いた平滑化によるぼけ）を表す画像劣化関数に近似できる。実際、手ぶれ量が小さいときには、ガウスぼけによる近似ＰＳＦを用いた画像復元処理によっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することができる。そこで、第３実施例では、推定された手ぶれ量ＳLが閾値ＴＨ1以上であって且つ閾値ＴＨ2未満である時、エッジ強調処理の代わりに、ガウスぼけによる近似ＰＳＦを用いた画像復元処理をぶれ補正処理として用いる。
【００８７】
第３実施例は、第２実施例に示した動作の一部を変形した実施例に相当し、第３実施例の説明文において特に記述しない内容は第２実施例にて示したものと同じである。以下、第２実施例との相違点を説明する。図７及び図９を参照する。
【００８８】
図７に示す撮影動作時において、不等式「ＴＨ1≦ＳL＜ＴＨ2」が成立することによってステップＳ１３からステップＳ１４に移行し、ステップＳ１５を介してステップＳ１６に至った場合、ステップＳ１６において、記録制御部５３は、画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像ＪLの画像データを記録する一方で、その画像ファイルのヘッダ領域にガウス近似フラグとステップＳ１１で推定された手ぶれ量ＳLを記録する。ガウス近似フラグ及び手ぶれ量ＳLは、ぶれ補正処理の実行時において参照される補正用情報であり、そのデータサイズは高々数バイトである。
【００８９】
その後、図９に示す補正動作時において、ステップＳ２２からステップＳ２４に至った場合、補正処理部５４は、通常露光画像ＪLが記録されている画像ファイルのヘッダ領域にガウス近似フラグが存在しているか否かを確認する。ガウス近似フラグが存在していない場合は、通常露光画像ＪLに対するぶれ補正処理を実行することなく図９に示す補正動作を終了する一方、ガウス近似フラグが存在している場合はステップＳ２４からステップＳ２５に移行して、ガウスぼけによる近似ＰＳＦを用いた画像復元処理を通常露光画像ＪLに対して行ってぶれ補正画像を生成し、生成したぶれ補正画像を記録媒体１６に記録する。
【００９０】
実空間上で静止している点を「実静止点」と呼ぶ。手ぶれ量ＳLは、理想的な点像（即ち、実静止点の像）が、補正対象画像としての通常露光画像の露光期間中に撮像素子３３の撮像面上で移動する軌跡の大きさの推定量を表しており、その推定量は、通常露光画像の隣接画素間隔を単位として求められる。第３実施例に係るステップＳ２５では、補正処理部５４が、通常露光画像ＪLが記録されている画像ファイルのヘッダ領域から手ぶれ量ＳLを読み出し、読み出した手ぶれ量ＳLに応じたタップ数を有するガウシアンフィルタをガウスぼけによる近似ＰＳＦとして採用する。例えば、手ぶれ量ＳLの大きさが通常露光画像の３画素分である場合は、３×３のフィルタサイズを有するガウシアンフィルタをガウスぼけによる近似ＰＳＦとして採用し、手ぶれ量ＳLの大きさが通常露光画像の５画素分である場合は、５×５のフィルタサイズを有するガウシアンフィルタをガウスぼけによる近似ＰＳＦとして採用する。尚、ガウシアンフィルタにおける分散は、予め定めておけばよい。
【００９１】
その後、補正処理部５４は、近似ＰＳＦの逆関数（一般逆行列）に相当する画像復元関数を求める。画像復元関数は、単一の画像復元フィルタとして表現され、近似ＰＳＦを表す行列の一般逆行列の各要素が該画像復元フィルタの各フィルタ係数とされる。補正処理部５４は、この画像復元フィルタを用いた空間フィルタリングを補正対象画像（即ち、通常露光画像ＪL）の全体に対して施すことで、補正対象画像に含まれるぶれが低減されたぶれ補正画像を生成する。
【００９２】
ステップＳ１３にて成される分岐判断から理解されるように、ガウスぼけによる近似ＰＳＦを用いた画像復元処理を行って得られるべきぶれ補正画像と、通常露光画像と短露光画像に基づく画像復元処理を行って得られるべきぶれ補正画像とを対比した場合において、両画像間に視覚的な差がある程度生じるような場合にステップＳ１３からステップＳ２に移行するように且つ視覚的な差が殆ど生じないような場合にステップＳ１３からステップＳ１４に移行するように、閾値ＴＨ2を実験を介して設定しておくとよい。
【００９３】
そして、上述の如く、ガウスぼけによる近似ＰＳＦを用いた画像復元処理を行うことによっても、通常露光画像と短露光画像に基づく画像復元処理を行う場合と比べて視覚的に殆ど差がないぶれ補正画像を生成することができると判断される場合には、補正用情報を簡略化して、通常露光画像（補正対象画像）のぶれを補正する方法を示す情報（本実施例において、ガウス近似フラグ）を補正用情報として記録媒体１６に記録しておく。これにより、ぶれ補正処理の視覚的な効果を殆ど減少させることなく、第１実施例と比べて補正用情報のデータサイズを大幅に低減することができる。
【００９４】
［第４実施例］
第４実施例について説明する。図１０は、第４実施例に係る、撮像装置１の撮影動作の流れを表すフローチャートである。第４実施例において実行される、図１０に示すステップＳ１〜Ｓ５、Ｓ１２、Ｓ１３、Ｓ１５、Ｓ１６、Ｓ１８及びＳ１９の各処理は、第２実施例におけるそれらと同じであるため（図７参照）、第４実施例の説明では、それらの各処理内容の説明を簡略化する。また、第４実施例に係る撮像装置１の補正動作は、第２実施例におけるそれと同じである。
【００９５】
第４実施例における手ぶれ量ＳLの推定方法は、第２実施例におけるそれと異なる。この相違点に着目し、図１０を参照して撮像装置１の撮影動作を説明する。
【００９６】
撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ１にて焦点距離ｆDを表すデータが取得されると共に露光時間ＴEPが算出される。その後、ステップＳ２に移行し、撮像装置１は、通常露光撮影と短露光撮影を連続的に実行することにより通常露光画像ＧL及び短露光画像ＧSを取得する。通常露光画像ＧL及び短露光画像ＧSが取得された後、ステップＳ３０に移行する。ステップＳ３０において、手ぶれ量推定部５１は、通常露光画像ＧL及び短露光画像ＧSの画像データに基づいて手ぶれ量ＳLを推定する。
【００９７】
図１１に、ステップＳ３０の処理の詳細フローチャートを示す。ステップＳ３０では、図４の手ぶれ量推定部５１がステップＳ３１〜Ｓ３５の処理を順次実行する。まず、手ぶれ量推定部５１は、通常露光画像ＧLの中央に位置する小領域を抽出して該小領域内の画像を小画像ＧLBとし、且つ、短露光画像ＧSの中央に位置する小領域を抽出して該小領域内の画像を小画像ＧSBとする。小画像ＧLB及びＧSBは、例えば、１２８×１２８の画像サイズを有する。尚、ここでは演算の簡素化を目的として通常露光画像ＧL及び短露光画像ＧSの夫々から中央小領域を抽出するようにしているが、ハリスのコーナ検出器等を用いて、それらから特徴的な小領域を抽出するようにしてもよい。
【００９８】
次にステップＳ３２において、小画像ＧLBを基準にして小画像ＧSBの輝度レベルを増加させる。即ち、小画像ＧSBの輝度レベルが小画像ＧLBの輝度レベルと等しくなるように（小画像ＧSBの平均輝度と小画像ＧLBの平均輝度が等しくなるように）、小画像ＧSBの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。この輝度正規化処理後の小画像ＧSBを小画像ＧSB’と呼ぶ。
【００９９】
続くステップＳ３３において、小画像ＧLB及びＧSB’の夫々に対してエッジ抽出処理を施すことで、小画像ＧLBのエッジ抽出画像ＥLB及び小画像ＧSB’のエッジ抽出画像ＥSB’を得る。例えば、小画像ＧLBの各画素に対して任意のエッジ検出フィルタ（ラプラシアンフィルタ等）を適用すれば、エッジ検出フィルタの出力値からエッジ抽出画像ＥLBが得られる。小画像ＧSB’についても同様である。
【０１００】
その後、ステップＳ３４において、エッジ抽出画像ＥLBの画素値の総和ＶL及びエッジ抽出画像ＥSB’の画素値の総和ＶSを算出し、ステップＳ３５において、下記式（Ａ−２）に従って、図１０のステップＳ３０にて推定されるべき手ぶれ量ＳLを算出する。変換係数ｋESTは、第２実施例の説明文で述べたものと同じものである。
ＳL＝ｋEST×（ＶS／ＶL）                          ・・・（Ａ−２）
【０１０１】
周知の如く、エッジ抽出画像における各画素値は、エッジ抽出元画像（今の例において、小画像ＧLB又はＧSB’）における対応部位のエッジ強度を表している。短露光画像におけるエッジが十分に鮮明であると考えた場合、短露光画像のエッジ強度に応じた値ＶSと通常露光画像のエッジ強度に応じた値ＶLとの比から、通常露光画像の手ぶれ量ＳLを推定可能である。
【０１０２】
ステップＳ３０にて手ぶれ量ＳLが推定された後、ステップＳ１２及びＳ１３にて、記録制御部５３は、その手ぶれ量ＳLと所定の閾値ＴＨ1〜ＴＨ3との大小関係を判断する。そして、不等式「ＳL＜ＴＨ1」又は「ＳL＞ＴＨ3」が成立する場合は、ステップＳ１８及びＳ１９の処理を行って撮影動作を終了する。また、不等式「ＴＨ1≦ＳL＜ＴＨ2」が成立する場合はステップＳ１５及びＳ１６の処理を行って撮影動作を終了する。また、不等式「ＴＨ2≦ＳL≦ＴＨ3」が成立する場合はステップＳ３〜Ｓ５の処理を行って撮影動作を終了する。
【０１０３】
図７に対応する第２実施例では、手ぶれ量ＳLが推定された後において、不等式「ＳL＜ＴＨ1」又は不等式「ＳL＞ＴＨ3」が成立する場合はステップＳ１７〜Ｓ１９の処理を行い、不等式「ＴＨ1≦ＳL＜ＴＨ2」が成立する場合はステップＳ１４〜Ｓ１６の処理を行い、不等式「ＴＨ2≦ＳL≦ＴＨ3」が成立する場合はステップＳ２〜Ｓ５の処理を行っていたが、第４実施例では、手ぶれ量ＳLの推定前に通常露光画像ＧL及び短露光画像ＧSが取得されているため、手ぶれ量ＳLの推定後においてステップＳ１７、Ｓ１４及びＳ２の処理を実行する必要はない。
【０１０４】
本実施例によっても、ぶれ補正処理の視覚的な効果を殆ど減少させることなく、第１実施例と比べて補正用情報のデータサイズを大幅に低減することができる。また、手ぶれ量を、通常露光画像及び短露光画像の画像データに基づく簡素な演算によって推定しているため、この推定を行ったことによる、連続撮影性能の低下はない（或いは軽微である）。
【０１０５】
尚、本実施例に示す内容と第３実施例に示す内容を組み合わせることも可能である。
【０１０６】
［第５実施例］
第５実施例を説明する。第２〜第４実施例では手ぶれ量ＳLを推定するための変換係数ｋESTを固定値としている。しかし、実際の手ぶれ量は、撮像装置１を把持するユーザが異なれば若干異なる。そこで、焦点距離及び露光時間に基づく推定方法と比べて、より推定精度が高いと思われる推定方法を用いて手ぶれ量を別途推定し、その別途推定した手ぶれ量を用いて変換係数ｋESTを更新（換言すれば、補正）することが望ましい。
【０１０７】
この変換係数ｋESTの更新方法を、第２実施例に示す動作に当てはめて説明する。勿論、第５実施例で述べる変換係数ｋESTの更新方法を、第３又は第４実施例に適用することも可能である。
【０１０８】
図４の手ぶれ量推定部５１は、手ぶれ量ＳLと異なる手ぶれ量ＳL2を、通常露光画像と短露光画像に基づく手ぶれ情報ＰLから別途推定する。手ぶれ情報ＰLはＰＳＦである。手ぶれ情報ＰLとしてのＰＳＦを表す行列において、０以外の値を有する要素を繋ぎ合わせた線は、理想的な点像（即ち、実静止点の像）が通常露光画像の露光期間中に撮像素子３３の撮像面上で移動する軌跡を表している。図１２に示される、符号２００が付された曲線は、その軌跡を通常露光画像上に表現したものである。図１３に、その軌跡２００に対応する、行列表現されたＰＳＦを示す。図１３のＰＳＦにおいて、斜線で満たされた部位は０以外の値を有する行列要素を表している。
【０１０９】
手ぶれ量推定部５１は、この軌跡２００から手ぶれ量ＳL2を推定する。具体的には、軌跡２００の始点２０１と終点２０２との間の距離を手ぶれ量ＳL2として求める。この距離は、通常露光画像上における距離である。
【０１１０】
補正対象画像としての通常露光画像はシャッタボタン１７ａの押下の度に得られ、シャッタボタン１７ａを複数回押下することによって、図１４に示す如く、時系列で並ぶ、・・・（ｐ−２）番目、（ｐ−１）番目、ｐ番目の通常露光画像が得られる（ｐは３以上の整数）。手ぶれ量推定部５１は、（ｐ−１）番目以前の通常露光画像に対して求められた手ぶれ量ＳL2を用いて変換係数ｋESTを更新し、その更新後の変換係数ｋESTを用いて、ｐ番目の通常露光画像に対する手ぶれ量ＳLを推定する。
【０１１１】
典型的な例として、変換係数ｋESTの更新処理を補正動作時において実行する例を説明する。この場合、図９のステップＳ７にて（ｐ−１）番目の通常露光画像に対する手ぶれ情報ＰLが求められた後、手ぶれ量推定部５１は、（ｐ−１）番目の通常露光画像に対する手ぶれ情報ＰLから求めた手ぶれ量ＳL2と（ｐ−１）番目の通常露光画像の撮影時における露光時間ＴEP及び焦点距離ｆDとに基づき、下記式（Ａ−３）に従って更新用係数ｋtmpを算出する。
ｋtmp＝ＳL2／（ＴEP×ｆD）                          ・・・（Ａ−３）
【０１１２】
そして、下記式（Ａ−４）に従って変換係数を更新し、更新後の変換係数をｐ番目の通常露光画像の手ぶれ量ＳLを推定する際における変換係数として用いる。式（Ａ−４）において、ｋESTは更新前の変換係数、即ち（ｐ−１）番目の通常露光画像の手ぶれ量ＳLを推定する際における変換係数ｋESTであり、ｋEST’は更新後の変換係数、即ちｐ番目の通常露光画像の手ぶれ量ＳLを推定する際における変換係数ｋESTである。また、ｋOは所定の減衰係数である（但し、０＜ｋO＜１）。
ｋEST’＝ｋO×ｋEST＋（１−ｋO）×ｋtmp              ・・・（Ａ−４）
【０１１３】
このように、変換係数ｋESTを更新していくことにより、使用を重ねるたびに変換係数の値は特定ユーザの手ぶれに適した値へと徐々に更新されていくことになる。
【０１１４】
尚、変換係数ｋESTの値の更新が収束したと判断される場合には、以後、その更新を行わないようにしてもよい。例えば、式（Ａ−４）を用いて更新前の変換係数ｋESTから更新後の変換係数ｋEST’を求めた後、両者の差分を求め、その差分が基準差分よりも小さい場合に、変換係数ｋESTの値の更新が収束したと判断する。
【０１１５】
また、変換係数ｋESTの更新処理を第２実施例に示す動作に単純に当てはめた場合、図７のステップＳ１１からステップＳ１２及びＳ１３を介してステップＳ２に移行しなければ、短露光画像の撮影が行われないため変換係数ｋESTを更新することができず、また、短露光画像の撮影が行われていたとしても、ぶれ補正画像を生成するための補正動作が実行されなければ変換係数ｋESTは更新されないことになる。
【０１１６】
これを考慮し、撮影モードにおいてシャッタボタン１７ａが押下されたならばステップＳ１１において推定された手ぶれ量ＳLに関わらず、通常露光画像ＧLと短露光画像ＧSの撮影を行ってそれらの画像データを一時的に内部メモリ１４（又は記録媒体１６）に記録しておくようにしてもよい。そして、撮像装置１における処理の負荷が軽い時に、一時的に記録された画像ＧL及びＧSの画像データから手ぶれ量ＳL2を求めて、式（Ａ−３）及び（Ａ−４）に従って変換係数を更新するようにしてもよい。尚、変換係数を更新するための演算処理の途中で撮像装置１の駆動を停止させるための操作がなされた場合や、他のタスクでメモリが必要となる場合は、その演算処理を直ちに中止し、その演算処理で使用していたメモリを開放する。
【０１１７】
また、撮影動作時に自動的にぶれ補正処理を実行するモード（以下、第１モードという）と、画像再生時にぶれ補正処理を実行するモード（以下、第２モードという）とを切替実行可能なように撮像装置１を形成しておき、第１モードでの動作時に得られる手ぶれ量ＳL2を用いて変換係数ｋESTを更新し、その更新後の変換係数ｋESTを第２モードで利用するようにしてもよい。尚、図７及び図９に示す動作は、第２モードにおける動作の典型例である。
【０１１８】
即ち、第１モードでの動作時では、シャッタボタン１７ａの押下に伴って常に通常露光画像と短露光画像が連続撮影されて、通常露光画像及び短露光画像に基づいて自動的に手ぶれ情報ＰLが算出される。その後、手ぶれ情報ＰLに基づく画像復元処理によってぶれ補正画像が生成される一方で、手ぶれ情報ＰLに基づいて手ぶれ量ＳL2が毎回求められる。手ぶれ量推定部５１は、この毎回求められる手ぶれ量ＳL2とシャッタボタン１７ａの押下の度に算出される露光時間ＴEP及び焦点距離ｆDを用いて、上記式（Ａ−３）及び（Ａ−４）に従い変換係数ｋESTを更新してゆく。そして、この更新後、第２モードでの動作が実行されるとき、第１モードにて更新された変換係数ｋESTを用いて、手ぶれ量ＳLを推定するようにする。
【０１１９】
［第６実施例］
第６実施例について説明する。撮像装置１の筐体を手で把持する場合を主として想定して第１〜第５実施例を説明したが、三脚等を用いて撮像装置１の筐体を地面に対して固定していても、地面の振動により、撮像装置１に小さな動きが生じることがある。この動きの大きさは、実撮影期間前のプレビュー期間に取得されるプレビュー画像列から推定可能である。第６実施例では、このプレビュー画像列を用いて手ぶれ量ＳLを推定する。
【０１２０】
この推定方法を、より具体的に説明する。今、図１５に示す如く、或る着目した実撮影期間の直前のプレビュー期間において、プレビュー画像ＰＩ1、ＰＩ2、ＰＩ3、・・・、ＰＩq-1及びＰＩqが順次撮影され、プレビュー画像ＰＩqの撮影直後に着目した実撮影期間へ移行した場合を想定する（ｑは３以上の整数）。
【０１２１】
図４の手ぶれ量推定部５１は、そのプレビュー期間中に取得されたプレビュー画像列に着目し、そのプレビュー画像列を形成する隣接フレームのプレビュー画像を対比することにより、隣接フレームのプレビュー画像間におけるオプティカルフローを求める。隣接フレームのプレビュー画像とは、時間的に隣接して撮影された２枚のプレビュー画像を指し、一方のプレビュー画像における露光期間の中間時刻と他方のそれとの時間差は、フレーム周期（例えば、１／３０秒）の時間長さと合致する。
【０１２２】
オプティカルフローは、代表点マッチング法、ブロックマッチング法又は勾配法を用いて、対比されるプレビュー画像の画像データに基づいて求められ、両画像間の物体の動きを表す複数の動きベクトルから形成される。手ぶれ量推定部５１は、２枚のプレビュー画像に対して求めた複数の動きベクトルの平均ベクトルを求め、その平均ベクトルの大きさが所定時間継続して一定値以下となっている時、撮像装置１の筐体が三脚等で固定されていると判断する。
【０１２３】
今、上記の所定時間がプレビュー画像ＰＩ1〜ＰＩqの撮影期間に相当する場合を考える。この場合、手ぶれ量推定部５１は、プレビュー画像ＰＩ1とＰＩ2との間における複数の動きベクトルの平均ベクトルｍ[1:2]、プレビュー画像ＰＩ2とＰＩ3との間における複数の動きベクトルの平均ベクトルｍ[2:3]、・・・、プレビュー画像ＰＩq-1とＰＩqとの間における複数の動きベクトルの平均ベクトルｍ[q-1:q]を求める。そして、それらの平均ベクトルｍ[1:2]〜ｍ[q-1:q]の大きさを所定の一定値と比較し、平均ベクトルｍ[1:2]〜ｍ[q-1:q]の大きさが全て該一定値以下となっている場合に、撮像装置１の筐体が三脚等で固定されていると判断し、そうでない場合、撮像装置１の筐体は手で把持されていると判断する。
【０１２４】
撮像装置１の筐体が手で把持されていると判断した場合は、第２〜第５実施例で述べた方法にて通常露光画像ＧLに対する手ぶれ量ＳLを推定するが、撮像装置１の筐体が三脚等で固定されていると判断した場合は、下記式（Ａ−５）に従って、通常露光画像ＧLに対する手ぶれ量ＳLを推定する。ここで、ＦＲはプレビュー期間中におけるフレームレート（フレーム周期の逆数）であり、｜ｍAVE｜は合計（ｑ−１）個の平均ベクトルｍ[1:2]〜ｍ[q-1:q]を平均化したベクトルの大きさである。ＴEPは、上述したように通常露光画像ＧLの露光期間の長さである。
ＳL＝ＦＲ×｜ｍAVE｜×ＴEP                          ・・・（Ａ−５）
【０１２５】
手ぶれ量ＳLを推定動作以外の撮影動作及び補正動作は、第２〜第５実施例の何れかにて説明したそれらと同じである。プレビュー画像列を用いて推定された手ぶれ量ＳLは、例えば、図７のステップＳ１１にて推定されるべき手ぶれ量ＳLとして用いられる。
【０１２６】
本実施例の如く、通常露光画像に対する手ぶれ量を、通常露光画像の撮影前に得られるプレビュー画像列から推定するようにすれば、それを撮影条件（ｆD及びＴEP）を用いて推定する場合と同様、手ぶれ量の推定を行ったことによる、連続撮影性能の低下は完全に或いは略回避される。
【０１２７】
［第７実施例］
第７実施例を説明する。第７実施例では、通常露光画像ＪL及び小画像ＪSAの画像データに基づく手ぶれ情報ＰLの算出方法例、並びに、その手ぶれ情報ＰLを利用した画像復元処理の方法例を説明する。第７実施例に記載した内容は、第１〜第６実施例に適用される（具体的には、図５又は図９に示されるステップＳ７及びＳ８の処理に用いられる）。尚、第７実施例の記述において、単に「メモリ」といった場合、それは内部メモリ１４を意味するものとする。
【０１２８】
図１６は、第７実施例に係るぶれ補正処理の流れを表すフローチャートである。図４の補正処理部５４は、記録媒体１６から読み出した通常露光画像ＪL及び小画像ＪSAの画像データ並びに小画像ＪSAの位置を表す位置データに基づいて、ステップＳ７１〜Ｓ７７の処理を順次実行することによりぶれ補正画像を生成する。
【０１２９】
上述したように、小画像ＪSAは、短露光画像ＧSから抽出された特徴的な小領域内の画像である（より正確には、その画像をＪＰＥＧ圧縮した画像である；図７のステップＳ３及びＳ４を参照）。まず、ステップＳ７１では、短露光画像ＧSから抽出された特徴的な小領域に対応する小領域を補正対象画像としての通常露光画像ＪLから抽出し、通常露光画像ＪLから抽出された小領域内の画像を小画像ＪLAとしてメモリ上に記憶する。小画像ＪSAが１２８×１２８画素の画像サイズを有する場合、小画像ＪLAも１２８×１２８画素の画像サイズを有する。
【０１３０】
通常露光画像と短露光画像との間の位置ずれを無視する場合は、通常露光画像から抽出される小画像ＪLAの中心座標（通常露光画像内における中心座標）と、短露光画像から抽出される小画像ＪSAの中心座標（短露光画像内における中心座標）とが等しくなるように、小画像ＪSAの位置データに基づいて小領域の抽出を行う。その位置ずれを無視できない場合は、テンプレートマッチング法などを利用して対応小領域の探索を行うようにしても良い。即ち例えば、小画像ＪSAをテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を通常露光画像ＪL内から探索し、探索された小領域内の画像を小画像ＪLAとする。この探索の探索範囲は、小画像ＪSAの位置データに基づいて設定される。
【０１３１】
短露光画像の露光時間は比較的短いため、小画像ＪSAの信号対雑音比は比較的低いと共に小画像ＪSAの輝度は比較的低い。そこで、ステップＳ７２において、小画像ＪSAに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像ＪSAの輝度レベルを増加させる。即ち例えば、小画像ＪSAの輝度レベルが小画像ＪLAの輝度レベルと等しくなるように（小画像ＪSAの平均輝度と小画像ＪLAの平均輝度が等しくなるように）、小画像ＪSAの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像ＪSAは小画像ＪSA’としてメモリ上に記憶される。
【０１３２】
上述のようにして得られた小画像ＪLAを劣化画像として且つ小画像ＪSA’を初期復元画像として取り扱った上で（ステップＳ７３）、ステップＳ７４にてフーリエ反復法を実施することにより、小画像ＪLAのぶれによる劣化の状態を表す画像劣化関数を求める。ここで求められる画像劣化関数は、ステップＳ７（図９等参照）にて算出されるべき手ぶれ情報ＰLである。
【０１３３】
画像劣化関数としてＰＳＦを求める。手ぶれは画像全体に対して一様な劣化を与えるため、小画像ＪLAに対して求めたＰＳＦは、通常露光画像ＪLの全体に対するＰＳＦとして利用することができる。
【０１３４】
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。このフーリエ反復法を、図１７及び図１８を参照して詳細に説明する。図１７は、図１６のステップＳ７４の処理の詳細フローチャートである。図１８は、図４の補正処理部５４に内在する、フーリエ反復法を実施する部位のブロック図である。
【０１３５】
まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として小画像ＪSA’を用いるようにする。次に、ステップＳ１０２において、劣化画像（即ち、小画像ＪLA）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。
【０１３６】
次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（Ｂ−１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（Ｂ−１）において、Ｆ’*は、Ｆ’の共役複素行列であり、αは、定数である。
【０１３７】
【数１】
0004958806.tif 000002
【０１３８】
次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（Ｂ−２ａ）の拘束条件で修正した後、更に式（Ｂ−２ｂ）の拘束条件にて修正する。
【０１３９】
【数２】
0004958806.tif 000003
【０１４０】
ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（Ｂ−２ｂ）の拘束条件による修正である。
【０１４１】
式（Ｂ−２ａ）及び（Ｂ−２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。
【０１４２】
次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（Ｂ−３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（Ｂ−３）において、Ｈ’*は、Ｈ’の共役複素行列であり、βは、定数である。
【０１４３】
【数３】
0004958806.tif 000004
【０１４４】
次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（Ｂ−４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。
【０１４５】
【数４】
0004958806.tif 000005
【０１４６】
復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（Ｂ−４）の拘束条件による修正である。
【０１４７】
次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
【０１４８】
例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
【０１４９】
収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図１６のステップＳ７４で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図１８参照）は、順次、最新のものに更新されていく。
【０１５０】
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（Ｂ−２ａ）及び（Ｂ−２ｂ）を用いたステップＳ１１３における修正量、或いは、式（Ｂ−４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
【０１５１】
また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像である通常露光画像ＪLの補正は行われない。
【０１５２】
図１６の各ステップの説明に戻る。ステップＳ７４にて、ＰＳＦが算出された後、ステップＳ７５に移行する。ステップＳ７５では、ステップＳ７４で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（Ｂ−３）の右辺の一部に相当する下記式（Ｂ−５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ７４におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（Ｂ−５）におけるＨ’*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’*及びＨ’（即ち、最終的に得られたＨ’*及びＨ’）である。
【０１５３】
【数５】
0004958806.tif 000006
【０１５４】
ステップＳ７５にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ７６に移行し、この画像復元フィルタを用いて、補正対象画像としての通常露光画像ＪLの全体をフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを通常露光画像ＪLの各画素に適用して通常露光画像ＪLをフィルタリングする。これにより、通常露光画像ＪLに含まれるぶれを低減したフィルタリング画像が生成される。画像復元フィルタのサイズは通常露光画像ＪLの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを通常露光画像ＪLの全体に対して適用することによって、通常露光画像ＪLの全体のぶれが低減される。
【０１５５】
フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ７７において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的なぶれ補正画像を生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。
【０１５６】
ぶれ補正画像は、補正対象画像に含まれるぶれが低減され且つフィルタリングに伴うリンギングが低減された画像となる。但し、フィルタリング画像もぶれが低減された画像であるため、フィルタリング画像をぶれ補正画像として捉えることも可能である。
【０１５７】
短露光画像に含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この短露光画像から得られる画像をフーリエ反復法における初期復元画像とする。
【０１５８】
フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、ぶれ補正処理に必要な手ぶれ情報作成用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。
【０１５９】
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
【０１６０】
この際、上述の如く、エッジ成分を多く含む特徴的な小領域から手ぶれ情報を作成するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、ＰＳＦをより正確に検出することができるようになる。
【０１６１】
尚、図１７の処理では、空間領域上における劣化画像ｇ及び復元画像ｆ’がフーリエ変換によって周波数領域上に変換されることで、周波数領域上の劣化画像ｇを表す関数Ｇ及び周波数領域上の復元画像ｆ’を表す関数Ｆ’が求められる（尚、周波数領域とは、勿論、二次元の周波数領域である）。求められた関数Ｇ及びＦ’から周波数領域上のＰＳＦを表す関数Ｈが求められ、この関数Ｈは逆フーリエ変換によって空間領域上の関数、即ち、ＰＳＦ ｈに変換される。このＰＳＦ ｈは、所定の拘束条件を用いて修正され、修正後のＰＳＦ ｈ'が求められる。このＰＳＦを修正する処理を、以下「第１の修正処理」と呼ぶ。
【０１６２】
ＰＳＦ ｈ'はフーリエ変換によって再度、周波数領域上に変換されて関数Ｈ’が求められ、関数Ｈ’と関数Ｇから周波数領域上の復元画像を表す関数Ｆが求められる。この関数Ｆを逆フーリエ変換することによって空間領域上の復元画像ｆが得られ、この復元画像ｆが所定の拘束条件を用いて修正されて、修正後の復元画像ｆ’が求められる。この復元画像を修正する処理を、以下「第２の修正処理」と呼ぶ。
【０１６３】
上述の例では、この後、図１７のステップＳ１１８にて収束条件が満たされるまで、修正後の復元画像ｆ’を用いて上述の処理が反復されると述べた。また、反復処理が収束に向かえば修正量が小さくなるという特性を考慮し、この収束条件の成立／不成立を、第１の修正処理に対応するステップＳ１１３での修正量、又は、第２の修正処理に対応するステップＳ１１７での修正量に基づいて判断しても良いとも述べた。この判断を修正量に基づいて行う場合、基準修正量を予め設定しておき、ステップＳ１１３での修正量又はステップＳ１１７での修正量と基準修正量とを比較して、前者が後者よりも小さい場合に収束条件が成立すると判断することになるが、基準修正量を十分に大きく設定しておけば、ステップＳ１１０〜Ｓ１１７の処理は反復実行されない。つまり、この場合、第１の修正処理を１回だけ行って得たＰＳＦ ｈ'が、図１６のステップＳ７４で導出されるべき最終的なＰＳＦとなる。このように、図１７の処理を用いたとしても、第１及び第２の修正処理が繰り返し実行されるとは限らない。
【０１６４】
第１及び第２の修正処理の繰り返し実行回数の増大は、最終的に求まるＰＳＦの精度向上に寄与するが、本例では初期復元画像自体が既に手ぶれのない画像に近いため、第１の修正処理を１回だけ行って得たＰＳＦ ｈ’の精度も、実用上、問題ない程度に高い。これを考慮すれば、ステップＳ１１８の判定処理自体を省略することも可能である。この場合、１回だけステップＳ１１３の処理を実行することで求まるＰＳＦ ｈ’が図１６のステップＳ７４で導出されるべき最終的なＰＳＦとなり、１回だけステップＳ１１４の処理を実行することで求まる関数Ｈ’から、図１６のステップＳ７５で導出されるべき画像復元フィルタの各フィルタ係数が求まる。故に、ステップＳ１１８の処理を省略する場合は、ステップＳ１１５〜Ｓ１１７の処理も割愛される。
【０１６５】
＜＜第２実施形態＞＞
次に、本発明の第２実施形態について説明する。図１９は、本発明の第２実施形態に係る撮像装置１ａの全体ブロック図である。撮像装置１ａは、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。
【０１６６】
撮像装置１ａは、撮像部１１、ＡＦＥ（Analog Front End）１２、内部メモリ１４、表示部１５、記録媒体１６及び操作部１７を備えており、それらは、図１の撮像装置１におけるそれらと同じものである。撮像装置１ａは、更に、主制御部１３ａ及びセンサ部１８を備えている。主制御部１３ａは、図１の主制御部１３が有する機能と同等の機能を備えている。撮像装置１ａは、センサ部１８から与えられる角速度データに基づいてぶれ補正処理を実行する点において、撮像装置１と相違しているが、その他の点において、両撮像装置の構成及び機能は共通している。故に、両撮像装置間の共通点に対する説明を割愛し、両撮像装置間の相違点に特に着目して、第２実施形態の説明を行う。
【０１６７】
第１実施形態に記載した事項は、矛盾なき限り第２実施形態に適用されるが、この適用の際、同一名称によって参照される部位間の符号の相違は無視される（例えば、主制御部１３と主制御部１３ａとの間における、符号の相違（１３と１３ａの相違）は適宜無視される）。
【０１６８】
図２０に、撮像装置１ａの外観斜視図を示す。図２０における一点鎖線３００は、撮像部１１の光軸を表している。今、光軸は水平面に平行であるとする。
【０１６９】
センサ部１８は、２つの角速度センサ１８Ｙ及び１８Ｐを有し、撮像装置１ａに作用する所謂手ぶれを検出する。角速度センサ１８Ｙは、一定のサンプリング間隔にて周期的に撮像装置１ａのヨー方向（水平方向）の角速度を計測して各サンプリング期間における撮像装置１ａのヨー方向の角速度を表す信号を出力する。同様に、角速度センサ１８Ｐは、上記サンプリング間隔にて周期的に撮像装置１ａのピッチ方向（垂直方向）の角速度を計測して各サンプリング期間における撮像装置１ａのピッチ方向の角速度を表す信号を出力する。
【０１７０】
ヨー方向とピッチ方向は、互いに直交し、且つ、光軸にも直交する。撮像装置１ａにヨー方向のぶれを与えれば、撮像装置１ａの光軸は水平面に平行な面上で回転し、撮像装置１ａにピッチ方向のぶれを与えれば、撮像装置１ａの光軸は鉛直面に平行な面上で回転する。ヨー方向の手ぶれによって撮像素子３３の撮像面上に結像する像は撮像面上で左右方向（撮像面の水平方向）に移動し、ピッチ方向の手ぶれによって撮像素子３３の撮像面上に結像する像は撮像面上で上下方向（撮像面の垂直方向）に移動する。各角速度センサの出力信号から生成される角速度データは、主制御部１３ａに伝達される。角速度データは、撮像装置１ａの動き（即ち、撮像装置１ａのヨー方向及びピッチ方向の動き）を表す情報である。
【０１７１】
撮影画像は、手ぶれに起因するぶれを含みうる。主制御部１３ａにはぶれ補正処理を実行するぶれ補正部（ぶれ補正装置）が内在されており、画像処理によって静止画像のぶれを補正する機能を備える。第１実施形態と同様、ぶれ補正部によってぶれが補正されるべき静止画像としての撮影画像を、特に「補正対象画像」と呼び、そのぶれの補正後の画像を「ぶれ補正画像」と呼ぶ。
【０１７２】
図２１に、撮像装置１ａの一部ブロック図を示す。主制御部１３ａは、補正対象画像の露光期間中における撮像装置１ａの動きに由来する補正対象画像のぶれが予め規定された類型的なぶれに属するか否かを角速度データに基づいて判断する類型判定部６１と、撮像素子３３の露光時間に対する制御を含む撮影制御を行う撮影制御部６２と、類型判定部６１の判断結果に基づいて記録媒体１６に記録されるべきデータを生成して該データを記録媒体１６に記録させる記録制御部６３と、記録媒体１６の記録データを受け取って補正対象画像に対するぶれ補正処理を実行する補正処理部６４と、を備える。尚、類型判定部６１は、記録制御部６３に内在している。センサ部１８からの角速度データは、記録制御部６３及びそれに内在する類型判定部６１に与えられる。
【０１７３】
図２２は、第２実施形態に係る、撮像装置１ａの撮影動作の流れを表すフローチャートである。このフローチャートを参照して、撮像装置１ａの撮影動作を説明する。図２２に示すステップＳ２０１〜Ｓ２１１の各処理は撮影モードにおいて実行される。
【０１７４】
撮影モードにおいてシャッタボタン１７ａが押下されると、ステップＳ２０１において、主制御部１３ａは、光学系３５内のレンズの位置及び既知情報等に基づいて撮像部１１の焦点距離ｆDを表すデータを取得すると共に、被写体の明るさを測定する測光回路（不図示）から得られた明るさ情報に基づいて撮像素子３３の露光量が適正となる露光時間ＴEPを算出する。
【０１７５】
この後、ステップＳ２０２において、撮像装置１ａは、通常露光撮影を実行することにより通常露光画像ＧLを取得する。通常露光撮影の露光時間としてＴEPが用いられる。撮影制御部６２が、露光時間ＴEPに基づいて通常露光撮影用の露光時間制御信号を生成して撮像素子３３に与えることよりにより通常露光撮影が実行される。また、通常露光撮影の実行時における撮像部１１の焦点距離はｆDである。通常露光画像ＧLの画像データは記録制御部６３に与えられる。
【０１７６】
他方、ステップＳ２０３において、記録制御部６３は、通常露光画像ＧLの露光期間中における角速度データを取得する。今、図２３に示す如く、通常露光画像ＧLの露光期間の開始時刻及び終了時刻が夫々ｔ0及びｔnであり、時刻ｔ0を起点として角速度センサ１８Ｐ及び１８Ｙのサンプリング間隔が経過する毎に時刻ｔ1、ｔ2、・・・、ｔn-1及びｔnが順次訪れるものとする（ｎは２以上の整数であって例えば３３）。時刻ｔ0と時刻ｔ1との間の期間、時刻ｔ1と時刻ｔ2との間の期間、・・・、時刻ｔn-1と時刻ｔnとの間の期間の夫々が、サンプリング期間である。サンプリング期間の長さは、例えば、１／１０００秒である。
【０１７７】
センサ部１８は、サンプリング期間毎に１つの角速度データを出力する。或る１つの着目したサンプリング期間に対する角速度データは、その着目したサンプリング期間における、撮像装置１ａのヨー方向及びピッチ方向の角速度を表す。通常露光画像ＧLの露光期間中における全角速度データ（即ち、ｎ個の角速度データ）を、角速度データ群ＤALLと呼ぶ。
【０１７８】
角速度データ群ＤALLは類型判定部６１に与えられる。類型判定部６１は、焦点距離ｆD並びに通常露光画像ＧLの水平及び垂直方向の画素数などに基づいて、角速度データ群ＤALLを形成する角速度データの夫々を、通常露光画像ＧL上の動きベクトルに変換する。この変換方法は周知であるため詳細な説明を割愛する（例えば、特開２００６−１２９２３６号参照）。時刻ｔi-1−ｔi間のサンプリング期間における角速度データを変換することによって得られる動きベクトルをｍiにて表す（ここで、ｉは１以上ｎ以下の整数）。類型判定部６１は、通常露光画像ＧLに対してｎ個の動きベクトルｍ1〜ｍnを算出する（図２３参照）。
【０１７９】
例えば、時刻ｔi-1において撮像部１１の撮像面の中心に実静止点（実空間上で静止している点）の像が結像しており且つ時刻ｔi-1−ｔi間においてヨー方向又はピッチ方向に撮像装置１ａが回転した場合、時刻ｔi-1−ｔi間において該実静止点の像は撮像面上において該中心から移動する。この移動の方向及び大きさを、通常露光画像ＧL上におけるベクトルとして表現したものが動きベクトルｍiである。
【０１８０】
また、動きベクトルｍ1〜ｍiを合成して得られる合成ベクトルを積分ベクトルＳiという。類型判定部６１は、変数ｉを１以上ｎ以下の整数の夫々とした場合における積分ベクトルＳi（即ち、積分ベクトルＳ1〜Ｓn）を求める。Ｓ1は、動きベクトルｍ1そのものであるが、便宜上、Ｓ1も積分ベクトルと呼ぶ。図２４に示す如く、例えば、積分ベクトルＳ2は、動きベクトルｍ1及びｍ2を順次繋ぎ合わせて生成される、動きベクトルｍ1及びｍ2の合成ベクトルであり、積分ベクトルＳ3は、動きベクトルｍ1〜ｍ3を順次繋ぎ合わせて生成される、動きベクトルｍ1〜ｍ3の合成ベクトルである。
【０１８１】
また、便宜上、図２５に示すような、互いに直交するｘ軸及びｙ軸を座標軸とする二次元の座標面ＸＹを定義し、その座標面ＸＹ上に通常露光画像ＧLが投影されるものとする。ｘ軸及びｙ軸方向は夫々通常露光画像ＧLの水平及び垂直方向に合致するものとする。動きベクトルｍ1〜ｍn及び積分ベクトルＳ1〜Ｓnは全て座標面ＸＹ上のベクトルであり、動きベクトルｍ1の始点及び積分ベクトルＳ1〜Ｓnの全ての始点は座標面ＸＹ上の原点に配置されるものとする。
【０１８２】
類型判定部６１によって、角速度データ群ＤALLから動きベクトルｍ1〜ｍn及び積分ベクトルＳ1〜Ｓnが求められた後、図２２のステップＳ２０３からステップＳ２０４に移行する。
【０１８３】
ステップＳ２０４において、類型判定部６１は、ぶれ軌跡の形状を数式化できるか否かを判定する。ぶれ軌跡とは、通常露光画像ＧLの露光期間中における撮像装置１ａの動きによって生じた、通常露光画像ＧLのぶれの軌跡を意味する。積分ベクトルＳ1〜Ｓnの終点を順次結んでいった時に得られる軌跡がぶれ軌跡に相当する（図２４も参照）。
【０１８４】
数式化できるか否かの判定は、ぶれ軌跡の形状が、点、直線又は二次曲線の形状に近似できるか否かを判定することによって行われる。数式化できると判定された場合は、ステップＳ２０４からステップＳ２０５に移行し、類型判定部６１にて形状数式データＤＦ（以下、数式データＤＦと略記することがある）が生成される。図２６に、その判定方法を含む、ステップＳ２０４及びＳ２０５の処理内容を表す。
【０１８５】
具体的には、ステップＳ２０４において、積分ベクトルＳnの大きさと所定の閾値ＴＨAとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡の形状を点の形状に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。
【０１８６】
ぶれ軌跡の形状を点の形状に近似できると判定した場合は、ぶれ軌跡の近似式を「ｘ2＋ｙ2＜ｒ2」とみなし、その近似式におけるｒの値と点フラグとを含むデータを数式データＤＦとして生成する。ぶれ軌跡の近似式におけるｘ及びｙは、ぶれ軌跡の、座標面ＸＹにおけるｘ軸成分及びｙ軸成分を表している。ｒの値は、予め設定されている。或いは、積分ベクトルＳnの大きさをｒの値に代入するようにしてもよい。
【０１８７】
また、ステップＳ２０４において、積分ベクトルＳ1〜Ｓnの終点（合計ｎ個の終点）から成る点群に対する近似直線を最小二乗法によって求める。図２７に、積分ベクトルＳn-3、Ｓn-2、Ｓn-1及びＳnの終点としての点３１１、３１２、３１３及び３１４と、求められた近似直線３２０を示す。或る積分ベクトルの終点（例えば、点３１１）と近似直線３２０との距離は、その終点に対する近似直線の誤差を表している。類型判定部６１は、近似直線の誤差を積分ベクトルＳ1〜Ｓnの夫々に対して求めて、積分ベクトルＳ1〜Ｓnに対する誤差の総和をｎで割った値を評価値ＥV1として求める。そして、評価値ＥV1と所定の閾値ＴＨBとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡の形状を直線の形状に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。
【０１８８】
ぶれ軌跡の形状を直線の形状に近似できると判定した場合は、ぶれ軌跡の近似式を「ｙ＝ａｘ＋ｂ」とみなし、その近似式におけるａ及びｂの値と直線フラグとを含むデータを数式データＤＦとして生成する。ａ及びｂは、夫々、近似直線３２０の傾き及びｙ切片である。
【０１８９】
また、ステップＳ２０４において、積分ベクトルＳ1〜Ｓnの終点（合計ｎ個の終点）から成る点群に対する近似二次曲線を最小二乗法によって求める。或る積分ベクトルの終点と近似二次曲線との距離は、その終点に対する近似二次曲線の誤差を表している。類型判定部６１は、近似二次曲線の誤差を積分ベクトルＳ1〜Ｓnの夫々に対して求めて、積分ベクトルＳ1〜Ｓnに対する誤差の総和をｎで割った値を評価値ＥV2として求める。そして、評価値ＥV2と所定の閾値ＴＨCとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡の形状を二次曲線の形状に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。
【０１９０】
ぶれ軌跡の形状を二次曲線の形状に近似できると判定した場合は、ぶれ軌跡の近似式を「ｙ＝ａｘ2＋ｂｘ＋ｃ」とみなし、その近似式におけるａ、ｂ及びｃの値と二次曲線フラグとを含むデータを数式データＤＦとして生成する。ａ、ｂ及びｃの値は、近似二次曲線から求まる。
【０１９１】
ステップＳ２０４において、ぶれ軌跡の形状が、点、直線又は二次曲線の形状に近似できると判定された場合、ステップＳ２０５にて数式データＤＦが生成された後、ステップＳ２０６に移行し、ぶれ軌跡の形状が点、直線及び二次曲線の形状の何れにも近似できないと判定された場合、ステップＳ２０４からステップＳ２１０に移行する。
【０１９２】
尚、ステップＳ２０６に移行した場合、原則としてステップＳ２０６の判定処理が実行されるが、ぶれ軌跡の形状が点の形状に近似できると判定された場合は、例外的にステップＳ２０６及びＳ２０７の処理を行うことなく、ステップＳ２０８に移行する。
【０１９３】
ステップＳ２０６において、類型判定部６１は、ぶれ速度の変化状態を数式化できるか否かを判定する。ぶれ速度とは、ぶれ軌跡を描く速度を意味する。数式化できるか否かの判定は、ぶれ速度の変化状態が、等速又は等加速に近似できるか否かを判定することによって行われる。ここにおける等加速とは、負の加速（即ち、等減速）をも含む概念である。数式化できると判定された場合は、ステップＳ２０６からステップＳ２０７に移行し、類型判定部６１にて速度変化数式データＤＳ（以下、数式データＤＳと略記することがある）が生成される。図２８に、その判定方法を含む、ステップＳ２０６及びＳ２０７の処理内容を表す。
【０１９４】
具体的には、ステップＳ２０６において、動きベクトルｍ1〜ｍnのノルムの分散（即ち、動きベクトルｍ1〜ｍnの大きさの分散）と所定の閾値ＴＨDを比較し、前者が後者よりも小さい場合に、ぶれ軌跡を描く過程においてぶれ速度の変化がない、即ちぶれ速度の変化状態を等速に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。
【０１９５】
ぶれ速度の変化状態を等速に近似できると判定した場合は、ぶれ速度Ｖ（ｔ）を表す近似関数を「Ｖ（ｔ）＝ＶCONST」とみなし、その近似関数におけるＶCONSTの値と等速フラグとを含むデータを数式データＤＳとして生成する。ＶCONSTの値は、動きベクトルｍ1〜ｍnの大きさの平均値とされる。また、この近似関数における、ｔは１つのサンプリング期間が経過する毎に１増加する変数である。
【０１９６】
また、図２９に示す如く、変数ｉ及び動きベクトルｍiの大きさを夫々横軸及び縦軸にとった二次元座標面を想定し、その二次元座標面上に動きベクトルｍ1〜ｍnの大きさをプロットしていく。そして、プロットされた合計ｎ個の点から成る点群に対する近似直線を最小二乗法によって求める。図２９において、点３３１〜３３４は動きベクトルｍ1〜ｍ4の大きさに対してプロットされた点であり、破線直線３４０は求められた近似直線を示している。
【０１９７】
プロットされた或る点（例えば、点３３１）と近似直線３４０との距離は、その点に対する近似直線の誤差を表している。類型判定部６１は、近似直線の誤差を、動きベクトルｍ1〜ｍnに対してプロットされた各点に対して求めて、各点に対する誤差の総和をｎで割った値を評価値ＥV3として求める。そして、評価値ＥV3と所定の閾値ＴＨEとを比較し、前者が後者よりも小さい場合に、ぶれ軌跡を描く過程においてぶれ速度が一定割合で変化している、即ちぶれ速度の変化状態を等加速に近似できると判定し、前者が後者以上である場合、その近似ができないと判定する。
【０１９８】
ぶれ速度の変化状態を等加速に近似できると判定した場合は、ぶれ速度Ｖ（ｔ）を表す近似関数を「Ｖ（ｔ）＝Ｖ0＋ｄｔ」とみなし、その近似関数におけるＶ0及びｄの値と等加速フラグとを含むデータを数式データＤＳとして生成する。この近似関数におけるＶ0は動きベクトルｍ1の大きさであり、ｄは近似直線３４０の傾きであり、ｔは１つのサンプリング期間が経過する毎に１増加する変数である。
【０１９９】
ステップＳ２０６において、ぶれ速度の変化状態を等速又は等加速に近似できると判定した場合、ステップＳ２０７にて数式データＤＳが生成された後、ステップＳ２０８に移行し、ぶれ速度の変化状態を等速及び等加速の何れにも近似できないと判定した場合、ステップＳ２０６からステップＳ２１０に移行する。
【０２００】
ステップＳ２０８に移行した場合、記録制御部６３によってステップＳ２０８及びＳ２０９の処理が実行され、その後、撮影動作が終了する。ステップＳ２０８及び２０９では、通常露光画像ＧLをＪＰＥＧ圧縮して画像ＪLを生成すると共に画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像ＪLの画像データを記録する一方で、その画像ファイルのヘッダ領域に数式データＤＦ及びＤＳを手ぶれデータ（補正用情報）として記録する。また、この際、記録制御部６３は、焦点距離ｆD及び露光時間ＴEPを表すデータもヘッダ領域に記録する。尚、ぶれ軌跡の形状が点の形状に近似できると判定された場合は、上述の如くステップＳ２０７の処理は実行されないため、数式データＤＳの記録は行われない。
【０２０１】
ステップＳ２１０に移行した場合、記録制御部６３によってステップＳ２１０及びＳ２１１の処理が実行され、その後、撮影動作が終了する。ステップＳ２１０及び２１１では、通常露光画像ＧLをＪＰＥＧ圧縮して画像ＪLを生成すると共に画像ファイルを記録媒体１６内に作成し、その画像ファイルの本体領域に通常露光画像ＪLの画像データを記録する一方で、その画像ファイルのヘッダ領域に角速度データ群ＤALLを手ぶれデータ（補正用情報）として記録する。また、この際、記録制御部６３は、焦点距離ｆD及び露光時間ＴEPを表すデータもヘッダ領域に記録する。
【０２０２】
次に、図３０を参照して撮像装置１ａの補正動作を説明する。図３０は、この補正動作の流れを表すフローチャートである。上述の撮影動作の後において、撮像装置１ａに補正指示が与えられると（或いは所定条件が満たされると）補正動作が実行される。補正動作はステップＳ２２１〜Ｓ２２４の各処理から成る。補正指示は、例えば、ユーザによる操作部１７への所定操作によって撮像装置１ａに与えられる。但し、補正指示の有無に関係なく、補正動作を実行することも可能である。補正動作は再生モードにおいて実行される。但し、補正動作を撮影モードにて行うことも可能である。
【０２０３】
撮像装置１ａに補正指示が与えられると、ステップＳ２２１において、図２１の補正処理部６４は、記録媒体１６内の画像ファイルから通常露光画像ＪLの画像データを読み出すと共に通常露光画像ＪLが記録された画像ファイルのヘッダ領域から手ぶれデータを読み出す。補正処理部６４は、通常露光画像ＪLを補正対象画像として取り扱う。
【０２０４】
ここで読み出される手ぶれデータは、上記のヘッダ領域に角速度データ群ＤALLが記録されておれば、その角速度データ群ＤALLであり、上記のヘッダ領域に数式データＤＦ及びＤＳが記録されておれば、その数式データＤＦ及びＤＳである。
【０２０５】
続くステップＳ２２２において、補正処理部６４は、読み出した手ぶれデータに基づいて通常露光画像ＪLのぶれの状態を表すＰＳＦを求める。
【０２０６】
読み出した手ぶれデータが角速度データ群ＤALLである場合、公知の方法（例えば、特開２００６−１２９２３６号公報や特開２００６−２７９８０７号公報に記載の方法）によって、角速度データ群ＤALLから通常露光画像ＪLのＰＳＦを求めることが可能である。即ち、角速度データ群ＤALLから動きベクトルｍ1〜ｍnを求め、動きベクトルｍ1〜ｍnの向き及び大きさに応じてフィルタ係数の重み付けがなされた空間フィルタをＰＳＦとして求める。
【０２０７】
読み出した手ぶれデータが数式データＤＦ及びＤＳである場合、補正処理部６４は、角速度データ群ＤALLに基づいて求められるＰＳＦに類似したＰＳＦを数式データＤＦ及びＤＳを用いて算出する。
【０２０８】
図３１を参照して、数式データＤＦ及びＤＳからＰＳＦを算出する方法を説明する。図３１の上段には、撮影動作時において生成された角速度データ群ＤALLの例が示されている。今、この角速度データ群ＤALLから数式データＤＦ及びＤＳが生成されて記録媒体１６に記録され、且つ、形状数式データＤＦが直線フラグ並びにａ及びｂの値を含むと共に速度変化数式データＤＳが等速フラグ及びＶCONSTの値を含んでいる場合を考える。この場合、補正処理部６４は、ぶれ軌跡が近次式「ｙ＝ａｘ＋ｂ」で表され且つぶれ速度Ｖ（ｔ）が近似関数「Ｖ（ｔ）＝ＶCONST」で表されるとみなし、数式データＤＦ及びＤＳから撮影動作に生成された角速度データ群を推定する。ここで推定された角速度データ群を、推定角速度データ群ＤALL_Eと呼ぶ。図３１の下段には、推定角速度データ群ＤALL_Eが示されている。
【０２０９】
例えば、ａ＝４／３、ｂ＝０及びＶCONST＝５である場合は、全サンプリング期間における動きベクトルの大きさが５であって且つ全サンプリング期間における動きベクトルの水平成分（ｘ軸成分）と垂直成分（ｙ軸成分）の比が３：４となるように、推定角速度データ群ＤALL_Eを求める。
【０２１０】
その後、角速度データ群ＤALLにて定まる動きベクトルｍ1〜ｍnを推定角速度データ群ＤALL_Eに基づいて推定し、推定した動きベクトルからＰＳＦを求める。推定角速度データ群ＤALL_Eに基づくＰＳＦの算出方法は、角速度データ群ＤALLに基づくＰＳＦの算出方法と同じである。推定角速度データ群ＤALL_Eを求めなくとも数式データＤＦ及びＤＳから動きベクトルｍ1〜ｍnを直接推定することができるため、実際には、数式データＤＦ及びＤＳからＰＳＦを求めるに当たり、推定角速度データ群ＤALL_Eを求める必要はない。
【０２１１】
尚、形状数式データＤＦに点フラグ及びｒの値が含まれる場合は、ｒの値に応じたタップ数を有するガウシアンフィルタをＰＳＦとして求める。例えば、ｒの値が通常露光画像の３画素分である場合は、３×３のフィルタサイズを有するガウシアンフィルタをＰＳＦとして求める。ガウシアンフィルタにおける分散は、予め定めておけばよい。
【０２１２】
その後、ステップＳ２２３において、補正処理部６４は、ステップＳ２２２にて求められたＰＳＦの逆関数（一般逆行列）に相当する画像復元関数を求める。画像復元関数は、単一の画像復元フィルタとして表現され、ＰＳＦを表す行列の一般逆行列の各要素が該画像復元フィルタの各フィルタ係数とされる。補正処理部６４は、この画像復元フィルタを用いた空間フィルタリングを補正対象画像（即ち、通常露光画像ＪL）の全体に対して施すことで、補正対象画像に含まれるぶれが低減されたぶれ補正画像を生成する。補正対象画像に画像復元フィルタを用いた空間フィルタリングを施して得た画像に対し、更にリンギング除去処理を施すことによって、最終的なぶれ補正画像を得るようにしてもよい。
【０２１３】
続くステップＳ２２４において、主制御部１３ａは、ステップＳ２２３にて生成されたぶれ補正画像の画像データを記録するための画像ファイルを新たに生成して、その画像ファイルを記録媒体１６に記憶する。或いは、画像ファイルを新たに生成することなく、通常露光画像ＪLの画像データが上書きされるように、通常露光画像ＪLの画像データを記録していた画像ファイルの本体領域にぶれ補正画像の画像データを記録してもよい。また、ぶれ補正画像は、表示部１５に表示される。
【０２１４】
手ぶれを単純な運動（例えば等速直線運動）に近似できる場合、正確な角速度データを用いた画像復元処理によって得られるぶれ補正画像と、数式近似を利用した画像復元処理によって得られるぶれ補正画像との間で視覚的な差は殆どない（換言すれば、その差が殆ど生じないように、図２２のステップＳ２０４及びＳ２０６の判定条件を定めておく）。これを考慮し、本実施形態では、補正対象画像のぶれが予め規定された類型的なぶれ（直線的且つ等速的なぶれや、二次曲線的且つ等加速的なぶれなど）に属するか否かをステップＳ２０４及びＳ２０６の判定処理によって判断し、それが類型的なぶれに属する場合は、実際の角速度データの代わりに、類型的なぶれの軌跡形状及び該軌跡を描く速度状態を表す数式データを補正用情報として記録するようにする。これにより、実際の角速度データを記録する場合と比べて、補正用情報のデータサイズを小さくすることができる。
【０２１５】
尚、上述の例では、ヨー方向とピッチ方向の角速度を合わせた動きベクトルｍ1〜ｍnに基づいて、角速度データ群ＤALLと数式データの何れを記録するかの切替判断を行っているが、この判断を、ヨー方向の角速度とピッチ方向の角速度に対して個別に行ってもよい。
【０２１６】
例えば、図３２に示す如く、通常露光画像ＧLの露光期間中の全サンプリング期間におけるヨー方向の角速度が一定或いは略一定であって且つ通常露光画像ＧLの露光期間中においてピッチ方向の角速度が一定或いは略一定の割合で増加している場合、類型判定部６１は、ヨー方向の角速度ＶX（ｔ）を表す近似関数を「ＶX（ｔ）＝ＶXCONST」且つピッチ方向の角速度ＶY（ｔ）を表す近似関数を「ＶY（ｔ）＝ＶY0＋ｄYｔ」とみなし、それらの近似関数におけるＶXCONST、ＶY0及びｄYの値と、ヨー方向の角速度が等速であることを示すヨー方向等速フラグと、ピッチ方向の角速度の変化状態が等加速であることを示すピッチ方向等加速フラグと、を含むデータを数式データとして生成する。この数式データは、通常露光画像の画像データが記録されるべき画像ファイルのヘッダ領域に記録された後、補正動作時において補正処理部６４によって該画像ファイルから読み出されて、その数式データから通常露光画像ＧLの露光期間中における角速度データ群ＤALLが推定される。
【０２１７】
尚、ＶXCONSTの値は、通常露光画像ＧLの露光期間中におけるヨー方向の角速度の平均値であり、ＶY0の値は、通常露光画像ＧLの露光期間中における１番目のサンプリング期間のピッチ方向の角速度であり、ｄYの値は、通常露光画像ＧLの露光期間中におけるピッチ方向の角速度の平均的な増加率である。また、近似関数におけるｔは、１つのサンプリング期間が経過する毎に１増加する変数である。
【０２１８】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０２１９】
［注釈１］
第２実施形態において、センサ部１８を、角速度を検出する角速度センサにて構成する例を上述したが（図１９参照）、撮像装置１ａの動きを表す、角速度以外の物理量を検出するセンサにて、センサ部１８を構成しても良い。例えば、撮像装置１ａの加速度を検出する加速度センサ又は撮像装置１ａの角加速度を検出する角加速度センサにてセンサ部１８を形成するようにしてもよい。撮像装置１ａの加速度又は角加速度を表す、加速度センサ又は角加速度センサの出力信号に基づいて補正対象画像のＰＳＦを求めることも可能である。
【０２２０】
［注釈２］
撮像装置（１又は１ａ）は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、主制御部（１３又は１３ａ）内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置（１又は１ａ）を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０２２１】
また、主制御部（１３又は１３ａ）内で実行される演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。
【０２２２】
［注釈３］
上述の各実施形態では、撮像装置（１又は１ａ）内にぶれ補正処理を実行する補正処理部（５４又は６４）を設け、撮像装置（１又は１ａ）内でぶれ補正処理を実行しているが（図４又は図２１参照）、撮像装置（１又は１ａ）と異なる外部機器（不図示）にて、そのぶれ補正処理を実行するようにしてもよい。この場合、その外部機器に、上述の補正処理部５４又は６４と同等の補正処理部を設けておき、その外部機器に記録媒体１６の記録データを供給することによって補正対象画像からぶれ補正画像を生成すればよい。
【０２２３】
［注釈４］
例えば、以下のように考えることができる。第１実施形態において、主制御部１３に内在するぶれ検出部（ぶれ検出装置）は、図４の手ぶれ量推定部（装置動き検出手段）５１及び記録制御部５３を含み、更に撮影制御部５２を含みうる。そのぶれ検出部に補正処理部５４を加えた部位は、ぶれ補正部（ぶれ補正装置）として機能する。第２実施形態において、主制御部１３ａに内在するぶれ検出部（ぶれ検出装置）は、図２１の記録制御部６３を含み、更に撮影制御部６２を含みうる。そのぶれ検出部に補正処理部６４を加えた部位は、ぶれ補正部（ぶれ補正装置）として機能する。
【図面の簡単な説明】
【０２２４】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】プレビュー期間と実撮影期間との時間的関係を示す図である。
【図４】図１の撮像装置の一部ブロック図である。
【図５】本発明の第１実施例に係る、撮像装置の撮影動作及び補正動作のフローチャートである。
【図６】図１の記録媒体内に保存されるべき画像ファイルの構造を示す図である。
【図７】本発明の第２実施例に係る、撮像装置の撮影動作のフローチャートである。
【図８】本発明の第２実施例に係り、推定された手ぶれ量と所定の閾値との関係を示す図である。
【図９】本発明の第２実施例に係る、撮像装置の補正動作のフローチャートである。
【図１０】本発明の第４実施例に係る、撮像装置の撮影動作のフローチャートである。
【図１１】本発明の第４実施例に係る、手ぶれ量の推定動作のフローチャートである。
【図１２】本発明の第５実施例に係り、理想的な点像が通常露光画像の露光期間中に撮像素子の撮像面上で移動する軌跡を表す図である。
【図１３】本発明の第５実施例に係り、図１２の軌跡に対応する、行列表現されたＰＳＦを示す図である。
【図１４】本発明の第５実施例に係り、時系列で並ぶ通常露光画像列を示す図である。
【図１５】本発明の第６実施例に係り、或る実撮影期間前のプレビュー期間中に取得されるプレビュー画像列を示す図である。
【図１６】本発明の第７実施例に係るぶれ補正処理のフローチャートである。
【図１７】本発明の第７実施例に係り、ぶれ補正処理にて利用されるフーリエ反復法の詳細フローチャートである。
【図１８】本発明の第７実施例に係り、ぶれ補正処理にて利用されるフーリエ反復法を実現する部位のブロック図である。
【図１９】本発明の第２実施形態に係る撮像装置の全体ブロック図である。
【図２０】図１９の撮像装置の外観斜視図である。
【図２１】図１９の撮像装置の一部ブロック図である。
【図２２】本発明の第２実施形態に係る、撮像装置の撮影動作のフローチャートである。
【図２３】本発明の第２実施形態に係り、通常露光画像の露光期間中における複数の時刻間の関係、並びに、それらの時刻と角速度データ及び動きベクトルとの関係を示す図である。
【図２４】本発明の第２実施形態に係り、角速度データから求められる動きベクトルと積分ベクトルを示す図である。
【図２５】本発明の第２実施形態に係り、角速度データから求められる動きベクトルと積分ベクトルが配置される二次元座標面を示す図である。
【図２６】本発明の第２実施形態に係り、撮像装置の撮影動作時において実行される判定処理を説明するための図である。
【図２７】本発明の第２実施形態に係り、点群とその点群に対する近似曲線の関係を示す図である。
【図２８】本発明の第２実施形態に係り、撮像装置の撮影動作時において実行される判定処理を説明するための図である。
【図２９】本発明の第２実施形態に係り、点群とその点群に対する近似曲線の関係を示す図である。
【図３０】本発明の第２実施形態に係る、撮像装置の補正動作のフローチャートである。
【図３１】本発明の第２実施形態に係り、実際の計測によって得られた角速度データ群と、その角速度データ群から導出された数式データと、その数式データから求められた推定角速度データ群と、を示す図である。
【図３２】本発明の第２実施形態に係り、実際の計測によって得られた角速度データ群と、その角速度データ群から導出された数式データと、を示す図である。
【図３３】従来技術に係り、手ぶれの軌跡とＰＳＦと画像復元フィルタの関係を示すと共に手ぶれ画像から復元画像が生成される様子を示す図である。
【図３４】従来のフーリエ反復法を実現する部位のブロック図である。
【符号の説明】
【０２２５】
１、１ａ  撮像装置
１１  撮像部
１３、１３ａ  主制御部
１４  内部メモリ
１６  記録媒体
１７ａ  シャッタボタン
１８  センサ部
３３  撮像素子
３５  光学系
５１  手ぶれ量推定部
５２、６２  撮影制御部
５３、６３  記録制御部
５４、６４  補正処理部
【図１】
0004958806.tif 000007
【図２】
0004958806.tif 000008
【図３】
0004958806.tif 000009
【図４】
0004958806.tif 000010
【図５】
0004958806.tif 000011
【図６】
0004958806.tif 000012
【図７】
0004958806.tif 000013
【図８】
0004958806.tif 000014
【図９】
0004958806.tif 000015
【図１０】
0004958806.tif 000016
【図１１】
0004958806.tif 000017
【図１２】
0004958806.tif 000018
【図１３】
0004958806.tif 000019
【図１４】
0004958806.tif 000020
【図１５】
0004958806.tif 000021
【図１６】
0004958806.tif 000022
【図１７】
0004958806.tif 000023
【図１８】
0004958806.tif 000024
【図１９】
0004958806.tif 000025
【図２０】
0004958806.tif 000026
【図２１】
0004958806.tif 000027
【図２２】
0004958806.tif 000028
【図２３】
0004958806.tif 000029
【図２４】
0004958806.tif 000030
【図２５】
0004958806.tif 000031
【図２６】
0004958806.tif 000032
【図２７】
0004958806.tif 000033
【図２８】
0004958806.tif 000034
【図２９】
0004958806.tif 000035
【図３０】
0004958806.tif 000036
【図３１】
0004958806.tif 000037
【図３２】
0004958806.tif 000038
【図３４】
0004958806.tif 000039
【図３３】
0004958806.tif 000040