(57)【要約】【課題】パンニング操作等が成されているときでも安定したＦＰ（フォーカルプレーン）歪み補正を行う。【解決手段】撮像装置は、入力画像の画像データから入力画像のオプティカルフロー検出を行うことで画像動き情報を生成する画像動き検出部５２と、角速度センサを用いてセンサ動き情報を生成するセンサ部５３と、それらの情報を用いてパン・チルト判定を行うパン・チルト判定部５４と、パンニング又はチルティングが成されている時には画像動き情報からＦＰ補正量を算出する一方、それが成されていない時にはセンサ動き情報からＦＰ補正量を算出するＦＰ補正量算出部５５と、ＦＰ補正量に基づいて入力画像のＦＰ歪みを除去するＦＰ歪み補正処理と画像動き情報又はセンサ動き情報に基づく電子式手ぶれ補正処理とを実行する補正処理部５６と、を備える。【選択図】図５
2011114486.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる水平ライン間で露光タイミングを異ならせつつ撮影を行って入力画像を生成する撮像素子を備えた撮像装置において、
前記撮像素子の出力に基づく複数の入力画像間のオプティカルフローを前記撮像素子の出力に基づいて検出する動き検出部と、
当該撮像装置の動きを検出するセンサ部と、
前記動き検出部の検出結果及び前記センサ部の検出結果の双方又は一方に基づいて前記動き検出部の検出結果及び前記センサ部の検出結果のどちらかを選択し、選択した検出結果に基づいて前記入力画像を補正することにより出力画像を生成する補正部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記補正部は、異なる水平ライン間で露光タイミングが異なることによって前記入力画像に生じた歪みを補正する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正部は、複数の入力画像から成る入力動画像の撮影期間中における当該撮像装置の動きによって発生した、前記入力動画像上のぶれをも更に補正し、
前記ぶれの補正は、前記動き検出部の検出結果又は前記センサ部の検出結果に基づいて行われる
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記動き検出部の検出結果及び前記センサ部の検出結果の双方又は一方に基づいて当該撮像装置のパンニング又はチルティングの有無を判定する判定部を更に備え、
前記補正部は、前記パンニング又はチルティングが有ると判定された場合には前記動き検出部の検出結果を選択する一方で、そうでない場合には前記センサ部の検出結果を選択する
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記補正部は、異なる水平ライン間で露光タイミングが異なることによって前記入力画像に生じた歪みを補正する歪み補正部、及び、複数の入力画像から成る入力動画像の撮影期間中における当該撮像装置の動きによって発生した、前記入力動画像上のぶれを補正するぶれ補正部を備え、
前記歪みの補正は前記選択した検出結果に基づいて行われる一方で、前記ぶれの補正は前記動き検出部の検出結果又は前記センサ部の検出結果に基づいて行われ、
前記補正部は、
当該撮像装置にパンニング又はチルティングが成されていないときには、前記歪み補正部及び前記ぶれ補正部を用いて前記入力画像から前記出力画像を生成し、
当該撮像装置にパンニング又はチルティングが成されているときには、前記ぶれ補正部を用いることなく前記歪み補正部を用いて前記入力画像から前記出力画像を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記補正部は、前記歪みの補正の強度を変更可能に形成されている
ことを特徴とする請求項２又は請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ、デジタルスチルカメラ等の撮像装置に関し、特にフォーカルプレーン歪みを除去する技術に関する。
【背景技術】
【０００２】
固体撮像素子に用いられる電子シャッタは、撮像面の全受光画素が共通タイミングで露光されるグローバルシャッタと、異なる水平ライン間で露光タイミングが異なるローリングシャッタに大別される。ローリングシャッタは、画素単位で受光画素の出力信号を読み出すことのできるＸＹアドレス型の固体撮像素子、例えば、ＣＭＯＳイメージセンサで利用される。
【０００３】
ローリングシャッタを採用した撮像装置では、撮影者の手ぶれ等の影響によって撮影時に固体撮像素子に位置的変化が生じると、原理上、撮影画像にフォーカルプレーン歪み（以下、ＦＰ歪みという）が発生することが知られている。但し、撮影画像に対して適切な画像処理を行えば、ＦＰ歪みを低減することが可能である。
【０００４】
例えば、撮像装置に設けられたセンサ部の出力から、手ぶれ等による撮像装置の動きを検出し、検出した動きに基づいて撮影画像を補正することでＦＰ歪みを低減する方法が知られている。このようなセンサ部の内部構成図を、図２３に示す。センサ部には、撮像装置の角速度を表す検出信号を出力する角速度センサ９０１及び該検出信号に含まれる直流成分及び低周波成分を低減するＨＰＦ（ハイパスフィルタ）９０２が設けられている。図２３には示されてないが、センサ部には、角速度センサ９０１及びＨＰＦ９０２から成るブロックが複数個設けられ、複数のブロックに設けられた複数の角速度センサ９０１が、互いに異なる方向への角速度を検出する。
【０００５】
角速度センサ９０１の出力信号には、角速度センサ９０１の性質上、直流オフセット成分が不可避に含まれるため、これを除去するべくＨＰＦ９０２が設けられている。ＨＰＦ９０２により、角速度センサ９０１の出力信号に含まれる不要な信号成分が除去され、有効な信号成分のみを抽出することができるのであるが、撮像装置にパンニング又はチルティングが成されている時には、ＨＰＦ９０２の存在がセンサ部の出力信号に悪影響を与える。
【０００６】
図２４を参照して該悪影響を説明する。例えば、一定方向に一定速度で撮像装置を振るパンニング操作が成されると、パンニング期間中、継続的に、大きな信号値を有する角速度信号が角速度センサ９０１から出力される。この時における角速度センサ９０１の出力信号から直流オフセット成分を除いた信号は、本来、センサ部から出力されるべき理想的な信号９２１である。しかしながら、パンニング期間中には、ＨＰＦ９０２の影響によりセンサ部の出力信号が本来の信号から減衰し、パンニングの終了時にはＨＰＦ９０２の影響によりセンサ部の出力信号が過度に減少して本来は正となるべきセンサ部の出力信号が負になったりする。本来の信号から減衰した信号に基づいてＦＰ歪み補正を行えば補正が不足し、正負が逆の信号に基づいてＦＰ歪み補正を行えば改悪画像又は過補正画像が得られる。このように、パンニング操作時には、センサ部から正確な信号を得にくく、結果、ＦＰ歪みの補正を正確に実行し難いという問題があった。
【０００７】
ところで、撮像装置の動きを検出するセンサ部を用いた従来方法が様々に提案されている。例えば、下記特許文献１及び２には、パンニング又はチルティング操作を考慮しつつ、角速度センサ情報と画像データに基づく動きベクトル情報とを併用して光学式手ぶれ補正を行う方法が提案されている。しかしながら、この方法は、光学式手ぶれ補正に関する方法であって、ＦＰ歪みに対する上記問題に何ら解決策を与えない。また、下記特許文献３には、振動検出手段の検出結果から手ぶれ補正を行う方法において、パンニング又はチルティングがあった時に振動検出手段の出力信号を変更する方法が開示されている。しかしながら、この方法は、パンニング又はチルティング操作時に発生しうる、いわゆる揺り戻し現象を軽減するための方法であって、ＦＰ歪みに対する上記問題に何ら解決策を与えない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−１８７３０８号公報
【特許文献２】特開平０５−１４８０１号公報
【特許文献３】特開２００７−３２４９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで本発明は、パンニング等が成されているときにおいても安定した画像補正を行うことのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、互いに異なる水平ライン間で露光タイミングを異ならせつつ撮影を行って入力画像を生成する撮像素子を備えた撮像装置において、前記撮像素子の出力に基づく複数の入力画像間のオプティカルフローを前記撮像素子の出力に基づいて検出する動き検出部と、当該撮像装置の動きを検出するセンサ部と、前記動き検出部の検出結果及び前記センサ部の検出結果の双方又は一方に基づいて前記動き検出部の検出結果及び前記センサ部の検出結果のどちらかを選択し、選択した検出結果に基づいて前記入力画像を補正することにより出力画像を生成する補正部と、を備えたことを特徴とする。
【００１１】
これにより、パンニング等が成されているときなど、センサ部の検出結果の正確性が疑われるときには、動き検出部の検出結果を用いて入力画像を補正することが可能となる。この結果、正確性が疑われるセンサ部の検出結果を用いることによる、入力画像の誤補正が回避される。
【００１２】
具体的には例えば、前記補正部は、異なる水平ライン間で露光タイミングが異なることによって前記入力画像に生じた歪みを補正する。
【００１３】
また例えば、前記補正部は、複数の入力画像から成る入力動画像の撮影期間中における当該撮像装置の動きによって発生した、前記入力動画像上のぶれをも更に補正し、前記ぶれの補正は、前記動き検出部の検出結果又は前記センサ部の検出結果に基づいて行われる。
【００１４】
より具体的には例えば、当該撮像装置は、前記動き検出部の検出結果及び前記センサ部の検出結果の双方又は一方に基づいて当該撮像装置のパンニング又はチルティングの有無を判定する判定部を更に備え、前記補正部は、前記パンニング又はチルティングが有ると判定された場合には前記動き検出部の検出結果を選択する一方で、そうでない場合には前記センサ部の検出結果を選択する。
【００１５】
また例えば、前記補正部は、異なる水平ライン間で露光タイミングが異なることによって前記入力画像に生じた歪みを補正する歪み補正部、及び、複数の入力画像から成る入力動画像の撮影期間中における当該撮像装置の動きによって発生した、前記入力動画像上のぶれを補正するぶれ補正部を備え、前記歪みの補正は前記選択した検出結果に基づいて行われる一方で、前記ぶれの補正は前記動き検出部の検出結果又は前記センサ部の検出結果に基づいて行われ、前記補正部は、当該撮像装置にパンニング又はチルティングが成されていないときには、前記歪み補正部及び前記ぶれ補正部を用いて前記入力画像から前記出力画像を生成し、当該撮像装置にパンニング又はチルティングが成されているときには、前記ぶれ補正部を用いることなく前記歪み補正部を用いて前記入力画像から前記出力画像を生成する。
【００１６】
パンニング又はチルティングはユーザの意図によるものであるため、パンニング又はチルティングが成されているときには、ぶれ補正部を用いずに出力画像を生成した方が自然である。故に、上記の如く撮像装置を形成しても良い。
【００１７】
また例えば、前記補正部は、前記歪みの補正の強度を変更可能に形成されている。
【００１８】
これにより、状況に応じた歪み補正強度の最適化が図られる。
【発明の効果】
【００１９】
本発明によれば、パンニング等が成されているときにおいても安定した画像補正を行うことのできる撮像装置を提供することが可能となる。
【００２０】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】図２の撮像素子の有効画素領域における水平ライン配列を示す図である。
【図４】図２の撮像素子における露光タイミング及び信号読み出しタイミングを表す図である。
【図５】本発明の第１実施形態に係る画像補正機能部の内部ブロック図である。
【図６】有効画素領域と入力画像用のメモリ領域との関係を示す図である。
【図７】時系列上に並ぶ複数の入力画像と、各入力画像の露光タイミング及び信号読み出しタイミングと、を表す図である。
【図８】入力画像の全体画像領域内に９つの動き検出ブロックが設定される様子を示す図である。
【図９】２枚の入力画像間のオプティカルフローを示す図である。
【図１０】図５のセンサ部の内部構成例を表す図である。
【図１１】ＦＰ歪みの存在しない入力画像（ａ）と、水平ＦＰ歪みが生じている入力画像（ｂ）と、垂直ＦＰ歪みが生じている入力画像（ｃ）と、を示す図である。
【図１２】入力画像のフレーム間動きベクトル（隣接する入力画像間の全体動きベクトル）から、入力画像のフレーム内動きベクトルを生成する方法を説明するための図である。
【図１３】本発明の第１実施形態に係り、水平ＦＰ歪みを含む入力画像と、該入力画像にＦＰ歪み補正処理を施すことで得られる歪み補正画像と、を示す図である。
【図１４】本発明の第１実施形態に係り、垂直ＦＰ歪みを含む入力画像と、該入力画像にＦＰ歪み補正処理を施すことで得られる歪み補正画像と、を示す図である。
【図１５】本発明の第１実施形態に係る手ぶれ補正処理を説明するための図である。
【図１６】本発明の第１実施形態に係る撮像装置の動作フローチャートである。
【図１７】本発明の第２実施形態に係る画像補正機能部の内部ブロック図である。
【図１８】本発明の第２実施形態に係り、水平ＦＰ歪みを含む入力画像と、該入力画像にＦＰ歪み補正処理を施すことで得られる歪み補正画像と、を示す図である。
【図１９】本発明の第２実施形態に係り、垂直ＦＰ歪みを含む入力画像と、該入力画像にＦＰ歪み補正処理を施すことで得られる歪み補正画像と、を示す図である。
【図２０】本発明の第２実施形態に係り、ズーム倍率（ＺＦ）から補正強度係数（ｋｈ，ｋｖ）を設定する場合における両者間の関係を示す図である。
【図２１】本発明の第２実施形態に係り、動き検出の信頼度（ＲＬ）から補正強度係数（ｋｈ，ｋｖ）を設定する場合における両者間の関係を示す図である。
【図２２】本発明の第２実施形態に係る撮像装置の動作フローチャートである。
【図２３】従来の撮像装置に設けられたセンサ部の内部構成図である。
【図２４】従来技術に係り、パンニング期間中におけるセンサ部の出力信号を、理想的な信号と共に示した図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２３】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈するようにしても良い。
【００２４】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、固体撮像素子である撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御されることによって、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量が制御される。
【００２５】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２６】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２７】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。
【００２８】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００２９】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＴＧ２２は、更に、ＣＰＵ２３の制御の下、撮像素子３３の駆動パルスを生成して撮像素子３３に供給する。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００３０】
撮像素子３３は、電子シャッタ機能を備えており、所謂ローリングシャッタによって各受光画素の露光を実施する。撮像素子３３には、複数の受光画素によって形成される撮像面が設けられており、撮像面上に定義された複数の水平ライン及び複数の垂直ラインに沿って受光画素が二次元配列されている。ローリングシャッタでは、撮像面の各受光画素が露光されるタイミングが水平ラインごとに異なる。つまり、撮像面における異なる水平ライン間で受光画素の露光タイミングが異なる。
【００３１】
図３及び図４を参照しつつ、撮像素子３３のローリングシャッタについて説明を補足する。図３に示す如く、撮像面において、垂直ラインに沿った方向（即ち撮像面の垂直方向）が上下方向であり、撮像面の有効画素領域３３Aの最上端に配置された水平ラインが第１水平ラインであって且つ有効画素領域３３Aの最下端に配置された水平ラインが第Ｍ水平ラインであるとする（Ｍは、２以上の整数であり、一般的には数１００から数１０００である）。そうすると、図４に示す如く、或る１つの注目フレームについて、第（ｉ＋１）水平ライン上の受光画素における露光の開始時刻は、第ｉ水平ライン上の受光画素における露光の開始時刻よりもΔｔ秒だけ遅い（Δｔ＞０且つｉは整数）。１つのフレームにおいて、第ｉ水平ライン上の受光画素の露光が行われる時間の長さは第（ｉ＋１）水平ライン上の受光画素のそれと同じであると共に、Δｔはｉの値に依存せず一定である。各受光画素の露光の終了後に、各受光画素の出力信号を読み出すことができ、読み出された出力信号はＡＦＥ１２に送られる。
【００３２】
Δｔ及びΔｔの整数倍を、異なる水平ライン間における露光タイミング差という。Δｔは、隣接水平ライン間における露光タイミング差である。
【００３３】
尚、第１〜第Ｍ水平ラインの内、露光タイミングが互いに同じとなる複数の水平ラインが存在していても構わない。例えば、２本の水平ラインごとに露光タイミングが異なっていても構わない。この場合、第２水平ラインの露光タイミングと第３水平ラインの露光タイミングが異なるものの、第１及び第２水平ラインの露光タイミングが同じであって且つ第３及び第４水平ラインの露光タイミングが同じとなる。また、１つの水平ラインにおいても各受光画素の露光タイミングは順次ずれるが、１つの水平ライン上の異なる受光画素間の露光タイミング差は、異なる水平ライン間のそれよりも十分小さいため、１つの水平ライン上における各受光画素の露光タイミングを同じとみなすことができる。
【００３４】
撮像素子３３は、例えば、ＸＹアドレス型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。ＣＭＯＳを形成可能な半導体基板上に、複数の受光画素から成る撮像面、垂直走査回路、水平走査回路及び画素信号出力回路等を形成することによって、ＣＭＯＳイメージセンサが形成される。但し、撮像素子３３がローリングシャッタによって各受光画素の露光を実施するものであるならば、撮像素子３３は、ＸＹアドレス走査型のＣＭＯＳイメージセンサでなくても構わない。
【００３５】
背景技術の説明でも述べたように、ローリングシャッタにて撮影された画像には、ＦＰ歪み（フォーカルプレーン歪み）が発生する。ＦＰ歪みは、Δｔが０よりも大きいことに起因して生じ、Δｔが大きいほどＦＰ歪みは増加する傾向にある。撮像装置１には、このＦＰ歪みを適切に除去する機能が備えられている。
【００３６】
図５に、第１実施形態に係る、ＦＰ歪みの除去機能を担う画像補正機能部５０のブロック図を示す。画像補正機能部５０は撮像装置１に設けられ、画像補正機能部５０は、符号５１〜５６によって参照される各部位を含む。フレームメモリ５１は、図１の内部メモリ１７にて実現される。画像動き検出部５２及び補正処理部５６は、例えば、図１の映像信号処理部１３に設けられる。パン・チルト判定部５４及びＦＰ補正量算出部５５は、映像信号処理部１３によって、或いは、ＣＰＵ２３によって、或いは、映像信号処理部１３及びＣＰＵ２３によって実現される。
【００３７】
所定のフレームレート（例えば、３０フレーム／秒）にて撮像素子３３の各受光画素の出力信号が読み出され、撮像素子３３の各受光画素の出力信号は、入力画像の画像信号としてフレームメモリ５１に保存される。但し、各受光画素の出力信号に必要な信号処理を施して得た信号が入力画像の画像信号であるとする。ここにおける信号処理には、ＡＦＥ１２における信号増幅及び信号デジタル化が含まれ、更に、画像信号の信号形式をＲＡＷデータ形式からＹＵＶ形式に変換するデモザイキング処理等も含まれうる。ＹＵＶ形式の画像信号は、輝度信号と色差信号から形成される。
【００３８】
上記信号処理の内容は本発明の特徴的機能に特に関与しないため、以下の説明では、説明の簡略化上、上記信号処理の存在を無視する。本明細書において、画像信号と映像信号は同義である。また、或る受光画素又は画素についての画像信号を特に画素信号とも言う。以下の説明では、画像信号及び画素信号を画像データとも称する。また、本明細書では、符号又は記号を付記することによって符号又は記号に対応する名称を略記又は省略することがある。例えば、後述の図８等にて参照される、記号ＢＬ［１］に対応する動き検出ブロックを、ブロックＢＬ［１］又は単にＢＬ［１］と称することがある。
【００３９】
フレームメモリ５１において、１枚の入力画像に対するメモリ空間として二次元のメモリ領域５１Aが割り当てられる。図６に示す如く、メモリ領域５１Aは撮像素子３３の有効画素領域３３Aと同じ構造を有しており、有効画素領域３３A上の位置（ｘ，ｙ）における受光画素の出力信号は、メモリ領域５１A上のアドレス（ｘ，ｙ）に保存される（ｘ及びｙは整数）。撮像素子３３において、位置（ｘ，ｙ）における受光画素とは、第ｘ垂直ライン上であって且つ第ｙ水平ライン上に位置する受光画素である。有効画素領域３３Aの左端に配置された垂直ラインは第１垂直ラインであって、有効画素領域３３Aにおいて、第（ｉ＋１）垂直ラインは第ｉ垂直ラインの右側に隣接する垂直ラインである（ｉは整数）。有効画素領域３３A上に水平及び垂直ラインが配列される方法と同様の方法にて、メモリ領域５１Aにも水平及び垂直ラインが定義される。メモリ領域５１A上に表現される二次元画像は、有効画素領域３３A上に結像する画像と同じものである。尚、入力画像に代表される任意の二次元画像、撮像素子３３、有効画素領域３３A及びメモリ領域５１Aにおいて、左右方向は水平方向及び水平ラインと平行であって上下方向は垂直方向及び垂直ラインと平行である。
【００４０】
フレームメモリ５１に、メモリ領域５１Aを複数個設けておくことにより、複数枚の入力画像の画像データをフレームメモリ５１に保存しておくことができる。フレームメモリ５１に保存された各入力画像の画像データは、画像動き検出部５２及び補正処理部５６に送られる。
【００４１】
今、図７に示す如く、単位時間ＴAが経過するごとに、現在時刻が時刻ｔn-1、ｔn、ｔn+1、・・・になるものとする（ｎは整数）。従って、時刻ｔn-1から単位時間ＴAが経過した時刻が時刻ｔnである。単位時間ＴAは上記フレームレートの逆数であるフレーム周期である。但し、単位時間ＴAはフレーム周期の整数倍であってもよい。時刻ｔnを起点としてｎ番目の入力画像の撮影が行われる。ｎ番目の入力画像を符号Ｉnにて表す。時刻ｔn-1及びｔn-1’は、それぞれ入力画像Ｉn-1を取得するための露光期間の開始時刻及び終了時刻であり、時刻ｔn及びｔn’は、それぞれ入力画像Ｉnを取得するための露光期間の開始時刻及び終了時刻である（時刻ｔn+1及びｔn+1’等についても同様）。時刻ｔn-1及びｔn-1’間の時間長さや時刻ｔn及びｔn’間の時間長さに等しい、各入力画像の露光期間の時間長さをＴBにて表す。本実施形態において、ＴB（例えば約１０ｍｓｅｃ）はＴA（例えば約３３ｍｓｅｃ）よりも短いものとする。但し、ＴB＝ＴAであっても構わない。
【００４２】
また、時系列上に並ぶ複数の画像の集まりを画像列と呼ぶ。従って例えば、入力画像Ｉn-1、Ｉn及びＩn+1から成る画像列は入力画像列と称される。画像列は、動画像であるとも言える。
【００４３】
図５の画像動き検出部５２は、時間的に隣接する２枚の入力画像の画像データに基づいて当該２枚の入力画像間におけるオプティカルフローを算出し、該オプティカルフローから当該２枚の入力画像についての画像動き情報を生成して出力する。オプティカルフローの算出に当たり、画像動き検出部５２では、各入力画像の全体画像領域が複数の領域に分割され、各分割領域に動き検出ブロックが設定される。
【００４４】
図８の符号２１０は、或る１枚の入力画像を表している。例として、入力画像２１０の全体画像領域を水平及び垂直方向の夫々において３等分して９つの分割領域を定義することにより計９つの動き検出ブロックＢＬ［１］〜ＢＬ［９］を設定することを想定する。ｉを０、１又は２とした場合、ＢＬ［ｉ＋１］〜ＢＬ［ｉ＋３］は水平方向に並ぶ動き検出ブロックであって、且つ、ＢＬ［ｉ＋１］、ＢＬ［ｉ＋４］及びＢＬ［ｉ＋７］は垂直方向に並ぶ動き検出ブロックである。従って、ｉを０、１又は２とした場合、動き検出ブロックに内包される水平ラインはブロックＢＬ［ｉ＋１］〜ＢＬ［ｉ＋３］間で同じであり、動き検出ブロックに内包される垂直ラインはブロックＢＬ［ｉ＋１］、ＢＬ［ｉ＋４］及びＢＬ［ｉ＋７］間で同じである。更に、ｉを０、１又は２とした場合、ＢＬ［ｉ＋１］は入力画像２１０の左端側に配置され、ＢＬ［ｉ＋３］は入力画像２１０の右端側に配置され、ＢＬ［ｉ＋２］はＢＬ［ｉ＋１］及びＢＬ［ｉ＋３］間に配置され、ＢＬ［ｉ＋１］は入力画像２１０の上端側に配置され、ＢＬ［ｉ＋７］は入力画像２１０の下端側に配置され、ＢＬ［ｉ＋４］はＢＬ［ｉ＋１］及びＢＬ［ｉ＋７］間に配置される。
【００４５】
図９を参照し、時間的に隣接する２枚の入力画像を符号２２０及び２３０によって表した上で、画像動き情報の生成方法を説明する。入力画像２３０は入力画像２２０の次に生成される入力画像であり、例えば、入力画像２２０がＩn-1であるなら入力画像２３０はＩnであり、入力画像２２０がＩnであるなら入力画像２３０はＩn+1である。
【００４６】
画像動き検出部５２によって求められる、入力画像２２０及び２３０間のオプティカルフローは、複数の動きベクトルから成る。画像動き検出部５２は、ブロックマッチング法、代表点マッチング法又は勾配法等を用いて、動き検出ブロックごとに動きベクトルを算出する。図９に示す如く、ＢＬ［１］〜ＢＬ［９］に対して求められた動きベクトルを、夫々、記号ＭＶ［１］〜ＭＶ［９］によって表す（図９では、図示の煩雑化防止のため、記号ＭＶ［１］〜ＭＶ［９］の内、一部のみを図示）。動きベクトルは、入力画像２２０を基準として求められる。従って、入力画像２２０のブロックＢＬ［ｉ］内の特徴点の位置が第１位置であって、且つ、該特徴点に対応する点の、入力画像２３０上の位置が第２位置である場合、動きベクトルＭＶ［ｉ］は、第１位置を始点とし第２位置を終点とするベクトルとなる。
【００４７】
画像動き検出部５２は、ＭＶ［１］〜ＭＶ［９］の平均ベクトルを全体動きベクトルＭＶとして求める。入力画像２２０及び２３０に対する全体動きベクトルＭＶは、入力画像２２０及び２３０の撮影期間中における撮像装置１の動きの向き及び大きさ（より詳細には例えば、入力画像２２０の露光期間の中間時点と入力画像２３０の露光期間の中間時点との間における撮像装置１の動きの向き及び大きさ）を表すベクトルの逆ベクトルとして求められる。全体動きベクトルＭＶの逆ベクトルは、後述の手ぶれの向き及び大きさを表すベクトルでもある。入力画像２２０及び２３０に対する画像動き情報には、入力画像２２０及び２３０間のベクトルＭＶ［１］〜ＭＶ［９］並びにＭＶが含められる。
【００４８】
図５のセンサ部５３は、画像動き検出部５２と異なり、センサを用いて撮像装置１の動き（換言すれば、撮像素子３３の動き）を検出する。撮像装置１の動きは、いわゆる手ぶれなどによって生じる。よって、撮像装置１の動きを手ぶれとも称する。センサ部５３は、フレーム周期（例えば約３３ｍｓｅｃ）よりも十分に短いサンプリング間隔（例えば、１ｍｓｅｅｃ間隔）で手ぶれの向き及び大きさを検出することで、任意の期間における手ぶれの向き及び大きさを検出する。センサ部５３によって検出された、手ぶれの向き及び大きさを表すベクトルを、センサ手ぶれベクトルと呼ぶ。センサ部５３は、１つのサンプリング間隔におけるセンサ手ぶれベクトルを生成することもできるし、サンプリング間隔の整数倍の期間におけるセンサ手ぶれベクトルを生成することもできる。センサ部５３は、任意の期間のセンサ手ぶれベクトルを特定する情報をセンサ動き情報として出力する。
【００４９】
図１０に、センサ部５３の内部に設けられた角速度センサ７１及びハイパスフィルタ７２を示す。角速度センサ７１は、撮像装置１の角速度を表す検出信号を出力する。ハイパスフィルタ７２は、その検出信号中の直流オフセット成分を除去するために、該検出信号に含まれる直流成分及び低周波成分を低減する。センサ部５３には、角速度センサ７１及びハイパスフィルタ７２から成るブロックが複数個設けられ、複数のブロックに設けられた複数の角速度センサ７１が、互いに異なる方向への角速度を検出する。各ブロックのハイパスフィルタ７２の出力信号（即ち、直流成分及び低周波成分が低減された検出信号）よりセンサ手ぶれベクトルが生成される。尚、センサ部５３に設けられるセンサは、角速度センサ以外（例えば加速度センサ）であっても良い。
【００５０】
図５のパン・チルト判定部５４（以下、判定部５４と略記することがある）は、画像動き情報及び／又はセンサ動き情報に基づいて、撮像装置１にパンニング又はチルティングが成されているか否かを判定し、その判定結果を含む情報をパン・チルト判定情報として出力する。この判定を、以下、パン・チルト判定と呼ぶ。一般的に理解されているように、パンニングとは、ユーザが撮像装置１を水平方向に意図的に振る操作を指し、チルティングとは、ユーザが撮像装置１を垂直方向に意図的に振る操作を指す。撮像装置１にパンニング又はチルティングが成されていると判定されることを「パン・チルト有り」と表現し、撮像装置１にパンニング又はチルティングが成されていないと判定されることを「パン・チルト無し」と表現する。
【００５１】
画像動き情報及び／又はセンサ動き情報に基づいて行われる公知の任意のパン・チルト判定を、判定部５４にて行うことができる。例えば、パン・チルト判定として、特開２００８−１２９５５４号公報や特開平１１−１８７３０８号公報に記載の方法を利用可能である。
【００５２】
具体的に例えば、判定部５４は、以下に示される第１〜第５判定条件の何れかが満たされるとき、撮像装置１にパンニング又はチルティングが成されていると判断して、「パン・チルト有り」を表す情報をパン・チルト判定情報に含め、第１〜第５判定条件の何れもが満たされないとき、撮像装置１にパンニング又はチルティングが成されていないと判断して、「パン・チルト無し」を表す情報をパン・チルト判定情報に含める。
【００５３】
第１判定条件は、「所定の判定期間中、継続して、同一の向きを向いている全体動きベクトルＭＶが検出される」という条件である。判定期間とは一定の時間長さを有する期間であり、判定期間をフレーム周期の整数倍とすることができる。判定期間がフレーム周期の１０倍である場合、時間的に連続する１１枚の入力画像に対して求められた計１０個の全体動きベクトルＭＶが参照される。そして、その１０個のベクトルＭＶの向きが同じであるとき第１判定条件は成立し、そうでないとき第１判定条件は成立しない。尚、ここにおける、ベクトルの向きが同じとは幅を有する概念であり、対比されるベクトルの向きが所定の微小角度分だけ異なっていても該対比されるベクトルの向きは同じとみなされる（第２判定条件においても同様）。
【００５４】
第２判定条件は、「所定の判定期間中、継続して、同一の向きを向いているセンサ手ぶれベクトルが検出される」という条件である。判定期間中における各センサ手ぶれベクトルの向きが互いに同じであるとき第２判定条件は成立し、そうでないとき第２判定条件は成立しない。
【００５５】
第３判定条件は、「所定の判定期間中に属する全ての全体動きベクトルＭＶの合成ベクトルの大きさが所定の基準大きさ以上である」という条件である。
【００５６】
第４判定条件は、「所定の判定期間中に属する全てのセンサ手ぶれベクトルの合成ベクトルの大きさが所定の基準大きさ以上である」という条件である。
【００５７】
第５判定条件は、「所定期間中の手ぶれの向き及び大きさを表す１つのセンサ手ぶれベクトルの大きさが所定の大きさ以上である」という条件である。
【００５８】
尚、画像動き情報及びセンサ動き情報の双方を用いてパン・チルト判定を行うことも可能である。例えば、第１及び第２判定条件の双方が満たされる場合にのみ、又は、第３及び第４判定条件の双方が満たされる場合にのみ、撮像装置１にパンニング又はチルティングが成されていると判断するようにしても良い。
【００５９】
ここで、図１１（ａ）〜（ｃ）を用いてＦＰ歪みの現れ方について説明する。実空間上において垂直方向に伸びる棒状被写体を撮像装置１にて撮影することで入力画像が取得されることを考える。棒状被写体は、実空間上で静止しているものとする。
【００６０】
図１１（ａ）の画像３１０は、入力画像の露光期間中に撮像装置１が静止していた場合に得られる入力画像であり、図１１（ｂ）の画像３２０は、入力画像の露光期間中に撮像装置１が右方向に動いた場合に得られる入力画像であり、図１１（ｃ）の画像３３０は、入力画像の露光期間中に撮像装置１が下方向に動いた場合に得られる入力画像である。今、入力画像３１０の最下端に現れる、上記棒状被写体上の特定部分に注目する。図１１（ａ）〜（ｃ）の位置３１１、３２１及び３３１は、夫々、入力画像３１０、３２０及び３３０上における上記特定部分の位置を表している。入力画像の露光期間中における撮像装置１の右方向の動きにより、入力画像３２０上において棒状被写体は傾き、結果、位置３２１は位置３１１から左側に距離Ｄｈだけ離れている。入力画像の露光期間中における撮像装置１の下方向の動きにより、入力画像３３０上において棒状被写体は垂直方向に縮み、結果、位置３３１は位置３１１から上側に距離Ｄｖだけ離れている。尚、周囲の如く、入力画像の露光期間中に撮像装置１が上方向に動いたのならば、得られた入力画像上で棒状被写体は本来の姿よりも伸びて現れることとなる。特定部分の位置を位置３１１から位置３２１へと水平方向に歪ませるＦＰ歪みを水平ＦＰ歪みと呼び、特定部分の位置を位置３１１から位置３３１へと伸縮方向に歪ませるＦＰ歪みを垂直ＦＰ歪み（又は伸縮ＦＰ歪み）と呼ぶ。
【００６１】
図５のＦＰ補正量算出部５５（以下、算出部５５と略記することがある）は、パン・チルト判定情報に基づいて画像動き情報及びセンサ動き情報を選択的に用いることにより、ＦＰ補正量を算出する。ＦＰ補正量は、補正処理部５６において入力画像に含まれるＦＰ歪みを低減する際に用いられる補正量であり、向き及び大きさを有する二次元量である。パン・チルト無しと判定されている期間においては、センサ動き情報を選択し、センサ動き情報に基づいてＦＰ補正量を算出する。一方、パン・チルト有りと判定されている期間においては、画像動き情報を選択し、画像動き情報に基づいてＦＰ補正量を算出する。背景技術において述べたように、パンニング又はチルティングが成されているときには、センサ動き情報の正確性が疑われるからである。
【００６２】
補正処理部５６は、算出部５５にて生成されたＦＰ補正量に基づいて入力画像のＦＰ歪みを補正するＦＰ歪み補正処理と、手ぶれによって生じた入力画像列（換言すれば入力動画像）上の像のぶれを補正する手ぶれ補正処理と、を実行することができる。但し、手ぶれ補正処理は実行されないことある（詳細は後述）。入力画像にＦＰ歪み補正処理を施して得た画像、又は、入力画像にＦＰ歪み補正処理及び手ぶれ補正処理を施して得た画像を、出力画像と呼ぶ。順次得られる複数の出力画像を出力動画像として、外部メモリ１８に記録することができると共に表示部２７に表示することができる。補正処理部５６に、ＦＰ歪み補正処理を実行する歪み補正部及び手ぶれ補正処理を実行するぶれ補正部が内在している、と考えることもできる。
【００６３】
［ＦＰ歪み補正処理］
パン・チルト有りと判定されている期間には、画像動き情報からＦＰ補正量が算出される。このため、パン・チルト有りと判定されている期間には、画像動き情報に基づくＦＰ歪み補正処理が成される。画像動き情報に基づくＦＰ歪み補正処理（換言すれば、入力画像列のオプティカルフローに基づいて各入力画像のＦＰ歪みを低減する処理）として、公知の任意の処理を利用可能である。
【００６４】
本実施形態で採用される、画像動き情報に基づくＦＰ補正量の算出方法及びＦＰ歪み補正処理を説明する。
【００６５】
入力画像Ｉn-1及びＩn間の全体動きベクトルＭＶを、特にＭＶ［ｎ−１，ｎ］にて表す。他の２枚の入力画像についての全体動きベクトルＭＶも同様である。入力画像Ｉn-1及びＩn間の全体動きベクトルＭＶ［ｎ−１，ｎ］は、時刻ｔn-1及びｔn’間における撮像装置１の平均的な動きを表している（図７参照）。一方、入力画像ＩnのＦＰ歪みは、入力画像Ｉnの露光期間中における撮像装置１の動きにより生じる。従って、入力画像ＩnのＦＰ歪みを精度良く除去するためには、入力画像Ｉnの露光期間中における撮像装置１の動きに対応したＦＰ補正量を、入力画像Ｉnに対するＦＰ補正量として推定する必要がある。
【００６６】
この必要性を満たすべく、算出部５５は、複数の全体動きベクトルＭＶから、補間を用いて、各入力画像の露光期間中における撮像装置１の動きを表すフレーム内動きベクトルを算出し、フレーム内動きベクトルよりＦＰ補正量を導出する。入力画像Ｉnに対するフレーム内動きベクトルは、入力画像Ｉnの露光期間中における撮像装置１の動きを表している。
【００６７】
具体的には例えば、図１２（ａ）及び（ｂ）に示す如く、入力画像Ｉn-1及びＩn間の全体動きベクトルＭＶ［ｎ−１，ｎ］と入力画像Ｉn及びＩn+1間の全体動きベクトルＭＶ［ｎ，ｎ＋１］の平均ベクトル２５０を、入力画像Ｉnのフレーム内動きベクトルとして求めることができる。図１２（ｂ）のグラフは、各ベクトルの向き及び大きさをイメージ化したグラフである（後述の図１２（ｄ）も同様）。図１２（ａ）及び（ｂ）では、各ベクトルに対応する時刻位置を白丸にて表現している（後述の図１２（ｃ）及び（ｄ）も同様）。
【００６８】
或いは例えば、図１２（ｃ）及び（ｄ）に示す如く、入力画像Ｉn-2及びＩn-1間の全体動きベクトルＭＶ［ｎ−２，ｎ−１］を時刻ｔn-2及びｔn-1’間の中間時刻のベクトルとして取り扱うと共に、入力画像Ｉn-1及びＩn間の全体動きベクトルＭＶ［ｎ−１，ｎ］を時刻ｔn-1及びｔn’間の中間時刻のベクトルとして取り扱った上で、ベクトルＭＶ［ｎ−２，ｎ−１］及びＭＶ［ｎ−１，ｎ］を時間方向に線形補間することで、入力画像Ｉnの露光期間の中間時刻におけるベクトル２６０を推定し、推定したベクトル２６０を入力画像Ｉnのフレーム内動きベクトルとして求めるようにしても良い。
【００６９】
上述の例では、２つの全体動きベクトルに基づいて１つのフレーム内動きベクトルを求めているが、３以上の全体動きベクトルに基づいて１つのフレーム内動きベクトルを求めるようにしても良い。
【００７０】
入力画像Ｉnに対するＦＰ補正量は、入力画像Ｉnのフレーム内動きベクトルそのもの、或いは、それの逆ベクトルとされる。入力画像ＩnのＦＰ補正量の大きさから、入力画像Ｉnの露光期間中に撮像装置１が動いた距離が定まり、入力画像ＩnのＦＰ補正量の向きから、入力画像Ｉnの露光期間中に撮像装置１が動いた向きが定まる。ここで定まる距離及び向きは、入力画像Ｉn上における距離及び向きである。図１１（ａ）〜（ｃ）を参照して説明した例においては、入力画像ＩnのＦＰ補正量によって、位置３１１から位置３２１に向かう向き及び距離Ｄｈが定まる、或いは、位置３１１から位置３３１に向かう向き及び距離Ｄｖが定まる。
【００７１】
ＦＰ歪み補正処理後の入力画像を歪み補正画像と呼ぶ。ＦＰ歪み補正処理では、入力画像ＩnのＦＰ補正量に基づき、入力画像ＩnのＦＰ歪みを除去するための幾何学的変換を入力画像Ｉnに施すことで、入力画像Ｉnについての歪み補正画像を生成することができる。幾何学的変換には、平行移動及び再標本化等が含まれる。
【００７２】
例えば、入力画像３２０が入力画像Ｉnである場合、上記棒状被写体の像を入力画像３１０のそれから入力画像３２０のそれへと歪ませる水平ＦＰ歪みが発生しており、その水平ＦＰ歪みが入力画像Ｉnに含まれていることがＦＰ補正量に規定されているため、そのＦＰ補正量に基づき、入力画像３１０を入力画像３２０へと変換する幾何学的変換の逆変換を、入力画像３２０としての入力画像Ｉnに施す。これにより得られる歪み補正画像３２０ａを図１３に示す。
【００７３】
入力画像３２０の水平ラインが第１〜第Ｍ水平ラインから形成されるのであれば、入力画像３２０としての入力画像Ｉnの第ｉ水平ラインを入力画像上の右方向に（ｉ−１）×（Ｄｈ／（Ｍ−１））だけ平行移動させることで歪み補正画像３２０ａの第ｉ水平ラインが得られる。尚、入力画像ＩnのＦＰ歪みが水平ＦＰ歪みの場合には、周知の如く、メモリ領域５１Aから画像データを読み出す時の読み出し開始位置を制御することでもＦＰ歪みを除去することができる。
【００７４】
また例えば、入力画像３３０が入力画像Ｉnである場合、上記棒状被写体の像を入力画像３１０のそれから入力画像３３０のそれへと歪ませる垂直ＦＰ歪みが発生しており、その垂直ＦＰ歪みが入力画像Ｉnに含まれていることがＦＰ補正量に規定されているため、そのＦＰ補正量に基づき、入力画像３１０を入力画像３３０へと変換する幾何学的変換の逆変換を、入力画像３３０としての入力画像Ｉnに施す。これにより得られる歪み補正画像３３０ａを図１４に示す。
【００７５】
入力画像３３０の水平ラインが第１〜第Ｍ水平ラインから形成され且つ位置３３１が第ＭO水平ラインに属しているのであれば（１＜ＭO＜Ｍ）、入力画像３３０としての入力画像Ｉnの第ｉ水平ラインを入力画像上の下方向に（ｉ−１）×（Ｄｖ／（ＭO−１））だけ平行移動させることで歪み補正画像３３０ａの第ｉ水平ラインが得られる。
【００７６】
水平ＦＰ歪みと垂直ＦＰ歪みの検出及び補正方法を別個に説明したが、入力画像Ｉnに水平ＦＰ歪みと垂直ＦＰ歪みが発生している場合には、水平ＦＰ歪みと垂直ＦＰ歪みが共に補正されることで歪み補正画像が生成される。この際、水平ＦＰ歪みと垂直ＦＰ歪みを同時に補正するようにしても良いし、水平ＦＰ歪みと垂直ＦＰ歪みを順番に補正するようにしても良い。
【００７７】
パン・チルト無しと判定されている期間には、センサ動き情報からＦＰ補正量が算出される。このため、パン・チルト無しと判定されている期間には、センサ動き情報に基づくＦＰ歪み補正処理が成される。センサ動き情報に基づくＦＰ歪み補正処理（換言すれば、センサによる、撮像装置１の動きの検出結果に基づいて各入力画像のＦＰ歪みを低減する処理）として、公知の任意の処理を利用可能である。センサ動き情報に含まれる、入力画像Ｉnの露光期間中に得られた全センサ手ぶれベクトルの合成ベクトル、又は、その合成ベクトルの逆ベクトルが入力画像ＩnのＦＰ補正量とされる。ＦＰ補正量に基づくＦＰ歪み補正処理の内容自体は、ＦＰ補正量が画像動き情報に基づいて求められた場合とセンサ動き情報に基づいて求められた場合との間で同様であっても良い。
【００７８】
［手ぶれ補正処理］
図５の補正処理部５６は、画像動き情報又はセンサ動き情報に基づいて手ぶれ補正処理を行う。補正処理部５６にて実行される手ぶれ補正処理は、手ぶれによって生じた入力画像列（換言すれば入力動画像）上の像のぶれを補正する電子式手ぶれ補正処理であり、補正処理部５６において公知の電子式手ぶれ補正処理を利用することができる。ＦＰ歪み補正処理を行った後に手ぶれ補正処理を行っても良いし、手ぶれ補正処理を行った後にＦＰ歪み補正処理を行っても良い。尚、手ぶれ補正処理とＦＰ歪み補正処理を同時に実行するようにしても良い。
【００７９】
本実施形態では、ＦＰ歪み補正処理を行った後に手ぶれ補正処理を行うこととする。この場合、入力画像列を形成する各入力画像にＦＰ歪み補正処理を成すことによって得られた歪み補正画像列が手ぶれ補正処理の対象となる。手ぶれ補正処理では、各歪み補正画像に切り出し枠を設定し、各歪み補正画像から切り出し枠内の画像を出力画像として切り出す。切り出し枠内の画像は歪み補正画像の一部である。この際、出力画像列上において手ぶれに基づく像のぶれが生じないように、画像動き情報又はセンサ動き情報に基づき切り出し位枠の位置が調整される。
【００８０】
例えば、図１５に示す如く、入力画像Ｉn-1に基づく歪み補正画像３５０上の位置（ｘ，ｙ）に現れている被写体としての静止点が、入力画像Ｉnに基づく歪み補正画像３６０上では位置（ｘ＋Δｘ，ｙ）に現れている場合を考える（該静止点は実空間上で静止しているものとする）。この場合、画像動き情報に含まれる、入力画像Ｉn-1及びＩn間の全体動きベクトルは位置（ｘ，ｙ）及び（ｘ＋Δｘ，ｙ）間のずれを表すベクトルとなる（但し、検出誤差は無視）。また、センサ動き情報からも、位置（ｘ，ｙ）及び（ｘ＋Δｘ，ｙ）間のずれを表すベクトルが求まる（但し、検出誤差は無視）。従って、補正処理部５６は、手ぶれ補正処理において、画像動き情報又はセンサ動き情報に基づき、歪み補正画像３６０に対して設定する切り出し枠３６１の中心位置を歪み補正画像３５０の切り出し枠３５１の中心位置よりも水平方向にΔｘだけずらすことで、上記静止点を入力画像Ｉn-1及びＩnに基づく出力画像列上で静止させる。
【００８１】
［動作フロー］
次に、図１６を参照して、撮像装置１の動作手順について説明する。図１６は、撮像装置１の動作の手順を表すフローチャートである。
【００８２】
まず、ステップＳ１１では、撮像部１１を用いて入力画像の生成が成され、ステップＳ１２において、最新の入力画像に対する画像動き情報の生成及び最新の入力画像に対するセンサ動き情報の生成が成される。続くステップＳ１３では、ステップＳ１２にて生成された画像動き情報及び／又はセンサ動き情報に基づき、パン・チルト判定が成される。
【００８３】
ステップＳ１３においてパン・チルト無しと判定された場合には、ステップＳ１３からステップＳ１４に移行し、最新の入力画像に対してセンサ動き情報に基づくＦＰ補正量の算出及びＦＰ歪み補正処理が成され、ＦＰ歪み補正処理によって得られた歪み補正画像に対してステップＳ１５にて手ぶれ補正処理を行うことで出力画像を生成する。ステップＳ１５にて生成された出力画像は外部メモリ１８に記録されると共に表示部２７に表示される。ステップＳ１５における手ぶれ補正処理を、センサ動き情報に基づいて行うと良い。この場合、センサ部５３からの１フレーム分のセンサ動き情報より、手ぶれ補正処理用の切り出し枠の位置が決定される。但し、上述したように、ステップＳ１５における手ぶれ補正処理を、画像動き情報に基づいて行うようにしても良い。
【００８４】
ステップＳ１３においてパン・チルト有りと判定された場合には、ステップＳ１３からステップＳ１６に移行する。ステップＳ１６では、最新の入力画像に対して、画像動き情報に基づくＦＰ補正量の算出及びＦＰ歪み補正処理が成されるが、手ぶれ補正処理は成されない。即ち、ＦＰ歪み補正処理によって得られた歪み補正画像に対して切り出し枠の位置変更を行うことなく（換言すれば、前回及び今回の歪み補正画像間で切り出し枠の位置を変更させることなく）、歪み補正画像の切り出し枠内画像を切り出すことで出力画像を生成する。ステップＳ１６にて生成された出力画像は外部メモリ１８に記録されると共に表示部２７に表示される。パンニング又はチルティングによる動きはユーザの意図による動きであるため、記録画像に該動きを反映した方が自然である。故に、ステップＳ１６では手ぶれ補正処理を不実行とする。
【００８５】
ステップＳ１５又はＳ１６の処理の後、ステップＳ１１に戻り、ステップＳ１１以降の各ステップの処理が繰り返し実行される。パン・チルト無しと判定されている期間中には、Ｓ１１〜Ｓ１５の処理が繰り返し実行され、パン・チルト有りと判定されている期間中には、Ｓ１１〜Ｓ１３及びＳ１６の処理が繰り返し実行される。
【００８６】
本実施形態によれば、パンニングが成されているときなど、センサ部５３の検出結果の正確性が疑われるときには、画像データに基づく画像動き情報に基づいてＦＰ歪み補正が成される。この結果、正確性が疑われるセンサ部５３の検出結果を用いることによる、入力画像の誤補正が回避される。
【００８７】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態に係る撮像装置の全体ブロック図は、図１のそれと同じであるため、第２実施形態に係る撮像装置も符号１によって参照する。図１７は、第２実施形態に係る、ＦＰ歪みの除去機能を担う画像補正機能部５０ａのブロック図である。画像補正機能部５０ａは撮像装置１に設けられ、画像補正機能部５０ａは、符号５１〜５７によって参照される各部位を含む。第１実施形態に係る図５の画像補正機能部５０に補正強度調整部５７を追加することで、図１７の画像補正機能部５０ａが得られる。この追加を除き、第２実施形態に係る撮像装置１と第１実施形態に係る撮像装置１は同様のものであり、以下、第１実施形態との相違点を説明する。
【００８８】
第２実施形態において、ＦＰ補正量算出部５５によって算出されたＦＰ補正量は、補正処理部５６に送られる前に一旦補正強度調整部５７に送られる。補正強度調整部５７は、調整用情報に基づいてＦＰ補正量を調整し、調整後のＦＰ補正量を補正処理部５６に送る。従って、第２実施形態における補正処理部５６は、調整後のＦＰ補正量に基づいてＦＰ歪み補正処理を行う。
【００８９】
本実施形態では、説明の具体化のため、図１１（ａ）の入力画像３１０を図１１（ｂ）の入力画像３２０へと歪ませる水平ＦＰ歪み、又は、図１１（ａ）の入力画像３１０を図１１（ｃ）の入力画像３３０へと歪ませる垂直ＦＰ歪みが入力画像Ｉnに生じていることを想定する。
【００９０】
このため、入力画像Ｉnに水平ＦＰ歪みが生じている場合には、入力画像Ｉnの最下端の水平ラインに属する位置３２１が水平ＦＰ歪みによって入力画像Ｉn上の左側に距離Ｄｈだけ本来位置３１１からずれていることを示すＦＰ補正量が、画像動き情報又はセンサ動き情報により求められているものとする。同様に、入力画像Ｉnに垂直ＦＰ歪みが生じている場合には、垂直ＦＰ歪みのない入力画像３１０では最下端の水平ラインに属している位置３１１が垂直ＦＰ歪みによって入力画像Ｉn上では上側に距離Ｄｖだけずれて位置３３１に移動していることを示すＦＰ補正量が、画像動き情報又はセンサ動き情報により求められているものとする。
【００９１】
補正強度調整部５７は、調整用情報に基づいて補正強度係数ｋｈ及びｋｖを設定する。そして、水平ＦＰ歪みについてのＦＰ補正量の大きさＤｈを、補正強度係数ｋｈを用いて大きさＤｈ’へと変更し、垂直ＦＰ歪みについてのＦＰ補正量の大きさＤｖを、補正強度係数ｋｖを用いて大きさＤｖ’へと変更する。具体的には、
Ｄｈ’＝ｋｈ×Ｄｈ、
Ｄｖ’＝ｋｈ×Ｄｖ、
に従って、Ｄｈ’及びＤｖ’が求められる。補正強度調整部５７において、ＦＰ補正量の向きに対する変更は成されない。
【００９２】
補正強度係数ｋｈ及びｋｖは、０≦ｋｈ≦１且つ０≦ｋｖ≦１を満たすように設定される。Ｄｈ’は、水平ＦＰ歪みについての、調整後のＦＰ補正量の大きさであり、Ｄｖ’は、垂直ＦＰ歪みについての、調整後のＦＰ補正量の大きさである。水平ＦＰ歪みに関し、係数ｋｈがゼロに近いほど調整後のＦＰ補正量の大きさＤｈ’が小さくなるのでＦＰ歪み補正処理の補正強度は小さくなり、係数ｋｈが１に近いほど調整後のＦＰ補正量の大きさＤｈ’が大きくなるのでＦＰ歪み補正処理の補正強度は大きくなる。垂直ＦＰ歪みに関しても同様である。
【００９３】
入力画像３２０としての入力画像Ｉnに上記の水平ＦＰ歪みが発生している場合、ＦＰ補正量の大きさＤｈは大きさＤｈ’へと変更される。この場合、補正処理部５６は、Ｄｈ’の大きさを有するＦＰ補正量に基づいて、入力画像３２０を入力画像３１０に近づけるための幾何学的変換を、入力画像３２０としての入力画像Ｉnに施す。これにより得られる歪み補正画像３２０ｂを図１８に示す。歪み補正画像３２０ｂは、０＜ｋｈ＜１の場合に得られる歪み補正画像である。
【００９４】
入力画像３２０の水平ラインが第１〜第Ｍ水平ラインから形成されるのであれば、入力画像３２０としての入力画像Ｉnの第ｉ水平ラインを入力画像上の右方向に（ｉ−１）×（Ｄｈ’／（Ｍ−１））だけ平行移動させることで歪み補正画像３２０ｂの第ｉ水平ラインが得られる。尚、メモリ領域５１Aから画像データを読み出す時の読み出し開始位置を制御することで、歪み補正画像３２０ｂを生成するようにしても良い。
【００９５】
入力画像３２０としての入力画像Ｉnに上記の垂直ＦＰ歪みが発生している場合、ＦＰ補正量の大きさＤｖは大きさＤｖ’へと変更される。この場合、補正処理部５６は、Ｄｖ’の大きさを有するＦＰ補正量に基づいて、入力画像３３０を入力画像３１０に近づけるための幾何学的変換を、入力画像３３０としての入力画像Ｉnに施す。これにより得られる歪み補正画像３３０ｂを図１９に示す。歪み補正画像３３０ｂは、０＜ｋｖ＜１の場合に得られる歪み補正画像である。
【００９６】
入力画像３３０の水平ラインが第１〜第Ｍ水平ラインから形成され且つ位置３３１が第ＭO水平ラインに属しているのであれば（１＜ＭO＜Ｍ）、入力画像３３０としての入力画像Ｉnの第ｉ水平ラインを入力画像上の下方向に（ｉ−１）×（Ｄｖ’／（ＭO−１））だけ平行移動させることで歪み補正画像３３０ｂの第ｉ水平ラインが得られる。
【００９７】
水平ＦＰ歪みと垂直ＦＰ歪みの補正方法を別個に説明したが、入力画像Ｉnに水平ＦＰ歪みと垂直ＦＰ歪みが発生している場合には、水平ＦＰ歪みと垂直ＦＰ歪みが共に補正されることで歪み補正画像が生成される。この際、水平ＦＰ歪みと垂直ＦＰ歪みを同時に補正するようにしても良いし、水平ＦＰ歪みと垂直ＦＰ歪みを順番に補正するようにしても良い。
【００９８】
補正強度係数ｋｈ及びｋｖの設定に用いられる調整用情報として、複数種類の情報を利用可能である。以下、調整用情報に基づく補正強度係数ｋｈ及びｋｖの設定方法の例として、第１〜第３設定方法を説明する。
【００９９】
［第１設定方法］
第１設定方法を説明する。第１実施形態の説明から明らかなように、補正処理部５６による手ぶれ補正処理は動画像用の手ぶれ補正処理である。ユーザは、この手ぶれ補正処理を有効とするか或いは無効とするか否かを、操作部２６等を用いて撮像装置１に自由に指定することができる。手ぶれ補正処理を有効にすることが指定された場合、第１実施形態で述べた方法に従って入力画像に手ぶれ補正処理が成されるが、手ぶれ補正処理を無効にすることが指定された場合、パン・チルト判定の結果に依存せず、常に入力画像には手ぶれ補正処理が成されない（上述の図１６及び後述の図２２のステップＳ１５においても手ぶれ補正処理は成されない）。
【０１００】
第１設定方法における調整用情報は、手ぶれ補正処理の有効／無効を表す情報である。そして、手ぶれ補正処理を無効にすることが指定されている場合におけるｋｈ及びｋｖが、手ぶれ補正処理を有効にすることが指定されている場合におけるｋｈ及びｋｖよりも小さくなるように、補正強度係数ｋｈ及びｋｖを設定する。具体的には、手ぶれ補正処理を有効にすることが指定されている場合においてはｋｈ及びｋｖを共に１に設定し、手ぶれ補正処理を無効にすることが指定されている場合においてはｋｈ及びｋｖを共に０以上且つ０．５以下の範囲内の任意の値に設定することができる（特に、ｋｈ＝ｋｖ＝０とすることも有益であり、ｋｈ＝ｋｖ＝０のとき、ＦＰ歪みの補正強度はゼロとなる）。
【０１０１】
手ぶれ補正処理が無効にされている場合、それが有効とされている場合と比べて出力動画像上のフレーム間の位置ずれが大きくなる。フレーム間の位置ずれが小さい場合には、出力動画像上においてＦＰ歪みが視覚的に目立つが、それが大きい場合にはＦＰ歪みがあまり目立たない。これを考慮し、第１設定方法では、上述の如く、手ぶれ補正処理が無効とされている場合にはＦＰ歪みの補正強度を弱くする或いはゼロにする。
【０１０２】
［第２設定方法］
第２設定方法を説明する。第２設定方法における調整用情報は、ズーム倍率を表す情報である。ズーム倍率のワイド端側で撮影している場合（即ち低ズーム倍率にて撮影している場合）には、ズーム倍率のテレ端側で撮影している場合（即ち高ズーム倍率にて撮影している場合）と比べて、手ぶれの影響、実空間上における被写体の移動の影響、ＦＰ歪みの影響は小さい。従って、ズーム倍率のワイド端側で撮影している場合には、ＦＰ歪みが小さくＦＰ歪みが目立ちにくいため、ＦＰ歪みの補正強度を弱く或いはゼロにしても良い。
【０１０３】
例えば、図２０のグラフに示すような折れ線４１０に従い、ズーム倍率ＺＦから補正強度係数ｋｈ及びｋｖを設定するようにしても良い。図２０のグラフは、ＺＦとｋｈ及びｋｖとの関係を表すグラフである。即ち、不等式「１≦ＺＦ＜ＴＨA1」が満たされる場合には「ｋｈ＝ｋｖ＝０」とし、不等式「ＴＨA1≦ＺＦ＜ＴＨA2」が満たされる場合には、「ｋｈ＝ｋｖ＝（ＺＦ−ＴＨA1）／（ＴＨA2−ＴＨA1）」とし、不等式「ＴＨA2≦ＺＦ」が満たされる場合には「ｋｈ＝ｋｖ＝１」とすることができる。ここで、ＴＨA1及びＴＨA2は「ＴＨA1＜ＴＨA2」を満たす所定値をとる。倍率ＴＨA1はズーム倍率ＺＦの可変範囲の下限倍率（即ち１倍）以上であり、倍率ＴＨA2はズーム倍率ＺＦの可変範囲の上限倍率以下である。
【０１０４】
ズーム倍率ＺＦは、光学ズームを用いる場合には光学ズーム倍率ＺＦOPTであり、電子ズームを用いる場合には電子ズーム倍率ＺＦELであり、光学ズーム及び電子ズームの双方を用いる場合には光学ズーム倍率ＺＦOPTと電子ズーム倍率ＺＦELの積である。ユーザは、図１のズームボタン２６ｃの操作を介してズーム倍率ＺＦの変更を指示することができる。
【０１０５】
光学ズーム倍率ＺＦOPTの変更は、図２のズームレンズ３０の移動によって実現される。光学ズーム倍率ＺＦOPTが或る基準倍率ＺＦREFである状態を基準として、光学ズーム倍率ＺＦOPTが基準倍率ＺＦREFのｋZ倍になれば、基準との比較において、入力画像の画角は水平及び垂直方向の夫々において（１／ｋZ）倍となる。
【０１０６】
電子ズームは、撮像素子３３から入力画像を生成する段階、又は、入力画像から出力画像を生成する段階において、電子ズーム倍率ＺＦELに応じた画像のトリミングを行うことで実現される。例えば、歪み補正画像から出力画像を生成する段階で電子ズームを行う場合には、歪み補正画像に設定する切り出し枠の大きさを電子ズーム倍率ＺＦELに応じて調整すればよい。この場合、電子ズーム倍率ＺＦELが或る基準倍率ＺＦREFである状態を基準として、電子ズーム倍率ＺＦELが基準倍率ＺＦREFのｋZ倍になれば、基準との比較において、歪み補正画像に設定される切り出し枠の水平及び垂直方向の大きさは夫々（１／ｋZ）倍となる。
【０１０７】
［第３設定方法］
第３設定方法を説明する。第３設定方法における調整用情報は画像動き検出部５２による動き検出の信頼度であり、該信頼度が低い場合に、ＦＰ歪み補正の補正強度を弱く又はゼロにすることができる。画像動き検出部５２では、時間的に隣接する入力画像間の動きベクトル検出が動き検出として成されるが、被写体の状況等により該動き検出の信頼度は変化する。例えば、コントラストが比較的高い被写体を撮影している場合には、高い信頼度を有する動きベクトルを得ることができる一方で、コントラストが比較的低い被写体（例えば、空、海、壁など）を撮影している場合には、得られる動きベクトルの信頼度は低くなる。
【０１０８】
画像動き検出部５２は、動きベクトルの検出の際、検出した動きベクトルの信頼度ＲＬも併せて算出し、信頼度ＲＬを画像動き情報に含める。画像データに基づいて検出される動きベクトルの信頼度ＲＬの算出方法として、公知の方法を含む任意の方法（例えば、特開２００８−６０９２７号公報に記載された方法）を利用することが可能であり、動き検出ブロックＢＬ［ｉ］内の画像のコントラストや、動き検出ブロックごとに求められた動きベクトルＭＶ［１］〜ＭＶ［９］のばらつき等に基づいて信頼度ＲＬを算出することが可能である（図９参照）。
【０１０９】
例えば、図９の入力画像２２０及び２３０に対して求められた動きベクトルＭＶ［１］〜ＭＶ［９］に基づき、
σ＝Σ｛｜｜ＭＶ［ｉ］−ＭＶAVE｜｜2｝
に従ってばらつきσを算出し、ばらつきσが増大するにつれて信頼度ＲＬが減少するようにばらつきσから信頼度ＲＬを求めることができる（例えば、ＲＬ＝１／σ）。ここで、ＭＶAVEは、ベクトルＭＶ［１］〜ＭＶ［９］の平均ベクトルであり、｜｜ＭＶ［ｉ］−ＭＶAVE｜｜は、ベクトル（ＭＶ［ｉ］−ＭＶAVE）のノルムであり、σは、｜｜ＭＶ［１］−ＭＶAVE｜｜2、｜｜ＭＶ［２］−ＭＶAVE｜｜2、・・・、｜｜ＭＶ［８］−ＭＶAVE｜｜2及び｜｜ＭＶ［９］−ＭＶAVE｜｜2の総和である。
【０１１０】
画像データに基づく動きベクトル算出の原理上、撮影範囲内の全ての被写体が静止しておればσは小さくなるが、撮影範囲内の一部を占める被写体が移動すればσは大きくなる。ＦＰ歪みは撮像装置１の動きによって生じる歪みであり、被写体の移動成分はＦＰ歪みに関与しない。従って、動きベクトルＭＶ［１］〜ＭＶ［９］を平均化することで全体動きベクトル及びＦＰ補正量を導出する場合において、ばらつきσが大きく信頼度ＲＬが低い場合には、比較的大きな誤差がＦＰ補正量に含まれている可能性が高い。
【０１１１】
これを考慮し、図２１のグラフに示すような折れ線４２０に従って、信頼度ＲＬから補正強度係数ｋｈ及びｋｖを設定するようにしても良い。図２１のグラフは、ＲＬとｋｈ及びｋｖとの関係を表すグラフである。即ち、不等式「１≦ＲＬ＜ＴＨB1」が満たされる場合には「ｋｈ＝ｋｖ＝０」とし、不等式「ＴＨB1≦ＲＬ＜ＴＨB2」が満たされる場合には、「ｋｈ＝ｋｖ＝（ＲＬ−ＴＨB1）／（ＴＨB2−ＴＨB1）」とし、不等式「ＴＨB2≦ＲＬ」が満たされる場合には「ｋｈ＝ｋｖ＝１」とすることができる。ここで、ＴＨB1及びＴＨB2は「ＴＨB1＜ＴＨB2」を満たす所定値をとる。倍率ＴＨB1は信頼度ＲＬの可変範囲の下限値以上であり、倍率ＴＨB2は信頼度ＲＬの可変範囲の上限値以下である。
【０１１２】
尚、信頼度ＲＬに基づくｋｈ及びｋｖの設定方法は、画像動き情報に基づいてＦＰ歪み補正処理を行う場合にのみ有効な方法であり、センサ動き情報に基づいてＦＰ歪み補正処理を行う場合にはｋｈ及びｋｖは１で固定される。
【０１１３】
［動作フロー］
図２２は、第２実施形態に係る撮像装置１の動作の手順を表すフローチャートである。図１６及び図２２間の対比からも分かるように、第２実施形態では、第１実施形態におけるステップＳ１４及びＳ１６が夫々ステップＳ１４ａ及びＳ１６ａに置換されており、その置換を除き、撮像装置１の動作手順は第１及び第２実施形態間で同じである。
【０１１４】
ステップＳ１３においてパン・チルト無しと判定された場合には、ステップＳ１３からステップＳ１４ａに移行する。ステップＳ１４ａでは、最新の入力画像に対して画像動き情報に基づくＦＰ補正量の算出が行われた後、該ＦＰ補正量が調整用情報に基づいて調整され、調整後のＦＰ補正量に基づいてＦＰ歪み補正処理が行われる。ＦＰ歪み補正処理によって得られた歪み補正画像に対してステップＳ１５にて手ぶれ補正処理を行うことで出力画像が生成される。
【０１１５】
ステップＳ１３においてパン・チルト有りと判定された場合には、ステップＳ１３からステップＳ１６ａに移行する。ステップＳ１６ａでは、最新の入力画像に対して画像動き情報に基づくＦＰ補正量の算出が行われた後、該ＦＰ補正量が調整用情報に基づいて調整され、調整後のＦＰ補正量に基づいてＦＰ歪み補正処理が行われる。ステップＳ１３においてパン・チルト有りと判定された場合は、第１実施形態と同様、手ぶれ補正処理は成されない。即ち、ＦＰ歪み補正処理によって得られた歪み補正画像に対して切り出し枠の位置変更を行うことなく（換言すれば、前回及び今回の歪み補正画像間で切り出し枠の位置を変更させることなく）、歪み補正画像の切り出し枠内画像を切り出すことで出力画像を生成する。
【０１１６】
本実施形態によっても第１実施形態と同様の効果を得ることができる。更に、ＦＰ歪みが目立ちにくいと判断される場合、或いは、ＦＰ歪み補正の誤差が大きくなる可能性が高いと判断される場合にＦＰ歪みの補正強度を弱めることで、状況に応じたＦＰ歪み補正を成すことが可能となる。特に、調整用情報に応じ、ＦＰ歪みの補正強度をゼロにしてＦＰ歪み補正処理そのものを行わないようにすれば、計算負荷の軽減及びそれに伴う消費電力の削減効果が得られる。
【０１１７】
＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１８】
［注釈１］
上述の例では、入力画像の全体画像領域を９つに分割することで入力画像に９つの動き検出ブロックを設定しているが、入力画像に設定されるべき動き検出ブロックの個数は９以外であっても良い。
【０１１９】
［注釈２］
図６を参照して上述した例では、有効画素領域３３A上の位置（ｘ，ｙ）における受光画素の出力信号は、入力画像用のメモリ領域５１A上のアドレス（ｘ，ｙ）に保存される。即ち、上述の例では、有効画素領域３３A上の各受光画素の出力信号を全て個別に読み出すことで入力画像が生成されることを想定している。但し、有効画素領域３３Aの各受光画素の出力信号を間引き読み出し又は加算読み出しすることで入力画像を生成するようにしても構わない。
【０１２０】
間引き読み出しでは、有効画素領域３３A内の一部の受光画素の出力信号のみが入力画像の画像データとして読み出される。加算読み出しでは、有効画素領域３３A内の複数の受光画素の出力信号の加算信号を１つの受光画素の出力信号とみなした上で受光画素の出力信号の読み出しが成される。間引き読み出し又は加算読み出しを用いて入力画像を生成する場合、入力画像の画素数は有効画素領域３３Aの受光画素数よりも小さくなる。
【０１２１】
［注釈３］
上述の各実施形態では、画像動き情報に基づいてＦＰ歪み補正処理を行う際、動き検出ブロックごとに算出された動きベクトルを平均化することで全体動きベクトルを算出し、全体動きベクトルに基づくＦＰ補正量にてＦＰ歪み補正処理を行うようにしている。但し、画像動き情報に基づいてＦＰ歪み補正処理を行う方法は、これに限定されない。即ち、画像動き情報に基づいてＦＰ歪み補正処理を行う場合、例えば特開２００６−１８６４８１号公報に記載された方法のように、動き検出ブロックごとに算出された動きベクトルに基づき動き検出ブロックごとにＦＰ歪み補正処理を行うようにしても良い。
【０１２２】
［注釈４］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【０１２３】
１  撮像装置
１１  撮像部
３３  撮像素子
３３A  有効画素領域
５０、５０ａ  画像補正機能部
５１  フレームメモリ
５２  画像動き検出部
５３  センサ部
５４  パン・チルト判定部
５５  ＦＰ補正量算出部
５６  補正処理部
５７  補正強度調整部
【図１】
2011114486.tif 000003
【図２】
2011114486.tif 000004
【図３】
2011114486.tif 000005
【図４】
2011114486.tif 000006
【図５】
2011114486.tif 000007
【図６】
2011114486.tif 000008
【図７】
2011114486.tif 000009
【図８】
2011114486.tif 000010
【図９】
2011114486.tif 000011
【図１０】
2011114486.tif 000012
【図１１】
2011114486.tif 000013
【図１２】
2011114486.tif 000014
【図１３】
2011114486.tif 000015
【図１４】
2011114486.tif 000016
【図１５】
2011114486.tif 000017
【図１６】
2011114486.tif 000018
【図１７】
2011114486.tif 000019
【図１８】
2011114486.tif 000020
【図１９】
2011114486.tif 000021
【図２０】
2011114486.tif 000022
【図２１】
2011114486.tif 000023
【図２２】
2011114486.tif 000024
【図２３】
2011114486.tif 000025
【図２４】
2011114486.tif 000026