(57)【要約】【課題】並進ぶれ補正及び回転ぶれ補正の強度バランスを良好化する。【解決手段】ぶれ量算出部２０において、ヨー方向又はピッチ方向のぶれである並進ぶれを検出すると共にロール方向のぶれである回転ぶれを検出し、画像処理部１５において、並進ぶれ及び回転ぶれを画像処理によって補正する。画像処理部１５は、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱く設定する。例えば、並進ぶれの積算量が基準量ＴＨ１を超えるまで並進ぶれに対する補正を停止する第１コアリング制御と、回転ぶれの積算量が基準量ＴＨ２を超えるまで回転ぶれに対する補正を停止する第２コアリング制御とを実施し、基準量ＴＨ２を基準量ＴＨ１よりも大きく設定することで、回転ぶれ補正を並進ぶれ補正よりも働きにくくする。即ち、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱くする。【選択図】図２
2012114809.tif 000002
【特許請求の範囲】
【請求項１】
レンズ部を介して入射した光に応じた信号を出力する撮像素子を用いて動画像を撮影する撮像装置において、
当該撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれを並進ぶれとして検出する並進ぶれ検出部と、
前記光軸を回転軸として当該撮像装置を回転させる回転ぶれを検出する回転ぶれ検出部と、
前記並進ぶれ検出部の検出結果に基づく並進用画像処理によって、又は、前記並進ぶれ検出部の検出結果に基づく前記レンズ部若しくは前記撮像素子の駆動によって、前記動画像の並進ぶれを補正する並進ぶれ補正部と、
前記回転ぶれ検出部の検出結果に基づく回転用画像処理によって、前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、
前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱い
ことを特徴とする撮像装置。
【請求項２】
前記並進ぶれ補正部は、前記並進ぶれの積算量が所定の並進用基準量を超えるまで前記並進ぶれに対する補正を停止する第１コアリング制御を実行し、
前記回転ぶれ補正部は、前記回転ぶれの積算量が所定の回転用基準量を超えるまで前記回転ぶれに対する補正を停止する第２コアリング制御を実行し、
当該撮像装置は、前記回転用基準量を前記並進用基準量よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を更に備え、
前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記切り出し領域の位置を並進移動させることにより前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記切り出し領域の位置を時間経過と共に所定の初期位置へと戻す並進用センタリング制御を実行し、
前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、
当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記切り出し領域の位置を前記初期位置へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を更に備え、
前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記レンズ部又は前記撮像素子を駆動することで前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記レンズ部又は前記撮像素子の状態を時間経過と共に所定の初期状態へと戻す並進用センタリング制御を実行し、
前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、
当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記レンズ部又は前記撮像素子の状態を前記初期状態へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
撮像装置の撮影によって得られた動画像の画像データを取得する画像データ取得部と、
前記動画像の撮影時における並進ぶれの検出結果を表す並進ぶれ検出データ及び前記動画像の撮影時における回転ぶれの検出結果を表す回転ぶれ検出データを取得するぶれ検出データ取得部と、
前記並進ぶれ検出データに基づく並進用画像処理によって前記動画像の並進ぶれを補正する並進ぶれ補正部と、
前記回転ぶれ検出データに基づく回転用画像処理によって前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、
前記並進ぶれは、前記撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれであり、
前記回転ぶれは、前記光軸を回転軸として前記撮像装置を回転させるぶれであり、
前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱い
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ等の撮像装置に関する。また、本発明は、撮像装置、携帯情報端末等の電子機器に関する。
【背景技術】
【０００２】
撮像装置を手で支持した状態で動画像の撮影を行うと、手ぶれによって動画像にぶれが混入することがある。撮像装置に作用するぶれは、ヨー方向のぶれ、ピッチ方向のぶれ及びロール方向のぶれに大別される。
【０００３】
ヨー方向及びピッチ方向のぶれは、撮像素子の撮像面上における被写体像の並進ぶれに近似できる。このため、ヨー方向及びピッチ方向のぶれの検出結果に応じた光学式又は電子式の並進ぶれ補正によって、画質劣化を全く或いは殆ど伴うことなく、ヨー方向及びピッチ方向のぶれを補正することが可能である。光学式の並進ぶれ補正は、例えば、ヨー方向及びピッチ方向のぶれの検出結果に応じて光学系内の補正レンズを並進駆動させることで又は撮像素子を並進駆動させることで実現される。電子式の並進ぶれ補正は、例えば、ヨー方向及びピッチ方向のぶれの検出結果に応じてフレーム間の位置ずれを電子的に補正することで実現される。
【０００４】
一方、ロール方向のぶれは、撮像面上において被写体像を回転させる回転ぶれである。撮像装置に作用したロール方向のぶれ（撮像装置の傾き）を傾斜センサで検出し、その検出結果に応じ、光軸を回転軸にして撮像素子を回転駆動することで画面の水平性を保つ方法も提案されている（例えば下記特許文献１参照）。しかしながら、この方法では、画面の水平性を保つ以外の回転ぶれ補正が不可能である。また、撮像素子を回転駆動する機構の搭載によって、撮像装置の大型化、消費電力増大等を招く。
【０００５】
これを考慮し、ロール方向のぶれは、電子式の回転ぶれ補正によって実現されることが一般的である。電子式の回転ぶれ補正では、例えば、フレーム間の回転ぶれ量を画像処理（ブロックマッチングなど）によって検出し、フレーム間の回転ぶれがキャンセルされるように、画像信号の読み出し時に回転補正を行う（例えば下記特許文献２参照）。
【０００６】
この回転補正は幾何学的変換によって実現されるが、周知の如く、回転補正のための幾何学的変換は、多少なりとも画質劣化を招く。例えば、画像の再標本化に伴う補間処理によって、ジャギーが発生したり（図２５（ａ）参照）、解像度劣化が発生したりすることが多い（図２５（ｂ）参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−３０３２７号公報
【特許文献２】特開２００８−９８９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
並進ぶれ及び回転ぶれを補正することの有益性は言うまでもないが、回転ぶれ補正によって発生しうる画質劣化を考慮すれば、それらの補正のバランスを図ることは肝要である。
【０００９】
そこで本発明は、画質及びぶれ補正について良好なバランスを有する撮像装置及び電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、レンズ部を介して入射した光に応じた信号を出力する撮像素子を用いて動画像を撮影する撮像装置において、当該撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれを並進ぶれとして検出する並進ぶれ検出部と、前記光軸を回転軸として当該撮像装置を回転させる回転ぶれを検出する回転ぶれ検出部と、前記並進ぶれ検出部の検出結果に基づく並進用画像処理によって、又は、前記並進ぶれ検出部の検出結果に基づく前記レンズ部若しくは前記撮像素子の駆動によって、前記動画像の並進ぶれを補正する並進ぶれ補正部と、前記回転ぶれ検出部の検出結果に基づく回転用画像処理によって、前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱いことを特徴とする。
【００１１】
これにより、回転ぶれ補正に伴う画質劣化を比較的低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。
【００１２】
具体的には例えば、前記並進ぶれ補正部は、前記並進ぶれの積算量が所定の並進用基準量を超えるまで前記並進ぶれに対する補正を停止する第１コアリング制御を実行し、前記回転ぶれ補正部は、前記回転ぶれの積算量が所定の回転用基準量を超えるまで前記回転ぶれに対する補正を停止する第２コアリング制御を実行し、当該撮像装置は、前記回転用基準量を前記並進用基準量よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める。
【００１３】
或いは例えば、前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を当該撮像装置に更に設けてもよい。そして例えば、前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記切り出し領域の位置を並進移動させることにより前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記切り出し領域の位置を時間経過と共に所定の初期位置へと戻す並進用センタリング制御を実行し、前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記切り出し領域の位置を前記初期位置へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める。
【００１４】
或いは例えば、前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を当該撮像装置に更に設けてもよい。そして例えば、前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記レンズ部又は前記撮像素子を駆動することで前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記レンズ部又は前記撮像素子の状態を時間経過と共に所定の初期状態へと戻す並進用センタリング制御を実行し、前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記レンズ部又は前記撮像素子の状態を前記初期状態へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める。
【００１５】
本発明に係る電子機器は、撮像装置の撮影によって得られた動画像の画像データを取得する画像データ取得部と、前記動画像の撮影時における並進ぶれの検出結果を表す並進ぶれ検出データ及び前記動画像の撮影時における回転ぶれの検出結果を表す回転ぶれ検出データを取得するぶれ検出データ取得部と、前記並進ぶれ検出データに基づく並進用画像処理によって前記動画像の並進ぶれを補正する並進ぶれ補正部と、前記回転ぶれ検出データに基づく回転用画像処理によって前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、前記並進ぶれは、前記撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれであり、前記回転ぶれは、前記光軸を回転軸として前記撮像装置を回転させるぶれであり、前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱いことを特徴とする。
【００１６】
これにより、回転ぶれ補正に伴う画質劣化を比較的低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。
【発明の効果】
【００１７】
本発明によれば、画質及びぶれ補正について良好なバランスを有する撮像装置及び電子機器を提供することが可能である。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係る撮像装置の外観図である。
【図２】図１に示される撮像装置のブロック図である。
【図３】画像空間とＸ軸及びＹ軸との関係を示す図である。
【図４】入力フレーム画像、切り出し領域及び出力フレーム画像の関係を示す図（ａ）と、切り出し領域の中心線を説明するための図（ｂ）である。
【図５】入力フレーム画像列と出力フレーム画像列との関係を示す図である。
【図６】実空間上で静止している点光源が撮像装置の撮影範囲内に位置している様子を示す図（ａ）と、点光源に対応する点像が画像空間内に形成される様子を示す図（ｂ）である。
【図７】回転ぶれ検出処理によって求められる回転角の意義を説明するための図である。
【図８】時間的に隣接する入力フレーム画像に対して、並進動きベクトル及び回転角が求められる様子を示す図である。
【図９】並進ぶれ補正の基本原理を説明するための図である。
【図１０】回転ぶれ補正の基本原理を説明するための図である。
【図１１】並進ぶれ補正のコアリング制御の採用時における、入力フレーム画像列及び出力フレーム画像列の例を示す図である。
【図１２】並進ぶれ補正のコアリング制御に関し、補正ベクトル（ＷＢｎ）に応じて切り出し領域が設定される様子を示す図である。
【図１３】並進ぶれ補正のコアリング制御に関し、積算ベクトル（ＷＡｎ）と補正ベクトル（ＷＢｎ）との関係を示す図である。
【図１４】回転ぶれ補正のコアリング制御の採用時における、入力フレーム画像列及び出力フレーム画像列の例を示す図である。
【図１５】回転ぶれ補正のコアリング制御に関し、補正回転角（ＷＤｎ）に応じて切り出し領域が設定される様子を示す図である。
【図１６】回転ぶれ補正のコアリング制御に関し、積算回転角（ＷＣｎ）と補正回転角（ＷＤｎ）との関係を示す図である。
【図１７】ヨー方向のぶれにより画像空間上において点像が移動する様子を示した図（ａ）と、ロール方向のぶれにより画像空間上において点像が移動する様子を示した図（ｂ）である。
【図１８】ロール方向のぶれにより各画素が回転移動する様子を示した図である。
【図１９】本発明の第２実施形態に係り、レンズ部に補正レンズが設けられる様子を示した図である。
【図２０】本発明の第３実施形態に係り、並進ぶれ補正によって切り出し領域の端部が入力フレーム画像の端部と接触している様子を示す図（ａ）及び回転ぶれ補正によって切り出し領域の角部分が入力フレーム画像の端部と接触している様子を示す図（ｂ）である。
【図２１】並進ぶれ補正のセンタリング制御に関し、積分ベクトル（Ｓｎ）に応じて切り出し領域が設定される様子を示す図である。
【図２２】回転ぶれ補正のセンタリング制御に関し、積分回転角（φｎ）に応じて切り出し領域が設定される様子を示す図である。
【図２３】本発明の第３実施形態に係り、減衰係数のズーム倍率依存性を示す図である。
【図２４】本発明の第４実施形態に係り、並進ぶれ補正のために補正レンズの位置が制御される様子を示した図である。
【図２５】電子式の回転ぶれ補正の様子を表す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２０】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の外観図である。図２は、撮像装置１のブロック図である。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。
【００２１】
撮像装置１は、丸みを帯びた直方体状の主筐体２と板状の副筐体３とを連結部を介して接合して形成される。副筐体３には、表示装置としてのモニタ１６が備え付けられている。ユーザは、通常、主筐体２を手で持った状態で、静止画像又は動画像の撮影を撮像装置１に行わせる。この際、主筐体２を把持する手がぶれることにより主筐体２がぶれ、結果、撮影によって得られる静止画像又は動画像にぶれが発生しうる。このようなぶれは、一般に手ぶれとも呼ばれる。以下では、主筐体２のぶれを、撮像装置１のぶれとも呼ぶ。
【００２２】
レンズ部１１及び撮像素子１２は主筐体２内に配置される。図１において、軸３００は、撮像装置１の光軸を表している。軸３０１及び軸３０２は主筐体２を通過する軸である。光軸３００並びに軸３０１及び３０２は、互いに直交する。軸３０１及び３０２は撮像素子１２の撮像面に平行である。光軸３００は、撮像素子１２の撮像面に直交し、光軸３００並びに軸３０１及び３０２は、撮像素子１２の撮像面の中心で交わる。
【００２３】
撮像装置１の初期姿勢（換言すれば、主筐体２の初期姿勢）を以下のように定義する。撮像装置１の初期姿勢では、軸３０１が重力の働く方向である鉛直線と平行であって、光軸３００及び３０２が水平線（鉛直線に直交する線）と平行である。
【００２４】
撮像装置１のぶれには、ヨー方向のぶれ、ピッチ方向のぶれ及びロール方向のぶれが含まれる。
ヨー方向のぶれは、軸３０１を回転軸として主筐体２を回転させるぶれである。
ピッチ方向のぶれは、軸３０２を回転軸として主筐体２を回転させるぶれである。
ロール方向のぶれは、光軸３００を回転軸として主筐体２を回転させるぶれである。
【００２５】
初期姿勢を基準として撮像装置１にヨー方向のぶれを与えれば、光軸３００は水平面に平行な面上で回転し、初期姿勢を基準として撮像装置１にピッチ方向のぶれを与えれば、光軸３００は鉛直面に平行な面上で回転する。撮像装置１にて様々なぶれ補正を行うことができるが、ぶれ補正を行わない場合、ヨー方向のぶれによって撮像素子１２上に結像する像は左右方向（撮像素子１２の水平方向）に移動し、ピッチ方向のぶれによって撮像素子１２上に結像する像は上下方向（撮像素子１２の垂直方向）に移動し、ロール方向のぶれによって撮像素子１２上に結像する像は撮像素子１２上で回転する。
【００２６】
図２に示される各部位の機能説明の前に、図３、図４（ａ）及び（ｂ）等を参照して、ぶれ補正の方法について説明する。以下の説明において、任意の画像を表すデータを画像データと呼ぶ。画像データは、映像信号の一種である。
【００２７】
図３には、二次元の画像空間３２０が示されている。画像空間３２０は、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）の二次元座標系上に定義される。ここでは、画像空間３２０が、撮像素子１２の有効画素領域と一致していると考える。有効画素領域に形成された画像を表すデータが、図２の画像メモリ１４に格納される。従って、画像空間３２０は、画像メモリ１４に形成されたメモリ空間であるとも言える。
【００２８】
画像空間３２０内の画像データから形成される１フレーム分の画像を、入力フレーム画像ＦＩと呼ぶ。図４（ａ）に、入力フレーム画像ＦＩの例が示されている。Ｘ軸は、画像空間３２０及び入力フレーム画像ＦＩの水平方向に沿った軸であり、Ｙ軸は、画像空間３２０及び入力フレーム画像ＦＩの垂直方向に沿った軸である。画像空間３２０の中心を記号Ｏにて表す。原点Ｏは、入力フレーム画像ＦＩの中心でもあると共に、Ｘ軸及びＹ軸間の交点でもある。画像空間３２０内に配置された何れかの画素である画素３２１の位置を（ｘ，ｙ）にて表す。画素３２１は、入力フレーム画像ＦＩの画素でもある。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３２１のＸ軸及びＹ軸方向の座標値である。画像空間３２０及び入力フレーム画像ＦＩにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３２１の位置が（ｘ，ｙ）である場合、画素３２１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００２９】
撮像装置１は電子式ぶれ補正を実行することができる。電子式ぶれ補正においては、入力フレーム画像ＦＩ内に切り出し領域ＣＲが設定される。そして、矩形領域である切り出し領域ＣＲ内の画像を出力フレーム画像ＦＯとして切り出し（換言すれば、切り出し領域ＣＲ内の画像データを出力フレーム画像ＦＯの画像データとして抽出し）、出力フレーム画像ＦＯを動画像を形成するフレーム画像として生成することでぶれ補正を実現する。切り出し領域ＣＲは、入力フレーム画像ＦＩの全画像領域よりも小さい。このため、切り出し領域ＣＲ及び出力フレーム画像ＦＯの画像サイズは入力フレーム画像ＦＩの画像サイズよりも小さい（換言すれば、切り出し領域ＣＲ及び出力フレーム画像ＦＯの画角は入力フレーム画像ＦＩの画角よりも小さい）。
【００３０】
切り出し領域ＣＲの外形である矩形の４辺の内、互いに対向しあう２辺の夫々の中点を、図４（ｂ）に示す如く、記号ＣＲＬＣ１及びＣＲＬＣ２にて表す。中点ＣＲＬＣ１及びＣＲＬＣ２間を結ぶ方向は、切り出し領域ＣＲの垂直方向に対応すると共に出力フレーム画像ＦＯの垂直方向にも対応する。中点ＣＲＬＣ１及びＣＲＬＣ２間を結ぶ直線を中心線ＣＲＣと呼ぶ。
【００３１】
撮像装置１は、所定のフレーム周期（例えば、１／６０秒）にて次々と静止画像の撮影を行うことにより、時系列で並んだ入力フレーム画像を次々と生成することができる。時刻を表す記号ｔｉを導入する（ｉは整数）。時刻ｔｉは時刻ｔｉ−１よりも後の時刻であり、時刻ｔｉ−１及びｔｉ間の時間間隔はフレーム周期と一致しているものとする。図５に示す如く、時刻ｔｉにおける撮影によって得られた入力フレーム画像ＦＩを特に記号ＦＩ［ｉ］によって表し、入力フレーム画像ＦＩ［ｉ］に設定される切り出し領域ＣＲを特に記号ＣＲ［ｉ］によって表し、切り出し領域ＣＲ［ｉ］内の画像である出力フレーム画像ＦＯを特に記号ＦＯ［ｉ］にて表す。
【００３２】
時系列で並んだ画像の集まりを画像列とも呼ぶ。従って、入力フレーム画像列は、複数の入力フレーム画像（例えば、ＦＩ［１］〜ＦＩ［ｎ］）から成り、出力フレーム画像列は、複数の出力フレーム画像（例えば、ＦＯ［１］〜ＦＯ［ｎ］）から成る。画像列は動画像であるとも言える。入力フレーム画像列としての動画像を特に入力動画像と呼び、出力フレーム画像列としての動画像を特に出力動画像と呼ぶ。
【００３３】
今、図６（ａ）に示す如く、実空間上で静止している点光源ＰＲＥＡＬが撮像装置１の撮影範囲内に位置していることを想定する。そして、図６（ｂ）に示す如く、点光源ＰＲＥＡＬが撮像素子１２の有効画素領域上で形成する像、即ち、画像空間３２０における点光源ＰＲＥＡＬの像を点像ＰＩと呼ぶ。尚、説明の便宜上、点像ＰＩは画像空間３２０の原点Ｏには位置していないものとする。
【００３４】
第１実施形態では、光学式ぶれ補正が成されないことを想定する。そうすると、ヨー方向のぶれが撮像装置１に作用したとき、点像ＰＩは画像空間３２０上及び入力動画像上において水平方向に沿って移動し、ピッチ方向のぶれが撮像装置１に作用したとき、点像ＰＩは画像空間３２０上及び入力動画像上において垂直方向に沿って移動し、ロール方向のぶれが撮像装置１に作用したとき、点像ＰＩは画像空間３２０上及び入力動画像上において原点Ｏ周りに回転する。
【００３５】
ヨー方向及びピッチ方向のぶれを、まとめて並進ぶれとも呼び、ロール方向のぶれを回転ぶれとも呼ぶ。撮像装置１は、並進ぶれの向き及び大きさを所定の検出周期で検出する並進ぶれ検出処理と、回転ぶれの向き及び大きさを所定の検出周期で検出する回転ぶれ検出処理と、を実行可能である。図２のぶれ量算出部２０において、並進ぶれ検出処理及び回転ぶれ検出処理を成すことができる。従って、ぶれ量算出部２０には、並進ぶれ検出部と回転ぶれ検出部が含まれていると考えることができる。
【００３６】
並進ぶれ検出処理では、並進ぶれの向き及び大きさを表す並進動きベクトルが求められる。時刻ｔｉ−１及びｔｉ間の並進動きベクトルは、時刻ｔｉ−１及びｔｉ間において撮像装置１に作用した並進ぶれの向き及び大きさを表すベクトル量であると共に、画像空間３２０上及び入力動画像上における、時刻ｔｉ−１及びｔｉ間の点像ＰＩの移動の向き及び大きさを表す。図２の画像メモリ１４に、入力フレーム画像の画像データを必要枚数分だけ保存しておくことができ、保存されている画像データはぶれ量算出部２０及び画像処理部１５に送られる。
【００３７】
回転ぶれ検出処理では、回転ぶれによる回転角（回転ぶれ角）θが求められる。時刻ｔｉ−１及びｔｉ間の回転角θは、時刻ｔｉ−１及びｔｉ間において撮像装置１に作用したロール方向のぶれを表す。図７を参照して回転角θの意義を更に説明する。今、時刻ｔｉ−１における点像ＰＩの位置が位置３４１であり、時刻ｔｉ−１及びｔｉ間に作用した回転ぶれによって、時刻ｔｉにおける点像ＰＩの位置が位置３４１から位置３４２へと変化した場合を想定する。線分３５１は原点Ｏ及び位置３４１間を結ぶ線分であり、線分３５２は原点Ｏ及び位置３４２間を結ぶ線分である。このとき、画像空間３２０において、線分３５１と線分３５２とが成す鋭角が回転角θである。線分３５１から時計回り方向に線分３５２を見たときの角度が正の値を持ち、線分３５１から反時計回り方向に線分３５２を見たときの角度が負の値を持つものとする。即ち、図７において、原点Ｏを支点として線分３５１を時計回り方向に１８０度未満だけ回転させることで線分３５１が線分３５２に一致する場合、回転角θは正であり、原点Ｏを支点として線分３５１を反時計回り方向に１８０度未満だけ回転させることで線分３５１が線分３５２に一致する場合、回転角θは負である。
【００３８】
ぶれ量算出部２０は、時間的に隣接する入力フレーム画像の画像データに基づき、時間的に隣接する入力フレーム画像間のオプティカルフローを導出し、導出したオプティカルフローから並進動きベクトルを求めることができる。また、撮像装置１に作用したヨー方向のぶれを検出する第１センサ（角速度センサなど；不図示）及び撮像装置１に作用したピッチ方向のぶれを検出する第２センサ（角速度センサなど；不図示）をぶれ量算出部２０に設けておき、第１及び第２センサの検出結果から並進動きベクトルを求めるようにしてもよい。ぶれ量算出部２０は、上述のオプティカルフローから回転角θを導出することもでき、その導出に任意の公知の方法（例えば、特開平１１−１９５１２５号公報又は特開２００８-２３６２８９号公報に記載の方法）を用いることができる。また、撮像装置１に作用したロール方向のぶれを検出する第３センサ（角速度センサなど；不図示）をぶれ量算出部２０に設けておき、第３センサの検出結果から回転角θを求めるようにしてもよい。
【００３９】
図８に示す如く、時刻ｔｉ−１及びｔｉ間の並進動きベクトル（換言すれば、入力フレーム画像ＦＩ［ｉ−１］及びＦＩ［ｉ］間の並進動きベクトル）を、特に記号Ｖｉにて表し、時刻ｔｉ−１及びｔｉ間の回転角θ（換言すれば、入力フレーム画像ＦＩ［ｉ−１］及びＦＩ［ｉ］間の回転角θ）を、特に記号θｉにて表す。
【００４０】
図２の各部位の動作について説明する。撮像装置１には、図２の符号１１〜２４によって参照される各部位を備える。被写体からの光はレンズ部１１を通過して撮像素子１２に入射する。レンズ部１１は、複数のレンズから成り、被写体の光学像を撮像素子１２上に結像させる。撮像素子１２は、レンズ部１１を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ（Analog Front End）１３に出力する。ＡＦＥ１３は、撮像素子１２から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１３は、このデジタル信号をＲＡＷデータとして出力する。ＲＡＷデータも画像データの一種である。画像メモリ１４は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、ＲＡＷデータによって表される入力フレーム画像を必要枚数分だけ保存する。ＲＡＷデータに対して所定の画像処理（デモザイキング処理など）を施すことで、ＲＡＷデータ形式の画像データを、輝度信号及び色差信号から成るＹＵＶ形式の画像データに変換し、ＹＵＶ形式の画像データを画像メモリ１４に保存するようにしても良い。
【００４１】
ぶれ量算出部２０は、上述の並進ぶれ検出処理及び回転ぶれ検出処理を実行することで、時間的に隣接する入力フレーム画像間の並進動きベクトル及び回転角を求める。ぶれ量積算部２１は、ぶれ量算出部２０にて求められた複数個分の並進動きベクトルを積算する処理と、ぶれ量算出部２０にて求められた複数個分の回転角を積算する処理と、を実行することができる。ぶれ量補正量決定部２２は、ぶれ量積算部２１の積算結果に基づき、ぶれに対する補正量を決定する。補正量の決定に、ぶれ量算出部２０にて求められた並進動きベクトル及び回転角を利用することもできる。上述の積算の方法及び補正量の決定方法については後に詳説する。
【００４２】
画像処理部１５は、ぶれ量補正量決定部２２にて決定された補正量に応じて切り出し領域を入力フレーム画像内に設定することで、電子式ぶれ補正を実現する。電子式ぶれ補正の成されたフレーム画像が出力フレーム画像である。画像処理部１５は、電子式ぶれ補正の他、様々な画像処理（ノイズ低減処理など）も行い、その画像処理後の出力フレーム画像の画像データを出力する。画像メモリ１４に保存されている画像データがＲＡＷデータ形式の画像データである場合には、ＲＡＷデータ形式の画像データをＹＵＶ形式の画像データに変換する処理も、画像処理部１５にて実行される。
【００４３】
モニタ１６は、液晶ディスプレイパネル等から成る表示装置であり、画像処理部１５から出力される画像データに基づく静止画像又は動画像を表示することができる。例えば、電子式ぶれ補正の成された出力動画像をモニタ１６に表示することができる。圧縮部１７は、画像処理部１５から出力される画像データを所定の圧縮方式を用いて圧縮する。記録媒体１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮部１７によって圧縮された画像データを記録することができる。伸張部１９は、記録媒体１８から読み出された圧縮画像データを伸張する。伸張後の画像データをモニタ１６に送ることで、記録媒体１８に記録された任意の画像をモニタ１６にて表示することができる。操作部２３は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン、静止画像の撮影及び記録を指示するためのシャッタボタン等を有し、ユーザによる各種操作を受け付ける。操作部２３に対する操作内容は主制御部２４に伝達される。主制御部２４は、操作部２３に対する操作の内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。
【００４４】
画像処理部１５にて成される電子式ぶれ補正には、並進ぶれ補正と回転ぶれ補正が含まれる。並進用画像処理によって並進ぶれ補正を成す並進ぶれ補正部と、回転用画像処理によって回転ぶれ補正を成す回転ぶれ補正部とが、画像処理部１５に内包されていると考えることができる。更に、切り出し領域ＣＲ内の画像データから出力フレーム画像ＦＯを生成するフレーム生成部も、画像処理部１５に内包されていると考えることができる。出力動画像は、並進ぶれ補正及び回転ぶれ補正が成された後の動画像に相当する。
【００４５】
[並進及び回転ぶれ補正の基本原理]
図９を参照して、並進ぶれ補正の基本原理を説明する。図９において、画像４０１及び４０２はそれぞれ入力フレーム画像ＦＩ［１］及びＦＩ［２］の例である。領域４１１及び４１２は、夫々、入力フレーム画像４０１及び４０２に設定された切り出し領域である。画像４２１及び４２２は、夫々、切り出し領域４１１内の画像及び切り出し領域４１２内の画像である。即ち、画像４２１及び４２２は、夫々、入力フレーム画像４０１及び４０２に基づく出力フレーム画像である。尚、図９の例に限らず、時刻ｔｉにおける切り出し領域ＣＲ［ｉ］の中心位置を（ｘｉ，ｙｉ）にて表す。位置（ｘｉ，ｙｉ）は、画像空間３２０及び任意の入力フレーム画像ＦＩにおける位置である（図３及び図４（ａ）参照）。図９の例に限らず、時刻ｔ１において、切り出し領域ＣＲの中心位置は原点Ｏと一致している。入力フレーム画像４０１及び４０２間の並進動きベクトルがＶＡであるとき、位置（ｘ１，ｙ１）から並進動きベクトルＶＡの向きに並進動きベクトルＶＡの大きさだけ移動した位置に、切り出し領域４１２の中心位置（ｘ２，ｙ２）が設定される。これにより、並進ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消される。即ち、並進ぶれの補正が成される。
【００４６】
このように、並進ぶれ補正では、並進ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消されるように、並進動きベクトルに基づき切り出し領域ＣＲの中心位置を並進移動させる。図９の例では、並進ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されているが、その動きの一部のみを打ち消すようにしても良い。
【００４７】
図１０を参照して、回転ぶれ補正の基本原理を説明する。図１０において、画像４５１及び４５２はそれぞれ入力フレーム画像ＦＩ［１］及びＦＩ［２］の例である。領域４６１及び４６２は、夫々、入力フレーム画像４５１及び４５２に設定された切り出し領域である。画像４７１及び４７２は、夫々、切り出し領域４６１内の画像及び切り出し領域４６２内の画像である。即ち、画像４７１及び４７２は、夫々、入力フレーム画像４５１及び４５２に基づく出力フレーム画像である。図１０の例に限らず、時刻ｔ１において、切り出し領域ＣＲの中心線ＣＲＣ（図４（ｂ）参照）は入力フレーム画像ＦＩの垂直方向を向いている。図１０の例において、時刻ｔ１及びｔ２間に並進ぶれは発生しておらず、結果、切り出し領域４６１の中心位置（ｘ１，ｙ１）と切り出し領域４６２の中心位置（ｘ２，ｙ２）は同じである。また上述したように、時刻ｔ１において切り出し領域ＣＲの中心位置（ｘ１，ｙ１）は原点Ｏと一致している。入力フレーム画像４０１及び４０２間の回転角がθＡであるとき、原点Ｏを支点として切り出し領域４６１を回転角θＡだけ回転させ、その回転後の切り出し領域４６１を切り出し領域４６２として入力フレーム画像４５２に設定する。これにより、回転ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消される。即ち、回転ぶれの補正が成される。
【００４８】
このように、回転ぶれ補正では、回転ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消されるように、回転角θに基づき切り出し領域ＣＲを原点Ｏを支点にして回転させる。図１０の例では、回転ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されているが、その動きの一部のみを打ち消すようにしても良い。
【００４９】
[並進ぶれ補正のコアリング制御]
画像処理部１５は、上述の基本原理に従う並進ぶれ補正及び回転ぶれ補正を実行しつつ、コアリング制御を実行することができる。
【００５０】
図１１〜図１３を参照して、並進ぶれ補正に対するコアリング制御を説明する。図１１において、画像５０１〜５０４はそれぞれ入力フレーム画像ＦＩ［１］〜ＦＩ［４］の例である。領域５１１〜５１４は、夫々、入力フレーム画像５０１〜５０４に設定された切り出し領域である。画像５２１〜５２４は、夫々、切り出し領域５１１〜５１４内の画像である。即ち、画像５２１〜５２４は、夫々、入力フレーム画像５０１〜５０４に基づく出力フレーム画像である。
【００５１】
図２のぶれ量積算部２１は、並進ぶれ補正に対するコアリング制御に必要な積算ベクトルＷＡｎを算出する。積算ベクトルＷＡｎは、時刻ｔ１及びｔｎ間における並進ぶれの積算量を表し、下記式（Ａ１）に従って求められる。即ち、積算ベクトルＷＡｎは、並進動きベクトルＶ２〜Ｖｎの合成ベクトルである。従って、並進動きベクトルＶ２が得られた時点における積分ベクトルＷＡｎ（＝ＷＡ２）はベクトルＶ２であり、並進動きベクトルＶ３が得られた時点における積分ベクトルＷＡｎ（＝ＷＡ３）はベクトル（Ｖ２＋Ｖ３）であり、並進動きベクトルＶ４が得られた時点における積分ベクトルＷＡｎ（＝ＷＡ４）はベクトル（Ｖ２＋Ｖ３＋Ｖ４）である。
【００５２】
【数１】
2012114809.tif 000003
【００５３】
ぶれ補正量決定部２２は、積算ベクトルＷＡｎから、並進ぶれの補正量を表す補正ベクトルＷＢｎを求める。画像処理部１５は、補正ベクトルＷＢｎに応じた位置に切り出し領域を設定する。即ち、図１２に示す如く、原点Ｏ（即ち、位置（ｘ１，ｙ１））から補正ベクトルＷＢｎの向きに補正ベクトルＷＢｎの大きさだけ移動した位置に、切り出し領域ＣＲ［ｎ］の中心位置（ｘｎ，ｙｎ）を設定する。仮に、積算ベクトルＷＡｎと補正ベクトルＷＢｎとが同じであるならば、並進ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されることとなる。
【００５４】
しかしながら、並進ぶれ補正にコアリング制御を含める場合、ベクトルＷＡｎ及びＷＢｎは互いに異なりうる。図１３に、ベクトルＷＡｎ及びＷＢｎ間の関係例を示す。並進ぶれ補正に対するコアリング制御では、積算ベクトルＷＡｎの大きさが所定の基準量ＴＨ１以下であるとき、補正ベクトルＷＢｎの大きさをゼロに設定する（ＴＨ１＞０）。即ち、並進ぶれ補正にコアリング制御では、並進ぶれの積算量を表す積算ベクトルＷＡｎの大きさが所定の基準量（並進用基準量）ＴＨ１を超えるまで並進ぶれに対する補正が停止される。
【００５５】
積算ベクトルＷＡｎの大きさが基準量ＴＨ１よりも大きいとき、下記式（Ａ２）に従って補正ベクトルＷＢｎを求めることができる。ここで、ｋＡは、不等式「０＜ｋＡ≦１」を満たすスカラー係数である。積算ベクトルＷＡｎの大きさが基準量ＴＨ１より増大するに従って、補正ベクトルＷＢｎ及び積算ベクトルＷＡｎ間の差が徐々に減少してゆくように係数ｋＡの値を積算ベクトルＷＡｎに応じて変化させても良い。
ＷＢｎ＝ｋＡ・ＷＡｎ    …（Ａ２）
【００５６】
図１１の例では、ベクトルＶ２の大きさ及びベクトル（Ｖ２＋Ｖ３）の大きさが共に基準量ＴＨ１以下であるため、それらのベクトルの大きさがゼロでなくとも、切り出し領域５１２の中心位置（ｘ２，ｙ２）及び切り出し領域５１３の中心位置（ｘ３，ｙ３）は、切り出し領域５１１の中心位置（ｘ１，ｙ１）と一致せしめられている。但し、ベクトル（Ｖ２＋Ｖ３＋Ｖ４）の大きさが基準量ＴＨ１よりも大きいため、切り出し領域５１４の中心位置（ｘ４，ｙ４）は、補正ベクトルＷＢ４分だけ中心位置（ｘ１，ｙ１）から移動せしめられる。
【００５７】
[回転ぶれ補正のコアリング制御]
次に、図１４〜図１６を参照して、回転ぶれ補正に対するコアリング制御を説明する。図１４において、画像５５１〜５５４はそれぞれ入力フレーム画像ＦＩ［１］〜ＦＩ［４］の例である。領域５６１〜５６４は、夫々、入力フレーム画像５５１〜５５４に設定された切り出し領域である。画像５７１〜５７４は、夫々、切り出し領域５６１〜５６４内の画像である。即ち、画像５７１〜５７４は、夫々、入力フレーム画像５５１〜５５４に基づく出力フレーム画像である。
【００５８】
図２のぶれ量積算部２１は、回転ぶれ補正に対するコアリング制御に必要な積算回転角ＷＣｎを算出する。積算回転角ＷＣｎは、時刻ｔ１及びｔｎ間における回転ぶれの積算量を表し、下記式（Ａ３）に従って求められる。即ち、積算回転角ＷＣｎは、回転角θ２〜θｎの合成角である。従って、回転角θ２が得られた時点における積算回転角ＷＣｎ（＝ＷＣ２）は回転角θ２であり、回転角θ３が得られた時点における積算回転角ＷＣｎ（＝ＷＣ３）は角度（θ２＋θ３）であり、回転角θ４が得られた時点における積算回転角ＷＣｎ（＝ＷＣ４）は角度（θ２＋θ３＋θ４）である。
【００５９】
【数２】
2012114809.tif 000004
【００６０】
ぶれ補正量決定部２２は、積算回転角ＷＣｎから、回転ぶれの補正量を表す補正回転角ＷＤｎを求める。画像処理部１５は、補正回転角ＷＤｎに応じて切り出し領域を設定する。即ち、図１５に示す如く、原点Ｏを支点として、初期角度状態の切り出し領域ＣＲを補正回転角ＷＤｎだけ回転させ、その回転後の切り出し領域ＣＲを入力フレーム画像ＦＩ［ｎ］の切り出し領域ＣＲ［ｎ］に設定する。入力フレーム画像ＦＩ上における中心線ＣＲＣの傾き状態を切り出し領域ＣＲの角度状態と呼び、中心線ＣＲＣが入力フレーム画像ＦＩの垂直方向に向いており且つ中点ＣＲＬＣ１のＹ座標値が負である角度状態を、初期角度状態と呼ぶ（図３、図４（ａ）及び（ｂ）参照）。時刻ｔ１における切り出し領域ＣＲの角度状態は初期角度状態である。故に、入力フレーム画像ＦＩ［１］の切り出し領域ＣＲ［１］（図１４の例において切り出し領域５６１）の角度状態は初期角度状態である。仮に、積算回転角ＷＣｎと補正回転角ＷＤｎとが同じであるならば、回転ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されることとなる。
【００６１】
しかしながら、回転ぶれ補正にコアリング制御を含める場合、回転角ＷＣｎ及びＷＤｎは互いに異なりうる。図１６に、回転角ＷＣｎ及びＷＤｎ間の関係例を示す。回転ぶれ補正に対するコアリング制御では、積算回転角ＷＣｎの大きさが所定の基準量ＴＨ２以下であるとき、補正回転角ＷＤｎをゼロに設定する（ＴＨ２は正の角度を有する）。即ち、回転ぶれ補正にコアリング制御では、回転ぶれの積算量を表す積算回転角ＷＣｎの大きさが所定の基準量（回転用基準量）ＴＨ２を超えるまで回転ぶれに対する補正が停止される。
【００６２】
積算回転角ＷＣｎの大きさが基準量ＴＨ２よりも大きいとき、下記式（Ａ４）に従って補正回転角ＷＤｎを求めることができる。ここで、ｋＣは、不等式「０＜ｋＣ≦１」を満たすスカラー係数である。積算回転角ＷＣｎの大きさが基準量ＴＨ２より増大するに従って、補正回転角ＷＤｎ及び積算回転角ＷＣｎ間の差が徐々に減少してゆくように係数ｋＣの値を積算回転角ＷＣｎに応じて変化させても良い。
ＷＤｎ＝ｋＣ・ＷＣｎ    …（Ａ４）
【００６３】
図１４の例では、回転角θ２の大きさ及び合成角度（θ２＋θ３）の大きさが共に基準量ＴＨ２以下であるため、それらの角度の大きさがゼロでなくとも、入力フレーム画像５５１〜５５３間において切り出し領域は回転せしめられない。但し、合成角度（θ２＋θ３＋θ４）の大きさが基準量ＴＨ２よりも大きいため、入力フレーム画像５５１の切り出し領域５６１の角度を基準として、補正回転角ＷＤ４だけ入力フレーム画像５５４の切り出し領域５６４が回転せしめられている。
【００６４】
[基準量ＴＨ１及びＴＨ２の関係について]
撮像装置１では、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱くするべく、回転ぶれ用の基準量ＴＨ２を並進ぶれ用の基準量ＴＨ１よりも大きく設定している。基準量ＴＨ１及びＴＨ２間の大小関係について説明を加える。説明の簡略化のため、並進ぶれがヨー方向のぶれであることを想定する。
【００６５】
時刻ｔ１及びｔｎ間において撮像装置１をヨー方向に基準角度ε１だけ回転させるケース（以下、第１ケースという）を考える。第１ケースでは、時刻ｔｎにおいて積算ベクトルＷＡｎが基準量ＴＨ１と一致するものとする。また、第１ケースでは、図１７（ａ）に示す如く、画像空間３２０上の点像ＰＩの位置が時刻ｔ１及びｔｎ間で位置６０１から位置６０２へと移動する（図６（ｂ）も参照）。位置６０１及び６０２間の距離は、積算ベクトルＷＡｎの大きさと一致すると共に基準量ＴＨ１とも一致する。位置６０１及び６０２間の距離は、基準角度ε１に相当する距離である。つまり、基準角度ε１を、画像空間３２０上の距離に換算した値が基準量ＴＨ１である。逆に考えれば、基準量ＴＨ１を撮像装置１の回転角に換算した値が基準角度ε１である。
【００６６】
次に、時刻ｔ１及びｔｎ間において撮像装置１をロール方向に基準角度ε２だけ回転させるケース（以下、第２ケースという）を考える。第２ケースでは、時刻ｔｎにおいて積算回転角ＷＣｎが基準量ＴＨ２と一致するものとする。第２ケースでは、図１７（ｂ）に示す如く、画像空間３２０上の点像ＰＩの位置が時刻ｔ１及びｔｎ間で位置６１１から位置６１２へと移動する。位置６１１及び６１２間の直線距離、又は、点像ＰＩの位置が位置６１１から６１２へ至る過程における点像ＰＩの軌跡の長さは、基準角度ε２に相当する距離である。つまり、基準角度ε２を、画像空間３２０上の距離に換算した値が基準量ＴＨ２である。逆に考えれば、基準量ＴＨ２を撮像装置１の回転角に換算した値が基準角度ε２である。
【００６７】
撮像素子１２のサイズ及びレンズ部１１の焦点距離が与えられれば、基準角度ε１及びε２を基準量ＴＨ１及びＴＨ２に変換することができると共に基準量ＴＨ１及びＴＨ２を基準角度ε１及びε２に変換することができる。
【００６８】
並進ぶれをヨー方向のぶれに限定した場合、並進ぶれ補正に対するコアリング制御とは、撮像装置１のヨー方向への回転角が基準角度ε１を超えるまで並進ぶれに対する補正を停止する処理に相当する。一方、回転ぶれ補正に対するコアリング制御とは、撮像装置１のロール方向への回転角が基準角度ε２を超えるまで回転ぶれに対する補正を停止する処理に相当する。ここで、“ε１＜ε２”が成立するように基準量ＴＨ１及びＴＨ２が設定されている。従って、基準角度ε２に相当する基準量ＴＨ２は基準角度ε１に相当する基準量ＴＨ１よりも大きい。例えば、ε１＝３°且つε２＝５°であり、基準量ＴＨ１は６画素分の距離であると共に基準量ＴＨ２は１０画素分の距離に相当する。
【００６９】
並進ぶれに対する補正は、撮像装置１のヨー方向への回転角が比較的小さな基準角度ε１を超えると実行されるのに対し、回転ぶれに対する補正は、撮像装置１のロール方向への回転角が比較的大きな基準角度ε２を超えるまで停止される。このため、回転ぶれに対する補正強度は、並進ぶれに対する補正強度よりも弱いと言える。
【００７０】
尚、積算回転角ＷＣｎを基準量ＴＨ２とそのまま比較する場合、基準量ＴＨ２の単位は角度に設定されるが、積算回転角ＷＣｎを、距離を単位とする動き量ＷＣ’ｎに変換してから基準量ＴＨ２と比較するようにしても良い。入力フレーム画像上の注目画素を積算回転角ＷＣｎだけ回転させると、当該注目画素は入力フレーム画像上で距離ＤＤだけ移動する。入力フレーム画像の全画素に対する距離ＤＤの平均値を動き量ＷＣ’ｎとして求めることできる。図１８において、軌跡６３１は、入力フレーム画像上の注目画素を積算回転角ＷＣｎだけ回転させたときの当該注目画素の移動軌跡であり、軌跡６３１の長さは、多数存在する距離ＤＤの１つである。撮像素子１２のサイズ及びレンズ部１１の焦点距離を用いれば、積算回転角ＷＣｎを距離ＤＤに変換することができる。積算回転角ＷＣｎを動き量ＷＣ’ｎに変換してから基準量ＴＨ２と比較する場合、基準量ＴＨ２を画像上の距離として定義することができる。この場合も、勿論、“ＴＨ１＜ＴＨ２”であり、故に、回転ぶれに対する補正強度は、並進ぶれに対する補正強度よりも弱い。
【００７１】
本実施形態によれば、コアリング制御における基準量を適切に設定することで回転ぶれに対する補正強度が比較的弱く設定される。このため、回転ぶれ補正に伴う画質劣化を低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。
【００７２】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態では、第１実施形態に適用可能な変形技術を説明する。並進ぶれ補正が電子式ぶれ補正によって実現される方法を第１実施形態にて述べたが、第１実施形態において並進ぶれ補正は光学式ぶれ補正であっても良い。並進ぶれ補正に光学式ぶれ補正が用いられる場合、画像処理部１５において並進ぶれ補正のための画像処理（即ち、切り出し領域ＣＲの並進移動）は成されない。
【００７３】
光学式ぶれ補正の方法として、公知の方法を利用可能である。例えば、図１９に示す如くレンズ部１１に補正レンズＬＣを設けておき、補正レンズＬＣを光軸３００の直交面に沿って移動できるようにレンズ部１１を形成しておく。光軸３００の直交面に沿って補正レンズＬＣを移動させると点光源ＰＲＥＡＬの点像ＰＩの位置が画像空間３２０上で移動し、点像ＰＩの移動の向き及び大きさは、補正レンズＬＣの移動の向き及び大きさに依存して定まる。従って、補正ベクトルＷＢｎに基づき補正レンズＬＣを光軸３００の直交面に沿って移動させることで、並進ぶれに基づく被写体の動きを入力フレーム画像列上において完全に又は部分的に打ち消すことができる。
【００７４】
補正ベクトルＷＢｎに応じて補正レンズＬＣを移動させる代わりに、補正ベクトルＷＢｎに応じて撮像素子１２を光軸３００の直交面に沿って移動させ、これによって、補正ベクトルＷＢｎに応じて補正レンズＬＣを移動させたときと同様の光学式ぶれ補正を実現しても良い。或いは、レンズ部１１内に補正レンズＬＣの代わりにバリアングルプリズム（不図示）を設けておき、補正ベクトルＷＢｎに応じてバリアングルプリズムの屈折角を制御することで光学式ぶれ補正を実現しても良い。並進ぶれ補正に光学式ぶれ補正が用いられる場合、並進ぶれ補正を成す並進ぶれ補正部は、補正レンズＬＣ、撮像素子１２若しくはバリアングルプリズムを駆動するドライバ（不図示）によって構成される、又は、該ドライバを制御する主制御部２４によって構成される。
【００７５】
尚、並進ぶれ補正を光学式ぶれ補正にて実現する場合においても、第１実施形態と同様、時刻ｔｉ−１及びｔｉ間の並進動きベクトルは、時刻ｔｉ−１及びｔｉ間において撮像装置１に作用した並進ぶれの向き及び大きさを表すベクトル量である。但し、並進ぶれ補正を光学式ぶれ補正にて実現する場合、入力フレーム画像の形成時点において並進ぶれ補正が既に成されるため、第１実施形態と異なり、並進動きベクトルは、画像空間３２０上及び入力動画像上における点像ＰＩの移動の向き及び大きさを表してはいない。
【００７６】
並進ぶれをヨー方向のぶれに限定した場合、並進ぶれ補正に対するコアリング制御とは、撮像装置１のヨー方向への回転角が基準角度ε１を超えるまで光学式ぶれ補正を停止する（即ち、補正レンズＬＣ又は撮像素子１２の位置を固定する、或いは、バリアングルプリズムの屈折角を固定する）制御に相当する。一方、回転ぶれ補正に対するコアリング制御とは、撮像装置１のロール方向への回転角が基準角度ε２を超えるまで回転ぶれに対する電子式ぶれ補正を停止する制御に相当する。基準角度ε１及びε２の大小関係及びそれらに対応する基準量ＴＨ１及びＴＨ２の大小関係は、第１実施形態で述べた通りである。従って、回転ぶれに対する補正強度は、並進ぶれに対する補正強度よりも弱い。
【００７７】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態及び後述の他の実施形態の撮像装置の基本的な構成は、第１実施形態に係る撮像装置１のそれと同様であり、第３実施形態及び後述の他の実施形態において、特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が適用される。
【００７８】
第３実施形態では、光学式ぶれ補正が成されず、電子式ぶれ補正によって並進ぶれ補正及び回転ぶれ補正が成されるものとする。
【００７９】
[並進ぶれ補正のセンタリング制御]
画像処理部１５は、上述の基本原理に従う並進ぶれ補正及び回転ぶれ補正を実行しつつ、センタリング制御を実行することができる。センタリング制御の方法として、公知の方法（例えば、特開２００８−２７０９８３号公報に記載の方法）を利用することができる。
【００８０】
並進ぶれ補正に対するセンタリング制御（並進用センタリング制御）を説明する。切り出し領域ＣＲの中心位置を原点Ｏから一定方向に向かって遠ざけて行くと、図２０（ａ）に示す如く、最終的には切り出し領域ＣＲの端部が入力フレーム画像ＦＩの端部に至り、それ以上、切り出し領域ＣＲを上記一定方向へ移動させることができなくなる。即ち、切り出し領域ＣＲの移動余裕領域がなくなって、並進ぶれに対する電子式ぶれ補正を実行できなくなる。このような事態の発生をなるだけ回避すべく、並進ぶれ補正に対するセンタリング制御では、並進動きベクトルを考慮しつつも、切り出し領域ＣＲの中心位置を時間経過と共にそれの初期位置である原点Ｏに向かって徐々に移動させる。
【００８１】
具体的には例えば、図２のぶれ量積算部２１において、並進ぶれ補正に対するセンタリング制御に必要な積分ベクトルＳｎを算出する。積分ベクトルＳｎは、下記式（Ｂ１）によって表される。積分ベクトルＳｎは、図２のぶれ補正量決定部２２にて決定されるべき並進ぶれの補正量を表すため、ぶれ補正量決定部２２が積分ベクトルＳｎを算出しても良い。
Ｓｎ＝ζ１×Ｓｎ−１＋Ｖｎ        …（Ｂ１）
【００８２】
Ｓｎが現在の入力フレーム画像に対する積分ベクトルであると捉えたならば、Ｓｎ−１は、前回の入力フレーム画像に対する積分ベクトルである。積分ベクトルの初期値（即ち、積分ベクトルＳ１の大きさ）はゼロである。画像処理部１５は、積分ベクトルＳｎに応じた位置に切り出し領域ＣＲ［ｎ］を設定する。即ち、図２１に示す如く、原点Ｏから積分ベクトルＳｎの向きに積分ベクトルＳｎの大きさだけ移動した位置に、切り出し領域ＣＲ［ｎ］の中心位置（ｘｎ，ｙｎ）を設定する。ζ１は減衰係数と呼ばれるスカラー量であり、０＜ζ１＜１を満たす。
【００８３】
例えば、時刻ｔ１及びｔ２間の並進動きベクトルＶ２の大きさがゼロではなく、且つ、時刻ｔ２以降に求められる各並進動きベクトルの大きさがゼロである場合、積分ベクトルＳｎの大きさは、時刻ｔ２を起点として時間が経過するごとに（フレーム数を重ねるごとに）減衰し、ゼロに向かって収束してゆく。このようなセンタリング制御により、切り出し領域ＣＲの移動余裕領域をより多く確保することが可能となる。
【００８４】
[回転ぶれ補正のセンタリング制御]
回転ぶれ補正に対するセンタリング制御（回転用センタリング制御）を説明する。切り出し領域ＣＲの中心線ＣＲＣ（図４（ｂ）参照）が入力フレーム画像ＦＩの垂直方向と一致している状態を起点として、入力フレーム画像ＦＩ上で切り出し領域ＣＲを原点Ｏを支点にして一定方向へ回転させてゆくと、図２０（ｂ）に示す如く、最終的には切り出し領域ＣＲの角部分が入力フレーム画像ＦＩの端部に至り、それ以上、切り出し領域ＣＲを上記一定方向へ回転させることができなくなる。即ち、切り出し領域ＣＲの回転余裕領域がなくなって、回転ぶれに対する電子式ぶれ補正を実行できなくなる。このような事態の発生をなるだけ回避すべく、回転ぶれ補正に対するセンタリング制御では、順次求められる回転角θを考慮しつつも、切り出し領域ＣＲの角度状態を時間経過と共に初期角度状態へと徐々に戻す。
【００８５】
具体的には例えば、図２のぶれ量積算部２１において、回転ぶれ補正に対するセンタリング制御に必要な積分回転角φｎを算出する。積分回転角φｎは、下記式（Ｂ２）によって表される。積分回転角φｎは、図２のぶれ補正量決定部２２にて決定されるべき回転ぶれの補正量に相当するため、ぶれ補正量決定部２２が積分回転角φｎを算出しても良い。
φｎ＝ζ２×φｎ−１＋θｎ        …（Ｂ２）
【００８６】
φｎが現在の入力フレーム画像に対する積分回転角であると捉えたならば、φｎ−１は、前回の入力フレーム画像に対する積分回転角である。積分回転角の初期値（即ち、積分回転角φ１）はゼロである。画像処理部１５は、積分回転角φｎに応じて切り出し領域ＣＲ［ｎ］を設定する。即ち、図２２に示す如く、原点Ｏを支点として、初期角度状態の切り出し領域ＣＲを積分回転角φｎだけ回転させ、その回転後の切り出し領域ＣＲを入力フレーム画像ＦＩ［ｎ］の切り出し領域ＣＲ［ｎ］に設定する。ζ２は減衰係数と呼ばれるスカラー量であり、０＜ζ２＜１を満たす。
【００８７】
例えば、時刻ｔ１及びｔ２間の回転角θ２の大きさがゼロではなく、且つ、時刻ｔ２以降に求められる各回転角の大きさがゼロである場合、積分回転角φｎは、時刻ｔ２を起点として時間が経過するごとに（フレーム数を重ねるごとに）減衰し、ゼロに向かって収束してゆく。このようなセンタリング制御により、切り出し領域ＣＲの回転余裕領域をより多く確保することが可能となる。
【００８８】
[減衰係数ζ１及びζ２の関係について]
撮像装置１では、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱くするべく、回転ぶれ用の減衰係数ζ２を並進ぶれ用の減衰係数ζ１よりも小さく設定している。これについて、更に説明を加える。
【００８９】
図２３において、実線６６１は、減衰係数ζ１と入力フレーム画像を得る際におけるズーム倍率との関係を表しており、実線６６２は、減衰係数ζ２と入力フレーム画像を得る際におけるズーム倍率との関係を表している。
【００９０】
並進ぶれ補正に対するセンタリング制御において、減衰係数ζ１は、切り出し領域ＣＲの中心位置を原点Ｏへと戻す速度を定める。減衰係数ζ１が１に近いと切り出し領域ＣＲの中心位置がなかなか中心Ｏに戻らず、減衰係数ζ１が０に近いと切り出し領域ＣＲの中心位置が素早く中心Ｏに戻る。図２３の実線６６１から分かるように、ズーム倍率の増大に伴って（即ち、入力フレーム画像の撮影画角の減少に伴って）、減衰係数ζ１は減少せしめられる。ズーム倍率が比較的大きいときには、比較的小さな手ぶれによっても容易に切り出し領域ＣＲの移動余裕領域がなくなる。これを考慮し、ズーム倍率の増大に伴って減衰係数ζ１を減少させる。これにより、ズーム倍率が比較的大きいときには切り出し領域ＣＲの中心位置が原点Ｏへと戻る速度が比較的大きくなる。
【００９１】
回転ぶれ補正に対するセンタリング制御において、減衰係数ζ２は、切り出し領域ＣＲの角度状態を初期角度状態へと戻す速度を定める。減衰係数ζ２が１に近いと切り出し領域ＣＲの角度状態がなかなか初期角度状態に戻らず、減衰係数ζ２が０に近いと切り出し領域ＣＲの角度状態が素早く初期角度状態に戻る。ズーム倍率の増大に伴って減衰係数ζ１が減少しても常に「ζ１＞ζ２」が成立するように、減衰係数ζ２もズーム倍率の増大に伴って減少せしめられる。
【００９２】
尚、減衰係数ζ１及びζ２の内、少なくとも一方は、ズーム倍率に依存しない固定値であっても良い。但し、この場合も、常に「ζ１＞ζ２」が成立する。
【００９３】
減衰係数ζ２を減衰係数ζ１よりも小さく設定することで、切り出し領域ＣＲの角度状態が初期角度状態へと戻る速度（以下、回転用センタリング速度とも呼ぶ）は、切り出し領域ＣＲの中心位置が原点Ｏへと戻る速度（以下、並進用センタリング速度とも呼ぶ）よりも大きくなる。ロール方向のぶれが発生した後、逆方向のぶれが発生していないのにも関わらず、切り出し領域ＣＲの角度状態を初期角度状態に戻すという処理は、回転ぶれに対する補正を解消する処理に相当する。同様に、ヨー又はピッチ方向のぶれが発生した後、逆方向のぶれが発生していないのにも関わらず、切り出し領域ＣＲの中心位置を原点Ｏに戻すという処理は、並進ぶれに対する補正を解消する処理に相当する。ぶれ補正の解消が比較的速く行われる状態は、ぶれ補正が比較的弱い状態に相当する。故に、上記のような減衰係数ζ１及びζ２の設定によって、回転ぶれに対する補正強度が並進ぶれに対する補正強度よりも弱められている、と言える。
【００９４】
回転用センタリング速度と並進用センタリング速度の相違を説明するための具体的な例として、時刻ｔ１及びｔ２間において撮像装置１をヨー方向に所定角度εだけ回転させた後、撮像装置１を完全に静止させるケース（以下、第３ケースと呼ぶ）と、時刻ｔ１及びｔ２間において撮像装置１をロール方向に上記角度εだけ回転させた後、撮像装置１を完全に静止させるケース（以下、第４ケースと呼ぶ）と、を想定する。
【００９５】
第３ケースにおいては、所定角度εに相当する量だけ切り出し領域ＣＲの中心位置が原点Ｏから移動せしめられた後、並進ぶれ補正に対するセンタリング制御によって、その移動のＱパーセントがｔＡ秒かけて解消される。第４ケースにおいては、所定角度εだけ切り出し領域ＣＲの中心線ＣＲＣが回転せしめられた後、回転ぶれ補正に対するセンタリング制御によって、その回転のＱパーセントがｔＢ秒かけて解消される。ここで、０＜Ｑ≦１００であって、且つ、ｔＢ秒はｔＡ秒よりも短い。
【００９６】
本実施形態によれば、センタリング制御の減衰係数を適切に設定することで回転ぶれに対する補正強度が比較的弱く設定される。このため、回転ぶれ補正に伴う画質劣化を低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。
【００９７】
＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第４実施形態では、第３実施形態に適用可能な変形技術を説明する。並進ぶれ補正が電子式ぶれ補正によって実現される方法を第３実施形態にて述べたが、第３実施形態において並進ぶれ補正は光学式ぶれ補正であっても良い。並進ぶれ補正に光学式ぶれ補正が用いられる場合、画像処理部１５において並進ぶれ補正のための画像処理（即ち、切り出し領域ＣＲの並進移動）は成されない。
【００９８】
並進ぶれに対する光学式ぶれ補正の方法は、第２実施形態で述べた通りである。例えば、図１９に示す如くレンズ部１１に補正レンズＬＣを設けておき、積分ベクトルＳｎに基づき補正レンズＬＣを光軸３００の直交面に沿って移動させることで、並進ぶれに基づく被写体の動きを入力フレーム画像列上において完全に又は部分的に打ち消すことができる。図２４（ａ）に示す如く、時刻ｔ１において補正レンズＬＣの中心は基準位置ＯＲＥＦに配置されている。補正レンズＬＣの中心が基準位置ＯＲＥＦに配置されている状態が補正レンズＬＣの初期状態である。補正レンズＬＣの中心は、基準位置ＯＲＥＦを中心とする破線円７００内でのみ移動可能である。尚、図２４（ａ）及び（ｂ）が描かれた紙面は、光軸３００の直交面に平行である。
【００９９】
補正レンズＬＣの中心を基準位置ＯＲＥＦから一定方向に向かって遠ざけて行くと、最終的には補正レンズＬＣの中心が破線円７００に至り、それ以上、補正レンズＬＣを上記一定方向に移動させることができなくなる。即ち、補正レンズＬＣの移動余裕領域がなくなって、並進ぶれ補正に対する光学式ぶれ補正を実行できなくなる。このような事態の発生をなるだけ回避すべく、並進ぶれ補正に対するセンタリング制御（並進用センタリング制御）では、並進動きベクトルを考慮しつつも、補正レンズＬＣの中心を時間経過と共にそれの初期位置である基準位置ＯＲＥＦに向かって徐々に移動させる。
【０１００】
補正レンズＬＣの中心が基準位置ＯＲＥＦから移動すると点像ＰＩは画像空間３２０上で移動し、基準位置ＯＲＥＦからの補正レンズＬＣの移動量が増大すれば画像空間３２０上における点像ＰＩの移動量も増大する。第４実施形態では、図２４（ｂ）に示す如く、基準位置ＯＲＥＦから積分ベクトルＳｎの向きに積分ベクトルＳｎの大きさだけ移動した位置に、時刻ｔｎにおける補正レンズＬＣの中心が配置される。
【０１０１】
尚、積分ベクトルＳｎに応じて補正レンズＬＣを移動させる代わりに、積分ベクトルＳｎに応じて撮像素子１２を光軸３００の直交面に沿って移動させ、これによって、積分ベクトルＳｎに応じて補正レンズＬＣを移動させたときと同様の光学式ぶれ補正を実現しても良い。或いは、レンズ部１１内に補正レンズＬＣの代わりにバリアングルプリズム（不図示）を設けておき、積分ベクトルＳｎに応じてバリアングルプリズムの屈折角を制御することで光学式ぶれ補正を実現しても良い。時刻ｔ１における補正レンズＬＣの位置状態及び時刻ｔ１におけるバリアングルプリズムの屈折角状態をレンズ部１１の初期状態（又は光学系の初期状態）と呼ぶことができ、時刻ｔ１における撮像素子１２の位置状態を撮像素子１２の初期状態と呼ぶことができる。
【０１０２】
並進ぶれ補正に対するセンタリング制御において、減衰係数ζ１は、レンズ部１１又は撮像素子１２の状態を初期状態へと戻す速度を定める。減衰係数ζ２を減衰係数ζ１よりも小さく設定することで、切り出し領域ＣＲの角度状態が初期角度状態へと戻る速度（回転用センタリング速度）は、レンズ部１１又は撮像素子１２の状態が初期状態へと戻る速度よりも大きくなる。即ち、第３実施形態と同様、回転ぶれに対する補正強度が並進ぶれに対する補正強度よりも弱められる、と言える。
【０１０３】
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。上述したように、ヨー方向又はピッチ方向のぶれは、画像空間３２０上において点像ＰＩを並進移動させる（図６（ｂ）参照）。但し、画像空間３２０上において点像ＰＩを並進移動させるぶれは、ヨー方向又はピッチ方向のぶれに限定されない。即ち、光軸３００を並進移動させるぶれ（換言すれば、光軸３００の直交面に沿って撮像装置１を並進移動させるぶれ）も、画像空間３２０上において点像ＰＩを並進移動させるぶれの一種である。光軸３００を並進移動させるぶれによって生じる点像ＰＩの移動は、ヨー方向又はピッチ方向のぶれによるそれと同様である。
【０１０４】
上述の第１〜第４実施形態では、説明の便宜上、ヨー方向及びピッチ方向のぶれを総称したものを並進ぶれと呼んだが、検出及び補正されるべき並進ぶれには、光軸３００を並進移動させるぶれ（換言すれば、光軸３００の直交面に沿って撮像装置１を並進移動させるぶれ）も含まれる。ヨー方向及びピッチ方向のぶれは、光軸３００の直交面上の軸である軸３０１又は３０２周りに光軸３００を回転させるぶれと表現することができる。
【０１０５】
＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。入力動画像の画像データを記録媒体１８に一旦記録しておき、入力動画像の再生時などにおいて、入力動画像から出力動画像を生成するための画像処理を行うようにしても良い。入力動画像から出力動画像を生成するための画像処理の内容は、第１又は第３実施形態で述べたものと同様である。第６実施形態では、光学式ぶれ補正が成されることなく入力動画像が取得されているものとする。
【０１０６】
具体的には例えば、入力動画像の撮影時において、並進ぶれ検出処理及び回転ぶれ検出処理を行うことで並進ぶれ検出データ及び回転ぶれ検出データを求め、並進ぶれ検出データ及び回転ぶれ検出データを入力動画像の画像データに関連付けて記録媒体１８に記録しておく。そして、その後の任意のタイミングにおいて、画像処理部１５が、記録媒体１８から並進ぶれ検出データ及び回転ぶれ検出データと入力動画像の画像データとを読み出し、並進ぶれ検出データ及び回転ぶれ検出データを用いて入力動画像から出力動画像を生成する。
【０１０７】
この場合、画像処理部１５に、入力動画像の画像データを取得する画像データ取得部と、並進ぶれ検出データ及び回転ぶれ検出データを取得するぶれ検出データ取得部と、並進ぶれ補正を成す並進ぶれ補正部と、回転ぶれ補正を成す回転ぶれ補正部と、が含まれていると考えることができる。但し、画像データ取得部は、レンズ部１１及び撮像素子１２によって構成されていると考えることもできるし、ぶれ検出データ取得部は、ぶれ量算出部２０によって、或いは、ぶれ量算出部２０及びぶれ量積算部２１によって、或いは、ぶれ量算出部２０、ぶれ量積算部２１及びぶれ補正量決定部２２によって構成されていると考えることもできる。出力動画像の生成、基準量ＴＨ１及びＴＨ２の決定又は減衰係数ζ１及びζ２の決定に入力動画像の撮影条件情報（例えば、撮像素子１２のサイズ及びレンズ部１１の焦点距離）が必要な場合には、その撮影条件情報も入力動画像の画像データに関連付けて記録媒体１８に記録しておくと良い。
【０１０８】
並進ぶれ検出データは、第１実施形態で述べた補正ベクトルＷＢｎ、又は、補正ベクトルＷＢｎの元となるデータ（例えば、並進動きベクトルＶｎ若しくは積算ベクトルＷＡｎ）である。或いは、並進ぶれ検出データは、第３実施形態で述べた積分ベクトルＳｎ、又は、積分ベクトルＳｎの元となるデータ（例えば、並進動きベクトルＶｎ）である。
回転ぶれ検出データは、第１実施形態で述べた補正回転角ＷＤｎ、又は、補正回転角ＷＤｎの元となるデータ（例えば、回転角θｎ若しくは積算回転角ＷＣｎ）である。或いは、回転ぶれ検出データは、第３実施形態で述べた積分回転角φｎ、又は、積分回転角φｎの元となるデータ（例えば、回転角θｎ）である。
【０１０９】
並進ぶれ検出処理及び回転ぶれ検出処理による並進ぶれ検出データ及び回転ぶれ検出データの取得を、入力動画像の撮影後の任意のタイミングにて行うようにしても良い。即ち例えば、入力動画像の画像データを記録媒体１８に記録しておき、その後の任意のタイミングにおいて入力動画像から出力動画像を生成する際に、入力動画像の画像データに基づく並進ぶれ検出処理及び回転ぶれ検出処理により並進ぶれ検出データ及び回転ぶれ検出データを生成するようにしても良い。
【０１１０】
入力動画像から出力動画像を得るための部位を、撮像装置１以外の電子機器（不図示）に設けておき、その電子機器上において入力動画像から出力動画像を生成させても良い。入力動画像から出力動画像を得るための部位には、少なくとも画像処理部１５が含まれ、更に、記録媒体１８、ぶれ量算出部２０、ぶれ量積算部２１及びぶれ補正量決定部２２が含まれうる。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１１１】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１２】
［注釈１］
上述の各実施形態では、説明の便宜上、コアリング制御とセンタリング制御を個別に説明したが、コアリング制御とセンタリング制御とを組み合わせて実施するようにしても良い。即ち、上述の第１及び第３実施形態を組み合わせて実施することも可能であるし、上述の第２及び第４実施形態を組み合わせて実施することも可能である。
【０１１３】
［注釈２］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、図２の画像処理部１５、ぶれ量算出部２０、ぶれ量積算部２１及びぶれ補正量決定部２２にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１１４】
１  撮像装置
１１  レンズ部
１２  撮像素子
１５  画像処理部
２０  ぶれ量算出部
２１  ぶれ量積算部
２２  ぶれ補正量決定部
ＦＩ  入力フレーム画像
ＣＲ  切り出し領域
ＦＯ  出力フレーム画像
ＬＣ  補正レンズ
【図１】
2012114809.tif 000005
【図２】
2012114809.tif 000006
【図３】
2012114809.tif 000007
【図４】
2012114809.tif 000008
【図５】
2012114809.tif 000009
【図６】
2012114809.tif 000010
【図７】
2012114809.tif 000011
【図８】
2012114809.tif 000012
【図９】
2012114809.tif 000013
【図１０】
2012114809.tif 000014
【図１１】
2012114809.tif 000015
【図１２】
2012114809.tif 000016
【図１３】
2012114809.tif 000017
【図１４】
2012114809.tif 000018
【図１５】
2012114809.tif 000019
【図１６】
2012114809.tif 000020
【図１７】
2012114809.tif 000021
【図１８】
2012114809.tif 000022
【図１９】
2012114809.tif 000023
【図２０】
2012114809.tif 000024
【図２１】
2012114809.tif 000025
【図２２】
2012114809.tif 000026
【図２３】
2012114809.tif 000027
【図２４】
2012114809.tif 000028
【図２５】
2012114809.tif 000029