【手続補正書】
【提出日】平成28年6月15日(2016.6.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像振れを抑制する光学防振を実行する撮像装置であって、
撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定手段と、
前記決定手段が決定した前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理手段と、を有することを特徴とする撮像装置。
【請求項２】
前記決定手段は前記防振部材の移動量および移動方向を測定することにより前記光軸と前記撮像素子との前記交点の前記座標を取得することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記決定手段は前記防振部材の制御情報を前記防振部材の移動量および移動方向に変換することにより前記光軸と前記撮像素子との前記交点の前記座標を取得することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記複数の幾何変形補正処理が、ローリングシャッタ歪補正、面内回転の補正、あおりの補正、歪曲補正の少なくとも２つを含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記変形処理手段は、前記光学防振によって抑制された振れの量と、前記検出された振れの量との差に相当する補正量で前記複数の幾何変形補正処理のそれぞれを適用することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
異なる時刻に撮影された撮像画像の間で動きベクトルまたは対応点を検出する推定手段をさらに有し、
前記変形処理手段は、前記推定手段が検出する動きベクトルまたは対応点の信頼性が低いと判定されない場合は、前記動きベクトルまたは対応点の情報に基づく幾何変形量を用いて前記複数の幾何変形補正処理のそれぞれを適用し、前記推定手段が検出する動きベクトルまたは対応点の信頼性が低いと判定される場合は、前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記複数の幾何変形補正処理のそれぞれを適用する、ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
【請求項７】
検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像の振れを抑制する光学防振を実行する撮像装置の制御方法であって、
決定手段が、撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定工程と、
変形処理手段が、前記決定工程で決定された前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理工程と、を有することを特徴とする撮像装置の制御方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上述の目的は、検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像振れを抑制する光学防振を実行する撮像装置であって、撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、複数の幾何変形補正処理のそれぞれについての基準座標を、光学防振によって移動された光軸と撮像素子との交点の座標となるように決定する決定手段と、決定手段が決定した基準座標と、検出された振れに基づく幾何変形量とを用いて撮像画像に複数の幾何変形補正処理を電子的に適用する変形処理手段と、を有することを特徴とする撮像装置によって達成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
具体的には、基準座標決定部７は、撮影画像の各フレームにおいて、光学防振による各時刻の正規化平行移動量shx(j) (x: Y, P)、もしくはそれに焦点距離をかけた画像座標量に基づいて、幾何変形の基準座標を決定する。なお、ローリングシャッタ歪補正の場合は基準ラインである。例えば、光学防振機構が働いてない時の画像中心が幾何変形の基準座標だとすると、基準座標決定部７は、前述の各座標演算式において、平行移動量shx(j) (x: Y, P)を基準座標に設定する。あるいは、基準座標決定部７は、歪曲補正、ローリングシャッタ歪補正、振れ補正の処理前に、以下の式（１１）で示される画像座標の並進移動処理を実施し、幾何変形の基準座標を防振部材１１の移動とともに移動させる。
【数１１】
2015022027.tif 000001
式１１のうち、SHIFT-1は幾何変形後に適用する逆変換である。該処理によって幾何変形の基準点を画像中心に移動してから変形処理部９で幾何変形処理を適用し、処理後に元に戻す。基準座標決定部７は移動後の基準座標を出力する代わりに、元となるパラメータshx(j) (x: Y, P)を幾何変形部９に出力してもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
以上説明したように本実施形態では、光学防振機能と複数の幾何変形処理とを組み合わせて補正画像を取得する撮像装置において、複数の幾何変形処理の基準座標を、光学防振機構による防振動作で移動した後の光軸と撮像素子との交点に対応する座標とする。それにより、撮像装置の姿勢変化情報に基づいて幾何変形処理を行うことが可能となるため、画像から動きを検出する方法で精度が低下する低輝度環境で撮影された画像やコントラストの低い被写体の画像についても良好な補正が可能となる。さらに、光学防振機能に用いる姿勢変化情報を幾何変形処理に流用できるため、画像から動きを推定する場合に必要となりうる複雑な演算が不要になり、演算負荷や消費電力の低減にも効果がある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
画像メモリ１２は、前処理部６によって生成された撮像画像を一時的に記憶する。
動きベクトル推定部１３は、画像メモリ１２に一時記憶された撮像画像と、前処理部６から直接入力される撮像画像の間で動きベクトルまたは対応点を検出する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
ここで、動きベクトルが検出できないとは、動きベクトル推定部１３が出力する有効なベクトルが事前に設定した最小ベクトル数を下回る場合である。また各ベクトルの有効性、信頼性は、ベクトル算出時の算出位置の特徴量や、テンプレートマッチングの場合にはテンプレートの分散、相関スコアのピークの唯一性等により算出または判定する。または取得された複数のベクトルに対しRANSAC(RANdom Sample Consensus)等によりフィッティングを行い、ベクトル間の相互関係を解析する。そして、その適合度やノルム誤差をスコアとして割り当てることにより、各動きベクトルの信頼性を取得することができる。
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2015022027.tif 000002
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2015022027.tif 000003
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2015022027.tif 000004