(57)【要約】【課題】ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出することを可能とする撮像装置を提供する。【解決手段】複数の映像信号を出力する撮像素子１０１を備える撮像装置を設ける。撮像装置は、撮像素子１０１の駆動制御によって、撮像素子１０１から表示／記録用の第１の映像信号を読み出すとともに、上記駆動制御と異なる駆動制御によって、撮像素子１０１から動きベクトル検出用の第２の映像信号とを読み出す。そして、撮像装置は、撮像素子１０１から読み出された第２の映像信号に基づいて、動きベクトルを検出する。【選択図】図１
2016066848.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像信号を出力する撮像素子と、
前記撮像素子の駆動制御によって、前記撮像素子から表示／記録用の第１の映像信号を読み出すとともに、当該駆動制御と異なる駆動制御によって、前記撮像素子から動きベクトル検出用の第２の映像信号とを読み出す制御手段と、
前記撮像素子から読み出された前記第２の映像信号に基づいて、動きベクトルを検出する検出手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第２の映像信号を読み出す際の読み出し速度のほうが前記第１の映像信号を読み出す際の読み出し速度よりも大きくなるように前記撮像素子を駆動制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段が前記第２の映像信号を読み出す際の読み出し画素数は、前記第１の映像信号を読み出す際の読み出し画素数よりも少ない
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第２の映像信号を読み出す際に、前記撮像素子が有する複数画素を加算、または画素を間引いて読み出すことで、読み出し画素数を削減する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像素子は、前記第１の映像信号の読み出し用の第１の画素群と、前記第２の映像信号の読み出し用の第２の画素群とを有し、
前記第１の画素群と前記第２の画素群は、前記撮像素子において異なるラインに配置されている
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第２の画素群に対応するライン数は、前記第１の画素群に対応するライン数より少ない
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、さらに、前記検出手段によって検出された動きベクトルに基づいて、前記撮像装置に加えられる振れにより生じる像ブレを補正するための駆動信号を生成する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段は、さらに、前記検出手段によって検出された動きベクトルに基づいて、前記第１の映像信号の幾何変形処理に用いられる歪みパラメータを生成する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項９】
前記制御手段が生成した歪みパラメータに基づいて前記第１の映像信号を幾何変形処理する幾何変形手段を備える
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮像素子は、ＣＭＯＳイメージセンサであり、
前記幾何変形手段は、前記幾何変形処理によって、ローリングシャッタ歪みを補正する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
複数の映像信号を出力する撮像素子を備える撮像装置の制御方法であって、
前記撮像素子の駆動制御によって、前記撮像素子から表示／記録用の第１の映像信号を読み出すとともに、当該駆動制御と異なる駆動制御によって、前記撮像素子から動きベクトル検出用の第２の映像信号とを読み出す制御工程と、
前記撮像素子から読み出された前記第２の映像信号に基づいて、動きベクトルを検出する検出工程とを有する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ撮像素子（イメージセンサ）を用いてローリングシャッタ方式で撮像された画像を処理する撮像装置が提案されている。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。ローリングシャッタ方式では、フレーム画像のデータ転送が１ラインごとに行われる。したがって、フレーム画像内における撮像タイミングが、ラインごとに僅かに異なるタイミングとなるので、撮像タイミングのズレに起因した、ローリングシャッタ歪み（フォーカルプレーン歪み）が発生する。このとき、ローリングシャッタ歪み成分によって、被写体の移動量にズレが生じてしまい、高品質な動きベクトルを算出できなくなる。
【０００３】
特許文献１は、映像信号から求められた動きベクトルを用いて、カメラの動きによって生じたローリングシャッタ歪み成分を推定して、映像信号のローリングシャッタ歪みを補正する画像処理装置を開示している。また、特許文献２は、ＣＭＯＳイメージセンサの画素構造の例を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１２３２２９号公報
【特許文献２】特許第４６５９８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１が開示する画像処理装置が動きベクトル検出に用いる映像信号には、ローリングシャッタ歪み成分があるので、映像信号から検出される動きベクトル１つ１つの精度が低い。したがって、ヒストグラム処理をするなどして、画面全体の動き（カメラの動き）に起因したローリングシャッタ歪み成分を推定することしかできない。そのため、画像処理装置は、手振れにより生じるローリングシャッタ歪みを補正することが可能だが、画面内の局所的な動き（例えば、被写体の動作）によって生じるローリングシャッタ歪み成分を推定し、補正することはできない。
【０００６】
本発明は、上記の課題の少なくとも一つを解決するためになされたものである。本発明は、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出することが可能な撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の撮像装置は、複数の映像信号を出力する撮像素子と、前記撮像素子の駆動制御によって、前記撮像素子から表示／記録用の第１の映像信号を読み出すとともに、当該駆動制御と異なる駆動制御によって、前記撮像素子から動きベクトル検出用の第２の映像信号とを読み出す制御手段と、前記撮像素子から読み出された前記第２の映像信号に基づいて、動きベクトルを検出する検出手段とを備える。
【発明の効果】
【０００８】
本発明の撮像装置によれば、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の撮像装置の構成を示す図である。
【図２】撮像素子の構成を説明する図である。
【図３】複数の映像信号を同時に取得する際のタイミングを説明する図である。
【図４】垂直信号回路を示す図である。
【図５】ＣＭＯＳイメージセンサの画素読み出しと、被写体の動きによる図形歪みを説明する図である。
【図６】実施例２の撮像装置の構成を示す図である。
【図７】各画素の（ｄｘ，ｄｙ）の算出を説明する図である。
【図８】画素部の構成例を示す図である。
【発明を実施するための形態】
【００１０】
（実施例１）
図１は、実施例１の撮像装置の構成を示す図である。
実施例１の撮像装置は、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出する。
【００１１】
光学系１００を通過して撮像素子１０１に結像された光学像が、撮像素子１０１で、画像信号に変換される。撮像素子１０１は、２つの出力を持つ。撮像素子１０１は、カメラ信号処理手段１０３に対して記録／表示用の映像信号（第１の映像信号）を出力する。また、撮像素子１０１は、メモリ１０４とベクトル検出手段１０５とに対して、動きベクトル検出用の映像信号（第２の映像信号）を出力する。撮像素子１０１の詳細については後述する。
【００１２】
カメラ信号処理手段１０３は、ホワイトバランス処理や、輝度・色差信号生成処理などの、既知のカメラ信号処理を実行して、記録／表示用の映像信号を生成する。メモリ１０４には、１フレーム分の動きベクトル検出用の映像信号が保持される。
【００１３】
ベクトル検出手段１０５は、撮像素子１０１が出力する映像信号と、メモリ１０４が出力する１フレーム前の映像信号とを用いて、動きベクトルを検出（算出）する。ベクトル検出手段１０５は、検出した動きベクトルをシステム制御手段１０６に出力する。
【００１４】
システム制御手段１０６は、撮像装置全体の動作を制御する。システム制御部１０６は、光学系１００の制御として、例えば、ズーム駆動制御、絞り値の調整、防振制御等を実行する。また、システム制御部１０６は、撮像素子１０１を駆動制御して、撮像素子１０１から記録／表示用の映像信号と、動きベクトル検出用の映像信号とを読み出す。また、システム制御部１０６は、ベクトル検出手段１０５の制御として、動きベクトルの検出条件を設定する。また、システム制御部１０６は、カメラ信号処理手段１０３の制御として、画質の設定等を実行する。
【００１５】
図２は、本実施例で適用する撮像素子の構成を説明する図である。
撮像素子１０１は、例えば、ＣＭＯＳイメージセンサであり、画素部２０３を有している。画素部２０３は、２次元マトリックス状配列された複数の画素を有している。そして、画素の各々では、光電変換によって生じた電荷のリセットおよび読み出し動作が行われる。なお、画素部２０３には、黒信号レベルを決定するための、いわゆるオプティカルブラック画素および回路ノイズ除去などに用いられるダミー画素が含まれている。
【００１６】
水平信号回路２０１は、画素部２０３および垂直信号回路２０２を制御して、画素部２０３において、各行の露光時間の設定、画素信号を読み出す読み出し行の選択および非選択設定などを行う。これらの設定はタイミングジェネレータ２００によって行われる。タイミングジェネレータ２００は、垂直同期信号の入力端子、水平同期信号の入力端子、タイミングジェネレータに対するリセット・読み出し制御信号の入力端子がある。これらの信号はシステム制御手段１０６より入力される。
【００１７】
垂直信号回路２０２は、例えば、列アンプ回路、及びＡ／Ｄ変換回路、画素加算回路、信号メモリ、信号出力選択スイッチ、および出力回路を有している。画素部２０３と垂直信号回路２０２とは、列間に共通する垂直信号線で接続されている。
【００１８】
撮像素子１０１は、複数列ごとに１つの垂直信号線が共有される構成としても良い。また、撮像素子１０１は、複数の垂直信号回路を有し、それぞれ異なる垂直信号線を交互に接続させて、複数列を同時に読み出せる構成としても良い。
【００１９】
デジタル処理回路（信号処理部）２０４は、複数の行を駆動制御して各行について独立して信号の増幅、Ａ／Ｄ変換回路の設定（Ａ／Ｄ変換精度、スピード、および変換ゲインなど）、出力順の制御などを行う。また、デジタル処理回路２０４は、画像信号に対するフィルタ演算、複数画素の加算処理、画像信号の間引き出力などの機能を有していても良い。
【００２０】
デジタル処理回路２０４は、垂直信号回路２０２からの出力信号に対してヘッダ情報を付加して、それぞれ、外部出力バッファ２０４ａおよび２０４ｂに出力する。図示のように、撮像素子は複数の外部出力バッファ２０４ａおよび２０４ｂを有しているので、同時に複数の画像信号を出力することができる。本実施例では、システム制御手段１０６は、外部出力バッファ２０４ａからの出力信号を、本線系信号すなわち表示／記録用の映像信号として、カメラ信号処理手段１０３に入力する。また、システム制御手段１０６は、外部出力バッファ２０４ｂからの出力信号を、動きベクトル検出用の映像信号として、メモリ１０４とベクトル検出手段１０５に入力する。
【００２１】
画素部２０３、水平信号回路２０１、および垂直信号回路２０２を第１の素子部と呼び、デジタル処理回路２０４および外部出力バッファ２０５ａおよび２０５ｂを第２の素子部と呼ぶ。第１および第２の素子部は、例えば、積層構造を有している。このようにして、多数の回路が集積するデジタル処理回路２０４を別の基板とすることによって、基板上の半導体面積を小さくすることができる。
【００２２】
画素部２０３の各画素（２０３−１、２０３−２）の構成は、複数のフォトダイオードで、１つのフローティングディフュージョンを共有する画素構造であり、画素加算を行わず非加算とする第１の動作モードと、画素加算を行う第２の動作モードを有する。
【００２３】
図８は、本実施例における画素部の構成例を示す図である。
８００−１、８００−２は、フォトダイオードである。スイッチ部８０１−１、８０１−２は、転送トランジスタ（ＭＯＳトランジスタ）である。スイッチ部８０１−１、８０１−２は、転送制御線を通じてゲート（転送ゲート）に駆動信号（画素読み出し制御信号）が与えられると、それぞれ、フォトダイオード８００−１、８００−２で光電変換された電子をＦＤ８０２に転送する。画素読み出し制御信号を制御することで画素加算と非加算とが切り替えられる。ＦＤ８０２は、フローティングディフュージョンであり、フォトダイオード８００−１とフォトダイオード８００−２とで共有される。画素加算時は、ＦＤ８０２は、フォトダイオード８００−１とフォトダイオード８００−２の電荷を蓄積する。スイッチ部８０３は、リセットトランジスタであり、画素リセット制御信号が与えられる。８０４は電源線である。スイッチ部８０５は、選択トランジスタであり、行選択制御信号が与えられる。スイッチ部８０６は、列読み出し信号が与えられるトランジスタである。
【００２４】
画素部２０３に含まれる本線用画素部２０３−１は、本線系映像信号の出力用に用いられる。画素部２０３に含まれるベクトル検出用画素部２０３−２は、動きベクトル検出用の映像信号の出力用に用いられる。本実施例では、本線用画素部２０３−１と、ベクトル検出用画素部２０３−２とは、行毎に交互に配置され、各々の画素部で独立して、前述の第１の動作モードと第２の動作モードを設定できる。すなわち、撮像素子は、本線形映像信号の読み出し用の第１の画素群と、動きベクトル検出用の映像信号の読み出し用の第２の画素群とを有し、第１の画素群と第２の画素群は、撮像素子において異なるラインに配置されている。
【００２５】
本線系用画素部２０３−１は、複数のフォトダイオードで、１つのフローティングディフュージョンを共用する画素構造でなくとも良い。また、動きベクトル検出用画素部２０３−２は、よりまばらに、かつ周期的に配置する画素構成としても良い。つまり、第２の画素群に対応するライン数は、第１の画素群に対応するライン数より少なくしてもよい。この画素構成をとる場合、複数のフォトダイオードで、１つのフローティングディフュージョンを共用する画素構造でなくとも良い。
【００２６】
図３は、撮像装置が複数の映像信号を同時に取得する際のタイミングを説明する図である。
システム制御手段１０６が生成する垂直同期信号に応じて、複数の画像に関してそれぞれ露光および信号読み出しが行われる。システム制御手段１０６は、撮像素子１０１から本線系映像信号を読み出す際の撮像素子１０１の駆動制御と異なる駆動制御によって、動きベクトル検出用の映像信号を読み出す。本線系映像信号は、出力バッファ２０５ａより出力される画像データに対応する。動きベクトル検出用の映像信号は、出力バッファ２０５ｂより出力される画像データに対応する。
【００２７】
図３に示す例では、システム制御手段１０６が動きベクトル検出用の映像信号を読み出す際の読み出し画素数は、本線系映像信号を読み出す際の読み出し画素数よりも少ない。したがって、動きベクトル検出用の映像信号を読み出す際のセンサの読み出し速度が、本線系映像信号を読み出す際のセンサの読み出し速度よりも高速となる。これにより、動きベクトル検出用の映像信号のほうが、本線系映像信号よりも、ローリングシャッタ歪み成分が小さくなる。
【００２８】
図４は、垂直信号回路を示す図である。
垂直信号回路２０２は、本線系信号画素２０３−１、ベクトル検出用信号画素２０３−２と、垂直信号線で接続されている。
【００２９】
垂直信号回路２０２は、２つの第１のスイッチ部４０１−１、４０１−２を有している。第１のスイッチ部４０１−１，４０１−２は、バッファ４１０を介して垂直信号線４００に接続される。第１のスイッチ部４０１−１、４０１−２は、それぞれデジタル処理回路２０４によってオンオフ制御される。垂直信号線４００に出力された増幅信号は、第１のスイッチ部４０１−１がオンとなると、信号メモリ４０２−１に電圧Ｖ１として与えられる。そして、第１のスイッチ４０１−１がオフされると、電圧に応じた電荷（第１の電圧信号）が信号メモリに一時的に蓄積される。
【００３０】
同様に、第１のスイッチ部４０１−２がオンオフされて、信号メモリ４０２−２に電圧Ｖ２に応じた電荷（第２の電圧信号）が一時的に蓄積される。このようにして、第１のスイッチ部４０１−１、４０１−２をオンオフ制御することによって、本線系映像信号（第１の電圧信号）、又は動きベクトル検出用の映像信号（第２の電圧信号）の読み出しの際に、もう一方の読み出しの影響を除去出来る。
【００３１】
垂直信号回路２０４は２つの第２のスイッチ部４０３−１、４０３−２を有する。第２のスイッチ部７０３−１はデジタル処理回路２０４によってオンオフ制御される。信号メモリ７０２−１に蓄積された電荷は、第２のスイッチ部４０３−１がオンすると、電圧Ｖ１としてＡ／Ｄ変換回路４０４−１に与えられる。また、第２のスイッチ部４０３−２はデジタル処理回路２０４によってオンオフ制御される。信号メモリ４０２−２に蓄積された電荷は、第２のスイッチ部４０３−２がオンすると、電圧Ｖ２としてＡ／Ｄ変換回路７０４−２に与えられる。このようにして、電圧Ｖ１とＶ２をそれぞれ別のＡ／Ｄ変換回路７０４−１、７０４−２に入力することによって、各々異なるタイミングで、Ａ／Ｄ変換制御を行うことができる。以上が、本実施例における撮像素子１０１の構成である。
【００３２】
次に、本実施例における、動きベクトル検出処理について説明する。
ベクトル検出手段１０５は、システム制御手段１０６が決定した、テンプレート配置に基づいて、入力された２枚のフレーム画像間での動きベクトルを検出する。動きベクトル検出方法に関しては、本実施例では、テンプレートマッチング方式を用いる。撮像素子１０１より入力される画像信号を原画像、メモリ１０４より入力される画像信号を参照画像とし、原画像中の任意の位置にテンプレートを配置し、テンプレートと参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には参照画像上の相関値を算出する矩形領域を探索範囲として設定する。本実施例では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）を使用する。ＳＡＤの計算式を式１に示す。
【数１】
2016066848.tif 000003
【００３３】
式１において、ｆ（ｉ，ｊ）は、テンプレート内の座標（ｉ，ｊ）における画素値を表す。また、ｇ（ｉ，ｊ）は、探索範囲において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレートと同じ大きさである。そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることができる。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さいこと、つまりテンプレートと相関値算出領域内のテクスチャが類似していることを示す。
【００３４】
ベクトル検出手段１０５は、テンプレートと最も類似している、相関値算出内領域内のテクスチャの相対位置を、動きベクトルとして算出する。なお、本実施例では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いても良い。
【００３５】
本実施例では、システム制御手段１０６が、各枠で算出した動きベクトルのヒストグラムをとることで、カメラの動きを示すグローバル動きベクトルを算出する。システム制御手段１０６は、算出したグローバル動きベクトルに基づいて、撮像装置に加えられる振れにより生じる像ブレを補正するための駆動信号を生成する。システム制御手段１０６は、生成した駆動信号を用いて、光学系１００に含まれるシフトレンズを駆動することで、像ブレを補正する。
【００３６】
図５は、ＣＭＯＳイメージセンサの画素読み出しと、被写体の動きによる図形歪みを説明する図である。
被写体は点線で示される四角形（図５の５００）であり、右方向に被写体５００を動かしたとき、実際に撮像される画像が、ハッチングを施した図形５０１である。
【００３７】
図５（Ａ）は、全ラインの画素を読み出しする例を示す。システム制御手段１０６は、本線系映像信号を読み出す際には、例えば、図５（Ａ）に示すように、全ラインの画素を読み出しする。図５（Ｂ）は、２ライン画素加算して画素読み出しする例を示す。システム制御手段１０６は、動きクトル検出用の映像信号を読み出す際には、図５（Ｂ）に示すように、図５（Ａ）に示す本線系映像信号を読み出す場合に比べて、読み出すライン数を少なく（この例では半分）にする。
【００３８】
ローリングシャッタ歪みは、撮像素子としてＣＭＯＳイメージセンサを用いた場合に、その駆動に起因する。ＣＭＯＳイメージセンサは、ライン単位で露光がズレていくため、読み出すライン数が多いほど、最上位ラインと最下位ラインの露光時間のズレが大きくなる。したがって、動いている被写体に対して図形歪み（ローリングシャッタ歪み）が生じる。
【００３９】
図５（Ｂ）のように、２ライン画素加算して読み出したほうが、同一画角で比較した場合において、ローリングシャッタ歪みが小さくなる。したがって、ベクトル検出においても、ローリングシャッタ歪みの影響が低い、品質の良い動きベクトルを求めることができる。
【００４０】
なお、本実施例では、２ライン画素加算した事例を示したが、２ライン以上画素加算して、読み出す画素数を更に削減しても良い。また、システム制御手段１０６が、撮像素子１０１の駆動制御として、複数画素を加算して読み出すのではなく、画素を間引いて読み出すようにしてもよい。
【００４１】
また、撮像素子１０１で画素加算、間引きを行った場合、高周波成分において折り返しが生じてしまい、動きベクトルの誤検出が生じるおそれがある。したがって、画素部２０３−１、２０３−２に帯域制限手段を設け、画素加算前に帯域制限をかけて、折り返しが生じないようにする構成としても良い。また、前述したように、撮像素子１０１の画素構成において、ベクトル検出用画素部２０３−２を、よりまばらに、かつ周期的に配置する画素構成（即ち、動きベクトル検出用の映像信号の読み出し画素数を削減する画素構成）としても良い。この画素構成であっても、本線系映像信号に比べ、読み出すライン数が少なくなるため、ローリングシャッタ歪みが小さい映像信号にて動きベクトル検出処理をすることが可能である。以上が、本実施例における動きベクトル検出処理である。以上の構成により、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出することができる。
【００４２】
（実施例２）
図６は、実施例２の撮像装置の構成を示す図である。
実施例２の撮像装置は、ローリングシャッタ歪み成分を低減した動きベクトルを検出し、求められた動きベクトルから映像信号のローリングシャッタ歪み成分を推定して、映像信号を補正する。
【００４３】
図６に示す撮像装置は、光学系６００乃至幾何変形手段６０８を備える。図６に示す撮像装置が備える処理部のうち、図１に示す撮像装置が備える処理部と同じ構成のものは、説明を割愛する。光学系６００は光学系１００と、撮像素子６０１は撮像素子１０１と、カメラ信号処理手段６０３はカメラ信号処理１０３と、メモリ６０４はメモリ１０４と、ベクトル検出手段６０５はベクトル検出手段１０５と、同じ構成である。
【００４４】
システム制御手段６０６は、撮像装置全体の動作を制御する。本実施例に特有の動作として、システム制御手段６０６は、ベクトル検出手段６０５から取得した動きベクトルのベクトル値に基づいて、幾何変形手段６０８で使用する歪みパラメータを生成して、幾何変形手段６０８に出力する。カメラ信号処理手段６０３が出力する映像信号は、メモリ６０７に記憶される。
【００４５】
幾何変形処理手段６０８は、システム制御手段からの歪みパラメータを元に、幾何変形処理に必要となる、画素部のアドレス情報をメモリ６０７に発行する。メモリ６０７は、対応したアドレスの映像信号を幾何変形手段６０８に入力する。幾何変形手段６０８は、入力された信号を用いて幾何変形処理を行い、歪みを補正した映像信号を記録・表示部に出力する。
【００４６】
次に、本実施例における、幾何変形手段６０８が実行する幾何変形処理について説明する。幾何変形手段６０８は、出力画像座標（Ｘ’，Ｙ’）に基づき、入力画像上で画素のサンプリング及び補間を行うことで、幾何変換処理を実現する。
【００４７】
幾何変形手段６０８は、出力画像上の画素を順次スキャンし、出力画像上の画素座標を入力画像上の画素座標（Ｘ，Ｙ）に変換する処理を行う。そして、入力画像上の画素座標（Ｘ，Ｙ）を基にサンプリングし、補間処理により出力画素のデータを生成する。補間処理としては、例えば、４近傍を用いて線形補間を行うバイリニア補間処理が実行される。補間処理に必要となるサンプリング座標近傍の画素部が異なるので、幾何変形手段６０８は、入力画素座標（Ｘ，Ｙ）と、補間に必要となる近傍画素部（Ｘ”，Ｙ”）の情報を、メモリ６０７に入力する。幾何変形手段６０８から入力される座標情報に従って、メモリ６０７から、補間処理に必要となるサンプリング画素近傍の画素値群が読み出される。
【００４８】
次に、本実施例における、幾何変形量算出の詳細について説明する。
幾何変形手段６０８は、複数の幾何変形による座標変換を１つの座標変換に合成し，入力される出力画像上の画素毎の座標を入力画像上のサンプリング画像に順次変換する座標演算を行う。
【００４９】
各座標演算処理では、幾何変形手段６０８は、システム制御手段６０６から入力される座標演算情報（それぞれの幾何変形パラメータと幾何変換前座標）から、座標移動ベクトルと、幾何変換処理後の座標を算出する。
【００５０】
幾何変形手段６０８は、ローリングシャッタ歪みを補正するための座標演算処理をするための座標演算処理部（不図示）を有する。座標演算処理部は、ローリングシャッタ歪みの補正を行うための参照座標を算出する。ローリングシャッタ歪みは、ＣＭＯＳイメージセンサのような、ライン毎に露光期間が異なる撮像素子で撮影を行った場合に、露光中の被写体の移動または撮影者の手ブレにより、ライン毎に被写体像が移動するために生じる撮影画像の歪みである。例えば、ローリングシャッタ歪み成分は、歪みのある座標系を（ｘ，ｙ，１）、歪みのない座標系を（Ｘ，Ｙ，１）とした場合に、以下の式２で算出される。
【数２】
2016066848.tif 000004
（ｄｘ，ｄｙ）は、着目画素におけるｘ方向の移動量と、ｙ方向の移動量である。また、αは、歪み係数である。
【００５１】
図７は、各画素の（ｄｘ，ｄｙ）の算出を説明する図である。
幾何変形手段６０８は、各画素の（ｄｘ，ｄｙ）を、図７で示すように、画像７００内に配置された、動きベクトル検出枠７０１から求められた動きベクトルから算出する。例えば、画像７００を、点線で分割された小区画７０２単位で分割する。各小区画に配置された動きベクトル検出枠７０１が、１つの場合（例えば、画素７０３−１）は、小区画内の動きベクトルを着目画素の動きベクトルとする。また、各小区画に配置された動きベクトル検出枠７０１が、複数の場合（例えば、画素７０３−２）は、複数の動きベクトル結果（ｄｘ１，ｄｙ１），（ｄｘ２，ｄｙ２）を、着目画素と動きベクトルの重心の距離Ｄ１、Ｄ２に基づいた線形合成（式３）にて算出する。
【数３】
2016066848.tif 000005
【００５２】
なお、着目画素と動きベクトルの重心の距離は、ｘ方向とｙ方向とに分解して求めても良い。また、小区画７０２に１つの動きベクトル検出枠７０１しか配置されていなくても、周囲の複数枠を用いて、線形合成、平均値算出、メディアンフィルタなどを行って、動きベクトルの誤検出対策を実施しても良い。
【００５３】
（ｄｘ，ｄｙ）は、実施例１で前述した方法で求められるグローバル動きベクトルにて、一意に決定しても良い。ただし、その場合は、カメラの動きによって生じるローリングシャッタ歪みが補正対象となる。
【００５４】
前述した式２に示すように、Ｙの値が歪み成分に影響を与える。歪み係数αは、例えば、図５（Ａ）における、画像１ラインを読み込む時間ｔ０を、最初のラインを読み込んだ時刻から、最後のラインを読み込む時刻までの時間ｔ１で除算して算出される値に基づいて算出される。従って、歪み係数αは、撮像素子１０１の読み出しライン数が少ない程、歪みのない座標系に近づくこととなる。幾何変形手段６０８は、歪み係数αを、撮像素子１０１の仕様から算出しても良いし、静止画像と動画像を比較して、被写体の移動量と図形の歪み量の相関から算出しても良い。以上が、本実施形におけるローリングシャッタ歪みの補正量の算出方法である。
【００５５】
撮影者の手ブレにより生じるローリングシャッタ歪みの補正量は、実施例１で適用した方法で求めたグローバル動きベクトルに基づいて、以下のように算出してもよい。すなわち、グローバル動きベクトルから１Ｖのブレ角度変位量（θｘ，θｙ）を算出し、その値を垂直ライン数で割ることで、ライン間のブレ角度変位量を求めて、既知の演算方法で補正量を算出する。
【００５６】
また、幾何変形手段６０８内の座標演算処理部は、画像のリサイズ及び切り出し、光学系６００の歪曲収差補正、あおり補正などを行うための参照座標を算出し、求められる参照座標を既知の方法で合成して、幾何変形パラメータを求めても良い。以上が、本実施例における、幾何変形量算出方法である。求められた幾何変形パラメータを幾何変形処理手段６０８に入力することで、本線映像信号のローリングシャッタ歪み補正が実行される。以上の構成により、ローリングシャッタ歪み成分を低減した、高品質な動きベクトルを検出し、求められた動きベクトルより、本線系映像信号のローリングシャッタ歪みを補正することが出来る。
【００５７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００５８】
１０１  撮像素子
１０５  ベクトル検出手段
１０６  システム制御手段
【図１】
2016066848.tif 000006
【図２】
2016066848.tif 000007
【図３】
2016066848.tif 000008
【図４】
2016066848.tif 000009
【図５】
2016066848.tif 000010
【図６】
2016066848.tif 000011
【図７】
2016066848.tif 000012
【図８】
2016066848.tif 000013