(57)【要約】      （修正有）【課題】先読みした画素に対して、精度の良い動きベクトル値を検出することが出来、正しい動きベクトル情報をフィードバック出来る撮像装置を提供する。【解決手段】第１の画素と、画素を間引き単位として間引いて読み出すことが可能な第２の画素を有する撮像素子と、第２の画素の信号を先に読み出し、第１の画素の信号を後から読み出す撮像素子制御手段と、第１の画素の信号と第２の画素の信号を撮像素子の画素配列構成の画像信号に並び替える画素信号並び替え手段と、第２の画素の信号に対して動きベクトル検出処理を行う第１の動きベクトル検出手段と、画像信号並び替え手段によって並び替えられた画像信号に対して動きベクトル検出処理を行う第２の動きベクトル検出手段を有する。第１の動きベクトル検出手段は、第２の画素の間引き単位に基づいて制御され、第２の動きベクトル検出手段は、第１の動きベクトル検出手段の検出結果に基づいて制御される。【選択図】図１
2019179951.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像画素と、１以上の画素を間引き単位として間引いて読み出すことが可能な第２の撮像画素を有し、光学系により結像された被写体像を画像信号に変換する撮像素子と、
前記撮像素子が露光された後に、前記第２の撮像画素の信号を先に読み出し、読み出していない残りの第１の撮像画素の信号を後から読み出す撮像素子制御手段と、
前記第１の撮像画素の信号と第２の撮像画素の信号を、前記撮像素子の画素配列構成の画像信号に並び替える、画素信号並び替え手段と、
前記第２の撮像画素の信号に対し、動きベクトル検出処理を行う第１の動きベクトル検出手段と、
前記画像信号並び替え手段によって、並び替えられた画像信号に対し、動きベクトル検出処理を行う第２の動きベクトル検出手段を有し、
前記第１の動きベクトル検出手段は、前記第２の撮像画素の間引き単位に基づいて、制御が為され、
前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段の動きベクトル検出結果に基づいて制御が為されることを特徴とする撮像装置。
【請求項２】
前記第１の動きベクトル検出手段は、前記第２の撮像画素の間引き単位に基づいて、テンプレートマッチング処理のテンプレートサイズ、探索範囲、テンプレート配置位置、の少なくとも１つを調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段で求められた、動きベクトルの方向に基づいて、テンプレートマッチング処理のテンプレートサイズ、探索範囲、テンプレート配置位置、の少なくとも１つを調整することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の撮像画素の間引き単位が、１以上の画素行であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１の動きベクトル検出手段は、前記第２の撮像画素の間引き行単位に基づいて、テンプレートマッチング処理のテンプレートサイズ、探索範囲、の少なくとも１つの垂直サイズを小さくすることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段で求められた、動きベクトルの方向と逆の方向は、テンプレートマッチング処理の探索範囲としないことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の動きベクトル検出手段は、水平方向の動きベクトル検出は行わないことを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記第２の撮像画素は、表示処理、焦点検出処理、の少なくとも１つの用途で使用される画素であることを特徴とする請求項１に記載の撮像装置。
【請求項９】
第１の撮像画素と、１以上の画素を間引き単位として間引いて読み出すことが可能な第２の撮像画素を有し、光学系により結像された被写体像を画像信号に変換する撮像素子と、
前記撮像素子が露光された後に、前記第２の撮像画素の信号を先に読み出し、読み出していない残りの第１の撮像画素の信号を後から読み出す撮像素子制御手段と、
前記第１の撮像画素の信号と第２の撮像画素の信号を、前記撮像素子の画素配列構成の画像信号に並び替える、画素信号並び替え手段と、
前記第２の撮像画素の信号に対する、第１の動きベクトル検出処理と、前記画像信号並び替え手段によって、並び替えられた画像信号に対する、第２の動きベクトル検出処理を、時分割で行う動きベクトル検出手段、
を有し、
前記第１の動きベクトル検出処理は、前記第２の撮像画素の間引き単位に基づいて、制御が為され、
前記第２の動きベクトル検出処理は、前記第１の動きベクトル検出処理の動きベクトル検出結果に基づいて制御が為されることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル検出に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して手ぶれ補正を施すためには、フレーム画像間の動き量を検出して複数枚の画像に対して位置合わせを行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。
【０００３】
フレーム画像を用いた動き量推定の方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず映像中のある２枚のフレーム画像の一方を原画像、もう一方を参照画像とする。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の画素値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。
【０００４】
近年、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置の多画素化に伴い、テンプレートマッチングによる動きベクトル検出は、テンプレートサイズや探索範囲の拡大により、１Ｖにおける計算量が膨大になる課題がある。
【０００５】
特許文献１は、撮像素子における、焦点検出用の画素を先に読み出し、残りの本線映像用の画素を後に読み出す、ことで、オートフォーカス処理のための測距演算を高速化する、技術を示したものである。
【０００６】
本技術を応用することで、事前に先読みした画素にて、計算量の少ない、簡易的な動きベクトル検出を行い、その結果を、本線映像信号を用いた、主の動きベクトル検出処理へフィードバックすることで、テンプレートサイズや探索範囲を限定して、主の動きベクトル検出処理の計算量を削減することが考えられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−７２６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
事前に先読みした画素にて、簡易的な動きベクトル検出を実施する際、画素間引きによって失われた情報を考慮して、テンプレート形状やサイズ、探索範囲を変更しないと、精度の良くない動きベクトル値が求められてしまう。
【０００９】
また、同様に、画素間引きによって失われた情報を考慮して、算出した動きベクトル値を、主の動きベクトル検出処理にフィードバックしないと、誤った動きベクトル情報をフィードバックする可能性がある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明に係る撮像装置は、
第１の撮像画素と、１以上の画素を間引き単位として間引いて読み出すことが可能な第２の撮像画素を有し、光学系により結像された被写体像を画像信号に変換する撮像素子と、
前記撮像素子が露光された後に、前記第２の撮像画素の信号を先に読み出し、読み出していない残りの第１の撮像画素の信号を後から読み出す撮像素子制御手段と、前記第１の撮像画素の信号と第２の撮像画素の信号を、前記撮像素子の画素配列構成の画像信号に並び替える、画素信号並び替え手段と、前記第２の撮像画素の信号に対し、動きベクトル検出処理を行う第１の動きベクトル検出手段と、前記画像信号並び替え手段によって、並び替えられた画像信号に対し、動きベクトル検出処理を行う第２の動きベクトル検出手段を有し、前記第１の動きベクトル検出手段は、前記第２の撮像画素の間引き単位に基づいて、制御が為され、前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段の動きベクトル検出結果に基づいて、制御が為されることを特徴とする。
【発明の効果】
【００１１】
本発明に係る撮像装置によれば、先読みした画素に対して、精度の良い動きベクトル値を検出することが出来、本線映像信号に対する動きベクトル検出処理に対し、正しい動きベクトル情報をフィードバック出来る。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮像装置であるデジタルカメラのブロック図である。
【図２】本発明の実施形態に係る撮像素子０１０３の読み出し順序の説明図である。
【図３】本発明の実施形態に係る画素並び替え手段０１０６の並び替え制御の説明図である。
【図４】本発明の実施形態に係る本線画像に対する動きベクトル検出処理のテンプレート配置例である。
【図５】本発明の実施形態に係る先読み画像に対する動きベクトル検出処理のテンプレート配置例である。
【図６】本発明の実施形態に係る動きベクトル検出処理のタイミングチャートである。
【図７】本発明の実施形態に係る本線画像に対する動きベクトル検出処理の探索範囲制御例である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明を実施するための最良の形態を説明する。
【実施例１】
【００１４】
図１は、本発明に係る撮像装置であるデジタルカメラのブロック図である。
【００１５】
図１において、光学系０１０１はレンズおよび絞りなどを備えており、撮影の際、光学系駆動手段０１０２でフォーカス調節および露出調節を行い、撮像素子０１０３に光学像を結像する。撮像素子０１０３は、光学像を電気信号に変換する光電変換機能を有し、ＣＣＤやＣＭＯＳセンサ等で構成される。
【００１６】
撮像素子０１０３は、撮影の際、撮像素子駆動手段０１０４にて、画素並べ替え手段０１０５、表示用画像処理手段０１０８、第１の動きベクトル検出手段０１１０で使用する先読み画素の読み出し、並びに、画素並び替え手段０１０５で使用する後読み画素の読み出し、の制御が行われる。
【００１７】
画素並び替え手段０１０５は、撮像素子０１０３から出力される先読み画素群と後読み画素群を、元のラスタスキャンの画素構成に戻して、メモリ０１１３へ書き込む。
【００１８】
本線用画像処理手段０１０７は、メモリ０１１３に配置されたラスタスキャンの画素構成となった画像（以降、本線画像と呼称する）に対し、ノイズリダクションや現像処理等の、各種画像処理を実施し、処理画像をメモリ０１１３に書き戻す。以降、本線用画像処理が為された本線画像は、メモリ０１１３を介して、記録装置に渡される。
【００１９】
表示用画像処理手段０１０８は、撮像素子０１０３から出力される先読み画素群に対し、ノイズリダクションや現像処理、水平リサイズ処理等の、各種画像処理を実施し、処理画像をメモリ０１１３に書く。以降、表示用画像処理が為された先読み画素群は、メモリ０１１３を介して、表示装置や第１の動きベクトル検出手段０１１１に渡される。
【００２０】
尚、本線用画像処理手段０１０７と、表示用画像処理手段０１０８の違いとしては、表示用画像処理手段０１０８は、パネルやＥＶＦなどの表示手段に出力する画像を生成するため、本線用画像処理手段０１０７に対し、高速化ならびに省電化を考慮した回路構成となる。
【００２１】
第１の動きベクトル検出手段０１１０は、撮像素子０１０３から出力される先読み画素群、ならびに、メモリ０１１３に配置された１Ｖ前の先読み画素群を入力として、動きベクトル検出処理を行う。動きベクトル検出結果はＣＰＵ０１１２を介して取得する。
【００２２】
第２の動きベクトル検出手段０１１１は、メモリ０１１３に配置された、本線画像と、１Ｖ前の本線画像を入力として、動きベクトル検出処理を行う。
【００２３】
動きベクトル検出結果はＣＰＵ０１１２を介して取得する。ＣＰＵ０１１２は、撮像処理装置全体の制御を司るマイクロコンピュータ等で構成され、各機能ブロックに対して動作指示を行い、各種の制御処理を実行する。
【００２４】
メモリ（ＤＲＡＭ）０１１３は、データを記憶するメモリで、所定枚数の静止画像や所定時間の動画像のデータや、ＣＰＵ１１２の動作用の定数、プログラム、等を格納するのに十分な記憶容量を備える。
【００２５】
次に、撮像素子０１０３の読み出し制御と、画素並び替え手段０１０５の並び替え処理について説明する。尚、撮像素子０１０３の具体的な駆動制御については、例えば、先行文献１で示される構成、並びに駆動制御が考えられる。ここでは、本発明における画素の読み出し順序について、説明する。
【００２６】
図２は、画素の読み出し順序の詳細を説明したものである。
【００２７】
０２０１は撮像素子０１０３を構成する画素を示しており、灰色で示される画素行０２０２は、先読み画素、白色で示される画素行０２０３は、後読み画素を示す。本発明の実施形態としては、先読み画素は、行単位となっており、４行周期で先読み行が存在する。（行番号００００、０００４、０００８、００１２．．．）撮像素子０１０３は、所定の駆動に従って、先読み行０２０２を読み出し、先読み行０２０２を全て読み出し終わった後に、後読み行０２０３を読み出す。尚、以降、先読み行０２０２で構成された画像を先読み画像、後読み行０２０３で構成された画像を後読み画像、と呼称する。
【００２８】
画素並び替え手段０１０６は、メモリ０１１３に先読み画像や後読み画像を書き込む際、メモリの書き込みアドレスに対して、オフセットを付与して、書き込む制御を行う。図３は、画素並び替え手段０１０６が先読み画像、後読み画像、其々に対して、メモリアドレスのオフセットの考え方を示したものである。先読み画像のオフセットの考え方としては、まず行番号００００の先読み画素群については、開始アドレスから順に書き込んでいく。
【００２９】
続いて、行番号０００４の先読み画素群については、００００の書き込み終了アドレスに対して、行番号０００１、０００２、０００３の３行分の書き込み領域をオフセットｏｆｆｓｅｔ１として加算したアドレスを行番号０００４の書き込み開始アドレスとして書き込みを開始する。続いて、行番号０００８の先読み画素群については、０００４の書き込み終了アドレスに対して、オフセットｏｆｆｓｅｔ１を加算したアドレスを行番号０００８の書き込み開始アドレスとして書き込みを開始する。この手順が、先読み画像の入力が終わるまで実施される。
【００３０】
後読み画像のオフセットの考え方としては、まず行番号０００１の後読み画素群については、開始アドレスに対し、既に書き込み済みの行番号００００の領域をオフセットｏｆｆｓｅｔ２として加算したアドレスを開始アドレスとして、順に書き込んでいく。
【００３１】
続いて、行番号０００２、０００３の後読み画素群も連続して書き込んでいく。行番号０００５の後読み画素群については、行番号０００３の書き込み終了アドレスに対し、オフセットｏｆｆｓｅｔ２を加算したアドレスを開始アドレスとして、順に書き込んでいく。
【００３２】
続いて、行番号０００６、０００７の後読み画素群も連続して書き込んでいく。この手順が、後読み画像の入力が終わるまで実施され、全て完了すると、メモリ０１１３上には、ラスタスキャン順に本線画像が配置されることとなる。尚、画素並び替えの手法としては、画素並び替え手段０１１３内に、先読み画像をため込むバッファ（ＳＲＡＭ）を有する構成として、回路内で直接並び替え処理を行う手法としてもよい。また、メモリ０１１３への書き込みでは並び替えをせず、メモリ０１１３から、本線画像を読み出す際に、オフセットを付けて読み出すことで、ラスタスキャン順に読み出す手法をとってもよい。
【００３３】
次に、第１の動きベクトル検出手段０１１０と第２の動きベクトル検出手段０１１１の処理とその制御について説明する。動きベクトル検出手段０１１０、０１１１の構成は共通のため、第２の動きベクトル検出手段０１１１で説明する。
【００３４】
ＣＰＵ０１１２で決定された、テンプレート配置に基づいて、入力された２枚のフレーム画像間での動きベクトルを検出する。動きベクトル検出方法に関しては、本実施例では、テンプレートマッチング方式を用いる。現Ｖの画像信号を原画像、１Ｖ前の画像信号を参照画像とし、図４は、第２の動きベクトル検出手段０１１１における、本線画像に対するテンプレート配置例を示している。画像０４０１中の任意の位置にテンプレート０４０２を配置し、テンプレート０４０２と参照画像の各領域との相関値を算出する。尚、０４０３はテンプレートの重心を示している。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には０４０３に示すように参照画像上の相関値を算出する矩形領域を探索範囲として設定する。
【００３５】
ここで、探索範囲０４０３の位置や大きさについては特に制限は無いが、探索範囲０４０３の内部にテンプレート０４０２の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することは出来ない。本実施例では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。ＳＡＤの計算式を式１に示す。
【００３６】
【数１】
2019179951.tif 000003
【００３７】
式１において、ｆ（ｉ，ｊ）はテンプレート０４０２内の座標（ｉ，ｊ）における画素値を表しており、ｇ（ｉ，ｊ）は探索範囲０４０３において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレート０４０２と同じ大きさである。
【００３８】
そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレート２０２と相関値算出領域内のテクスチャが類似していることを表している。
【００３９】
尚、本実施例では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いても良い。
【００４０】
テンプレート配置に関しては、例えば、図４で示されるように、テンプレート０４０２は、水平サイズがＴＸ画素、垂直サイズがＴＹ画素であり、動きベクトルの探索範囲０４０３は、左右方向ＳＸ画素、上下方向ＳＹ画素であり、テンプレート０４０２間の距離は、水平ＤＸ画素、垂直がＤＹ画素で設定され、格子上に枠配置が為される。また、少ないテンプレート数で、広範囲の動きベクトルを観察できるように、千鳥状にテンプレートを配置しても良い。尚、ＴＸ、ＴＹ、ＤＸ、ＤＹ、ＳＸ、ＳＹといったパラメータは、目的に応じて、任意の値に変更が可能である。また、本実施形態においては、テンプレート配置は固定としたが、特開２０１７−７２９１３で示されるような、テンプレート位置（テンプレート重心０４０３）を、画像の特徴点解析結果に基づいて決定してもよい。
【００４１】
図５は、第１の動きベクトル検出手段０１１１における、先読み画像に対するテンプレート配置例を示している。本実施形態において、先読み画像は、本線画像に対し、垂直サイズが１／４となっている。垂直方向に画素が間引かれるので、本線画像の設定に対し、間引き量に応じて、垂直方向の設定を変更する。本実施形態においては、テンプレート垂直サイズＴＹ’、垂直探索ＳＹ’、テンプレート間距離ＤＹ’を１／４にする。本設定とすることで、本線画像と同効果の動きベクトル検出設定となる。本実施形態では、本線画像の動きベクトル検出設定に合わせた、固定的なテンプレート配置としたが、先読み画像の特徴点解析結果に基づいて、テンプレート配置を決定してもよい。また、計算量削減を目的として、本線画像の動きベクトル検出設定とは異なるテンプレート配置としてもよい。
【００４２】
次に本実施形態における、動きベクトル検出処理の制御について説明をする。図６は本実施形態における、動きベクトル検出処理のタイミングチャートを示している。先読み画像に対する、第１の動きベクトル検出手段０１１０の動きベクトル検出処理が終了すると、ＣＰＵ０１１２は、第１の動きベクトル検出結果（ベクトル値）を取得する。ＣＰＵ０１１２は、第１の動きベクトル検出結果に基づいて、第２の動きベクトル検出手段０１１１の設定を決定する。第１の動きベクトル検出結果は、間引き読みされた画像信号で処理が為されたものであるため、本実施形態は、第２の動きベクトル検出手段０１１１に対し、図７（ａ）（ｂ）（ｃ）の３つの形態の何れか、またはその複合という形で、フィードバックが実施される。また、本実施形態においては、探索範囲を制御して、テンプレートマッチングの計算量を削減する。
【００４３】
第１の動きベクトル検出手段で求められる、水平方向の動きベクトル値の向き（動きベクトル値の符号）のみを参照する。第２の動きベクトル検出手段０１１１は、第１の動きベクトル検出結果で求められた水平方向の向きとは逆の方向は探索しない。例えば、テンプレート０７０２は、第１の動きベクトル検出結果が、右方向であったため、左方向は探索しないような探索範囲となっている。
【００４４】
第１の動きベクトル検出手段で求められる、水平方向の動きベクトル値はそのままＣＰＵで、防振制御に使用し、第２の動きベクトル検出手段は、垂直方向のみ探索する。
【００４５】
第１の動きベクトル検出手段で求められる、水平方向・垂直方向、両方の動きベクトル値の向き（動きベクトル値の符号）を参照する。第２の動きベクトル検出手段０１１１は、第１の動きベクトル検出結果で求められた水平方向・垂直方向の向きとは逆の方向は探索しない。例えば、テンプレート０７０２は、第１の動きベクトル検出結果が、右方向・下方向であったため、左方向と上方向は探索しないような探索範囲となる。
【００４６】
各テンプレートの探索範囲において、（ａ）（ｂ）（ｃ）を切り替えるような複合処理を実施する場合の指標としては、第１の動きベクトル検出手段０１１０において求められる、低コントラスト判定や繰り返し被写体判定などの、信頼度（苦手）判定結果を、使用することが考えられる。
【００４７】
また、本実施例では、フィードバック対象を、第２の動きベクトル検出手段０１１２の探索範囲設定に限定したが、テンプレートサイズやテンプレート配置などの設定にフィードバックしてもよい。
【００４８】
上記の通り、本実施形態によれば、先読み画像の間引き構成に応じ、第１の動きベクトル検出手段の設定が適切なものとする。更に、第２の動きベクトル検出手段へ、情報を絞ってフィードバックすることで、テンプレートマッチング処理の計算量を適切に削減する。
【００４９】
なお、本発明は、２つの動きベクトル検出手段を、１つの動きベクトル検出手段で構成し、時分割で、先読み画像の動きベクトル検出処理と、本線画像の動きベクトル検出処理を処理する構成としてもよい。
【００５０】
なお、本発明は、撮像素子０１０３から出力される先読み画素群を、表示用画像信号としたが、焦点検出用信号としてもよい。
【符号の説明】
【００５１】
０１０１  光学系、０１０２  光学系駆動手段、０１０３  撮像素子
【図１】
2019179951.tif 000004
【図２】
2019179951.tif 000005
【図３】
2019179951.tif 000006
【図４】
2019179951.tif 000007
【図５】
2019179951.tif 000008
【図６】
2019179951.tif 000009
【図７】
2019179951.tif 000010