(57)【要約】【課題】高い動きベクトル検出能力を持つ動きベクトル検出方法を提供する。【解決手段】動きサーチ元領域に対して第１のフィルタリング処理を行うステップと、動きサーチ対象領域に対して第１のフィルタリング処理を行う対象領域フィルタリングステップと、元領域のフィルタリングによる処理結果と、対象領域のフィルタリングによる処理結果とを比較するステップと、比較処理結果に基づき二次評価を行うべき領域を決定するステップと、動きサーチ元領域に対して第２のフィルタリング処理を行うステップと、決定した領域に対して第２のフィルタリング処理を行うステップと、第２の元領域の第２のフィルタリング処理結果と、二次評価対象領域のフィルタリング処理結果とを比較するステップと、比較処理結果に基づき動きベクトルを決定するステップとを有する。【選択図】図１
2014036304.tif 000002
【特許請求の範囲】
【請求項１】
与えられた画像の動きサーチ元領域に類似する領域を動きサーチ対象領域内において探索して動きベクトルを検出する動きベクトル検出方法であって、
前記動きサーチ元領域に対して第１のフィルタによってフィルタリング処理を行う第１の元領域フィルタリングステップと、
前記動きサーチ対象領域に対して前記第１のフィルタによってフィルタリング処理を行う対象領域フィルタリングステップと、
前記第１の元領域フィルタリングステップによる処理結果と、前記対象領域フィルタリングステップによる処理結果とを比較するための計算を行う一次評価値計算ステップと、
前記一次評価値計算ステップによる計算結果に基づき二次評価を行うべき領域を決定する対象領域スクリーニングステップと、
前記動きサーチ元領域に対して第２のフィルタによってフィルタリング処理を行う第２の元領域フィルタリングステップと、
前記対象領域スクリーニングステップにより決定した前記領域に対して前記第２のフィルタによってフィルタリング処理を行う二次評価対象領域フィルタリングステップと、
前記第２の元領域フィルタリングステップによる処理結果と、前記二次評価対象領域フィルタリングステップによる処理結果とを比較するための計算を行う二次評価値計算ステップと、
前記二次評価値計算ステップの計算結果に基づき動きベクトルを決定する動きベクトル決定ステップと
を有することを特徴とする動きベクトル検出方法。
【請求項２】
前記第１のフィルタは、低周波成分を抑制する要素を持つことを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項３】
前記第１のフィルタは、高周波成分を抑制する要素を持つことを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項４】
前記第２のフィルタは、低周波成分を抑制する要素を持つことを特徴とする請求項１から３のいずれか１項に記載の動きベクトル検出方法。
【請求項５】
前記第１のフィルタは、前記第２のフィルタに比して高周波成分を除去する効果が強いことを特徴とする請求項１から４のいずれか１項に記載の動きベクトル検出方法。
【請求項６】
前記第１のフィルタ及び前記第２のフィルタは２次元ガウス関数を用いて表現されたフィルタであることを特徴とする請求項５に記載の動きベクトル検出方法。
【請求項７】
前記第１のフィルタ及び前記第２のフィルタは、帯域制限フィルタであり、前記第１のフィルタは高周波成分を広く制限し、前記第２のフィルタは高周波成分を制限しないまたは僅かに制限することを特徴とする請求項５に記載の動きベクトル検出方法。
【請求項８】
前記高周波成分の除去に伴い前記画像を縮小処理することを特徴とする請求項１から７のいずれか１項に記載の動きベクトル検出方法。
【請求項９】
前記第１のフィルタ及び前記第２のフィルタは、低周波成分除去処理または微分処理を行うことを特徴とする請求項１から８のいずれか１項に記載の動きベクトル検出方法。
【請求項１０】
前記第１のフィルタは、１または複数のフィルタで構成することを特徴とする請求項１から９のいずれか１項に記載の動きベクトル検出方法。
【請求項１１】
前記第２のフィルタは、１または複数のフィルタで構成することを特徴とする請求項１から１０のいずれか１項に記載の動きベクトル検出方法。
【請求項１２】
前記一次評価値計算ステップは、予め定められた動きベクトルに近いほど優位となる重み付けを行うことを特徴とする請求項１から１１のいずれか１項に記載の動きベクトル検出方法。
【請求項１３】
前記対象領域スクリーニングステップは、前記二次評価を行うべき領域を決定する際に１または複数の対象領域を残すことを特徴とする請求項１から１２のいずれか１項に記載の動きベクトル検出方法。
【請求項１４】
前記二次評価値計算ステップは、予め定められた動きベクトルに近いほど優位となる重み付けを行うことを特徴とする請求項１から１３のいずれか１項に記載の動きベクトル検出方法。
【請求項１５】
与えられた画像の動きサーチ元領域に類似する領域を動きサーチ対象領域内において探索して動きベクトルを検出する動きベクトル検出装置であって、
前記動きサーチ元領域に対して第１のフィルタによってフィルタリング処理を行う第１の元領域フィルタリング手段と、
前記動きサーチ対象領域に対して前記第１のフィルタによってフィルタリング処理を行う対象領域フィルタリング手段と、
前記第１の元領域フィルタリング手段による処理結果と、前記対象領域フィルタリング手段による処理結果とを比較するための計算を行う一次評価値計算手段と、
前記一次評価値計算手段による計算結果に基づき二次評価を行うべき領域を決定する対象領域スクリーニング手段と、
前記動きサーチ元領域に対して第２のフィルタによってフィルタリング処理を行う第２の元領域フィルタリング手段と、
前記対象領域スクリーニング手段により決定した前記領域に対して前記第２のフィルタによってフィルタリング処理を行う二次評価対象領域フィルタリング手段と、
前記第２の元領域フィルタリング手段による処理結果と、前記二次評価対象領域フィルタリング手段による処理結果とを比較するための計算を行う二次評価値計算手段と、
前記二次評価値計算手段の計算結果に基づき動きベクトルを決定する動きベクトル決定手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項１６】
コンピュータに、請求項１から１４のいずれか１項の動きベクトル検出方法を実行させるための動きベクトル検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル検出方法、動きベクトル検出装置及び動きベクトル検出プログラムに関する。
【背景技術】
【０００２】
画像の符号化に用いられる動きベクトル検出は、符号化において必須の技術であり、すでに多くの方法が提案され、実用化されてきた。動きベクトル検出は、符号化処理において繰り返しが非常に多い部分であり、同時に符号化の性能を左右する処理でもある。従って処理の高速化またはハードウェア化に適した手法の検討と共に、性能向上の面からも新しい技術が提案されてきた。
【０００３】
高速化では、計算量の削減と、動きベクトル検出の効率化が検討されている。計算量を減らすための最も基本的考え方は画像の縮小である。この場合、一般的には精度を犠牲にしていると考えられている。符号化で利用する場合、周辺の動きベクトルとの類似性が高い場合が多いことを利用して、確度が高い点を集中的に探そうという試みがある（例えば、非特許文献１参照）。また、特徴点抽出などを行って効率的に動きを見つける検討（例えば、非特許文献２、３参照）も行われており、それぞれ成果を挙げている。
【０００４】
性能向上の側面では、主に動きベクトル検出の検出能力の向上、すなわち外乱へのロバスト性の確保と、位置精度の向上が検討される。外乱には様々なものがあり、単純に高周波ノイズの影響を軽減する方法（例えば、特許文献１参照）、符号化で行われるローカルデコード画像で発生するノイズの除去を目指した方法（例えば、特許文献２参照）などが提案されている。なお、フェードも外乱とみなすことができ、これの対策は、符号化処理において重要となる。符号化においてはフェードの係数を検出し、それを符号化係数に組み込む方法が採用されているが、動きベクトル検出時のフェード耐性を得るものではない。マルチヴューエンコード（ステレオ視など、複数カメラからの映像圧縮）では、カメラの固体差を除去する必要性から、直流成分を除去する方法が提案された（例えば、非特許文献４参照）。これは一定の効果はあるものの、一旦、平均値を計算し、その後改めてＳＡＤ（Sum of Absolute Difference）などの評価を行うため、高速化が期待できないという問題がある。
【０００５】
また、符号化以外のオブジェクト検出・トラッキングなどでは、速度も重要とされるものの、環境変動への安定性が重視される。面的に捉える場合、照明の影響を除去したマッチング方法がある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０６−２５３２９３号公報
【特許文献２】特開２０１０−２３２８２９号公報
【特許文献３】特開平１１−３２８３１１号公報
【非特許文献】
【０００７】
【非特許文献１】Alexis M. Tourapis, Enhanced Predictive Zonal Search for Single and Multiple Frame Motion Estimation ; VCIP (Visual Communications and Image Processing), pp. 1069-1079, 2002
【非特許文献２】Carlo Tomasi and Takeo Kanade. Detection and Tracking of Point Features. Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.http://www.ces.clemson.edu/~stb/klt/tomasi-kanade-techreport-1991.pdf
【非特許文献３】SURF: Speeded Up Robust Features; Herbert Bay, Tinne Tuytelaars and Luc Van Gool; 9th European Conference on Computer Vision, Graz, Austria, May 7-13, 2006.
【非特許文献４】Adaptive Local Illumination Change Compensation Method for H.264/AVC-Based Multiview Video Coding; IEEE Trans. Circuits Syst. Video Technol., vol. 17, no. 11, pp.1496-1505 , Nov. 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像の符号化処理における動きベクトル検出では、動きベクトルの抽出能力が高いこと、具体的にはベクトルの位置が正確に決定でき外乱の影響を受けにくいこと、さらに高速化やハードウェア実装が容易であることが望ましい。
【０００９】
しかし、これらをすべて満足することは難しく、従来から必要に応じて設計が行われてきた。例えば、符号化処理を行うソフトウェアではリアルタイム・オフラインに関わらず速度が重視され、ハードウェア実装においても速度と共に回路規模が最重視されており、性能の差を生む照明変動やフェードへの耐性への考慮は相対的に低かった。
【００１０】
本発明は、このような事情に鑑みてなされたもので、高い動きベクトル検出能力を持ちながら、単純な処理によって実現することができる動きベクトル検出方法、動きベクトル検出装置及び動きベクトル検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、与えられた画像の動きサーチ元領域に類似する領域を動きサーチ対象領域内において探索して動きベクトルを検出する動きベクトル検出方法であって、前記動きサーチ元領域に対して第１のフィルタによってフィルタリング処理を行う第１の元領域フィルタリングステップと、前記動きサーチ対象領域に対して前記第１のフィルタによってフィルタリング処理を行う対象領域フィルタリングステップと、前記第１の元領域フィルタリングステップによる処理結果と、前記対象領域フィルタリングステップによる処理結果とを比較するための計算を行う一次評価値計算ステップと、前記一次評価値計算ステップによる処理結果に基づき二次評価を行うべき領域を決定する対象領域スクリーニングステップと、前記動きサーチ元領域に対して第２のフィルタによってフィルタリング処理を行う第２の元領域フィルタリングステップと、前記対象領域スクリーニングステップにより決定した領域に対して前記第２のフィルタによってフィルタリング処理を行う二次評価対象領域フィルタリングステップと、前記第２の元領域フィルタリングステップによる処理結果と、前記二次評価対象領域フィルタリングステップによる処理結果とを比較するための計算を行う二次評価値計算ステップと、前記二次評価値計算ステップの処理結果に基づき動きベクトルを決定する動きベクトル決定ステップとを有することを特徴とする。
【００１２】
本発明は、前記第１のフィルタは、低周波成分を抑制する要素を持つことを特徴とする。
【００１３】
本発明は、前記第１のフィルタは、高周波成分を抑制する要素を持つことを特徴とする。
【００１４】
本発明は、前記第２のフィルタは、低周波成分を抑制する要素を持つことを特徴とする。
【００１５】
本発明は、前記第１のフィルタは、前記第２のフィルタに比して高周波成分を除去する効果が強いことを特徴とする。
【００１６】
本発明は、前記第１のフィルタ及び前記第２のフィルタは２次元ガウス関数を用いて表現されたフィルタであることを特徴とする。
【００１７】
本発明は、前記第１のフィルタ及び前記第２のフィルタは、帯域制限フィルタであり、前記第１のフィルタは高周波成分を広く制限し、前記第２のフィルタは高周波成分を制限しないまたは僅かに制限することを特徴とする。
【００１８】
本発明は、前記高周波成分の除去に伴い前記画像を縮小処理することを特徴とする。
【００１９】
本発明は、前記第１のフィルタ及び前記第２のフィルタは、低周波成分除去処理または微分処理を行うことを特徴とする。
【００２０】
本発明は、前記第１のフィルタは、１または複数のフィルタで構成することを特徴とする。
【００２１】
本発明は、前記第２のフィルタは、１または複数のフィルタで構成することを特徴とする。
【００２２】
本発明は、前記一次評価値計算ステップは、予め定められた動きベクトルに近いほど優位となる重み付けを行うことを特徴とする。
【００２３】
本発明は、前記対象領域スクリーニングステップは、前記二次評価を行うべき領域を決定する際に１または複数の対象領域を残すことを特徴とする。
【００２４】
本発明は、前記二次評価値計算ステップは、予め定められた動きベクトルに近いほど優位となる重み付けを行うことを特徴とする。
【００２５】
本発明は、与えられた画像の動きサーチ元領域に類似する領域を動きサーチ対象領域内において探索して動きベクトルを検出する動きベクトル検出装置であって、前記動きサーチ元領域に対して第１のフィルタによってフィルタリング処理を行う第１の元領域フィルタリング手段と、前記動きサーチ対象領域に対して前記第１のフィルタによってフィルタリング処理を行う対象領域フィルタリング手段と、前記第１の元領域フィルタリング手段による処理結果と、前記対象領域フィルタリング手段による処理結果とを比較するための計算を行う一次評価値計算手段と、前記一次評価値計算手段による処理結果に基づき二次評価を行うべき領域を決定する対象領域スクリーニング手段と、前記動きサーチ元領域に対して第２のフィルタによってフィルタリング処理を行う第２の元領域フィルタリング手段と、前記対象領域スクリーニング手段により決定した領域に対して前記第２のフィルタによってフィルタリング処理を行う二次評価対象領域フィルタリング手段と、前記第２の元領域フィルタリング手段による処理結果と、前記二次評価対象領域フィルタリング手段による処理結果とを比較するための計算を行う二次評価値計算手段と、前記二次評価値計算手段の処理結果に基づき動きベクトルを決定する動きベクトル決定手段とを備えることを特徴とする。
【００２６】
本発明は、コンピュータに、前記動きベクトル検出方法を実行させるためのベクトル検出プログラムである。
【発明の効果】
【００２７】
本発明によれば、異なる特性を持つ２つのフィルタ群を用意して、２段階の探索を行うようにしたため、２つのフィルタの特性の組み合わせによって所望の特性をもつ動きベクトル検出を実現することができるという効果が得られる。そのため、高い動きベクトル検出能力を持ちながら、単純な処理によって動きベクトル検出を実現することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態による動きベクトル検出装置の構成を示すブロック図である。
【図２】図１に示す構成の詳細を示すブロック図である。
【図３】図１、図２に示す動きサーチ元領域、動きサーチ対象領域及び二次評価対象領域の関係を示す説明図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本発明の一実施形態による動きベクトル検出装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、動きサーチ元領域のデータを予め記憶する動きサーチ元領域記憶部である。符号２は、動きサーチ対象領域のデータを予め記憶する動きサーチ対象領域記憶部である。動きベクトル検出装置は、動きサーチ対象領域の中から、動きサーチ元領域に類似する領域の位置を探し出すのが目的である。符号３は、動きサーチ元領域に対して、第１のフィルタリング処理を行う元領域第１のフィルタリング処理部である。符号４は、動きサーチ対象領域に対して、第１のフィルタリング処理を行う対象領域第１のフィルタリング処理部である。符号５は、元領域第１のフィルタリング処理部３における処理結果と、対象領域第１のフィルタリング処理部４における処理結果に基づき、一次評価値計算処理を行う一次評価値計算処理部である。
【００３０】
符号６は、一次評価値計算処理部５における処理結果に基づき、次のサーチ二次評価を行う対象領域を決定する対象領域スクリーニング処理部である。ここで決定する対象領域は、サーチ対象領域の一部となるが、数箇所に分かれていてもよい。符号７は、動きサーチ元領域に対して、第２のフィルタリング処理を行う元領域第２のフィルタリング処理部である。符号８は、動きサーチ対象領域スクリーニング処理部６において決定した対象領域に対して、第２のフィルタリング処理を行う二次評価対象領域第２のフィルタリング処理部である。符号９は、元領域第２のフィルタリング処理部７における処理結果と、二次評価対象領域第２のフィルタリング処理部８における処理結果とに基づいて二次評価値計算処理を行う二次評価値計算処理部である。符号１０は、二次評価値計算処理部９の結果から、最終的に動きベクトルを決定する動きベクトル決定処理部である。符号１１は、動きベクトル決定処理部１０が出力する動きベクトルを記憶する動きベクトル記憶部である。
【００３１】
次に、図２を参照して、図１に示す動きベクトル検出装置の詳細な構成を説明する。図２は、図１に示す動きベクトル検出装置の詳細な構成を示すブロック図である。図２において、フィルタ１２、フィルタ１４は、所定の準備しておいたフィルタである。これに対応して、一次評価値計算処理部５、二次評価値計算処理部９においても予めアルゴリズムが決定されている。さらに、対象領域スクリーニング処理部６は、一次評価値計算処理部５の結果をどのように選択するか決めるアルゴリズムが予め決定されている。
【００３２】
動きサーチ元領域記憶部１には、動きサーチ元領域のデータが記憶される。符号化処理の場合には、エンコーダにおけるローカルデコード画像の中の動きベクトル検出用のブロックに相当するデータが記憶されることになる。動きサーチ対象領域記憶部２には、動きサーチ対象領域のデータが記憶される。符号化の場合は、動きベクトルを捜す対象の画像データが記憶されることになる。
【００３３】
元領域フィルタリング処理部３１は、動きサーチ元領域に対してフィルタ１２を用いた処理を行う。このフィルタリング処理の結果は元領域フィルタリング処理結果記憶部３２に記憶される。対象領域フィルタリング処理部４１は、動きサーチ対象領域に対してフィルタ１２を用いた処理を行う。このフィルタリング処理の結果は対象領域フィルタリング処理結果記憶部４２に記憶される。
【００３４】
元領域フィルタリング処理結果記憶部３２に記憶された処理結果と、対象領域フィルタリング処理結果記憶部４２に記憶された処理結果は、予め準備されたアルゴリズムである一次評価値計算処理部５によって計算処理する。さらにその結果を用いた対象領域スクリーニング処理部６によって、続く動きサーチ二次評価対象領域が決定される。この際、動きサーチ対象領域記憶部２に記憶されている動きサーチ対象領域から強制的に一定の位置を切り出す場合もある。ここで得られた結果は、二次評価が行われる動きサーチ二次評価対象領域記憶部１３に記憶される。
【００３５】
元領域フィルタリング処理部７１は、動きサーチ元領域記憶部１に記憶されている動きサーチ元領域に対して、フィルタ１４を用いたフィルタリング処理を行う。この処理結果は元領域フィルタリング処理結果記憶部７２に記憶される。二次評価対象領域フィルタリング処理部８１は、動きサーチ二次評価対象領域記憶部１３に記憶されている動きサーチ二次評価対象領域に対して、フィルタ１４を用いたフィルタリング処理を行う。この処理結果は、二次評価対象領域フィルタリング処理結果記憶部８２に記憶される。
【００３６】
二次評価値計算処理部９は、元領域フィルタリング処理結果記憶部７２と二次評価対象領域フィルタリング処理結果記憶部８２に記憶された処理結果に対し、二次評価値計算処理によって比較が行われ、動きベクトル決定処理部１０によって最終的に動きベクトルが決定されて、動きベクトル記憶部１１に記憶される。
【００３７】
図３は、図１、図２に示す領域の関係を示す図である。動きサーチ元領域１００は、動きサーチ元領域記憶部１に記憶されている。動きサーチ対象領域１０１は、動きサーチ対象領域記憶部２に記憶されている。基準となる動きサーチ二次評価対照領域１０２、１０３、１０４は動きサーチ二次評価対象領域記憶部１３に記憶される。動きサーチ対象領域１０１は、動きサーチ元領域１００より大きいことを想定している。動きサーチ対象領域１０１の中から動きサーチ元領域１００に類似する領域を探すのが目的である。二次評価は、動きサーチ対象領域１０１を絞り込んで行う。
【００３８】
次に、図２、図３を参照して、図２に示す動きベクトル検出装置の処理動作を説明する。予め用意したフィルタ１２、フィルタ１４は、異なる特性を持つフィルタである。これらのフィルタ１２、１４、フィルタ１２、１４に連動した一次評価値計算処理部５、二次評価値計算処理部９、そして対象領域スクリーニング処理部６による処理を組み合わせることで、所望の特性を得ることができる。
【００３９】
例えば、フィルタ１２では大幅な高周波成分カットおよび低周波成分抑制効果を持つフィルタを、フィルタ１４では、フィルタ１２と比較して高周波成分を残すフィルタを用意する。例えばガウス関数であれば、大きなσ値をフィルタ１２、小さなσをフィルタ１４において使用する。帯域制限フィルタであれば、制限する高周波数成分をフィルタ１２では広くとって高周波成分を除去、フィルタ１４では高周波成分制限を行わない、または僅かに制限する。これにより、一次評価値計算処理部５の処理の前に縮小処理を行うことが可能となり、効率的なスクリーニングが実現できる。さらに、低周波成分カット処理または微分処理を併用することにより、照明変動やフェードの影響を受けにくくすることも同時に実現できる。
【００４０】
次に、フィルタ１２の構成例を説明する。フィルタ１２は、１つで構成される必要はなく、複数のフィルタを用いてもよい。この場合、元領域フィルタリング処理結果記憶部３２、対象領域フィルタリング処理結果記憶部４２に記憶される処理結果はフィルタの数だけの結果が得られることになる。各フィルタには、フェードや照明変動の影響を取り除くため、低周波成分の軽減を盛り込むことができる。また、フィルタ１２が高周波成分をカットする特性を持つ場合、元領域フィルタリング処理部３１および対象領域フィルタリング処理部４１の処理は、縮小処理または間引きを伴ってもよい。縮小または間引きは、フィルタリング処理の前に行ってもよいし、フィルタリング後に行ってもよい。例えば、動きサーチ元領域および動きサーチ対象領域に対し、始めに高周波成分カットフィルタを用いて平滑化し、これを間引いて縮小し、その後、所望のフィルタで処理する方法がある。この際、フィルタは縮小画像にかけることになる。逆に、フィルタ１２はすべて高周波成分カットの要素を持たせ、処理した後、間引いて縮小することも可能である。
【００４１】
次に、ガウス関数を用いた場合の具体的なフィルタの構成例を説明する。
（１）Ｌａｐｌａｃｅ          ｋ・（∂２Ｇσ／∂ｘ２＋∂２Ｇσ／∂ｙ２）
（２）平滑化＋直流ＯＦＦ      ｋ１Ｇσ−ｋ２Ｍ
（３）Ｓｏｂｅｌ              ｋ（｜∂Ｇσ／∂ｘ｜＋｜∂Ｇσ／∂ｙ｜）
（４）グラジエント            ｋ１・∂Ｇσ／∂ｘ、ｋ２・∂Ｇσ／∂ｙ
（５）グラジエント＋平滑化    ｋ１・∂Ｇσ／∂ｘ、ｋ２・∂Ｇσ／∂ｙ、ｋ３・Ｇσ
（６）グラジエント＋平滑化２  ｋ１・∂Ｇσ／∂ｘ、ｋ２・∂Ｇσ／∂ｙ、ｋ３Ｇσ−ｋ４Ｍ
【００４２】
ここで、ｋ、ｋｎｎ＝１…４、σは定数、Ｇσは２次元ガウス関数、∂／∂ｘ、∂／∂ｙは偏微分、Ｍは平均を示す。また、｜  ｜は絶対値を示している。ガウス関数は、σが大きい場合は高周波成分カットフィルタとして働く。従ってガウス関数すなわち平滑化の係数σが比較的大きな値であれば、このフィルタ処理後に画像を間引くことで縮小が実現できる。当然ながら、縮小処理をこれらのフィルタリング処理の前に行っておくことも可能である。一方微分処理（偏微分を含む）は、低周波成分抑制フィルタとして作用する。上記の例では、（５）、（６）は３つ、（４）は２つ、（１）〜（３）は１つのフィルタで構成されている。
【００４３】
（１）Ｌａｐｌａｃｅは、Ｌａｐｌａｃｅフィルタである。
【数１】
2014036304.tif 000003
であるため、
【数２】
2014036304.tif 000004
と表現され、これは１つのフィルタの形に展開できる。
【００４４】
（２）平滑化＋直流ＯＦＦは、一旦、対象領域全体で画素値の平均を計算する。一方で２次元ガウス関数で平滑化を行いつつ、平均の値×ｋを引いた値を結果とする。つまりｋ≠０の場合は、２つのステップでの処理が必要となるが、最終的に得られる結果は１画像である。
【００４５】
（３）Ｓｏｂｅｌは、Ｓｏｂｅｌフィルタである。一般にＳｏｂｅｌフィルターは、
【数３】
2014036304.tif 000005
の２つのフィルタで処理される。１枚の画像に対し２つの結果が得られるが、フィルタの結果は絶対値処理され、２枚の画像の合計が１つの画像として得られる。式ではｋ（｜∂Ｇσ／∂ｘ｜＋｜∂Ｇσ／∂ｙ｜）と表現しているが、上記の２種のフィルタは、σが非常に小さい場合の近似と言える。
【００４６】
（４）グラジエントは、フィルタ２つから構成される例である。結果も２つの画像となる。
（５）グラジエント＋平滑化、（６）グラジエント＋平滑化２は（４）グラジエントの変形である。フィルタ３つから構成され、結果も３つの画像となる。
【００４７】
こ  こでは、低周波成分のうち、最低でも直流成分を軽減するフィルタ例を示したが、これらの例に限定されるものではない。また、例えば（２）平滑化＋直流ＯＦＦにおいてｋをゼロに近づけたりゼロにして、低周波成分を減らない方法も、勿論可能である。
【００４８】
上記例では、ガウス関数を用いた式を記載したが、同様の効果を得るためには、高周波成分カットと低周波抑制作用が得られればよい。例えば、直接、周波数帯域での成分カットフィルタを用いて高周波成分をカットしたり、低周波成分を抑制してもよい。
【００４９】
次に、一次評価値計算処理部５について説明する。一次評価値計算処理部５が処理を行う前に、例えば上記（１）〜（６）のフィルタ処理によって、元領域フィルタリング処理結果記憶部３２、対象領域フィルタリング処理結果記憶部４２には、フィルタリングの処理結果が記憶されている。それぞれ記憶される処理結果の数は適用したフィルタの数と同じである。一次評価値計算処理部５は、フィルタ１つに対応する結果同士を比較する。
【００５０】
その比較方法は、上記（１）〜（３）のようにフィルタの数が１の場合は差分絶対値和、差分２乗和、相関値の計算など一般的な方法でよい。さらに、この評価値に別の指標を追加してもよい。例えば符号化の場合は、すでに計算された周辺領域の動きベクトルに近いほど、良い評価値が得られるよう、補正を加えてもよい。適用したフィルタの数が２以上の場合は、各フィルタで前述の処理を行った上、それぞれの結果を重み付けして合計する方法、最大値をとる方法、最小値をとる方法などが適用可能である。
【００５１】
次に、対象領域スクリーニング処理部６について説明する。対象領域スクリーニング処理部６は、一次評価値計算処理部５の処理結果を受けて、次の動きサーチ二次評価を行う領域を決定する。最も単純な方法は、一次評価値計算処理部５において得られた結果の最善の点を動きサーチ二次評価対象領域として決定する方法である。この場合、サーチ領域は１箇所となり、基本的にはその点の周辺を候補として探し、位置精度を向上させることになる。
【００５２】
動きサーチ二次評価対象領域の候補は、１点だけでなく、複数の点を残す方法も可能である。一次評価値計算処理部５の処理結果の最善点、次点、第３位、という形で候補とすればよい。一次評価値計算処理部５の処理結果のうち、極小値を示す候補点だけを残して同様に複数の候補を選んでもよい。また、動きがゼロの点も強制的に候補に残してもよい。また、周辺の動きが予め計算されている場合、それを強制的に候補に残してもよい。さらに、符号化処理の場合には、対象領域の上、右上、左などで動きベクトルがすでに決定されている場合には、これらと同じベクトルを強制的に候補に残してもよい。
【００５３】
動きサーチ二次評価対象領域記憶部１３に記憶される動きサーチ二次評価対象領域は、対象領域スクリーニング処理部６の処理結果を受けて、続く二次評価対象領域第２のフィルタリング処理部８が処理を行う位置を切り出した領域である。この候補領域は、１箇所になるとは限らない。図３に示すように、一次評価値計算処理部５が処理する領域は複数の領域に分かれていてもよい。
【００５４】
次に、フィルタ１４の構成例を説明する。フィルタ１４は、フィルタ１２と同様に１つで構成される必要はなく、複数のフィルタで構成されてもよい。この場合、元領域フィルタリング処理結果記憶部７２、二次評価対象領域フィルタリング処理結果記憶部８２に記憶される処理結果はフィルタの数と同数の結果が記憶されることになる。
【００５５】
各フィルタには、フィルタ１２とは基本的に異なる周波数の特性を持たせる。特に縮小処理を行っていた場合には、低周波成分は基本的に不用であり、高周波成分のみを利用する。具体的なフィルタを式で示す場合、フィルタ１２と同じでよい。但し係数はフィルタ１２とは異なることを基本としている。例えば、（１）Ｌａｐｌａｃｅにおけるσは、フィルタ１２よりはるかに小さな値を使うことで、使用される主な周波数領域を変化させることができる。フィルタ１２とフィルタ１４で同様のフィルタ（例えば、（１）Ｌａｐｌａｃｅ）を使う必要はなく、どのような組み合わせも可能である。
【００５６】
ここで元領域フィルタリング処理部７１および二次評価対象領域フィルタリング処理部８１は、基本的に画像の元の分解能であることを想定している。元の画像と同じ分解能であれば、得られる結果は整数画素単位となる。ただし映像を拡大して利用することも可能である。例えば２倍拡大を行い、その分解能の中で整数画素単位の位置決めを行うことで、１／２画素精度でのサーチ結果を得ることができる。この場合、σなどスケーリングに関わる係数は所望の値に変更することになる。
【００５７】
次に、二次評価値計算処理部９の構成例を説明する。二次評価値計算処理部９が処理を行う前に、例えば上記（１）〜（６）のフィルタリング処理によって、元領域フィルタリング処理結果記憶部７２、二次評価対象領域フィルタリング処理結果記憶部８２には、フィルタリグの処理結果が記憶されている。それぞれの処理結果の数はフィルタの数と同じである。二次評価値計算処理部９は、フィルタ１つに対応する結果同士を比較する。その比較方法は、一次評価値計算処理部５と同様でよい。
【００５８】
次に、フィルタ１２、１４として、上記（３）Ｓｏｂｅｌを用いる例について説明する。ここで、フィルタ１２では、例えばσ≧２．０、フィルタ１４ではσ≦１．０とする。まず、動きサーチ元領域記憶部１に記憶されている動きサーチ元領域、動きサーチ対象領域記憶部２に記憶されている動きサーチ対象領域に対しフィルタ１２を用いたフィルタリング処理を行う。上記（３）Ｓｏｂｅｌの例では、動きサーチ元領域に対し対象画像のｘ方向微分、ｙ方向微分を行って、それぞれの各点の絶対値の合計を計算し、１つの画像を得て、元領域フィルタリング処理結果記憶部３２に記憶する。同様の計算を動きサーチ対象領域にも行い別の画像を得て、対象領域フィルタリング処理結果記憶部４２に記憶する。この後、σ≧２．０であるため、例えば１／２に画像を間引いてもよい。
【００５９】
これらの画像の比較を一次評価値計算処理部５において行う。その比較は、例えば相関値を使うことができる。さらにここで、動きベクトルの大きさや、周辺の動きベクトルとの差異を重み付けして評価値に加えることができ、これによってできるだけ動きベクトルがゼロに近くなるようにしてもよい。
【００６０】
対象領域スクリーニング処理部６では、一次評価値計算処理部５の処理結果を元に、どの位置を基準に動きサーチ二次評価を行うかを決定する。例えば、ここでは一次評価値計算処理部５の処理結果のうち、最良の１０点を選択する。動きサーチ二次評価対象領域記憶部１３に記憶される動きサーチ二次評価対象領域は、選択した１０点を中心とした２画素の範囲とする。
【００６１】
元領域フィルタリング処理部７１および二次評価対象領域フィルタリング処理部８１に対してフィルタ１４として上記（３）Ｓｏｂｅｌを使用する。演算は前述した通りである。一次評価値計算処理部５同様、二次評価値計算処理部９では動きベクトルの大きさを重み付けして評価値に加えればよい。この結果を用いて動きベクトル決定処理部１０により動きベクトル決定処理を行い、動きベクトルを得て、動きベクトル記憶部１１に記憶する。
【００６２】
次に、フィルタ１２、１４として、（５）グラジエント＋平滑化を用いる例について説明する。ここで、フィルタ１２では、例えばσ≧４．０、フィルタ１４ではσ≦１．０とする。元領域フィルタリング処理部３１、対象領域フィルタリング処理部４１は、フィルタ１２を用いたフィルタリング処理を行う。このフィルタは３つで構成されているため、それぞれ３種類の結果が得られることになる。この結果は、σ≧４．０を係数とするガウス関数によって低周波成分が軽減されているため、１／４縮小となる間引き処理も行う。その結果、元領域フィルタリング処理結果記憶部３２、対象領域フィルタリング処理結果記憶部４２には縮小された結果が記憶されることになる。
【００６３】
さらに、一次評価値計算処理部５において計算されるのは、縮小された画像同士となる。具体的には、例えばそれぞれの差分絶対値和を計算する。差分絶対値和は３種類のフィルタ毎に計算され、さらにこれらに重みを付けて合計値が計算される。さらにここで、符号化の場合には周囲の動きベクトルとの距離を加えることによって、できるだけ周囲の動きベクトルと同じ結果が得られるようにしてもよい。
【００６４】
対象領域スクリーニング処理部６は、一次評価値計算処理部５の処理結果を元に、どの位置を基準に動きサーチ二次評価を行うかを決定する。例えば、ここでは一次評価値計算処理部５の処理結果のうち、極小値（大きい値がより好ましい場合は極大値）の中で最良とされた点から１０点を選択する。さらに動きベクトルがゼロの点と、周辺の動きベクトルから推定された動きベクトルを１点加え、１２点を動きサーチ二次評価の候補の中心とする。動きサーチ二次評価対象領域記憶部１３に記憶される動きサーチ二次評価対象領域は、前記１２点を中心とした２画素の範囲とする。
【００６５】
元領域フィルタリング処理部７１および二次評価対象領域フィルタリング処理部８１に対してフィルタ１４として上記（５）グラジエント＋平滑化を使用する。演算は前述した通りである。一次評価値計算処理部５同様、二次評価値計算処理部９では動きベクトルの大きさを重み付けして評価値に加えればよい。この結果を用いて動きベクトル決定処理部１０により動きベクトル決定処理を行い、動きベクトルを得て、動きベクトル記憶部１１に記憶する。
【００６６】
前述した説明では、一次評価において画像の縮小処理、二次評価において整数画素を前提として記載したが、二次評価において必要な場合に小数画素精度までの動きベクトルサーチを行ってもよい。さらに、二次評価において整数画素精度の動きベクトルを決定後、三次評価として別の小数画素精度サーチを行ってもよい。実際、ＭＰＥＧ２、Ｈ．２６４などの符号化処理では、整数画素精度で動きベクトルを求めた後、整数画素精度のサーチを行っている。
【００６７】
なお、前述の説明においては、具体的な数値を用いて説明したが、当然、数やパラメータについてを限定するものではない。また、説明を簡単にするため、フィルタ１２を用いたフィルタ処理後に画像を縮小する形で説明を行ったが、実際には縮小処理を先に行って、その後、その結果に合わせたフィルタを準備して使用しても同様の効果が得られることは明らかである。
【００６８】
以上説明したように、予め用意した画像パターンに類似する位置を、別に用意した画像内で決定する際に、異なる特性を持つ２つのフィルタ群を用意して、２段階のサーチを行うことで、２つのフィルタの特性の組み合わせによる所望の特性をもつ動きベクトル検出を実現することができる。特に１段目のサーチで縮小処理することで、高速化を実現できる。さらに２種類のフィルタ群に照明変動耐性などを持たせることができ、明るさ変動が起きても安定な動きベクトル検出も同時に実現することができる。これにより、符号化時の動きベクトル検出の際に、その動きベクトルの精度および環境変動への安定性を高めることができる。
【００６９】
なお、図２における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動きベクトル検出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７１】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００７２】
符号化時の動きベクトル検出の際に、その動きベクトルの精度および環境変動への安定性を高めることが不可欠な用途にも適用できる。
【符号の説明】
【００７３】
１・・・動きサーチ元領域記憶部、２・・・動きサーチ対象領域記憶部、３・・・元領域第１のフィルタリング処理部、３１・・・元領域フィルタリング処理部、３２・・・元領域フィルタリング処理結果記憶部、４・・・対象領域第１のフィルタリング処理部、４１・・・対象領域フィルタリング処理部、４２・・・対象領域フィルタリング処理結果記憶部、５・・・一次評価値計算処理部、６・・・対象領域スクリーニング処理部、７・・・元領域第２のフィルタ処理部、７１・・・元領域フィルタリング処理部、７２・・・元領域フィルタリング処理結果記憶部、８・・・二次評価対象領域第２のフィルタリング処理部、８１・・・二次評価対象領域フィルタリング処理部、８２・・・二次評価対象領域フィルタリング処理結果記憶部、９・・・二次評価値計算処理部、１０・・・動きベクトル決定処理部、１１・・・動きベクトル記憶部、１２・・・フィルタ、１３・・・動きサーチ二次評価対象領域記憶部、１４・・・フィルタ
【図１】
2014036304.tif 000006
【図２】
2014036304.tif 000007
【図３】
2014036304.tif 000008