(57)【要約】【課題】動きベクトルを精度よく高速に推定することができる動きベクトル検出装置を提供する。【解決手段】元画像に類似する画像をＮ枚（Ｎは自然数）の入力画像から探して動きベクトルとして検出する動きベクトル検出装置であって、元画像から画像特徴を抽出する画像特徴抽出手段と、第ｉ入力画像（ｉは最大値がＮである自然数）と元画像との差分を用いて画像間差分情報を算出する画像間差分情報算出手段と、画像特徴と第ｉ入力画像に対応する画像間差分情報からそれぞれＮ個の動きベクトルを推定する動きベクトル推定手段と、元画像の画像領域の予め定めた近傍において、動きベクトルと画像特徴と画像間差分情報とを用いて近傍の各点における評価値を計算する動きベクトル評価値算出手段と、評価値に基づいて、近傍における動きベクトルを決定し、該動きベクトルを検出した動きベクトルとして出力する動きベクトル決定手段とを備える。【選択図】図１
2014143646.tif 000002
【特許請求の範囲】
【請求項１】
元画像に類似する画像をＮ枚（Ｎは自然数）の入力画像から探して動きベクトルとして検出する動きベクトル検出装置であって、
前記元画像から画像特徴を抽出する画像特徴抽出手段と、
第ｉ入力画像（ｉは最大値がＮである自然数）と前記元画像との差分を用いて画像間差分情報を算出する画像間差分情報算出手段と、
前記画像特徴と前記第ｉ入力画像に対応する前記画像間差分情報からそれぞれＮ個の動きベクトルを推定する動きベクトル推定手段と、
前記元画像の画像領域の予め定めた近傍において、前記動きベクトルと前記画像特徴と前記画像間差分情報とを用いて前記近傍の各点における評価値を計算する動きベクトル評価値算出手段と、
前記評価値に基づいて、前記近傍における動きベクトルを決定し、該動きベクトルを検出した動きベクトルとして出力する動きベクトル決定手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル決定手段は、
前記評価値が所定の閾値以下になる前記動きベクトルを検出した前記動きベクトルとすることを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項３】
元画像に類似する画像をＮ枚（Ｎは自然数）の入力画像から探して動きベクトルとして検出する動きベクトル検出装置であって、
前記元画像から画像特徴を抽出する画像特徴抽出手段と、
第ｉ入力画像（ｉは最大値がＮである自然数）と前記元画像との差分を用いてＮ個の画像間差分情報を算出する画像間差分情報算出手段と、
前記画像特徴と前記Ｎ個の画像間差分情報とを用いて前記元画像の画像領域の予め定めた近傍に対する評価式を得る動き評価式計算手段と、
前記評価式の値が最小となるＮ個の動きベクトルを算出することにより動きベクトルを推定する動きベクトル推定手段と、
推定された前記動きベクトルにおける動きの評価値を計算する動きベクトル評価値算出手段と、
前記評価値に基づいて、前記近傍における動きベクトルを決定し、該動きベクトルを検出した動きベクトルとして出力する動きベクトル決定手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項４】
元画像に類似する画像を入力画像から探して動きベクトルとして検出する動きベクトル検出装置であって、
前記元画像から画像特徴を抽出する画像特徴抽出手段と、
前記入力画像と前記元画像との差分を用いてＮ個の画像間差分情報を算出する画像間差分情報算出手段と、
前記画像特徴と前記画像間差分情報とを用いて前記元画像の画像領域の予め定めた近傍に対する評価式を得る動き評価式計算手段と、
前記評価式の値が最小となる動きベクトルを検出した動きベクトルとして出力する動きベクトル推定手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項５】
前記元画像と、Ｎ枚の前記入力画像のそれぞれとの位置合わせを予め行う前処理手段をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の動きベクトル検出装置。
【請求項６】
前記動きベクトルは１／２ｎ（ｎは自然数）画素精度を基準として検出することを特徴とする請求項１から５のいずれか１項に記載の動きベクトル検出装置。
【請求項７】
コンピュータを、請求項１から６のいずれか１項に記載の動きベクトル検出装置として機能させるための動きベクトル検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターンの位置が異なる画像において、その動きを画像内の局所的処理によって推定する動きベクトル検出装置及び動きベクトル検出プログラムに関する。
【背景技術】
【０００２】
画像から動きベクトルを求めること、すなわち、類似したパターンの対応付けを行うことは、符号化において圧縮の基礎情報となるため使われる必須技術であり、すでに多くの方法が提案され、実用化されてきた。しかし、動きベクトル検出を実装するには、繰り返し処理が多くなりがちである。従ってこれまで処理の高速化・演算量を削減する多くの提案が行われてきた。特に符号化の実装にあたって多くの提案が行われている。
【０００３】
最も単純な方法として、周囲の動きベクトルに近いものに限定して探す方法があり、Ｈ．２６４や次期符号化（ＨＥＶＣ）で積極的に採用されている。また、粗くサーチを行った後に、再度細かく探す方法もあり、例えば、ＥＰＺＳ、縮小を伴う２段階サーチなどである（例えば、非特許文献１参照）。しかし、いずれの方法も、原理的に最後には候補を中心として比較的広い領域での繰り返し処理を行って、動きベクトルを決定することが必要となる。
【０００４】
一方、動きベクトルを求める別の方法としては、オプチカルフローを利用する方法が知られている。オプチカルフローでは、原理的に１点の特徴点から動きを推定できるが、ノイズに弱く一般に安定しないという問題がある。このため広い領域を対象とし、統合して使用されることが多い（例えば、非特許文献２参照）。従ってこの方法は画像内のオブジェクト全体の動きを把握されるために使われるのが一般的である。
【０００５】
また、１点のオプチカルフローで動きを求めるのではなく、候補を絞り込むという方法も提案されている（例えば、特許文献１参照）。この方法は最低限の近傍で同じ動きがあることが確認できれば、候補を精度よく絞り込む可能性も高くなる。しかし、予め確率を計算しておくことが必要で、演算量は非常に多い。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３４３８１３号公報
【非特許文献】
【０００７】
【非特許文献１】Alexis M. Tourapis, Enhanced Predictive Zonal Search for Single and Multiple Frame Motion Estimation ; VCIP (Visual Communications and Image Processing), pp. 1069-1079, 2002
【非特許文献２】Carlo Tomasi and Takeo Kanade. Detection and Tracking of Point Features. Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
このように、正確な動きベクトルを得ようとする場合、最初にある程度の位置を推定し、最後に細かなサーチが行われる。この細かなサーチ時も繰り返し処理が多く、精度を上げようとすれば演算量が多くなってしまうという問題ある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、動きベクトルを精度よく高速に推定することができる動きベクトル検出装置及び動きベクトル検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、元画像に類似する画像をＮ枚（Ｎは自然数）の入力画像から探して動きベクトルとして検出する動きベクトル検出装置であって、前記元画像から画像特徴を抽出する画像特徴抽出手段と、第ｉ入力画像（ｉは最大値がＮである自然数）と前記元画像との差分を用いて画像間差分情報を算出する画像間差分情報算出手段と、前記画像特徴と前記第ｉ入力画像に対応する前記画像間差分情報からそれぞれＮ個の動きベクトルを推定する動きベクトル推定手段と、前記元画像の画像領域の予め定めた近傍において、前記動きベクトルと前記画像特徴と前記画像間差分情報とを用いて前記近傍の各点における評価値を計算する動きベクトル評価値算出手段と、前記評価値に基づいて、前記近傍における動きベクトルを決定し、該動きベクトルを検出した動きベクトルとして出力する動きベクトル決定手段とを備えることを特徴とする。
【００１１】
本発明は、前記動きベクトル決定手段は、前記評価値が所定の閾値以下になる前記動きベクトルを検出した前記動きベクトルとすることを特徴とする。
【００１２】
本発明は、元画像に類似する画像をＮ枚（Ｎは自然数）の入力画像から探して動きベクトルとして検出する動きベクトル検出装置であって、前記元画像から画像特徴を抽出する画像特徴抽出手段と、第ｉ入力画像（ｉは最大値がＮである自然数）と前記元画像との差分を用いてＮ個の画像間差分情報を算出する画像間差分情報算出手段と、前記画像特徴と前記Ｎ個の画像間差分情報とを用いて前記元画像の画像領域の予め定めた近傍に対する評価式を得る動き評価式計算手段と、前記評価式の値が最小となるＮ個の動きベクトルを算出することにより動きベクトルを推定する動きベクトル推定手段と、推定された前記動きベクトルにおける動きの評価値を計算する動きベクトル評価値算出手段と、前記評価値に基づいて、前記近傍における動きベクトルを決定し、該動きベクトルを検出した動きベクトルとして出力する動きベクトル決定手段とを備えることを特徴とする。
【００１３】
本発明は、元画像に類似する画像を入力画像から探して動きベクトルとして検出する動きベクトル検出装置であって、前記元画像から画像特徴を抽出する画像特徴抽出手段と、前記入力画像と前記元画像との差分を用いてＮ個の画像間差分情報を算出する画像間差分情報算出手段と、前記画像特徴と前記画像間差分情報とを用いて前記元画像の画像領域の予め定めた近傍に対する評価式を得る動き評価式計算手段と、前記評価式の値が最小となる動きベクトルを検出した動きベクトルとして出力する動きベクトル推定手段とを備えることを特徴とする。
【００１４】
本発明は、前記元画像と、Ｎ枚の前記入力画像のそれぞれとの位置合わせを予め行う前処理手段をさらに備えることを特徴とする。
【００１５】
本発明は、前記動きベクトルは１／２ｎ（ｎは自然数）画素精度を基準として検出することを特徴とする。
【００１６】
本発明は、コンピュータを、前記動きベクトル検出装置として機能させるための動きベクトル検出プログラムである。
【発明の効果】
【００１７】
本発明によれば、動きベクトルを精度よく高速に推定することができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】図１に示す動きベクトル検出装置の処理動作を示すフローチャートである。
【図３】ベクトルの選択方法を示す説明図である。
【図４】本発明の第２実施形態の構成を示すブロック図である。
【図５】図４に示す動きベクトル検出装置の動作を示すフローチャートである。
【図６】図５に示す処置動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による動きベクトル検出装置を説明する。図１は第１実施形態の構成を示すブロック図である。図１に示す動きベクトル検出装置はコンピュータ装置によって構成する。図１において、符号１は、外部から元画像とＮ枚（Ｎは自然数）の画像を入力する画像入力部である。符号２は、画像入力部１において入力した元画像（画像０という）から特徴抽出を行う特徴抽出部である。符号３は、画像０とｉ番目（ｉ≦Ｎ）の画像との差分情報処理を行う差分処理部である。符号４は、抽出した特徴と、差分情報とから動きベクトル推定処理を行う動きベクトル推定部である。符号５は、動きベクトルの評価値を算出する評価値算出部である。符号６は、評価値に基づき動きベクトルを決定して出力する決定処理部である。
【００２０】
次に、図２を参照して、図１に示す動きベクトル検出装置の動作を説明する。図２は、図１に示す動きベクトル検出装置の処理動作を示すフローチャートである。まず、画像入力部１は、処理対象の画像を入力して内部に保持する。ここで入力する画像は、元画像（画像０）とＮ枚の画像である。そして、入力した画像０に対して、画像１〜画像ｉ（ｉ≦Ｎ）のいずれかにパターンが動いた場合、その動きベクトルを調べることが目的である。また、画像０に対する画像１〜画像ｉの動きは比較的小さいものとする。
【００２１】
次に、特徴抽出部２は、画像０に対して特徴抽出処理を行う（ステップＳ１）。一方、差分処理部３は、画像０および画像１を用い、画像０と画像１の差分情報処理を行う（ステップＳ２）。続いて、差分処理部３は、画像０と画像ｉの差分情報処理を行う（ステップＳ３）。
【００２２】
次に、動きベクトル推定部４は、画像０の特徴抽出処理の結果と、画像０と画像１の差分情報処理の結果を利用して動きベクトル推定処理を行う（ステップＳ４）。動きベクトル推定部４は、ｉが１より大きい場合は、Ｎ枚の画像に対して同様の動きベクトル推定処理を行う（ステップＳ５）。ｉ番目の処理は、画像０および画像ｉを用い、画像０と画像ｉとの差分情報処理と、動きベクトル推定処理を行う。
【００２３】
次に、評価値算出部５は、動きベクトル推定処理の結果と、画像０の特徴抽出結果および差分情報処理の結果から、各動きベクトル推定結果における動きベクトル評価値を計算する（ステップＳ６、Ｓ７）。
【００２４】
次に、決定処理部６は、動きベクトル評価値から、動きベクトルを決定し、推定動きベクトルを出力する（ステップＳ８）。
【００２５】
次に、図２に示す処理動作を数式を交えながらより詳細に説明する。始めに画像０の特徴抽出処理と画像０と画像ｉの差分情報処理について説明する。まず、画像０を
【数１】
2014143646.tif 000003
画像ｉを
【数２】
2014143646.tif 000004
と置き、時系列データの２つの異なる時間の画像とみなして説明する。これによって、オプチカルフローの枠組みで、説明を行う。オプチカルフローの拘束式は、各点の明るさ（輝度）は動いた後も同じであると仮定しており、
【数３】
2014143646.tif 000005
とすることができる。
【００２６】
これを微分すると動きベクトルを→Ｖ＝（ｕ，ｖ）（→はＶの上に付く、以下、同様）とした場合、
【数４】
2014143646.tif 000006
が得られる。ここで、Ｉｘ＝∂Ｉ／∂ｘ，Ｉｙ＝∂Ｉ／∂ｙ，Ｉｔ＝∂Ｉ／∂ｔである。
【００２７】
さらにこれらをｘ，ｙ方向に微分すると、
【数５】
2014143646.tif 000007
【数６】
2014143646.tif 000008
となる。これをヘシアンを用いた式で記述すると
【数７】
2014143646.tif 000009
となる。
【００２８】
ここで∇はグラジエントである。またＨｅｓｓはヘシアン行列であり、２次元関数上で定義されているため、実態は２次元マトリクスとなり、２回微分を用いた
【数８】
2014143646.tif 000010
と表現される。これらはすべて、各点毎に定義できる（画像０の特徴抽出処理）。
【００２９】
ここでは、２枚の画像がｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ）、ｇ（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ＋Δｔ）であるので、Δｔ＝１として代入することで、
【数９】
2014143646.tif 000011
と書き表すことができる。
【００３０】
上記において、グラジエントの計算には１次微分が、ヘシアンの計算には２次微分が含まれているが、これらは一般的な線形フィルタを用いて計算すれば良い。ここではそのフィルタ係数には言及しないが、例えば画像に対して
【数１０】
2014143646.tif 000012
をかければ、ｘおよびｙ方向に１回ずつの２次微分Ｉｘｙが得られる。もちろん、別のサイズのフィルタを用いても構わないし、１つのフィルタでｘｙ方向微分を表現したフィルタを用いても構わない。この設計は、自由であり、ノイズが多いことが見込まれる映像では平滑化処理を内包した微分フィルタを利用することも可能である。
【００３１】
２次微分は、ｘ方向の２次微分、ｙ方向の２次微分、そしてｘ方向およびｙ方向への１回ずつの微分と３種類を用意しておく必要がある。
【００３２】
次に、動きベクトル推定処理について説明する。ここでは、動きベクトル→Ｖ＝（ｕ，ｖ）の計算方法について説明する。行列式が
【数１１】
2014143646.tif 000013
の場合は、
【数１２】
2014143646.tif 000014
という式で直接計算できる。
【００３３】
一方、
【数１３】
2014143646.tif 000015
の場合には、ヘシアンの逆行列が求められないため、一意には決まらない。このうち
【数１４】
2014143646.tif 000016
の場合（つまりヘシアンがゼロ行列）の場合には、便宜的に→Ｖ＝（０，０）を用いることができる。
【００３４】
ヘシアンの行列式はゼロでもゼロ行列でない場合（ｔｒ  Ｈｅｓｓ（ｆ）＝ｆｘｘ＋ｆｙｙ≠０）には、
【数１５】
2014143646.tif 000017
が成り立つ一番小さなノルムの→Ｖを用いることができる。
【００３５】
このように、画像０のヘシアンと、画像０および画像１または画像ｉを用いることで、画像０上の各点で、直接的に動きベクトルの推定を行うことができる。
【００３６】
このレベルでは動きベクトルは計算機上は倍精度の浮動小数点数などで表現され、必ずしも整数画素の動きベクトルにはならない。符号化などで動きベクトルを検出する場合は、これをデジタル化して表現しなければならない。その場合は、ここで必要となる精度のデジタル表現で近似することもできる。
【００３７】
次に、動きベクトル評価値算出処理について説明する。ここでは、動きベクトルの精度評価を行うための動きベクトル評価値算出方法について説明する。各点毎に得られた動きベクトル推定結果ｉから、確度の高い動きベクトルを得るための評価値を得る方法である。
【００３８】
まず、これまでに画像０上の各点ｐ＝（ｘ，ｙ）毎に、
【数１６】
2014143646.tif 000018
となるベクトル→Ｖ（ｐ）が得られている。ここで式が等号ではなく近似となっているのは、Ｈｅｓｓ（ｆ）がゼロであって∇（ｇ−ｆ）がゼロでない場合など、等号がなりたたない場合や、動きベクトルがデジタル表現された場合には式１６は一致せず、近似となってしまうためである。但しここで等号が成り立たない場合でも、以下の説明は進めることができる。
【００３９】
前述した通り、ベクトル→Ｖ（ｐ）は必ずしも整数の要素から成り立っている必要はない。そこで、これを予め定めた基準でデジタル化し、その結果を→Ｗ（ｐ）とする。各要素毎に一番近い整数値を選択することができる。ベクトル→Ｗ（ｐ）は→Ｖ（ｐ）に近いベクトルであるため、
【数１７】
2014143646.tif 000019
【数１８】
2014143646.tif 000020
が期待できる。
【００４０】
次に２つの点、ｐとｑが比較的近い点であれば、動きベクトルも類似すると考えられる。そこでｐの近傍領域をＭと設定し、ｑ∈Ｍを近傍の点とする。そして、
【数１９】
2014143646.tif 000021
を計算する。ここで‖・‖はベクトルの大きさを示す。
【００４１】
その例として、ｘ，ｙそれぞれの要素の絶対値和、二乗和の２乗根（ユークリッド距離）のようなノルムや、二乗和などが考えられるが、どのようなベクトルの大きさを評価する方式であれば、どのような式を用いても構わない。
【００４２】
例えば、動きを求めたいブロックがあるとする。そのブロック領域をＭとし、領域に含まれる点ｐ毎にそのブロックを近傍領域と設定する。ブロック内の全点ｐで上記ｓ（ｐ）を計算し、式１９の結果が最も小さな値となるｐに対応する→Ｗ（ｐ）を、そのブロックの動きベクトルの絞り込み結果とすることができる。最少の値を得るベクトルだけでなく、小さな値を出す→Ｗ（ｐ）を予め定めた数だけ選択しても良い。または、閾値を設定して、式１９がそれ閾値以下の値を出す動きベクトルを選択しても良い。
【００４３】
以上の処理によって、動きベクトルをずらしてマッチングしながら探す作業を行わずに、近傍の情報のみを用いて確度の高い動きベクトルを絞り込むことができるようになる。
【００４４】
なお、→Ｖ（ｐ）をデジタル化して設定される→Ｗ（ｐ）は、必ずしも１つである必要性はない。各ｐに対し、複数の→Ｗｋ（ｐ）（ｐ）が設定されている場合は、
【数２０】
2014143646.tif 000022
を最少とするｐ，ｋ（ｐ）求めればよい。ここでｋ（ｐ）は、ｐ毎に決める→Ｗ（ｐ）の数であり、上記の例は、ｋ（ｐ）＝１の場合となる。Ｗｋ（ｐ）（ｐ）の一例として、例えば→Ｖ（ｐ）の周辺の整数画素４点、１６点などを選ぶこともできる。
【００４５】
式１２に基づいて動きベクトルを推定の上、想定外に大きなベクトルであった場合には除外するおよび条件追加も可能である。
【００４６】
以上の処理、すなわち式１９または式２０が、動きベクトル評価値算出処理である。この式では、小さい値であるほど確度が高いと判断される。
【００４７】
図３は、上記→Ｗの選択方法を画素の位置関係を示しながら例として説明する図である。４−１は、動きの原点である。動きベクトルの起点はこの点Ｏであり、図では●で示している。計算された動きベクトル→Ｖ（ｐ）の終点は点Ｒであり、図３では○で示し４−２としている。計算された動きベクトルの終点４−２に対し、最も近い整数画素精度の点を選ぶ。この点を第１候補ベクトル（計算された動きベクトルに一番近い整数画素を終点とするベクトル）→Ｗとする。この終点を４−３で示し、図３では点Ａと示している。これが、→Ｖ（ｐ）から１つのベクトル→Ｗ（ｐ）を選ぶ方法の一例である。
【００４８】
複数のＷｋ（ｐ）（ｐ）を選ぶ場合、例えば同じ→Ｖ（ｐ）に対し図３に示したＡ〜Ｄの点を終点として選択する方法が考えられる。別の方法では、Ａ〜Ｄ点に加え、Ｅ１〜Ｅ１２を利用しても良い。さらに別の方法では、可能な限りの全点を利用することも可能である。
【００４９】
動きベクトル決定処理は、以上の結果の中から式１９または式２０による評価で最も確度が高いベクトルとする。また、予め定めた閾値以下の評価値を示すベクトルを動きベクトル候補として残すことも可能である。
【００５０】
以上の説明は、特に図３では予め与えられた画像に対して、整数画素精度の動きベクトル推定を行うことを前提に説明した。しかし以上の方法は、比較的動きベクトルが小さいと仮定できる場合であれば適用できる方法であり、２枚の画像が入力そのものであることを限定するものではない。
【００５１】
例えば、前処理によって２枚の画像が同じように縮小されていても構わないし、拡大されていても構わない。また、別の前処理で予め大局的な位置合わせを粗く行って、詳細な動きベクトルを得るために利用しても構わない。
【００５２】
さらに得ようとする動きベクトルの精度の調整も可能である。→Ｖ（ｐ）をデジタル化した→Ｗ（ｐ）は、上記のように整数にしても良い。また、ＭＰＥＧ２やＨ．２６４などの符号化で用いられるように１／２画素精度、または１／４画素精度としても構わない。すなわち、１／２ｎ（ｎは自然数）画素精度としてもよい。そして式１９、式２０、または式２１のように近傍の点を用いる場合に選ぶ近傍は、必要精度に応じて自由に設定することができる。
【００５３】
さらに別の方法では、各点でベクトル→Ｖ（ｐ）を求めるのではなく、可能性のあるすべてのベクトル→Ｗで上記式１９または式２０を計算して、最少の値を得ることも可能である。
【数２１】
2014143646.tif 000023
ここで、Ｍは例えば動きベクトルを計算するための領域、符号化ではＭＢ（マクロブロック）を想定している。但し演算量を削減するため、例えば１画素飛ばしでこの計算を行ったり、式１２に基づいて動きベクトルを推定の上、想定外に大きなベクトルであった場合には除外することも可能であり、必要に応じて近傍の領域および条件を追加・選択することができる。
【００５４】
＜第２実施形態＞
次に、本発明の第２実施形態による動きベクトル検出装置を説明する。評価値が式２１を変形した
【数２２】
2014143646.tif 000024
と定義されていた場合、式２２は各ベクトルを固定し、→Ｗ＝（ｕ，ｖ）と表記した２次式に展開できる。２次形式であるため、この２次形式が最低値を示す（ｕ，ｖ）をダイレクトに計算することが可能であり、それをデジタル化して→Ｗ＝（ｕ，ｖ）を利用することが可能となる。
【００５５】
式２２の方法で動きベクトルを推定する場合は、式が展開できることから、式１２のような逆行列をとる必要もない。
【数２３】
2014143646.tif 000025
なお、式２３は式９を２乗した２次式である。同様に式４を２乗すれば、
【数２４】
2014143646.tif 000026
という２回微分を使用しない２次式を得ることもできる。
【００５６】
式２３、式２４後半は、（ｑ）の記載を省略したが、総和を所望の領域内で計算すると、本式は単純に、
【数２５】
2014143646.tif 000027
という形に変形される。当然ながら、式２３および式２４を重みづけして合算して使用しても構わない。ここでＡ，Ｂは、特徴が全くない（一定値を持つ画像など）を除きゼロを超える値を取るため、式２５は基本的に最小値をとる。その値も直接数値計算できる。
【００５７】
図４は、第２実施形態の構成を示すブロック図である。図４に示す装置が図１に示す装置と異なる点は、評価式を計算する評価式計算処理部７が新たに設けられている点である。
【００５８】
次に、図５を参照して図４に示す動きベクトル検出装置の処理動作を説明する。図５は、図４に示す動きベクトル検出装置の動作を示すフローチャートである。図５において、図２に示す処理動作と同一の処理動作には同一の符号を付し、その説明を省略する。
【００５９】
評価式計算処理部７は、画像０の中の予め定めた点すべてにおいて式２３、すなわち式２５を計算する（ステップＳ１０、Ｓ１１）。二次式であるので、ベクトルの値は
【数２６】
2014143646.tif 000028
【数２７】
2014143646.tif 000029
で直接計算できる。そして、動きベクトル推定部４は、この計算結果に基づいて動きベクトルを推定する（ステップＳ１２、Ｓ１３）。
【００６０】
次に、評価値算出部５は、それぞれ得られた推定ベクトルにおいて式２５の値を計算する（ステップＳ１４、Ｓ１５）。続いて、決定処理部６は、評価値算出部５において計算された値のうち、最も小さくなる推定ベクトルを決定し、これを推定動きベクトルとして出力する（ステップＳ１６）。
【００６１】
なお、ｉ＝１の場合、図５に示す処理動作は、図６に示す処理動作となる。図６は、図５に示す処置動作の変形例を示すフローチャートである。図５に示すステップＳ３、Ｓ１１、Ｓ１３、Ｓ１４、Ｓ１５の処理は不要となり、動きベクトル推定処理（ステップＳ１２）で得られた結果がそのまま推定動きベクトルとなる。
【００６２】
以上の第２実施形態において推定された動きベクトルは、整数画素である必然性はない。例えば１画素より小さな動きも推定できる。例えば縮小した画像から元の大きさでの動きベクトルを、縮小した画像のみから推定することができる。
【００６３】
＜第３実施形態＞
次に、本発明の第３実施形態による動きベクトル検出装置を説明する。第１実施形態、第２実施形態の方法を組み合わせれば、例えばＭＰＥＧ２やＨ．２６４などで画像を圧縮する際の複数枚参照ＭＥ部にも適用することができる。フレーム間予測を用いた符号化では１枚の（符号化対象）画像を固定し、異なる時間の画像の中から類似するパターンを選び出す。
【００６４】
これを実現するための一例を示す。まず、符号化対象画像の該当ブロックを画像０とする。これを用いて、別の画像の中から類似する可能性があるブロックを探し出す。例えば縮小して処理を行うことで、粗い精度での動きベクトルを得ることができる。こうして得られた複数の候補を画像１〜画像ｉとして、前述した処理を行う。その結果、該当ブロック毎に推定動きベクトルが推定されることになる。
【００６５】
そして、最後には１つまたは複数個に絞り込んでも良いし、そのブロック毎に推定された動きベクトルおよび近い動きにおいて、今一度、マッチングを行って、最終的な動きベクトルを決定することもできる。
【００６６】
このように、前処理として粗いサーチ、後処理として再度のマッチング処理を、ここでは制限しない。さらに、粗いサーチ・細かなサーチと言った２段階の処理ではなく、さらに多段階の処理において適用するようにしてもよい。
【００６７】
以上の方法を用いた後、最終的にマッチングの処理が行うようにしてもよい。その場合でも、すでに動きベクトルの確度が高いため、その狭い周辺部分のみをサーチすれば良く、繰り返し処理での演算量は最低限に抑えられる。例えば、初めの処理で１／４縮小、すなわち４画素単位で動きが得られている場合、最低でもその点の周辺５×５点、精度を上げるには９×９または１１×１１の点でマッチングを行う必要があるが、前述した実施形態によれば、そのサーチ点を大幅に削減できる。
【００６８】
以上の処理は、画像に対する微分処理を伴うため画像内の低周波成分を抑制する。このため多くの場合、低周波にその集中する照明変動や急激な明るさの影響や、フェードの影響を受けにくいという特徴を併せ持つことになる。
【００６９】
以上説明したように、時間的に異なるなどのため、パターンの位置が異なる画像において、その動きを画像内の局所的処理によって高速に推定することが可能となる。また、予めパターン同士の大局的な位置合わせができた後の細かな位置決めにおける計算量を圧倒的に削減することができる。ＭＰＥＧ２やＨ．２６４におけるサブピクセルレベルの位置合わせを行うべき点の削減が実現できる。またノイズの影響を受けにくい、照明変動やフェードの影響を受けにくいという特徴も有する。
【００７０】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動くベクトル推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７２】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００７３】
パターンの位置が異なる画像において、その動きを画像内の局所的処理によって推定することが不可欠な用途にも適用できる。
【符号の説明】
【００７４】
１・・・画像入力部、２・・・特徴抽出部、３・・・差分処理部、４・・・動きベクトル推定部、５・・・評価値算出部、６・・・決定処理部、７・・・評価式計算処理部
【図１】
2014143646.tif 000030
【図２】
2014143646.tif 000031
【図３】
2014143646.tif 000032
【図４】
2014143646.tif 000033
【図５】
2014143646.tif 000034
【図６】
2014143646.tif 000035