(57)【特許請求の範囲】
【請求項１】
解像度の低い上位階層で求めた画像の動き量に基づいて、ブロツクマツチング法により解像度の高い下位階層で画像の動き量を検出する動き量検出方法において、
入力画像信号に基づく画像を平均値階層化して、当該入力画像信号の定常成分を表す複数の解像度で階層化された階層画像を形成する第１の画像階層化ステツプと、
上記入力画像信号に基づく画像をアクテイビテイ階層化して、当該入力画像信号の過渡成分を表す複数の解像度で階層化された階層画像を形成する第２の画像階層化ステツプと、
上記第１の画像階層化ステツプで得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第１の評価値を求めると共に、上記第２の画像階層化ステツプで得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第２の評価値を求めた後、当該第１及び第２の評価値を加重平均することにより各階層毎に第３の評価値を求める評価値算出ステツプと、
解像度の最も低い最上位階層においては、上記第３の評価値における極小点を複数検出し、当該複数の極小点の位置をそれぞれ動き量候補として求めた後、当該動き量候補の中から匂配法により最も確からしい動き量を検出することにより動き量を検出し、かつ、他の階層においては、上記第３の評価値の最小値を求めることにより動き量を検出するようにした動き量検出ステツプと
を具えることを特徴とする動き量検出方法。
【請求項２】
解像度の低い上位階層で求めた画像の動き量に基づいて、ブロツクマツチング法により解像度の高い下位階層で画像の動き量を検出する動き量検出方法において、
入力画像信号に基づく画像を平均値階層化して、当該入力画像信号の定常成分を表す複数の解像度で階層化された階層画像を形成する第１の画像階層化ステツプと、
上記入力画像信号に基づく画像をアクテイビテイ階層化して、当該入力画像信号の過渡成分を表す複数の解像度で階層化された階層画像を形成する第２の画像階層化ステツプと、
上記第１の画像階層化ステツプで得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第１の評価値を求めると共に、上記第２の画像階層化ステツプで得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第２の評価値を求める評価値算出ステツプと、
解像度の最も低い最上位階層においては、上記第１及び第２の評価値のそれぞれの極小点を複数検出し、当該複数の極小点の位置をそれぞれ動き量候補として求めた後、当該動き量候補の中から勾配法により最も確からしい動き量を検出することにより動き量を検出し、かつ、他の階層においては、上記第１及び第２の評価値を加重平均することにより求めた第３の評価値の最小値を求めることにより動き量を検出する動き量検出ステツプと
を具えることを特徴とする動き量検出方法。
【請求項３】
解像度の低い上位階層で求めた画像の動き量に基づいて、ブロツクマツチング法により解像度の高い下位階層で画像の動き量を検出する動き量検出装置において、
入力画像信号に基づく画像を平均値階層化して、当該入力画像信号の定常成分を表す複数の解像度で階層化された階層画像を形成する第１の画像階層化手段と、
上記入力画像信号に基づく画像をアクテイビテイ階層化して、当該入力画像信号の過渡成分を表す複数の解像度で階層化された階層画像を形成する第２の画像階層化手段と、
上記第１の画像階層化手段で得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第１の評価値を求めると共に、上記第２の画像階層化手段で得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第２の評価値を求めた後、当該第１及び第２の評価値を加重平均することにより各階層毎に第３の評価値を求める評価値算出手段と、
解像度の最も低い最上位階層においては、上記第３の評価値における極小点を複数検出し、当該複数の極小点の位置をそれぞれ動き量候補として求めた後、当該動き量候補の中から匂配法により最も確からしい動き量を検出することにより動き量を検出し、かつ、他の階層においては、上記第３の評価値の最小値を求めることにより動き量を検出する動き量検出手段と
を具えることを特徴とする動き量検出装置。
【請求項４】
解像度の低い上位階層で求めた画像の動き量に基づいて、ブロツクマツチング法により解像度の高い下位階層で画像の動き量を検出する動き量検出装置において、
入力画像信号に基づく画像を平均値階層化して、当該入力画像信号の定常成分を表す複数の解像度で階層化された階層画像を形成する第１の画像階層化手段と、
上記入力画像信号に基づく画像をアクテイビテイ階層化して、当該入力画像信号の過渡成分を表す複数の解像度で階層化された階層画像を形成する第２の画像階層化手段と、
上記第１の画像階層化手段で得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第１の評価値を求めると共に、上記第２の画像階層化手段で得た上記階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第２の評価値を求める評価値算出手段と、
解像度の最も低い最上位階層においては、上記第１及び第２の評価値のそれぞれの極小点を複数検出し、当該複数の極小点の位置をそれぞれ動き量候補として求めた後、当該動き量候補の中から匂配法により最も確からしい動き量を検出することにより動き量を検出し、かつ、他の階層においては、上記第１及び第２の評価値を加重平均することにより求めた第３の評価値の最小値を求めることにより動き量を検出する動き量検出手段と
を具えることを特徴とする動き量検出装置。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図７）
発明が解決しようとする課題（図７及び図８）
課題を解決するための手段（図１〜図６）
作用（図１〜図６）
実施例（図１〜図６）
発明の効果
【０００２】
【産業上の利用分野】
本発明は動き量検出方法及び動き量検出装置に関し、特に画像の動きを検出する際に時間的に異なる２つの画像データをそれぞれ階層化した後に動き量を検出するものに適用し得る。
【０００３】
【従来の技術】
従来、画像の動きベクトルを検出する手法として、ブロツクマツチング法がある。これは、図７に示すように参照画像としての現在のフレーム（又はフイールド）Ｆ１をｍ画素×ｎ画素の大きさのブロツクに分割して得られる参照ブロツクＢ１と、基本画像としての過去のフレーム（又はフイールド）Ｆ２のサーチエリア（±ｓ画素）ＳＡ内に存在する候補ブロツクＢ２との画素毎の差分の絶対値和を評価値Ｐ（ｈ、ｖ）として演算し、次式
【数１】
0003724653.tif 000002
に示すように、サーチエリアＳＡ内で候補ブロツクＢ２を１画素毎にずらしてトータル（２ｓ＋１）2 点の評価値Ｐ（ｈ、ｖ）を演算する。これらの評価値の最小値を求めることによつて、その最小値が示す相対的座標値（ｈ、ｖ）を当該参照ブロツクＢ１の動きベクトルとする手法である。トータルの演算数は、演算量＝ブロツク数×サーチポイント×評価式数で表される。この場合、サーチポイント数は（２ｓ＋１）2 であり、評価式数は減算（ｍ×ｎ）、絶対値演算（ｍ×ｎ）、加算（ｍ×ｎ−１）の和となる。
【０００４】
ところがブロツクマツチング法は、参照ブロツクＢ１と候補ブロツクＢ２のマツチング演算をサーチエリアＳＡ内で１画素ずつずらしながら行う方法であるため、動きベクトルを検出する演算量が膨大となり、この結果ＬＳＩ化したときに装置全体として大型化したり演算時間が長くなる問題があつた。
【０００５】
かかる問題を解決すべく動き検出のハードウエアを小さくするためには、上式の各項目を減らす必要があるが、ブロツク数は変えることができないので、サーチポイント数を減らす手法としては、３ステツプ方式や正射影方式がある。またサーチポイント数と評価値数を同時に減らす手法として階層化方式がある。
【０００６】
ここで階層化方式による動き量検出方法とは、オリジナル画像を複数の解像度で階層化し、この階層画像を用いてブロツクマツチング法で動き量を検出する方法である。すなわちこの動き量検出方法では、まずオリジナルの画像データ（以下、階層１と呼ぶ）を、平均化やローパスフイルタ処理等で平均値階層化して、画素数を低減した画像データ（以下、階層２と呼ぶ）を作成する。次に作成した階層２の画像データで大まかな動き量を検出し、その動き量に基づいて階層１の画像データについて細かい動き量検出を行うことにより、少ない計算量で動き量を検出し得るようになされている。なおここでの階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらにデータ量の少ない階層３、階層４、……の画像データを作成することもできる。
【０００７】
具体的に図８において、階層化された画像データを生成する例を示す。図８（Ａ）はオリジナル画像について３階層に階層化された画像データを生成する場合で、最下位階層でなる階層１はオリジナル画像である。オリジナル画像上のブロツク（例えば16×16）より上位階層のデータ、階層ｎにおける画像データをＭn （ｘ、ｙ）とすると、次式
【数２】
0003724653.tif 000003
のように平均値化によつて求めることができ、ブロツクサイズは水平及び垂直方向にそれぞれ１／２になる。またこのように平均値階層化された階層１の画像データから階層２の画像データを生成するときも、（２）式により同様に求めることができる。
【０００８】
このような動き量検出方法を用いれば、階層数が多くなる程少ない計算量で動き量を求めることができる。すなわちより上位階層の画像データ程ブロツクのサイズとサーチエリアが小さくなるため、評価関数による演算量は必然的に小さくなる。最終的に動き量を求める最下位階層での評価は、ブロツクサイズ自体通常のブロツクマツチング法と同じになるが、上位階層の画像データで求めた動き量に応じて動き補償して、サーチエリアを小さくすることができるため、演算量を削減することができる。
【０００９】
【発明が解決しようとする課題】
ところがこの動き量検出方法においては、階層数が多くなる程動き量の検出精度が劣化する問題があつた。実際上この動き量検出方法では、まず画像の粗い上位階層においてブロツク毎の動き量を検出し、この検出結果に基づいて下位階層において動き量を検出するため、上位階層での検出結果が下位階層での動き量検出に大きな影響を与える。すなわち上位階層の画像データは、平均値階層化の処理でブロツクサイズを小さくするため、画像の特徴量が最下位階層のオリジナル画像と異なつてくる。特にエツジ成分は平均値階層化により失われることになるため、平均値階層化された画像データにおける動き量とオリジナル画像による動き量の対応関係がずれる場合が生じる。
【００１０】
実際上現在の階層より下位の階層で動き量を求める場合、上位階層での動き量の結果を反映させるため、もし対応関係のずれ量が大きくサーチエリア以内でカバーできなかつたときには誤動作となる。従つて平均値階層化された画像データによる動き量検出方法では、平均値階層化による情報量の欠落により、誤動作が起きる可能性が大きくなる問題がある。また階層が上位になる程ブロツクサイズが小さくなることから、平均値階層化された画像データ上での動き量検出は、オリジナル画像に対する動き量検出の分解能が低下して誤動作が発生する問題もある。
【００１１】
この問題を解決するための１つの方法として、オリジナル画像について平均値階層化の手法によつてオリジナル画像の定常成分を表す複数階層の画像データを形成すると共に、各階層の高周波成分（以下、アクテイビテイと呼ぶ）を表すデータについても階層化（以下、これをアクテイビテイ階層化と呼ぶ）してオリジナル画像の過渡成分を表す複数階層のアクテイビテイデータを形成し、階層毎にこれらを用いて動き量を検出する方法が考えられている。
【００１２】
例えば上位階層の画像データの平均値と下位階層の画像データの平均値との差分の絶対値の平均値を小ブロツク毎にアクテイビテイとして、当該アクテイビテイで構成される第２の階層画像を用いて第２の評価値を算出して、平均値階層化された第１の評価値とそのまま足し合わせて評価することにより、誤動作を減少させる方法が考えられている。因に、アクテイビテイとしては、上述した平均値からの差分の絶対値和のみならず、標準偏差、分散、ラプラシアン、ダイナミツクレンジなどを用いる方法も考えられている。
【００１３】
従来の画像を階層化してなる階層画像を用いた動き量検出方法では、図８（Ａ）の平均値階層化しか行わないが、この方法では（２）式により平均値階層化された画像データを生成すると同時に、図８（Ｂ）に示すように、平均値階層化された画像データについてアクテイビテイ階層化してアクテイビテイデータを生成する。階層２のアクテイビテイデータをΔ2 （ｘ、ｙ）とすると、このアクテイビテイデータΔ2 （ｘ、ｙ）は、平均値階層化された画像データからオリジナル画像の対応する画像の差分の絶対値和によつて、次式
【数３】
0003724653.tif 000004
で求め、同様に階層３のアクテイビテイデータΔ3 （ｘ、ｙ）は、次式
【数４】
0003724653.tif 000005
で求める。アクテイビテイデータとして、全てオリジナル画像を基底にして求めるようにしたことにより、オリジナル画像に忠実な高周波成分を抽出し得るようになされている。
【００１４】
このようにしてアクテイビテイデータを求めると、その階層構造は図８（Ｂ）に示すようになり、最下位階層以外での階層プレーンを持つことになる。このアクテイビテイデータは、平均値階層化したときに画像データ中で欠落する特徴量を反映していることになる。
【００１５】
ここで、平均値階層化した画像データとアクテイビテイ階層化したアクテイビテイデータを用いて、各階層でブロツクマツチング法による動き量検出を行う。すなわちブロツクマツチングの評価関数は、現フイールドをｔで表すと、次式
【数５】
0003724653.tif 000006
で表される。ただし、（ｕn 、ｖn ）は、階層ｎでの動き量を示す。この評価関数Ｅ（Ｙ）n の最小を与えるＶ′n ＝（ｕn 、ｖn ）を求める動き量とする。現在の階層における動き量Ｖn は、次式
【数６】
0003724653.tif 000007
という関係から、順次階層毎に求めていくことで、最終的な動き量を求めることができる。
【００１６】
この場合の評価関数とは、図８（Ｂ）に示すアクテイビテイデータについても（５）式と同様に、次式
【数７】
0003724653.tif 000008
となる評価を行い、新たな評価関数Ｅ（Ｇ）n を、次式
【数８】
0003724653.tif 000009
とする。ただしｗ1 、ｗ2 は重み係数である。そして評価関数Ｅ（Ｇ）n の最小を与える動き量を求める。なお最下位階層ではアクテイビテイデータが存在しないため、（５）式の評価関数Ｅ（Ｙ）n のみによる評価を行う。
【００１７】
このように平均値階層化された画像データの第１の評価値とアクテイビテイ階層化されたアクテイビテイデータの第２の評価値とを加重平均して第３の評価値を作成して動き量検出をすることにより、一方の階層の最適評価値が誤検出であつても、もう一方の評価値で正しい検出ができるようになり、各階層における動き量検出の精度が向上する。このように各階層における動き量検出精度が向上すると、（６）式で求める最終的な動き量も検出精度を向上することができ、この結果誤動作を減少させることができる。
【００１８】
ところが、このような階層化の操作（平均化、アクテイビテイ検出）はブロツク完結で行なわれるために、上位階層において情報が縮退されることで細部の成分がなくなるおそれがあり、この場合動き量検出ミスが生じるという問題があた。
【００１９】
本発明は以上の点を考慮してなされたもので、階層化された画像データを用いてブロツクマツチング法で動き量を検出する際に、勾配法を適用することにより、簡易な構成で動き量の検出精度を向上させ得る動き量検出方法及び動き量検出装置を提案しようとするものである。
【００２０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、解像度の低い上位階層で求めた画像の動き量に基づいて、ブロツクマツチング法により解像度の高い下位階層で画像の動き量を検出する動き量検出方法及び動き量検出装置において、入力画像信号に基づく画像を平均値階層化して、当該入力画像信号の定常成分を表す複数の解像度で階層化された階層画像を形成し、当該階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第１の評価値を求めると共に、入力画像信号に基づく画像をアクテイビテイ階層化して、当該入力画像信号の過渡成分を表す複数の解像度で階層化された階層画像を形成し、当該階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第２の評価値を求めた後、当該第１及び第２の評価値を加重平均することにより各階層毎に第３の評価値を求める。続いて解像度の最も低い最上位階層の第３の評価値における極小点を複数検出し、当該複数の極小点の位置をそれぞれ動き量候補として求めた後、当該動き量候補の中から勾配法により最も確からしい動き量を検出するようにする。
【００２１】
【作用】
平均値階層化された階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第１の評価値を求めると共に、アクテイビテイ階層化された階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第２の評価値を求めた後、当該第１及び第２の評価値を加重平均することにより各階層毎に第３の評価値を求める。続いて解像度の最も低い最上位階層の第３の評価値における極小点を複数検出し、当該複数の極小点の位置をそれぞれ動き量候補として求めた後、当該動き量候補の中から勾配法により最も確からしい動き量を検出することにより、ブロツク完結によつて生じる誤検出を未然に防止して、各階層における動き量の検出精度を向上させることができる。
【００２２】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２３】
図１において、動き量検出装置１は、入力されるオリジナル画像の画像データをブロツク回路２及びフレームメモリ３に入力する。ブロツク回路２は、当該オリジナル画像を所定サイズ（例えば16×16のブロツクサイズに対してサーチエリアを含むサイズでなる）で順次ブロツク化して得られる画像データをそれぞれ階層１の評価値算出回路４及び５、階層２の平均値階層化回路６、アクテイビテイ階層化回路７（図２）、階層３のアクテイビテイ階層化回路８（図３）に送出する。
【００２４】
図２に示すように、階層２の平均値階層化回路６では、入力されるオリジナル画像の画像データの所定ブロツク分について、（２）式の演算による平均値階層化処理を実行して階層２の画像データを求める。この結果得られる階層２の画像データは、それぞれ階層２のブロツク回路９、フレームメモリ１０及びアクテイビテイ階層化回路７、階層３の平均値階層化回路１１（図３）に入力される。
【００２５】
階層２のアクテイビテイ階層化回路７では、入力されるオリジナル画像の画像データと階層２の画像データを用いて、（３）式の演算によるアクテイビテイ階層化処理を実行して階層２のアクテイビテイデータを求める。この結果得られる階層２のアクテイビテイデータは、それぞれ階層２のブロツク回路１２、フレームメモリ１３に入力される。
【００２６】
図３に示すように、階層３の平均値階層化回路１１では、入力される階層２の画像データを用いて、（２）式の演算による平均値階層化処理を実行して階層３の画像データを求める。この結果得られる階層３の画像データは、それぞれ階層３のブロツク回路１４、フレームメモリ１５及びアクテイビテイ階層化回路８に入力される。
【００２７】
階層３のアクテイビテイ階層化回路８では、入力されるオリジナル画像の画像データと階層３の画像データを用いて、（４）式の演算によるアクテイビテイ階層化処理を実行して階層３のアクテイビテイデータを求める。この結果得られる階層３のアクテイビテイデータは、それぞれ階層３のブロツク回路１６及びフレームメモリ１７に入力される。
【００２８】
このようにしてブロツク化された画像データが、それぞれ階層１、階層２及び階層３の画像データとして平均値階層化されると共に、階層２及び階層３のアクテイビテイデータとしてアクテイビテイ階層化される。
【００２９】
実際の動き量の検出は最上位階層でなる階層３において、まずフレームメモリ１５及び１７に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、サーチエリアに応じてそれぞれサーチブロツク回路１８及び１９に読み出す。次に評価値算出回路２０及び２１において、ブロツク回路１４及び１６とサーチブロツク回路１８及び１９との画像データ及びアクテイビテイデータを用いて、それぞれ（５）式及び（７）式の評価関数Ｅ（Ｙ）3 及びＥ（Ｄ）3 に基づいて評価値を求める。この評価値は加算回路２２において、（８）式に示すように、重み係数ｗ1 、ｗ2 に応じて所定の重み付けして加算し、この結果得られる新たな評価関数Ｅ（Ｇ）3 に基づく評価値が動き量検出回路２３に入力される。
【００３０】
ここでこの実施例の場合、評価値算出回路２０、２１は図４に示すような回路５０で構成されている。すなわち評価値算出回路５０においては、それぞれブロツク回路１４、１６に対応する参照ブロツクメモリ５１と、サーチブロツク回路１８、１９に対応する候補ブロツクメモリ５２を有し、この参照ブロツクメモリ５１及び候補ブロツクメモリ５２の内容が、メモリコントロール５３で指定されたアドレスの順に読み出され、それぞれレジスタ５４及び５５を通じて減算回路５６で減算される。この結果得られる差分データは絶対値化回路５７で絶対値化され、加算回路５８及びレジスタ５９で累積加算される。この累積加算結果が評価関数Ｅ（Ｙ）3 及びＥ（Ｄ）3 に基づく評価値として加算回路２２（図３）に出力される。
【００３１】
またこの実施例の場合、動き量検出回路２３は図５に示すような回路６０で構成されている。すなわち動き量検出回路６０では、加算回路２２（図３）から出力された評価関数Ｅ（Ｇ）3 に基づく評価値が評価値メモリ６１に、評価値メモリコントロール６２より指定されたアドレスの順に従つて入力される。このようにして（５）式及び（７）式の演算が評価値算出回路５０で実行され、この結果得られる評価値が評価値メモリ６１に入力される。なお実際階層２及び階層３では、平均値階層化された画像データについての評価値と、アクテイビテイ階層化されたアクテイビテイデータについての評価値が、重み付けされて加算されて評価値メモリ６１に記憶される。
【００３２】
この動き量検出回路６０では、評価値メモリ６１に記憶された評価値が、順次評価値メモリコントロール６２より指定されたアドレスに従つて読み出され、比較器６３及びレジスタ６４に入力される。比較器６３は他方の入力と評価値メモリ６１より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ６４及び６５の内容を更新する信号を送出する。
【００３３】
このレジスタ６５には、評価値メモリ６１を読み出すアドレスが順次設定される。このようにして順次評価値メモリ６１に記憶された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ６５より送出され、これが動き量検出回路６０の出力、すなわち動きベクトルでなる動き量ＭＶとして出力される。
【００３４】
ここでこの動き量検出装置１の場合、階層３の動き量検出回路２３で得られる動き量は勾配法処理回路２４に入力される。実際上、勾配法処理回路２４は、図６に示すように構成されている。勾配法処理回路２４において、極小値ベクトル検出回路８０は動き量検出回路２３の出力（すなわち動きベクトルＭＶ）に基づいて、最上位階層（階層３）における評価値メモリ６１に格納された評価値の極小点を複数検出し、これらの位置をそれぞれ階層３の動きベクトル候補として、候補ベクトル選択回路８１及び動き補償回路８２に供給する。
【００３５】
因にこの場合、最上位階層における評価値メモリ６１に格納された評価値の最小値を検出することなく極小値を検出するようにしたのは、各階層における評価値メモリに格納された評価値は、ブロツク内の画像の特性（例えばフラツトやエツジ等）によつてかなり値が異なり、一般的に、フラツトな画像の場合には小さく変化し、一方エツジなどを含む画像の場合には大きく変化する特性を有しているためである。すなわち通常、評価値メモリに格納された評価値は、動きベクトルに対応する位置の評価値が最小点となるような正の２次曲線状に表されるが、画像によつてはかなり平坦になつていたり、極小点が複数有していたりする。特に階層画像における上位の階層においてはこのような傾向が強くなる。従つて、最小点で判断するのには多少の危険があるためである。
【００３６】
動き補償回路８２は、外部入力された過去フレーム画像データＤ１を極小値ベクトル検出回路８０から出力される候補となる動きベクトルに基づいて動き補償し、これにより得た動き補償画像データを差分回路８３に送出する。
【００３７】
また勾配法処理回路２４は、外部入力された現フレーム画像データＤ２を現在フレームメモリ８４に格納する。そして格納された現フレーム画像データＤ２は、１ライン分の遅延時間を有するラインデイレイ（Ｈ）や１画素分の遅延時間を有する画素デイレイ（Ｄ）を介して差分回路８３、８５、８６、８７、８８にそれぞれ与えられる。
【００３８】
この結果、座標（ｘ，ｙ）における現フレームの画素値をｇ１（ｘ，ｙ）とし、動き補償された過去フレームの画素値をｇ０（ｘ，ｙ）とすると、差分回路８３では、フレーム間差分Δｔが、次式
【数９】
0003724653.tif 000010
により求められ、差分回路８５では、右方向の水平空間勾配Δｘr が、次式
【数１０】
0003724653.tif 000011
により求められ、差分回路８６では、左方向の水平空間勾配Δｘl が、次式
【数１１】
0003724653.tif 000012
により求められ、差分回路８７では、上方向の垂直空間勾配Δｙa が、次式
【数１２】
0003724653.tif 000013
により求められ、差分回路８８では、下方向の垂直空間勾配Δｙu が、次式
【数１３】
0003724653.tif 000014
により求められる。
【００３９】
次に差分回路８６の出力及び差分回路８７の出力がそれぞれ絶対値化回路８９Ａ及び８９Ｂを介してベクトル演算回路９０に与えられると共に、差分回路８５の出力及び差分回路８８の出力がそれぞれ絶対値化回路８９Ｃ及び８９Ｄを介してベクトル演算回路９１に与えられる。また差分回路８３の出力がベクトル演算回路９０及び９１に与えられる。
【００４０】
ベクトル演算回路９０は、右方向の動きベクトルＶxrを、次式
【数１４】
0003724653.tif 000015
により求め、左方向の動きベクトルＶxlを、次式
【数１５】
0003724653.tif 000016
により求めた後、これらの動きベクトルＶxr、Ｖxlのうち、その絶対値の大きい方を水平方向の動きベクトルＶx として出力する。
【００４１】
ベクトル演算回路９１は、上方向の動きベクトルＶyaを、次式
【数１６】
0003724653.tif 000017
により求め、下方向の動きベクトルＶyuを、次式
【数１７】
0003724653.tif 000018
により求めた後、これらの動きベクトルＶya、Ｖyuのうち、その絶対値の大きい方を垂直方向の動きベクトルＶy として出力する。
【００４２】
比較回路９２及び９３は、それぞれ水平及び垂直方向の動きベクトルＶx 及びＶy を所定の閾値Ｔｈと比較し、これにより得た比較結果を候補ベクトル選択回路８１に出力する。すなわち動きベクトルＶx 又はＶy の絶対値が所定の閾値Ｔｈ＝1.0 より大きい場合、すなわち次式
【数１８】
0003724653.tif 000019
又は、次式
【数１９】
0003724653.tif 000020
となる場合には、動きベクトル候補として不適用であると判断して当該動きベクトルを排除した後、続いて新たに動きベクトルＶx 及びＶy の絶対値と閾値Ｔh との比較を行う。
【００４３】
かくして候補ベクトル選択回路８１は、極小値ベクトル検出回路８０から入力した動きベクトルと、ベクトル演算回路９０から出力される水平方向動きベクトルＶx 及びベクトル演算回路９１から出力される垂直方向動きベクトルＶy との中から、動きベクトル候補として最も確からしい新たな動きベクトルＭＶ1 、ＭＶ2 を選択して出力する。
【００４４】
このように複数の動きベクトル候補毎に動き補償を行つた後に勾配法を適用することは、最上位階層における分解能による１画素以下の動き量を検出することと同等になる。従つて、動きベクトル候補として最も確からしい場合は、勾配法による動きベクトル検出によつて１画素以下の動きベクトルとして求めることができる。この結果、勾配法処理回路２４は、複数の動きベクトル候補毎に動き補償を行つた後に勾配法を適用することにより、画素以下の精度の動きベクトルを検出することができる。
【００４５】
ここでこの動き量検出装置１の場合、階層３の勾配法処理回路２４で得られる動き量ＭＶ1 、ＭＶ2 は、それぞれ階層２の画像データのサーチブロツク回路２５、２６及びアクテイビテイデータのサーチブロツク回路２７、２８に供給されると共に、それぞれ加算回路２９及び３０に供給される。
【００４６】
まず階層３の勾配法処理回路２４で得られる動き量ＭＶ1 は、階層２の画像データのサーチブロツク回路２５及びアクテイビテイデータのサーチブロツク回路２７に与えられ、この動き量によつてサーチエリアが動き補償される。すなわち階層２の動き量を検出する場合には、フレームメモリ１０及び１３に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、動き補償されたサーチエリアに応じてそれぞれサーチブロツク回路２５及び２７に読み出す。
【００４７】
次に評価値算出回路３１及び３２は、ブロツク回路９及び１２とサーチブロツク回路２５及び２７との過去及び現在の画像データ及びアクテイビテイデータを用いて、それぞれ（５）式及び（７）式の評価関数Ｅ（Ｙ）2 及びＥ（Ｄ）2 に基づいて評価値を求める。この評価値は加算回路３３において、（８）式に示すように、重み係数ｗ1 、ｗ2 に応じて所定の重み付けされて加算され、この結果得られる新たな評価関数Ｅ（Ｇ）2 に基づく評価値が、動き量検出回路３４に入力される。この結果動き量検出回路３４で得られる動き量が加算回路２９で、（６）式に示すように、階層３の動き量ＭＶ1 と加算され階層２の動き量ＭＶ1Aとして送出される。なおこの評価値算出回路３１及び３２、動き量検出回路３４も、図４及び図５の評価値算出回路５０及び動き量検出回路６０と同様に構成されている。
【００４８】
他方、階層３の勾配法処理回路２４で得られる動き量ＭＶ2 は、階層２の画像データのサーチブロツク回路２６及びアクテイビテイデータのサーチブロツク回路２８に与えられ、この動き量によつてサーチエリアが動き補償される。すなわち階層２の動き量を検出する場合には、フレームメモリ１０及び１３に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、動き補償されたサーチエリアに応じてそれぞれサーチブロツク回路２６及び２８に読み出す。
【００４９】
次に評価値算出回路３５及び３６は、ブロツク回路９及び１２とサーチブロツク回路２６及び２８との過去及び現在の画像データ及びアクテイビテイデータを用いて、それぞれ（５）式及び（７）式の評価関数Ｅ（Ｙ）2 及びＥ（Ｄ）2 に基づいて評価値を求める。この評価値は加算回路３７において、（８）式に示すように、重み係数ｗ1 、ｗ2 に応じて所定の重み付けされて加算され、この結果得られる新たな評価関数Ｅ（Ｇ）2 に基づく評価値が、動き量検出回路３８に入力される。この結果動き量検出回路３８で得られる動き量が加算回路３０で、（６）式に示すように、階層３の動き量ＭＶ2 と加算され階層２の動き量ＭＶ2Aとして送出される。なおこの評価値算出回路３５及び３６、動き量検出回路３８も、図４及び図５の評価値算出回路５０及び動き量検出回路６０と同様に構成されている。
【００５０】
このようにして階層２で得られる動き量ＭＶ1A及びＭＶ2Aは、それぞれ階層１の画像データのサーチブロツク回路３９及び４０に与えられ、この動き量によつてサーチエリアが動き補償される。すなわち階層１の動き量検出においては、フレームメモリ３に設定された過去（すなわち１フレーム前）の画像データを、動き補償されたサーチエリアに応じてそれぞれサーチブロツク回路３９及び４０に読み出す。
【００５１】
次に評価値算出回路４は、ブロツク回路２とサーチブロツク回路３９との画像データを用いて、それぞれ（５）式の評価関数Ｅ（Ｙ）1 に基づいて評価値を求め、この評価値が動き量検出回路４１及び判断回路４５に入力される。動き量検出回路４１は、この評価値に基づいて階層１の動き量を検出し、これを加算回路４３に送出する。加算回路４３は、（６）式に示すように、動き量検出回路４１で得られる動き量を階層２の動き量ＭＶ1Aと加算して、オリジナル画像の動き量ＭＶ1Bを検出し、これを選択回路４６に送出する。
【００５２】
一方、評価値算出回路５は、ブロツク回路２とサーチブロツク回路４０との画像データを用いて、それぞれ（５）式の評価関数Ｅ（Ｙ）1 に基づいて評価値を求め、この評価値が動き量検出回路４２及び判断回路４５に入力される。動き量検出回路４２は、この評価値に基づいて階層１の動き量を検出し、これを加算回路４４に送出する。加算回路４４は、（６）式に示すように、動き量検出回路４２で得られる動き量を階層２の動き量ＭＶ2Aと加算して、オリジナル画像の動き量ＭＶ2Bを検出し、これを選択回路４６に送出する。
【００５３】
判断回路４５は、評価値算出回路４及び５で得られる評価値に基づいて、当該各評価値のうちどちらが最小であるかを判断する。かくして選択回路４６は、この判断結果に基づいて、オリジナル画像の動き量ＭＶ1B及びＭＶ2Bのうち当該動き量に対応する位置の評価値が最小となる方を最下位階層の動きベクトルとして決定して出力する。
【００５４】
以上の構成において、動き量検出装置１は、画像の階層化を行う際、ブロツク内の画素の平均値階層化処理を実行して最上位階層でなる階層３における平均値プレーンを形成すると共に、当該平均値プレーンと下位階層でなる階層２の平均値プレーンとに基づく所定の演算処理を実行することにより、階層３におけるアクテイビテイ・プレーンを形成する。
【００５５】
続いて階層３において平均値プレーン及びアクテイビテイ・プレーンのそれぞれについてブロツクマツチングを行つて評価値を算出した後、これらの評価値の加重平均値を求め、当該加重平均値における極小点を複数選択してこれらを当該複数の極小点の位置を階層３の動きベクトル候補とする。そしてこれら複数の動きベクトル候補についてそれぞれ動きベクトル毎に動き補償を行つた後、勾配法を適用することにより、１画素以下の値が算出されたものを動きベクトル候補としてさらに選定することができ、この結果ブロツク完結によつて生じる誤検出を未然に防止することができる。
【００５６】
この後、選定された階層３の動きベクトル候補毎に下位階層でなる階層２において平均値プレーン及びアクテイビテイ・プレーンについてそれぞれブロツクマツチングを行なつて評価値を算出し、続いて当該評価値の最小値を算出することにより、当該最小値に基づいて得られる動きベクトルを最下位階層でなる階層１の動きベクトルとして出力する。このように最上位階層における複数の動きベクトル候補に勾配法を適用させ、最上位階層から最下位階層まで順次ブロツクマツチングを行つて総合的に評価することにより、簡易な構成で最終的な動き量の検出精度を向上させることができる。
【００５７】
以上の構成によれば、最上位階層において平均値プレーン及びアクテイビテイ・プレーンのそれぞれについてブロツクマツチングを行つて評価値を算出した後、これらの評価値を加重平均して得られる評価値から複数の極小点を選択し、当該複数の極小点の位置を動きベクトル候補としてそれぞれ勾配法を適用することにより、１画素以下の値が算出されたものを動きベクトル候補としてさらに選定することができる。従つて、最上位階層から最下位階層まで順次ブロツクマツチングを行つて総合的に評価することにより、ブロツク完結によつて生じる誤検出を未然に防止して、各階層における動き量の検出精度を向上させることができ、かくして簡易な構成で最終的な動き量の検出精度を向上させることができる。
【００５８】
なお上述の実施例においては、オリジナル画像より平均値階層化で３階層の画像データを作成した場合について述べたが、階層数はこれに限らず２階層や４階層以上でも、上述と同様の効果を実現できる。また平均値階層化する際、（２）式のように２×２のブロツク範囲で平均値を求めるようにしたが、ブロツク範囲はこれに限らず、また平均値に限らずローパスフイルタ等で平滑化するようにしても良い。
【００５９】
また上述の実施例においては、平均値階層化での評価値とアクテイビテイ階層化での評価値を重み付け加算した後に、複数の極小点を検出しその位置をそれぞれ最上位階層（階層３）の動き量の候補とした場合について述べたが、本発明はこれに限らず、平均値階層化での評価値とアクテイビテイ階層化での評価値との各々について、複数の極小値を最上位階層の動き量の候補としても良い。
【００６０】
この場合、平均値階層化での評価値の極小点の位置とアクテイビテイ階層化での評価値の極小点の位置とに関しては、オア論理をとることによつて重なりを取り除いた後、最上位階層の評価値における複数の極小点の位置を最上位階層の動き量の候補とするようにする。
【００６１】
さらに上述の実施例においては、階層２において動き量の候補として最小位置を選択したが、最上位階層と同様に平均値階層化での評価値とアクテイビテイ階層化での評価値毎に極小値を複数個選択し、さらに下位の階層での動き量の検出について分岐を増やし、最下位階層で全ての評価値のうち最小となる評価値を検出して、最終的な動き量として出力するようにしても良い。
【００６２】
さらに上述の実施例においては、階層３の勾配法処理回路２４では動き量の候補として２個の動きベクトルＭＶ1 、ＭＶ2 を選択して出力する場合について述べたが、本発明はこれに限らず、３個以上の動きベクトルを選択して出力するようにしても良い。この場合、下位階層において平均値階層化及びアクテイビテイ階層化でのサーチブロツク、評価値算出回路及び動き量検出回路の数をそれぞれ選択出力された動きベクトルの数に応じて設けるようにする必要がある。
【００６３】
【発明の効果】
上述のように本発明によれば、平均値階層化された階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第１の評価値を求めると共に、アクテイビテイ階層化された階層画像を用いて各階層毎にブロツクマツチング法により画像の動きを表す第２の評価値を求めた後、当該第１及び第２の評価値を加重平均することにより各階層毎に第３の評価値を求める。続いて解像度の最も低い最上位階層の第３の評価値における極小点を複数検出し、当該複数の極小点の位置をそれぞれ動き量候補として求めた後、当該動き量候補の中から勾配法により最も確からしい動き量を検出することにより、ブロツク完結によつて生じる誤検出を未然に防止して、各階層における動き量の検出精度を向上させることができ、かくして簡易な構成で最終的な動き量の検出精度を向上させることができる動き量検出方法及び動き量検出装置を実現し得る。
【図面の簡単な説明】
【図１】実施例による動き量検出装置の構成を示すブロツク図である。
【図２】実施例による動き量検出装置の構成を示すブロツク図である。
【図３】実施例による動き量検出装置の構成を示すブロツク図である。
【図４】図１〜図３の動き量検出装置における評価値算出回路の構成を示すブロツク図である。
【図５】図１〜図３の動き量検出装置における動き量検出回路の構成を示すブロツク図である。
【図６】図３の動き量検出装置における勾配法処理回路の構成を示すブロツク図である。
【図７】ブロツクマツチングによる動き量検出方法の説明に供する略線図である。
【図８】階層画像の説明に供する略線図である。
【符号の説明】
１……動き量検出装置、２、９、１２、１４、１６……ブロツク回路、３、１０、１３、１５、１７……フレームメモリ、６、１１……平均値階層化回路、４、５、２０、２１、３１、３２、３５、３６、５０……評価値算出回路、７、８……アクテイビテイ階層化回路、１８、１９、２５、２６、２７、２８、３９、４０……サーチブロツク回路、２２、２９、３０、３３、３７、４３、４４……加算回路、２３、３４、３８、４１、４２、６０……動き量検出回路、６１……評価値メモリ、２４……勾配法処理回路、４５……判断回路、４６……選択回路、８０……極小値ベクトル検出回路、８１……候補ベクトル選択回路、８２……動き補償回路。
【図１】
0003724653.tif 000021
【図２】
0003724653.tif 000022
【図３】
0003724653.tif 000023
【図４】
0003724653.tif 000024
【図５】
0003724653.tif 000025
【図７】
0003724653.tif 000026
【図６】
0003724653.tif 000027
【図８】
0003724653.tif 000028