(57)【特許請求の範囲】
【請求項１】
ディジタル動画像信号から動き量を検出する動き量検出装置において、
現画像データと前記現画像データより過去の画像データのそれぞれの画素毎の差分を絶対値化し、上記絶対値化された差分データを生成する差分絶対値化手段と、
上記絶対値化された差分データを累積加算し、評価値を獲得する第１の評価値獲得手段と、
上記評価値を格納する評価値テーブルと、
上記評価値テーブルから順次読み出される評価値を比較し、最小の評価値を求める比較手段と、
上記最小の評価値となるアドレスを第１の動き量として検出する第１の動き量検出手段と、
上記最小の評価値と、上記最小の評価値の周辺の複数の評価値とを上記評価値テーブルから獲得する第２の評価値獲得手段と、
上記第２の評価値獲得手段で獲得された上記最小の評価値と、上記周辺の複数の評価値とから評価値分布のパターンを検出し、上記パターンに基づいてクラスを決定し、上記決定したクラスを出力するクラス発生手段と、
上記第１の動き量より細かい精度の第２の動き量を記憶し、上記クラスに対応する上記第２の動き量を出力するデータ記憶手段と、
上記第１および第２の動き量を加算して、最終的な動き量を決定する動き量決定手段と
を有することを特徴とする動き量検出装置。
【請求項２】
請求項１に記載の動き量検出装置において、
上記第１の動き量は、１画素単位の動き量とすることを特徴とする動き量検出装置。
【請求項３】
請求項１に記載の動き量検出装置において、
上記第２の動き量は、１画素以下の動き量とすることを特徴とする動き量検出装置。
【請求項４】
請求項１に記載の動き量検出装置において、
上記第２の動き量は、１／２画素または１／４画素の動き量とすることを特徴とする動き量検出装置。
【請求項５】
請求項１に記載の動き検出装置において、
上記クラス発生手段は、
上記第２の評価値獲得手段で獲得された上記最小の評価値と、上記周辺の複数の評価値とから評価値分布の垂直方向のパターンを検出し、上記垂直方向のパターンに基づいて垂直方向のクラスを決定し、上記決定した垂直方向のクラスを出力する垂直方向クラス発生手段と、
上記第２の評価値獲得手段で獲得された上記最小の評価値と、上記周辺の複数の評価値とから評価値分布の水平方向のパターンを検出し、上記水平方向のパターンに基づいて水平方向のクラスを決定し、上記決定した水平方向のクラスを出力する水平方向クラス発生手段とを有し、
上記データ記憶手段は、
上記第１の動き量より細かい精度の垂直方向の第２の動き量を記憶し、上記垂直方向のクラスに対応する上記垂直方向の第２の動き量を出力する垂直方向データ記憶手段と、
上記第１の動き量より細かい精度の水平方向の第２の動き量を記憶し、上記水平方向のクラスに対応する上記水平方向の第２の動き量を出力する水平方向データ記憶手段とを有し、
上記動き量決定手段は、
上記第１の動き量と、上記垂直方向の第２の動き量と上記水平方向の第２の動き量とを加算して、最終的な動き量を決定するようにしたことを特徴とする動き検出装置。
【請求項６】
請求項１に記載の動き量検出装置において、
上記データ記憶手段に格納された第２の動き量を予め形成するために、
現画像データと前記現画像データより過去の画像データとのそれぞれの画素毎の第２の差分を絶対値化し、上記絶対値化された第２の差分データを生成する第２の差分絶対値化手段と、
上記絶対値化された第２の差分データを累積加算し、第２の評価値を獲得する第３の評価値獲得手段と、
上記第２の評価値を格納する第２の評価値テーブルと、
上記第２の評価値テーブルから順次読み出される第２の評価値を比較し、第２の最小の評価値を求める第２の比較手段と、
上記第２の最小の評価値となるアドレスを第３の動き量として検出する第２の動き量検出手段と、
上記第２の最小の評価値と、上記第２の最小の評価値の第２の周辺の複数の評価値とを上記第２の評価値テーブルから獲得する第４の評価値獲得手段と、
上記第２の評価値獲得手段で獲得された上記第２の最小の評価値と、上記第２の周辺の複数の評価値とから評価値分布の第２のパターンを検出し、上記第２のパターンに基づいて第２のクラスを決定し、上記決定した第２のクラスを出力する第２のクラス発生手段と、
上記第３の動き量より細かい精度の第４の動き量を記憶し、上記第２のクラスに対応する上記第２の動き量を出力する第２のデータ記憶手段と
を有する学習装置を使用することを特徴とする動き量検出装置。
【請求項７】
請求項６に記載の動き量検出装置において、
上記第２のデータ切り出し手段は、画素数を２倍または４倍とし、第２の動き量の周辺データを切り出すようにした学習装置を使用することを特徴とする動き量検出装置。
【請求項８】
請求項６に記載の動き量検出装置において、
上記第２のクラス発生手段は、
上記第４の評価値獲得手段で獲得された上記第２の最小の評価値と、上記第２の周辺の複数の評価値とから評価値分布の第２の垂直方向のパターンを検出し、上記第２の垂直方向のパターンに基づいて第２の垂直方向のクラスを決定し、上記決定した第２の垂直方向のクラスを出力する第２の垂直方向クラス発生手段と、
上記第４の評価値獲得手段で獲得された上記第２の最小の評価値と、上記第２の周辺の複数の評価値とから評価値分布の第２の水平方向のパターンを検出し、上記第２の水平方向のパターンに基づいて第２の水平方向のクラスを決定し、上記決定した第２の水平方向のクラスを出力する第２の水平方向クラス発生手段とを有し、
上記第２のデータ記憶手段は、
上記第３の動き量より細かい精度の垂直方向の第４の動き量を記憶し、上記第２の垂直方向のクラスに対応する上記垂直方向の第４の動き量を出力する第２の垂直方向データ記憶手段と、
上記第１の動き量より細かい精度の水平方向の第２の動き量を記憶し、上記水平方向のクラスに対応する上記水平方向の第４の動き量を出力する第２の水平方向データ記憶手段と
を有する学習装置を使用することを特徴とする動き量検出装置。
【請求項９】
ディジタル動画像信号から動き量を検出する動き量検出方法において、
現画像データと前記現画像データより過去の画像データのそれぞれの画素毎の差分を絶対値化し、上記絶対値化された差分データを生成する差分絶対値化工程と、
上記絶対値化された差分データを累積加算し、評価値を獲得する第１の評価値獲得工程と、
上記評価値を評価値テーブルに格納する格納工程と、
上記評価値テーブルから順次読み出される評価値を比較し、最小の評価値を求める比較工程と、
上記最小の評価値となるアドレスを第１の動き量として検出する第１の動き量検出工程と、
上記最小の評価値と、上記最小の評価値の周辺の複数の評価値とを上記評価値テーブルから獲得する第２の評価値獲得工程と、
上記第２の評価値獲得工程で獲得された上記最小の評価値と、上記周辺の複数の評価値とから評価値分布のパターンを検出し、上記パターンに基づいてクラスを決定し、上記決定したクラスを出力するクラス発生工程と、
上記第１の動き量より細かい精度の第２の動き量を記憶し、上記クラスに対応する上記第２の動き量を出力するデータ記憶工程と、
上記第１および第２の動き量を加算して、最終的な動き量を決定する動き量決定工程と
を有することを特徴とする動き量検出方法。
【請求項１０】
請求項９に記載の動き量検出方法において、
上記第１の動き量は、１画素単位の動き量とすることを特徴とする動き量検出方法。
【請求項１１】
請求項９に記載の動き量検出方法において、
上記第２の動き量は、１画素以下の動き量とすることを特徴とする動き量検出方法。
【請求項１２】
請求項９に記載の動き量検出方法において、
上記第２の動き量は、１／２画素または１／４画素の動き量とすることを特徴とする動き量検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、特に１画素以下の動き量検出を行うものに適用し得る動き量検出装置および方法に関する。
【０００２】
【従来の技術】
従来、動画像の処理として、動き量（動きベクトル）すなわち時間的に異なる画像中の物体の動きの方向と大きさ（または速さ）を用いるものがある。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きパラメータ制御等に動き量が用いられる。この画像の動き量を求める動き量検出方法として、特公昭５４−１２４９２７号公報に記載されているブロックマッチング法が広く知られている。
【０００３】
このブロックマッチング法では、まず１つの画面を適当な数画素からなるブロックに分割する。続いてブロック化された画像データと、この画像データが動いた領域を検索するために時間的に異なる画面の画像データがブロック化されてなるサーチ領域との間で、所定の評価関数を用いて画素単位で評価し、この評価関数を最小とする最適値を求めることにより、２つのブロック化された画像データ間の動き量を検出する。これにより高い精度で画像の動き量を検出し得るようになっている。
【０００４】
【発明が解決しようとする課題】
ところで、上述の手法によれば動き量は１画素単位で検出されるが、画像の動き量は当然ながら１画素単位で動くものではなく、実際に動き量は本来それ以下の単位で表現されるべき値である。
【０００５】
動き量検出が動き補償高能率符号化のために用いられる場合などは、動き量検出の精度が高ければ高いほど、動き補償したときの残差が小さくなり、それが符号化の効率向上につながるため、１画素以下の動き量検出を行う場合も多い。
【０００６】
１画素以下の動き量検出は、一般に図１２に示すように、入力端子１０１から画像データがメモリ１０４および遅延回路（ＤＬ）１０２を介してメモリ１０３へ供給される。遅延回路１０２では、入力画像データが１フレーム分蓄えられる。メモリコントロール回路１０５からアドレス信号がメモリ１０３および１０４へ供給され、そのアドレス信号に対応したデータがメモリ１０３および１０４から出力される。
【０００７】
メモリ１０３の出力は、動き量検出回路１０６およびデータ作成回路１０７へ供給され、メモリ１０４の出力は、動き量検出回路１０６へ供給される。動き量検出回路１０６では、上述したブロックマッチング方を用いて、１画素単位の動き量が検出され、検出された１画素単位の動き量は、動き量決定回路１１１およびメモリコントロール回路１０９へ供給される。データ作成回路１０７では、供給された画像データが垂直方向、水平方向にそれぞれ、例えば２倍または４倍とされ、メモリ１０８へ供給される。
【０００８】
メモリコントロール回路１０９からアドレス信号に従ってメモリ１０４および１０８からデータが動き量検出回路１１０へ供給される。動き量検出回路１１０では、上述したブロックマッチング方を用いて、例えば１／２画素または１／４画素の動き量が検出され、検出された動き量は、動き量決定回路１１１へ供給される。動き量決定回路１１１では、供給された１画素単位の動き量と、１画素以下の動き量とから１画素以下の動き量が演算され、出力端子１１２から出力される。
【０００９】
このように、１画素単位の動き量検出を行ったのち、それにより決定された動き量の周辺の動きに対して、１／２画素精度あるいは１／４画素精度の動き量検出を行う、という処理による。１画素以下の動き量検出を実現するためには、１画素単位の動き量検出の他に、原画像を補間し、（２×２）倍／（４×４）倍の画素数を持つ補間画像を作成する必要があり、またそれを格納するための大きなメモリを必要とし、さらに動き量検出のための演算が必要であり、そのハードウェアの負担が大きいという問題があった。
【００１０】
従って、この発明の目的は、上述の問題点に鑑みてなされたものであり、少ない計算量で１画素以下の動き量検出を実現することができる動き量検出装置および方法を提供することにある。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、ディジタル動画像信号から動き量を検出する動き量検出装置において、現画像データと前記現画像データより過去の画像データのそれぞれの画素毎の差分を絶対値化し、絶対値化された差分データを生成する差分絶対値化手段と、絶対値化された差分データを累積加算し、評価値を獲得する第１の評価値獲得手段と、評価値を格納する評価値テーブルと、評価値テーブルから順次読み出される評価値を比較し、最小の評価値を求める比較手段と、最小の評価値となるアドレスを第１の動き量として検出する第１の動き量検出手段と、最小の評価値と、最小の評価値の周辺の複数の評価値とを評価値テーブルから獲得する第２の評価値獲得手段と、第２の評価値獲得手段で獲得された最小の評価値と、周辺の複数の評価値とから評価値分布のパターンを検出し、パターンに基づいてクラスを決定し、決定したクラスを出力するクラス発生手段と、第１の動き量より細かい精度の第２の動き量を記憶し、クラスに対応する第２の動き量を出力するデータ記憶手段と、第１および第２の動き量を加算して、最終的な動き量を決定する動き量決定手段とを有することを特徴とする動き量検出装置である。
【００１２】
また、請求項９に記載の発明は、ディジタル動画像信号から動き量を検出する動き量検出方法において、現画像データと前記現画像データより過去の画像データのそれぞれの画素毎の差分を絶対値化し、絶対値化された差分データを生成する差分絶対値化工程と、絶対値化された差分データを累積加算し、評価値を獲得する第１の評価値獲得工程と、評価値を評価値テーブルに格納する格納工程と、評価値テーブルから順次読み出される評価値を比較し、最小の評価値を求める比較工程と、最小の評価値となるアドレスを第１の動き量として検出する第１の動き量検出工程と、最小の評価値と、最小の評価値の周辺の複数の評価値とを評価値テーブルから獲得する第２の評価値獲得工程と、第２の評価値獲得工程で獲得された最小の評価値と、周辺の複数の評価値とから評価値分布のパターンを検出し、パターンに基づいてクラスを決定し、決定したクラスを出力するクラス発生工程と、第１の動き量より細かい精度の第２の動き量を記憶し、クラスに対応する第２の動き量を出力するデータ記憶工程と、第１および第２の動き量を加算して、最終的な動き量を決定する動き量決定工程とを有することを特徴とする動き量検出方法である。
【００１３】
この発明に係る動き量検出装置は、ブロックマッチング法で１画素単位の動き量検出を行った際に得られる評価値テーブルと、ブロックマッチング法で１画素以下の動き量検出を行った結果を用いて、評価値テーブルのデータ分布のパターンをクラス分類する。そして、クラス毎に１画素以下の動き量検出の結果とクラスの関係を学習し、統計的に真値に最も近い動き量を算出し、テーブルに格納する。実際の使用時には、ブロックマッチング法で１画素単位の動き量検出を行い、得られた評価値を用いてデータ分布のパターンをクラス分類し、そのクラスに対応するテーブルに格納された１画素以下の動き量を読み出すことにより、１画素以下の動き量の推定を行う。１画素以下の動き量検出のための計算量が大幅に軽減されるのが特徴である。
【００１４】
【発明の実施の形態】
以下、この発明に係る動き量検出装置および方法の実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち動き量検出装置の信号処理の概略的構成を示す。動き量検出装置は、１で示す入力端子からコンポーネント信号の輝度信号が入力され、この輝度信号（画像データ）は遅延回路（ＤＬ）２に供給される。遅延回路２は、入力画像データを１フレーム分蓄える。従って、遅延回路２は、現フレーム画像データに比べて１フレーム過去の画像データをメモリ３に送出する。
【００１５】
一方、入力端子１から供給された入力画像データは、メモリ４にも供給される。入力端子１とメモリ４の間には、遅延回路は存在しないので、メモリ４には現フレーム画像データが蓄えられる。メモリ３とメモリ４は、メモリコントロール回路５からアドレス信号が送出されることにより制御され、動き量を求めるための画素データが動き量検出回路６に供給される。
【００１６】
動き量検出回路６は、図２に示すように構成されている。すなわち、メモリコントロール回路５により、現フレームの画像データが格納されているメモリ４にアドレス信号が送出されることにより、動き量を求める基準となるブロック（参照ブロック）の画素データがメモリ４から動き量検出回路６に出力される。
【００１７】
一方、メモリコントロール回路５により、１フレーム前の画像データが格納されているメモリ３にアドレス信号が送出されることにより、メモリ３から出力される現フレームの画像データのブロックに対応するブロック（候補ブロック）の画素データが、所定のサーチ範囲内で１画素のオフセットを持って出力される。例えば、サーチ範囲が（±１６、±１６）であった場合、メモリ３からは１画素づつのオフセットを持った（１６×２＋１）×（１６×２＋１）組みのブロックデータが出力される。メモリ４からの出力信号はレジスタ１１を介して減算器１３に供給されると共に、メモリ３からの出力信号はレジスタ１２を介して減算器１３に供給される。
【００１８】
減算器１３では、現フレームの画像データと、それに対応する１フレーム前の画像データとのそれぞれの画素毎の差分が取られる。この画素毎の差分データは絶対値化回路１４で絶対値化された後、加算器１５およびレジスタ１６で累積加算される。この結果得られる評価値（累積加算値）が評価値メモリ１７に入力される。
【００１９】
評価値メモリ１７は、参照ブロックに１画素のオフセットを持たせた候補ブロック毎の差分の絶対値の累積加算値である評価値が格納されたもので、いわゆる評価値テーブルである。評価値メモリ１７に格納された評価値は、評価値メモリコントロール回路１８によって指定されたアドレスに従って読み出され、比較回路２０およびレジスタ２１に入力される。
【００２０】
比較回路２０は、レジスタ２１からの入力と評価値メモリ１７より読み出された評価値を順次比較し、評価値メモリ１７から供給された評価値が小さいとき、レジスタ２１および２２の内容を更新する信号を送出する。このレジスタ２２には、評価値メモリ１７を読み出すアドレスが順次設定される。このようにして評価値メモリ１７に格納された評価値が順次評価され、そのうちの評価値の最小を与えるアドレスがレジスタ２２より送出され、これが１画素単位で検出した動き量として動き量決定回路８に供給される。
【００２１】
また、レジスタ２２は、評価値の最小を与えるアドレスを評価値メモリ１７に供給する。評価値メモリ１７は、格納された評価値のうち、最小となる評価値の周辺データを１画素以下動き量検出回路７に供給する。例えば、最小となる評価値の周辺のデータが図３のようであった場合、最小となる評価値およびその周囲８点の評価値データが図４に示すように１画素以下動き量検出回路７に供給される。
【００２２】
続いて、１画素以下の動き量検出回路７について図５を用いて説明する。動き量検出回路６から供給された最小となる評価値の周辺の評価値データは、垂直方向クラス決定回路３１に供給される。垂直方向クラス決定回路３１は最小となる評価値および垂直方向に両隣となる評価値の計３つを用いて評価値分布のパターン化を行う。
【００２３】
最小となる評価値がａ(0,0) 、垂直方向に両隣となる評価値がそれぞれａ(0,-1)、ａ(0,1) であった場合、
Ｐ(0,-1)＝ａ(0,-1)／ａ(0,0)                     （１）
Ｐ(0,1) ＝ａ(0,1) ／ａ(0,0)                     （２）
により、パラメータＰ(0,-1)、Ｐ(0,1) が算出され、さらに図６に基づきしきい値処理することにより、評価値分布のパターン化が行われる。
【００２４】
ここでは、この評価値分布のパターン化を、「クラス化」と呼び、またパターン化された数字を「クラス」と呼ぶことにする。そして、この垂直方向クラス決定回路３１では、パラメータＰ(0,-1)またはＰ(0,1) をクラス化することにより、それぞれ、例えば１２のクラスＣ(0,-1)またはＣ(0,1) に分割している。上述の手法により決定されたクラスＣ(0,-1)またはＣ(0,1) から以下の式（３）により最終的なクラスＣｖを決定する。
【００２５】
Ｃｖ＝Ｃ(0,-1)・ｎ＋Ｃ(0,1)       （３）
ｎは、クラスＣ(0,-1)またはＣ(0,1) のそれぞれのクラス数であり、この実施例では、ｎ＝１２である。この式（３）では、クラスＣｖは、クラスＣ(0,-1)にクラス数ｎを掛け、さらにクラスＣ(0,1) を加算することで１４４通りのクラス分けがなされている。決定されたクラスＣｖは、垂直方向用ＲＯＭテーブル３２に供給される。
【００２６】
垂直方向用ＲＯＭテーブル３２には、上述した決定されたクラスＣｖと、従来の手法により実際に算出した１画素以下の動き量との関係を学習することにより、クラスＣｖに対応する１画素以下の動き量が予め格納されている。なお、この垂直方向用ＲＯＭテーブル３２の作成方法については、後述する。垂直方向用ＲＯＭテーブル３２からは、クラスＣｖで示されるアドレスに対応する１画素以下の動き量であるＶｖ（Ｃｖ）が、読み出される。この垂直方向の１画素以下の動き量は、動き量決定回路８に供給される。
【００２７】
一方、動き量検出回路６から供給された最小となる評価値の周辺の評価値データは、水平方向クラス決定回路３３にも供給される。水平方向クラス決定回路３３は最小となる評価値およびその水平方向に両隣となる評価値の計３つを用いて評価値分布のパターン化を行う。
【００２８】
最小となる評価値がａ(0,0)、水平方向に両隣となる評価値がそれぞれａ(-1,0)、ａ(1,0)であった場合、
Ｐ(-1,0)＝ａ(-1,0)／ａ(0,0)                  （４）
Ｐ(1,0) ＝ａ(1,0) ／ａ(0,0)                  （５）
により、パラメータＰ(-1,0)、Ｐ(1,0)が算出され、さらに図７に基づきしきい値処理することにより、評価値分布のクラス化が行われる。
【００２９】
そして、この水平方向クラス決定回路３３では、パラメータＰ(-1,0)またはＰ(1,0) をクラス化することにより、それぞれ１２のクラスＣ(-1,0)またはＣ(1,0) に分割している。上述の手法により決定されたクラスＣ(-1,0)またはＣ(1,0) から以下の式（６）により最終的なクラスＣｈを決定する。
【００３０】
Ｃｈ＝Ｃ(-1,0)・ｎ＋Ｃ(1,0)     （６）
ｎは、クラスＣ(-1,0)またはＣ(1,0) のそれぞれのクラス数であり、この実施例では、ｎ＝１２である。この式（６）では、クラスＣｈは、クラスＣ(-1,0)にクラス数ｎを掛け、さらにクラスＣ(1,0) を加算することで１４４通りのクラス分けがなされている。決定されたクラスＣｈは、水平方向用ＲＯＭテーブル３３に供給される。
【００３１】
水平方向用ＲＯＭテーブル３４には、決定したクラスＣｈと、従来の手法により実際に算出した１画素以下の動き量の関係とを学習することにより、クラスＣｈに対応する１画素以下の動き量が予め格納されている。なお、この水平方向用ＲＯＭテーブル３４の作成方法については後述する。水平方向用ＲＯＭテーブル３４からは、クラスＣｈで示されるアドレスに対応する１画素以下の動き量であるＶｈ（Ｃｈ）が、読み出される。この水平方向の１画素以下の動き量は、動き量決定回路８に供給される。
【００３２】
動き量決定回路８には、動き量決定回路６で検出された１画素単位の動き量が供給され、また１画素以下の動き量検出回路７で検出された１画素以下の動き量も供給される。動き量決定回路８は、これらの動き量を足し合わすことにより、１画素以下の精度を持つ動き量を決定し、出力端子９にこれを出力する。
【００３３】
続いて、この発明に係る動き量検出装置の学習、すなわち垂直方向用ＲＯＭテーブル３２および水平方向用ＲＯＭテーブル３４に格納されるデータの作成方法について図８を用いて説明する。
【００３４】
図８に示すように、入力端子４１を介して供給される画像データが、遅延回路４２に供給される。遅延回路４２は入力画像データを１フレーム分蓄える。従って、遅延回路４２は現フレーム画像データに比べて１フレーム過去の画像データをメモリ４３に送出する。
【００３５】
一方、入力端子４１から供給された入力画像データは、メモリ４４にも供給される。入力端子４１とメモリ４４の間には、遅延回路は存在しないので、メモリ４４には現フレーム画像データが蓄えられる。メモリ４３とメモリ４４は、メモリコントロール回路４５からアドレス信号が送出されることにより制御され、動き量を求めるための画素データが動き量検出回路４６に供給される。
【００３６】
動き量検出回路４６は、図９に示すように構成されているが、ほとんどの部分は図２を用いて説明した動き量検出回路６と同一である。
【００３７】
メモリコントロール回路４５により、現フレームの画像データが格納されているメモリ４４にアドレス信号が送出されることにより、動き量を求める基準となるブロック（参照ブロック）の画素データがメモリ４４から動き量検出回路４６に出力される。
【００３８】
一方、メモリコントロール回路４５により、１フレーム前の画像データが格納されているメモリ４３にアドレス信号が送出されることにより、メモリ４３から出力される現フレームの画像データのブロックに対応するブロック（候補ブロック）の画素データが、所定のサーチ範囲内で１画素のオフセットを持って出力される。例えば、サーチ範囲が（±１６、±１６）であった場合、メモリ４３からは１画素づつのオフセットを持った（１６×２＋１）×（１６×２＋１）組みのブロックデータが出力される。メモリ４４からの出力信号は、レジスタ６１を介して減算器６３に供給されると共に、メモリ４３からの出力信号はレジスタ６２を介して減算器６３に供給される。
【００３９】
減算器６３では、現フレームの画像データと、それに対応する１フレーム前の画像データとのそれぞれの画素毎の差分が取られる。この画素毎の差分データは絶対値化回路６４で絶対値化された後、加算器６５およびレジスタ６６で累積加算される。この結果得られる評価値（累積加算値）が評価値メモリ６７に入力される。
【００４０】
評価値メモリ６７は、１画素のオフセットを持たせた各ブロック毎の差分の絶対値の累積加算値である評価値が格納されたもので、いわゆる評価値テーブルである。評価値メモリ６７に格納された評価値は、評価値メモリコントロール回路６８によって指定されたアドレスに従って読み出され、比較回路７０およびレジスタ７１に入力される。
【００４１】
比較回路７０は、レジスタ７１からの入力と評価値メモリ６７より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ７１および７２の内容を更新する信号を送出する。このレジスタ７２には、評価値メモリ６７を読み出すアドレスが順次設定される。このようにして評価値メモリ６７に格納された評価値が順次評価され、そのうちの評価値の最小を与えるアドレスがレジスタ７２より送出され、評価値メモリ６７に供給される。評価値メモリ６７は、格納された評価値のうち、最小となる評価値の周辺データをＲＯＭテーブル生成回路５１に供給する。
【００４２】
続いて、図８に戻り１画素以下の動き量検出の部分の処理について説明する。まず、メモリ４３から１フレーム前の画像データが、データ作成回路４７に供給される。例えば、１／４画素精度の動き量検出を行う場合、データ作成回路４７では、入力画像データを線形補間し、垂直、水平それぞれ４倍の画素数にした画像データを作成する。この様子を図１０に示す。データ作成回路４７で作成された画像データはメモリ４８に供給される。
【００４３】
一方、メモリコントロール回路４９により、現フレームの画像データが格納されているメモリ４４にアドレス信号が送出されることにより、動き量を求める基準となるブロック（参照ブロック）の画像データがメモリ４４より出力される。
【００４４】
また、メモリコントロール回路４９には、動き量検出回路４６から１画素単位で検出した動き量が供給される。メモリコントロール回路４９は供給された１画素単位の動き量に基づき、補間された１フレーム前の画像データが格納されているメモリ４８にアドレス信号を送出し、メモリ４３から出力される現フレームの画像データに対応するブロック位置から、１画素単位の動き量で検出されたベクトルだけオフセットをはかせた位置の画素データを、所定のサーチ範囲で１／４画素だけのオフセットを持って出力される。
【００４５】
動き量検出回路５０の内部の処理について、動き量検出回路４６とほとんど同じであり、また一般の１画素以下の動き量検出の手法であるので説明を省略する。動き量検出回路５０において、１画素以下の動き量が決定されＲＯＭテーブル生成回路５１に供給される。
【００４６】
続いて、ＲＯＭテーブル生成回路５１について図１１を用いて説明する。動き量検出回路４６から供給された最小となる評価値の周辺の評価値データは、垂直方向クラス決定回路８１に供給される。垂直方向クラス決定回路８１は、最小となる評価値およびその垂直方向に両隣となる評価値の計３つを用いて評価値分布のパターン化を行う。垂直方向クラス決定回路８１は、先に説明した垂直方向クラス決定経路３１と同じものである。よって、決定されたクラスＣｖは、垂直方向クラス決定回路８１から度数カウントメモリ８２に供給される。
【００４７】
度数カウントメモリ８２は、垂直方向クラス決定回路８１から供給されるクラスＣｖの出現回数、すなわち度数分布表を作成するためのものである。度数カウントメモリ８２は、１サイクル期間で出現回数の読み出しと書き込みを行う。度数カウントメモリ８２の読み出し出力が加算器８４に供給され、加算器８４で＋１（インクリメント）され、加算器８４の出力が同一のアドレスに書き込まれる。従って、度数カウントメモリ８２の各アドレスには、そのクラスの度数データが蓄えられる。
【００４８】
加算値カウントメモリ８３は、各クラスに関して、動き量検出回路５０から供給された１画素以下の動き量の垂直方向のベクトルの積算値を形成するためのものである。加算値カウントメモリ８３は、１サイクル期間で積算値の読み出しと書き込みを行う加算値カウントメモリ８３の読み出し出力が加算器８５で読み出し出力と動き量検出回路５０から供給された１画素以下の動き量の垂直方向のベクトルとが加算される。従って、加算値カウントメモリ８３の各アドレスには、アドレスに対応するクラスの１画素以下の動き量の垂直方向のベクトルの積算値が格納される。
【００４９】
一方、動き量検出回路４６から供給された最小値となる評価値の周辺の評価値データは、水平方向クラス決定回路８７にも供給される。水平方向クラス決定回路８７は水平方向クラス決定回路３３と同じものである。水平方向クラス決定回路８７と動き量検出回路５０の出力信号により、度数カウントメモリ８８、加算値カウントメモリ８９にデータが格納される。しかしながら、この手順は、既に説明した度数カウントメモリ８２と加算値カウントメモリ８３のデータ格納の手順と同一なのでここでは説明を省略する。
【００５０】
種々の絵柄の画像データの供給が終了すると、すなわちトレーニングが終了すると、度数カウントメモリ８２には、各クラスの度数分布表が蓄えられ、加算値カウントメモリ８３には、１画素以下の動き量の垂直方向のベクトルの積算値が蓄えられる。アドレスカウンタ９３から、インクリメントするアドレスが度数カウントメモリ８２および加算値カウントメモリ８３に対して与えられる。この読み出しアドレスによって、度数カウントメモリ８２および加算値カウントメモリ８３の各アドレスのデータが読み出される。
【００５１】
度数カウントメモリ８２および加算値カウントメモリ８３からそれぞれ読み出されたデータが割算回路８６に供給される。割算回路８６は、積算されたデータを度数で割り、平均値を算出する。この平均値は、例えば小数点以下第４位までの値とするが、算出後、例えば１／４画素精度まで丸めてもよい。この平均値が、垂直方向用ＲＯＭテーブル５３に格納される。水平方向用ＲＯＭテーブル５２の垂直方向用ＲＯＭテーブル５３と同様な手順で作成されるので説明は省略する。
【００５２】
このようにしてトレーニングを行った結果、垂直方向用ＲＯＭテーブル５３には、クラスＣｖで規定されるパターン毎に、１画素以下の動き量の垂直方向のベクトルの統計的に真値に最も近い値が格納される。この垂直方向用ＲＯＭテーブル５３に格納されたテーブルが、１画素以下動き量決定回路７で使用される垂直方向用ＲＯＭテーブル３２である。
【００５３】
同様に、トレーニングの結果、水平方向用ＲＯＭテーブル５２には、クラスＣｈで規定されるパターン毎に、１画素以下の動き量の水平方向のベクトルの統計的に真値に最も近い値が格納される。この水平方向用ＲＯＭテーブル５２に格納されたテーブルが、１画素以下動き量決定回路７で使用される水平方向用ＲＯＭテーブル３４である。
【００５４】
なお、この実施例では、評価値テーブルのクラス分類は、水平方向、垂直方向に分けて、それぞれ１次元的に行ったが、水平方向、垂直方向を一度に扱い２次元的な手法でクラス分類を行っても良い。
【００５５】
また、この実施例では、各クラス毎に動き量の平均値をテーブルに格納する、いわゆる代表値方式を用いたが、動き量の平均値ではなく、線形１次式を用いて動き量を推定するための係数データを各クラス毎に格納する係数データ方式をとっても良い。
【００５６】
【発明の効果】
この発明に依れば、ブロックマッチング法で１画素単位の動き量検出を行い、得られた評価値を用いてデータ分布のパターンをクラスし、そのクラスに対応する予め用意されたテーブルに格納された１画素以下の動き量を読み出すことにより、１画素以下の動き量の推定を行う。このため、通常の１画素以下の動き量の検出において必要な画像補間、動き量検出のための演算および補間画像を格納するためのメモリが不要になり、ハードウェアの軽減に効果がある。
【図面の簡単な説明】
【図１】この発明が適用される動き量検出装置の一実施例を示すブロック図である。
【図２】この発明に係る動き量検出回路の一例を示すブロック図である。
【図３】この発明に係る動き量検出回路の説明に使用するための一例である。
【図４】この発明に係る動き量検出回路の説明に使用するための一例である。
【図５】この発明の１画素以下動き量検出回路の一実施例を示すブロック図である。
【図６】この発明の１画素以下動き量検出回路の説明に使用するための一例である。
【図７】この発明の１画素以下動き量検出回路の説明に使用するための一例である。
【図８】この発明が適用される動き量検出装置の学習の一実施例を示すブロック図である。
【図９】この発明に係る動き量検出回路の一例を示すブロック図である。
【図１０】この発明に係る動き量検出回路の説明に使用するための一例である。
【図１１】この発明の動き量検出回路の学習の一実施例を示すブロック図である。
【図１２】従来の動き量検出装置を示すブロック図である。
【符号の説明】
２  遅延回路
３、４  メモリ
５  メモリコントロール回路
６  動き検出回路
７  １画素以下動き検出回路
８  動き量決定回路
【図１】
0003651089.tif 000002
【図２】
0003651089.tif 000003
【図３】
0003651089.tif 000004
【図４】
0003651089.tif 000005
【図５】
0003651089.tif 000006
【図６】
0003651089.tif 000007
【図７】
0003651089.tif 000008
【図８】
0003651089.tif 000009
【図９】
0003651089.tif 000010
【図１０】
0003651089.tif 000011
【図１１】
0003651089.tif 000012
【図１２】
0003651089.tif 000013