(57)【要約】【課題】動きベクトルの評価値情報を使用して候補ベクトルを求めて、各画素に割り当てる動きベクトルの候補の検出精度を向上させる。また、複数の動きベクトルを確実かつ簡単に検出できるようにする。【解決手段】時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値情報を生成し、評価値情報に基づいて動画像データのフレーム構成画素に対する動きベクトルを抽出し、抽出された候補となる動きベクトルの中から、動きベクトルを決定する。評価値情報を形成させる際には、一方のフレームで、注目画素とその隣接画素との空間傾斜状態を判断し、他方のフレームで、参照画素とその隣接画素との空間傾斜状態を判断する。そして、その判断注目画素と参照画素の空間傾斜の符号がほぼ一致した状態である場合に、注目画素の動き候補としての参照画素の評価値を高くする処理を行う。【選択図】図３
2010011430.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成し、その評価値テーブルの生成処理として、前記一方のフレームで注目画素とその隣接画素との空間傾斜状態を判断し、他方のフレームの参照画素とその隣接画素との空間傾斜状態を判断し、それぞれの空間傾斜の符号が一致した状態である場合に、注目画素の動き候補としての参照画素の評価値を高くする評価値情報部と、
前記評価値情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出部と、
動きベクトル抽出部で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定部とを備えた
動きベクトル検出装置。
【請求項２】
前記評価値情報形成部は、
注目画素とその隣接画素に空間傾斜が一定値以上あり、参照画素とその隣接画素にも空間傾斜が一定値以上あると判断された場合に、評価値を高くする
請求項１に記載の動きベクトル検出装置。
【請求項３】
前記評価値情報形成部は、
注目画素の画素値とその隣接画素の画素値との差分から空間傾斜パターンを得、
参照画素の画素値とその隣接画素の画素値との差分から空間傾斜パターンを得、
注目画素および参照画素の空間傾斜パターンを比較して、空間傾斜パターンが同じ場合に評価値を高くする
請求項２記載の動きベクトル検出装置。
【請求項４】
前記評価値情報形成部は、
注目画素の空間傾斜パターンにおける所定の隣接画素方向との空間傾斜の符号と、
参照画素の当該所定の隣接画素方向との空間傾斜の符号が一致したものを、前記空間傾斜の符号が一致した状態である場合とする
請求項３記載の動きベクトル検出装置。
【請求項５】
前記空間傾斜パターンの比較は、
注目画素と参照画素との相対位置から動き方位を算出して、
注目画素の画素値と、前記動き方位の隣接画素の画素値との差分から空間傾斜を判定し、
参照画素の画素値と、前記動き方位の隣接画素の画素値との差分から空間傾斜を判定し、
それぞれの空間傾斜状態が一致した場合に行う
請求項３記載の動きベクトル検出装置。
【請求項６】
前記空間傾斜パターンの比較は、
前記動き方位と反対の方向である逆方位をさらに算出して、
注目画素の画素値と、前記逆方位の隣接画素の画素値との差分から空間傾斜状態を判定し、
参照画素の画素値と、前記逆方位の隣接画素の画素値との差分から空間傾斜状態を判定し、
前記動き方位及び該逆方位の空間傾斜状態がそれぞれ一致した場合に行う
請求項５記載の動きベクトル検出装置。
【請求項７】
注目画素又は参照画素の画素値と隣接画素の画素値との差分が、一定範囲内である０状態と、一定範囲を超えて一方の方向に差がある＋状態と、一定範囲を超えて他方の方向に差がある−状態との３つに分類し、前記＋状態又は−状態から符号を判定する
請求項２又は６記載の動きベクトル検出装置。
【請求項８】
注目画素の画素値と隣接画素の画素値との差分および参照画素の画素値と隣接画素の画素値との差分とが、一定範囲内ある場合には、該注目画素は評価値情報生成に用いない
請求項２又は７記載の動きベクトル検出装置。
【請求項９】
注目画素の空間傾斜の符号と参照画素の空間傾斜の符号がそれぞれ異なる場合には、該注目画素は評価値情報生成に用いない
請求項２又は８記載の動きベクトル検出装置。
【請求項１０】
前記評価値情報形成部は、
注目画素と参照画素との相対位置から動き方位を算出し、
注目画素の画素値と、前記動き方位の隣接画素の画素値との差分から空間傾斜を判定し、
参照画素の画素値と、前記動き方位の隣接画素の画素値との差分から空間傾斜を判定し、
それぞれの空間傾斜の符号が一致したものを、前記空間傾斜の符号が一致した状態である場合とする
請求項２記載の動きベクトル検出装置。
【請求項１１】
前記動き方位と反対の方向である逆方位をさらに算出して、
注目画素の画素値と、前記逆方位の隣接画素の画素値との差分から空間傾斜状態を判定し、
参照画素の画素値と、前記逆方位の隣接画素の画素値との差分から空間傾斜状態を判定し、
前記動き方位及び該逆方位の空間傾斜の符号が一致したものを、前記空間傾斜の符号が一致した状態である場合とする
請求項１０記載の動きベクトル検出装置。
【請求項１２】
注目画素又は参照画素の画素値と隣接画素の画素値との差分が、一定範囲内である０状態と、一定範囲を超えて一方の方向に差がある＋状態と、一定範囲を超えて他方の方向に差がある−状態との３つに分類し、前記＋状態又は−状態から符号を判定する
請求項１０記載の動きベクトル検出装置。
【請求項１３】
注目画素の画素値と隣接画素の画素値との差分および参照画素の画素値と隣接画素の画素値との差分とが、一定範囲内ある場合には、該注目画素は評価値情報生成に用いない
請求項１０記載の動きベクトル検出装置。
【請求項１４】
注目画素の空間傾斜の符号と参照画素の空間傾斜の符号がそれぞれ異なる場合には、該注目画素は評価値情報生成に用いない
請求項１０記載の動きベクトル検出装置。
【請求項１５】
前記動きベクトル抽出部は、評価値情報で示される動きベクトルを頻度順とし、その頻度順の動きベクトルの中の上位から所定の順位までの動きベクトルを候補として抽出する
請求項１記載の動きベクトル検出装置。
【請求項１６】
前記動きベクトル決定部は、動きベクトル抽出部で抽出された候補となる動きベクトルの中を、１フレーム内の全ての画素又は代表する画素に割り当てて、その割り当てた画素位置とその周辺の領域と、動き先の領域との相関を判断して、相関が最も高い領域についての動きベクトルを、該当する画素の動きベクトルに決定する
請求項１に記載の動きベクトル検出装置。
【請求項１７】
複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値情報を生成し、
その評価値情報を生成させる際に、前記一方のフレームで、注目画素とその隣接画素との空間傾斜状態を判断し、前記他方のフレームの参照画素とその隣接画素との空間傾斜状態を判断し、それぞれの空間傾斜の符号が一致した状態である場合に、注目画素の動き候補としての参照画素の評価値を高くする処理を行い、
前記作成された評価値情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出処理を行い、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定処理を行う
動きベクトル検出方法。
【請求項１８】
複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値情報を生成すると共に、
その評価値情報を生成させる際に、前記一方のフレームで、注目画素とその隣接画素との空間傾斜状態を判断し、前記他方のフレームの参照画素とその隣接画素との空間傾斜状態を判断し、それぞれの空間傾斜の符号が一致した状態である場合に、注目画素の動き候補としての参照画素の評価値を高くする処理を行う評価値情報生成処理と、
前記作成された評価値情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出処理と、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、動きベクトルを決定する動きベクトル決定処理とを、
情報処理装置に実装して実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データから動きベクトルを検出して、高能率符号化などの画像処理を行う場合に適用して好適な動きベクトル検出装置及び動きベクトル検出方法、並びにその動きベクトル検出処理を実行するプログラムに関する。
【背景技術】
【０００２】
従来、動画像の処理の分野において、動きの情報、即ち時間的に異なる画像中の物体の動き方向と大きさを用いて、画像処理を効率的に行うことが行われている。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きによるパラメータ制御などに、動き権検出結果を利用することが行われている。動きを求める手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、１フレームの画像を所定画素単位のブロックとしたブロック単位で、そのブロックが動いた領域を探索するものである。このブロックマッチングによる動きベクトル検出処理は、ＭＰＥＧ方式などで実用化されている、動きベクトルを利用した画像処理として、最も普及した一般的な処理である。
【０００３】
ところが、ブロックマッチング法では、ブロックを単位とした処理であるため、各フレーム内の画像の動き検出を必ずしも高精度に検出しているとは言えなかった。このため、本出願人は、先に特許文献１に記載した動きベクトル検出処理を提案した。この動きベクトル検出処理は、画像信号から、各画素位置の動きに関する評価値を検出し、その検出した評価値を評価値テーブルとして持ち、評価値テーブルのデータから、１画面内の候補ベクトルとして複数のベクトルを抽出する。そして、その抽出した複数の候補ベクトルを対象として、全画面の各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素の相関を判定する。その結果、最も相関が高いと判定された画素を結ぶ候補ベクトルを、その画素に対する動きベクトルとして決定するものである。この処理の詳細は、後述する実施の形態の中で説明する。
【０００４】
図２７は、この評価値テーブルを使用して、動きベクトルを決定する場合の、先に提案した評価値テーブル形成部の構成を示した図である。図２７の構成を説明すると、入力端子１に得られる画像信号は、相関演算部２に供給される。相関演算部２は、参照点メモリ２ａと注目点メモリ２ｂと絶対値算出部２ｃとを備える。入力端子１に得られる画像信号を、最初に参照点メモリ２ａに記憶させ、さらに参照点メモリ２ａの記憶データを注目点メモリ２ｂに移して、参照点メモリ２ａと注目点メモリ２ｂとで１フレームの差がある画素信号を記憶させる。そして、注目点メモリ２ｂに記憶された画像信号の中の、注目点の画素（注目画素）の画素値と、参照点メモリ２ａに記憶された画像信号の中の参照点として選定された画素位置（参照画素）の画素値とを読み出し、両信号の差分を絶対値検出部２ｃで検出する。検出した差分の絶対値のデータを、相関判定部３に供給する。相関判定部３は、比較部３ａを備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、一例として相関値を用いることができ、例えば差分が閾値以下であるとき、相関が高いとする。
【０００５】
相関判定部３で得られた評価値は、評価値テーブル算出部４に供給し、評価値積算部４ａで評価値を積算し、その積算結果を評価値テーブルメモリ４ｂに記憶させる。そして、評価値テーブルメモリ４ｂの記憶データを、評価値テーブルデータとして出力端子５から後段の回路に供給する。
【０００６】
図２８は、この図２７に示す従来の評価値テーブルを使用して動きベクトルを決定する処理状態の概要を示した図である。図２８（ａ）に示すように、まず現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ０とする。この注目画素ｄ０が決まると、その注目画素ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１として評価値が算出され、評価テーブルに登録される。そして、評価値テーブルに登録された値から、サーチエリアＳＡで最も評価値が高い参照画素が、前フレームの注目画素から動いた現フレームの画素位置として求まる。このように最も評価値が高い参照画素が求まることで、図２８（ｂ）に示されるように、その評価値が最も高い参照画素と注目画素との動き量から、動きベクトルが定まる。
この図２７，図２８に示す処理を行うことで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
【特許文献１】特開２００５−１７５８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
評価値テーブルデータに基づいて動きベクトルを検出する場合、最適な動きベクトルの決定は、評価値テーブルの性能に依存する。図２７に示した従来方式では、注目画素と未来フレーム（現フレーム）内の探索範囲における、動き候補先画素との相関判定、具体的には輝度値の差分絶対値がある閾値以下であれば、動き候補として、評価値テーブルに度数がカウントされる。
【０００８】
ところが、この従来手法による処理では、画像が平坦である箇所や縞模様の箇所などで、空間傾斜が全て、あるいは、一部の方向に対して、ほとんどない画像の場合には、上述した相関判定のみで評価値テーブルを作成すると、誤った動きを足しこんでしまう可能性があり、評価値テーブルの信頼性が低下してしまう。評価値テーブルの信頼性が低下すると、検出される動きベクトルの精度も低下してしまう。
また、従来の評価値テーブルでは、画像中に複数の動きがあった場合には、誤った動きが足されてしまうために、それぞれの動きに起因する評価値が埋もれ、それぞれの動きベクトルを検出することが困難であった。
【０００９】
これらの問題点を解決するために本出願人は先に、図２９に示した評価値テーブル形成処理構成を提案した。
図２９において、図２７の構成と異なるのは、相関判定部３の出力を、画素選別部６で選別してから、評価値テーブル算出部４で評価値テーブル４ｂに書き込ませる点である。
画素選別部６は、相関判定部３の出力を通過させるゲート部６ａを備えて、そのゲート部６ａの出力を、評価値テーブル算出部４の評価値積算部４ａに供給する。
【００１０】
画素選別部６では、注目点メモリ２ｂに記憶された注目画素と、その注目画素に隣接する画素との変化状態を示す注目点空間傾斜パターンを、空間傾斜パターン算出部６ｂで算出する。また、参照点メモリ２ａに記憶された参照画素と、その参照画素に隣接する画素との変化状態を示す参照点空間傾斜パターンについても、空間傾斜パターン算出部６ｂで算出する。算出した注目点空間傾斜パターンと参照点空間傾斜パターンは、パターン比較部６ｃに供給して、両パターンの相関を判定する。その比較の際には、空間傾斜パターンメモリ６ｄを参照する。
そして、パターン比較部６ｃで得られた相関判定状態の結果により、ゲート部６ａの通過を制御する構成とする。
【００１１】
この図２９に示すように、注目画素や参照画素のパターンに応じて画素選別を行うことで、空間傾斜に相関がある参照画素だけが注目画素に対する動き候補を示す評価値テーブルに書き込ませることになる。従って、動きベクトルを検出するための評価値の精度が高くなるという効果を有する。
しかしながら、図２９に示した画素選別部６で、信頼性の高い選別を行うためには、注目画素と参照画素の単なる空間傾斜パターンの相関判定だけでは不十分であった。
【００１２】
本発明はかかる点に鑑みてなされたものであり、動きベクトルの評価値情報を使用して動きベクトルを各画素に割り当てる場合の精度を向上させることを目的とする。また、複数の動きがある場合にも複数の動きを検出できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、動画像データから動きベクトルを検出する場合に適用される。
その処理構成としては、評価値テーブルを生成する処理と、評価値テーブルに基いて動きベクトルを抽出する処理と、抽出された候補となる動きベクトルの中から動きベクトルを決定する動きベクトル決定処理とを行う。
評価値テーブルを生成する処理として、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値テーブルを生成する。さらに、その評価値テーブルを生成させる際に、一方のフレームで、注目画素とその隣接画素との空間傾斜状態を判断し、他方のフレームの参照画素とその隣接画素との空間傾斜状態を判断する。そして、それぞれの空間傾斜の符号が一致した状態である場合に、注目画素の動き候補としての参照画素の評価値を高くする処理を行う。
【００１４】
本発明によると、注目画素と参照画素のそれぞれで空間傾斜の符号が一致した状態である場合に、注目画素の動き候補としての参照画素の評価値を高くする処理が行われる。従って、空間傾斜の符号を使用した判断で、評価値の候補を絞ることが可能となり、適切な評価値情報が得られるようになる。
【発明の効果】
【００１５】
本発明によると、相関判定結果の度数分布である評価値情報を作成する際に、注目画素と参照画素の空間傾斜の符号を使用した判断で、評価値の候補を絞ることが可能となり、適切な評価値情報が得られるようになる。このため、画像の平坦部や繰り返しパターン部などの画素による動きの誤りを軽減することができ、信頼性の高い評価値情報を作成することが可能となり、検出される動きベクトルの精度を向上させることが可能になる。この場合、空間傾斜の符号の判断処理で行われるため、比較的簡単な演算処理で実現でき、演算処理量の削減に貢献する。また、例えばサーチエリア内に複数の動きがあった場合でも、それぞれの動きに対する評価値が適切に得られて、複数の動きを同時に算出することが可能となる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態の例について、以下の順序で説明を行う。
１．動きベクトルを検出する全体の構成の概要：図１
２．動きベクトルを検出する全体の処理の概要：図２
３．第１の実施の形態の例：図３〜図７
４．空間傾斜パターンの説明：図８〜図１１
５．評価値テーブルの例：図１２〜図１４
６．第２の実施の形態の例：図１５〜図１８
７．第３の実施の形態の例：図１９〜図２１
８．動きベクトル抽出部の構成及び動作例：図２２〜図２３
９．動きベクトル決定部の構成及び動作例：図２４〜図２６
１０．実施の形態の変形例の説明
【００１７】
［１．動きベクトルを検出する全体構成の概要］
以下、本発明の第１の実施の形態を、図１〜図１１を参照して説明する。
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、動きベクトルの評価値テーブルを形成させて、その評価値テーブルのデータを積算して、動きベクトルを判定するものである。なお、以下の説明では、動きベクトルの評価値情報を記憶したものを評価値テーブルと称するが、この評価値テーブルは、必ずしもテーブル状の記憶情報として構成されてなくてもよく、動くベクトルの評価値を示す情報であれば良い。例えば、評価値をヒストグラム化した情報として、そのヒストグラム化された評価値情報を持つようにしてもよい。
【００１８】
図１は、動きベクトル検出装置の全体構成を示した図である。画像信号入力端子１１に得られる画像信号を、評価値テーブル形成部１２に供給して、評価値テーブルを形成させる。画像信号は、例えば、各フレーム内の各画素で個別の輝度値が得られるデジタル映像信号である。評価値テーブル形成部１２では、サーチエリアと同一の大きさの評価値テーブルを作成する。
【００１９】
評価値テーブル形成部１２が作成した評価値テーブルデータは、動きベクトル抽出部１３に供給して、評価値テーブルから、候補ベクトルとして複数の動きベクトルを抽出する。ここでは、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。動きベクトル抽出部１３で抽出した複数の候補ベクトルは、動きベクトル決定部１４に供給する。動きベクトル決定部１４では、候補ベクトル抽出部１３において抽出した複数の候補ベクトルを対象として、全画面の画素ごとに、候補ベクトルによって対応付けられるフレーム間の画素間の相関を領域マッチング等により判定する。そして、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。これらの動きベクトルを得る処理は、制御部（コントローラ）１６による制御で実行される。
設定された動きベクトルのデータは、動きベクトル出力端子１５から出力させる。このとき、必要により入力端子１１に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、画像をテレビジョン受像機で表示させる際の高画質化処理に使用される。さらにまた、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。
【００２０】
［２．動きベクトルを検出する全体の処理の概要］
図２のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から評価値テーブルを形成させ（ステップＳ１１）、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する（ステップＳ１２）。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する（ステップＳ１３）。この図２のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。
【００２１】
［３．第１の実施の形態の例］
そして本実施の形態においては、評価値テーブル形成部１２での評価値テーブルの形成処理として、図３に示す構成で実行する。図３の例は、評価値テーブルの形成時に、注目画素と参照画素の空間傾斜の符号を加味して形成させるようにしたものである。ここでの注目画素とは、動きベクトルを判定する上での基準となる点（基準点）の画素位置（注目画素）である。参照画素とは、その注目画素から動いた先である可能性がある点の画素位置（参照画素）である。参照画素は、注目画素とは後又は前の別のフレームで、注目画素の画素位置の近傍（即ちサーチエリア内）の画素である。また、本明細書中での「動き方向」とは、注目画素と参照画素との相対位置（動き）の方向を示し、本明細書中での「動き方位」とは、動き方向に最も近接する方向である、注目画素と所定周辺隣接画素とのベクトルと定義する。
【００２２】
図３の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０は、参照点メモリ２１と注目画素メモリ２２と絶対値算出部２３とを備える。入力端子１１に得られる画像信号の中で、参照画素として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。この例では、参照画素が１フレーム前の信号の例である。
【００２３】
そして、注目点メモリ２２に記憶された注目画素の画素値と、参照点メモリ２１に記憶された参照画素の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。
【００２４】
相関判定部３０で得られた評価値は、画素選別部４０に供給する。画素選別部４０は、相関判定部３０が出力する２値を選別するゲート部４１を備える。このゲート部４１を制御する構成として、空間傾斜パターン算出部４２と、参照点パターンメモリ４３と注目点パターンメモリ４４と、空間傾斜パターンメモリ４５と、傾斜符号比較部４６とを備える。
空間傾斜パターン算出部４２は、参照点メモリ２１から画像信号の供給を受けて、１フレーム内の各画素について、その画素と周囲８画素との差分を算出して、空間傾斜パターンを算出する。算出した各画素位置での空間傾斜パターンのデータは、参照点パターンメモリ４３に記憶させ、さらにその記憶データをフレーム期間の変化で注目点パターンメモリ４４に移す。
【００２５】
参照点パターンメモリ４３と注目点パターンメモリ４４とのそれぞれでは、空間傾斜パターンメモリ４５からのデータに基づいて、指定されたパターンと一致するか否か判断する。指定されたパターンの具体例については後述する。
【００２６】
そして、注目点パターンメモリ４４で判定した空間傾斜パターンと、参照点パターンメモリ４３で判定した空間傾斜パターンとを、傾斜符号比較部４６に供給して比較する。傾斜符号比較部４６では、空間傾斜状態を示す符号を比較して、その結果に基づいてゲート部４１で、評価値を通過させるか否か制御する。具体的には、注目画素と参照画素のそれぞれで、空間傾斜の符号が指定されたパターンの符号状態と等しい場合に、その注目画素から見た参照画素の評価値について、ゲート部４１を通過させる。注目画素と参照画素のそれぞれで、空間傾斜の符号が等しくない場合には、その注目画素から見た参照画素の評価値について、ゲート部４１を通過させない。また、注目画素と参照画素のそれぞれで、周囲の隣接画素との空間傾斜状態が傾斜０の状態（即ち空間傾斜がない９画素がほぼ等しい輝度状態）のときについても、ゲート部４１を通過させない。
【００２７】
画素選別部４０のゲート部４１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。また、傾斜符号比較部４６での符号状態が一致したことのデータを、評価値積算部５１に供給して、評価値積算部５１が備えるカウンタで一致回数をカウントさせる。このようにして得られた評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。
【００２８】
本例での空間傾斜符号は、例えば図７に示した条件で定義される。即ち、図７の左上に示すように、注目画素の画素を決めたとき、その注目画素に隣接する８つの画素を隣接画素とする。そして、注目画素の画素値と、隣接画素の画素値とを比較して、画素値（輝度値）の差が、注目画素を基準として一定範囲内であるか、一定範囲を＋方向に超えた場合であるか、一定範囲をマイナス方向に超えた場合であるか判断する。
図７（ａ）は、注目画素を基準として隣接画素との差が一定範囲内である場合であり、この場合は該当する隣接画素との空間傾斜なしとして、空間傾斜０とする。この空間傾斜０は、隣接画素との空間傾斜がほぼない状態である。図７に示した差を判断する一定範囲を狭くすることで、空間傾斜なしと判断される差分の許容値が狭くなり、一定範囲を広くすることで、空間傾斜なしと判断される差分の許容値が広くなる。
図７（ｂ）は、注目画素を基準として、隣接画素の値の方が大きいために、一定範囲を＋方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号＋とする。
図７（ｃ）は、注目画素を基準として、隣接画素の値の方が小さいために、一定範囲を−方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号−とする。
図７では、注目画素の空間傾斜の符号を求める処理について説明したが、参照画素の場合にも同じである。参照画素の場合には、図７の基準が参照画素の画素値に変わり、隣接画素はその参照画素に隣接する画素の値になる。
【００２９】
このような条件を設定して、図３の構成での処理動作を示したのが、図４のフローチャートである。
図４に沿って説明すると、図３に示した構成での処理は、注目画素と参照画素の空間傾斜パターンを用いて、その空間傾斜符号の一致を加味して、評価値の選別を行う処理である。以下のフローチャートでは、画素選別部４０での処理を中心にして説明する。
【００３０】
この図４のフローチャートの例では、後述する図８に示すモード１の空間傾斜パターンを使用した例である。即ち、隣接８画素と中央の１画素の９画素のパターンとして、中央の注目画素又は参照画素と、隣接８画素との関係が、全て０以外（即ち符号＋又は−）である場合である。
【００３１】
まず、注目点パターンメモリ４４を使用して、注目画素との隣接差分による空間傾斜パターンから、空間傾斜符号を算出する（ステップＳ２１）。次に、その注目画素についての参照画素でも、同様に参照画素との隣接差分による空間傾斜パターンから、空間傾斜符号を算出する（ステップＳ２２）。そして、注目画素と参照画素のそれぞれについて、８つの方位全てで空間傾斜符号が０（即ち図８（ａ）の空間傾斜なし）か否か判断する（ステップＳ２３）。注目画素と参照画素のそれぞれについて、８つの方位のいずれか１つでも空間傾斜符号が０である場合には、該当する値（注目画素から参照画素への動きの評価値）の評価値テーブルへの書き込みを禁止させる（ステップＳ２７）。
【００３２】
注目画素と参照画素のそれぞれについて、８つの方位全てで空間傾斜符号が０でない場合には、注目画素の８方位の隣接画素との空間傾斜符号の関係と、参照画素の８方位の隣接画素との空間傾斜符号の関係とが一致するか否か判断する（ステップＳ２４）。それぞれの空間傾斜符号の関係が一致する場合には、注目画素と参照画素の差分絶対値を閾値と比較して、閾値未満であるか否か判断する（ステップＳ２５）。注目画素と参照画素の差分絶対値が閾値未満である場合には、ゲート部４１で評価値を通過させて、該当する評価値の評価値テーブルへの足し込みを実行させる（ステップＳ２６）。ステップＳ２４での比較で空間傾斜符号が一致しない場合と、ステップＳ２５での比較で閾値未満でない場合（即ち閾値以上である場合）には、ステップＳ２７に移り、評価値テーブルへの書き込みを禁止させる。
【００３３】
図４のフローチャートは、後述するモード１である場合を用いる例について説明したが、後述する図９で説明するモード２、図１０で説明するモード３、図１１で説明するモード４のいずれかのモードを用いる場合には、図５のように処理される。
ここでモードについて簡単に説明すると、モード２は、参照画素又は注目画素の周辺の８画素の内の、少なくとも７画素以上が空間傾斜ありのときに用いるものである。モード３は、周辺８画素の内、注目画素を含む２×２以内の領域は空間傾斜なしでも用いるものである。モード４は、周辺８画素の内、注目画素を含む水平、垂直、斜めに３連続した画素が空間傾斜なしのときは、評価値テーブルに用いないものである。
【００３４】
図５のフローチャートを参照して、モード２，３，４のいずれかのモードを用いる例について説明する。この図５のフローチャートにおいて、図４のフローチャートと同じ処理には、同じステップ番号を付与してある。
まず、注目点パターンメモリ４４を使用して、注目画素との隣接差分による空間傾斜パターンから、空間傾斜符号を算出する（ステップＳ２１）。次に、その注目画素についての参照画素でも、同様に参照画素との隣接差分による空間傾斜パターンから、空間傾斜符号を算出する（ステップＳ２２）。そして、注目画素と参照画素の空間傾斜パターンが、指定されたモードのパターンのいずれかと一致するか否か判断する（ステップＳ２８）。この判断で、注目画素と参照画素の空間傾斜パターンが、指定されたモードのパターンのいずれかと一致する場合には、注目画素側の空間傾斜パターンと、参照画素側の空間傾斜パターンとが一致するか否か判断する（ステップＳ２９）。さらに、この判断で両者の空間傾斜パターンが一致すると判断した場合には、空間傾斜パターンで傾斜がある隣接画素方向に対する符号が一致するか否か判断する（ステップＳ３０）。
【００３５】
ステップＳ３０で符号が一致したと判断した場合には、注目画素と参照画素の差分絶対値を閾値と比較して、閾値未満であるか否か判断する（ステップＳ２５）。注目画素と参照画素の差分絶対値が閾値未満である場合には、ゲート部４１で評価値を通過させて、該当する評価値の評価値テーブルへの足し込みを実行させる（ステップＳ２６）。
また、ステップＳ２８で、注目画素と参照画素のいずれかでも、指定パターンに該当しない場合には、該当する値（注目画素から参照画素への動きの評価値）の評価値テーブルへの書き込みを禁止させる（ステップＳ２７）。また、ステップＳ２９で空間傾斜パターンが一致しない場合と、ステップＳ３０で符号が一致しない場合にも、該当する値（注目画素から参照画素への動きの評価値）の評価値テーブルへの書き込みを禁止させる（ステップＳ２７）。さらに、ステップＳ２５での比較で閾値未満でない場合（即ち閾値以上である場合）にも、該当する値の評価値テーブルへの書き込みを禁止させる（ステップＳ２７）。
【００３６】
図３の構成及び図４のフローチャート（又は図５のフローチャート）での処理状態の概要を示したのが、図６である。
まず、図６（ａ）に示すように、現在のフレーム（現フレーム）Ｆ１１の１フレーム前の画像データである前フレームＦ１０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ１０とする。この注目画素ｄ１０が決まると、その注目画素ｄ１０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１１として評価値が算出される。
【００３７】
ここで本例においては、図６（ｂ）に示すように、前フレームＦ１０内で、注目画素に隣接する８画素との差分から、それぞれの方位ごとの空間傾斜符号を算出する。また、現フレームＦ１１内で、参照画素に隣接する８画素との差分から、それぞれの方位ごとの空間傾斜符号を算出する。そして、それぞれの８方位の空間傾斜符号が一致した場合にだけ、該当する注目画素から参照画素を見た場合の評価値を、積算させる。ここで評価値を積算させるということは、該当する評価値を高い評価値として扱うということに相当する。
【００３８】
［４．空間傾斜パターンの説明］
図８から図１１は、空間傾斜パターンの例を示したものである。図８はモード１として定義した空間傾斜パターンであり、図９はモード２として定義した空間傾斜パターンであり、図１０はモード３として定義した空間傾斜パターンであり、図１１はモード４として定義した空間傾斜パターンである。
【００３９】
図８に示したモード１のパターンは、拡大して示すように、隣接８画素と中央の１画素の９画素のパターンとして、中央の注目画素又は参照画素と、隣接８画素との関係が、全て０以外（即ち符号＋又は−）である場合である。その上で、それぞれの符号が＋か−かが判定される。この図８は、注目画素や参照画素が、隣接画素と全て輝度値が異なる場合に相当し、周辺８画素の内の１つでも空間傾斜なしであれば、評価値の積算から除外される。
【００４０】
図９に示したモード２のパターンは、周辺８画素の内、少なくとも７画素以上に空間傾斜がある場合に、注目画素と参照画素との空間傾斜符号を比較して、一致を検出した場合にだけ、該当する注目画素から参照画素を見た場合の評価値を、積算させる。
モード２のパターンを使用した場合、空間傾斜の符号比較は周辺８画素で比較する必要はなく、空間傾斜があると判定された７画素について比較すればよい。もちろん周辺８画素について符号を比較することとしても良い。
【００４１】
図１０に示したモード３のパターンは、モード１，モード２の条件に加えて、周辺８画素の内、注目画素又は参照画素を含む２×２の４画素の領域が空間傾斜なしである場合にも、候補に加えて注目画素と参照画素との空間傾斜符号を比較する。そして、その比較で一致を検出した場合にだけ、該当する注目画素から参照画素を見た場合の評価値を、積算させる。
この場合においても、空間傾斜ありとされる隣接画素方向に対してのみ符号の比較を行なえばよい。
【００４２】
図１１に示したモード４のパターンは、モード１〜３の条件に加えて、周辺８画素の内、注目画素又は参照画素を含む水平，垂直，斜めに３連続画素で空間傾斜がない場合を除外するものである。このようにして注目画素と参照画素との空間傾斜符号を比較する。そして、その比較で一致を検出した場合にだけ、該当する注目画素から参照画素を見た場合の評価値を、積算させる。
この場合においても、空間傾斜ありとされる隣接画素方向に対してのみ符号の比較を行なえばよい。
【００４３】
上述した図４のフローチャートでの処理時には、モード１，モード２，モード３，モード４のいずれかのモードを設定する。モード１を設定することで、最も厳しい選定を行うことになり、モード２，モード３，モード４と順に選定基準が緩くなる。
【００４４】
［５．評価値テーブルの例］
次に、このようにして空間傾斜符号を加味して、評価値の選別を行った場合の評価値テーブルの例について説明する。
ここでは、図１２に示したテスト画像を用意して、評価値テーブルを求める。即ち、テスト画像として、図１２に示すように、２種類の背景色の境界部を、異なる方向に移動する２つの物体が示された画像である。図１２のテスト画像についてより詳細に説明すると、背景は静止しており、背景とは若干異なる色（白色）の円形の物体ｍ１が矢印ａで示す方向に、各フレームで順に移動している。一方の背景色に近い色（黒色）の円形の物体ｍ２が矢印ｂで示す方向（矢印ａで示す方向とは反対方向）に、各フレームで順に移動している状態を示している。ここでは、矢印ａ，ｂで示す２つの物体ｍ１，ｍ２は、その面積が異なり、また移動方向は、２種類の背景色の境界部を移動している。
【００４５】
この画像の画像信号に対して、従来の図２７に示した相関判定のみから得た評価値テーブルは、図１３に示す状態となる。この評価値テーブルの二次元方向Ｖｘ及びＶｙが、水平及び垂直の座標位置（画素位置）を示し、縦軸がそれぞれの画素位置で評価値が積算される度数を示す。
図１２の画像中の動く物体（ｍ１、ｍ２）内部、あるいは、背景部のそれぞれは、平坦で、同じ輝度値であるため、相関判定のみで評価値テーブルへ積算を行うと、図１３に示すように、誤った動きが評価値テーブルに多く積算されてしまい、この誤った動きに埋もれてしまい、評価値テーブルから正しい動きベクトルを求めることは困難になる。
【００４６】
図１４は、図３の構成及び図４のフローチャートで処理して、注目画素と参照画素の空間傾斜の符号を加味して積算させた例である。この図１４に示すように、本実施の形態によると、ピーク位置が明確化している。さらに、２つの動く物体を示すピーク位置が候補として正しく示されている。このため、評価値テーブルに登録された値から、注目画素から動いた画素位置が正しく判定され、動きベクトルが定まる。しかも、複数の動きがある場合であっても、その複数の動きをそれぞれ個別に判定できる効果がある。
【００４７】
［６．第２の実施の形態の例］
次に、本発明の第２の実施の形態を、図１５〜図１８を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。注目画素（注目点）及び参照画素（参照点）の定義についても、第１の実施の形態で説明した定義と同じである。
【００４８】
そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図１５に示す構成としたものである。図１５の評価値テーブル形成部１２において、第１の実施の形態で説明した図３の評価値テーブル形成部１２と同一部分には同一符号を付す。
図１５に示した本実施の形態の例では、評価値テーブル形成部１２での評価値テーブルの形成処理として、注目画素と参照画素とで決まる方位の空間傾斜の符号を加味して形成させるようにしたものである。
【００４９】
図１５の例の構成について説明すると、相関演算部２０と、相関判定部３０については、図３に示した構成と同じである。即ち、入力端子１１に得られる画像信号の中で、参照画素として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目画素メモリ２２に移す処理が行われる。
【００５０】
そして、注目点メモリ２２に記憶された注目画素の画素値と、参照点メモリ２１に記憶された参照画素の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。
【００５１】
相関判定部３０で得られた評価値は、画素選別部６０に供給する。画素選別部６０は、相関判定部３０が出力する２値を選別するゲート部６１を備える。このゲート部６１を制御する構成として、空間傾斜パターン算出部６２と、参照点パターンメモリ６３と、注目点パターンメモリ６４と、動き方位算出部６５と、動き方位ＬＵＴ６６と、傾斜符号比較部６７とを備える。
空間傾斜パターン算出部６２は、参照点メモリ２１から画像信号の供給を受けて、１フレーム内の各画素について、その画素と周囲８画素との差分を算出して、空間傾斜パターンを算出する。ここでの空間傾斜パターンは、対象画素（注目画素又は参照画素）と、その周囲８画素との差分が一定範囲内である０状態か、＋方向に差分がある＋状態か、−方向に差分がある−状態かの、図７を参照して説明した空間傾斜の有無を示すものである。算出した各画素位置での空間傾斜パターンのデータは、参照点パターンメモリ６３に記憶させ、さらに、その記憶データを注目点パターンメモリ６４にフレーム期間の変化で移す。
【００５２】
また、動き方位算出部６５で、注目画素から見た参照画素の動き方位を算出し、その動き方位の情報を、動き方位ＬＵＴ（ルックアップテーブル）６６に指示する。動き方位ＬＵＴ６６は、指示された動き方位が、中心点（注目画素又は参照画素）から隣接画素を見たときにどの方位に相当するのかについての情報を、対応表として持つ。その対応表としての動き方位ＬＵＴ６６で得られた隣接画素の方位のデータを、参照点パターンメモリ６３と注目点パターンメモリ６４に供給する。
【００５３】
注目点パターンメモリ６４で注目画素のデータを取り出す際には、各点の周囲画素との空間傾斜の内の、動き方位に隣接した画素との空間傾斜のデータを読み出して、傾斜符号比較部６７に供給する。
参照点パターンメモリ６４で参照画素のデータを取り出す際にも、各点の周囲画素との空間傾斜の内の、動き方位に隣接した画素との空間傾斜のデータを読み出して、傾斜符号比較部６７に供給する。
【００５４】
そして、傾斜符号比較部６７で、注目点パターンメモリ６４から読み出した、空間傾斜のデータと、参照点パターンメモリ６３から読み出した、空間傾斜のデータとを比較する。このように比較することで、注目画素と参照画素とで同じ方位どうしの空間傾斜の符号が比較される。そして、傾斜符号比較部６７での比較の結果に基づいて、ゲート部６１の制御を行う。即ち、空間傾斜の符号が一致しない場合には、ゲート部６１で評価値の通過を阻止させる。空間傾斜の符号が一致した場合には、ゲート部６１で評価値を通過させる。但し、符号が一致とは関係なく、注目画素とその隣接画素との間に空間傾斜がないパターンであり、参照画素とその隣接画素との間に空間傾斜がないパターンである場合には、ゲート部６１を通過させない。
【００５５】
このような制御でゲート部６１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。また、傾斜符号比較部６７での符号状態が一致したことのデータを、評価値積算部５１に供給して、評価値積算部５１が備えるカウンタで一致回数をカウントさせる。このようにして得られた評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。
【００５６】
この図１５の構成での処理動作を示したのが、図１６のフローチャートである。
図１６に沿って説明すると、図１５に示した構成での処理は、注目画素と参照画素との間で決まる動き方位についての空間傾斜符号を比較して、評価値の選別を行う処理である。以下のフローチャートでは、画素選別部６０での処理を中心にして説明する。
【００５７】
まず、このときの注目画素と参照画素との相対位置から、動き方位を算出する（ステップＳ３１）。動き方位を算出すると、注目画素について、同じフレーム内の動き方位の隣接画素との差分による空間傾斜符号を算出する（ステップＳ３２）。また、参照画素について、同じフレーム内の動き方位の隣接画素との差分による空間傾斜符号を算出する（ステップＳ３３）。ここで算出される空間傾斜符号は、例えば図７を用いて説明したように、差分が一定範囲内で傾斜なしとみなせる０状態、一方に傾斜（差分）がある＋状態、他方に傾斜（差分）がある−状態のいずれかである。
【００５８】
そして、算出した注目画素の動き方位の空間傾斜符号と、参照画素の動き方位の空間傾斜符号とを比較する。この比較としては、まず注目画素の動き方位の空間傾斜符号と参照画素の動き方位の空間傾斜符号が０状態か否か判断する（ステップＳ３４）。それぞれの空間傾斜符号が０状態である場合には、該当する注目画素から見た、その参照画素の評価値をゲート部６１で制限させて、評価値テーブルへの書き込みを禁止させる（ステップＳ３８）。
また、ステップＳ３４で、注目画素と参照画素の動き方位の空間傾斜符号が０状態でない場合には、それぞれの符号を比較する（ステップＳ３５）。この比較で、注目画素の動き方位の空間傾斜符号と、参照画素の動き方位の空間傾斜符号とが一致した場合には、注目画素と参照画素の差分絶対値を閾値と比較して、閾値未満であるか否か判断する（ステップＳ３６）。注目画素と参照画素の差分絶対値が閾値未満である場合には、該当する注目画素から見た、その参照画素の評価値をゲート部６１で通過させて、評価値テーブルへの積算を行う（ステップＳ３７）。
ステップＳ３５の比較で、注目画素の動き方位の空間傾斜符号と、参照画素の動き方位の空間傾斜符号が一致しない場合は、該当する注目画素から見た、その参照画素の評価値をゲート部６１で制限させ、評価値テーブルへの書き込みを禁止させる（ステップＳ３８）。さらに、ステップＳ３６での比較で閾値未満でない場合（即ち閾値以上である場合）にも、該当する値の評価値テーブルへの書き込みを禁止させる（ステップＳ３８）。
この図１６に示した処理が、それぞれの注目画素で、サーチエリア内の参照画素を候補として順に実行される。
【００５９】
図１５の構成及び図１６のフローチャートでの処理状態の概要を示したのが、図１７である。
まず、図１７（ａ）に示すように、現在のフレーム（現フレーム）Ｆ２１の１フレーム前の画像データである前フレームＦ２０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ２０とする。この注目画素ｄ２０が決まると、その注目画素ｄ２０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ２１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ２１として評価値が算出される。
【００６０】
ここで本例においては、図１７（ａ）に示すように、例えばあるタイミングのときに、注目画素から、左方向に水平方向ｍ（つまり動き方位ｍ）に動いた点を参照画素として処理を行うものとする。
このときには、図１７（ｂ）に示すように、その動き方向ｍと一致する、注目画素と隣接画素との空間傾斜符号ｘ１を判断する。また、動き方向ｍと一致する、参照画素と隣接画素との空間傾斜符号ｘ２を判断する。そして、その注目画素が存在する前フレームでの空間傾斜符号ｘ１と、参照画素が存在する現フレームでの空間傾斜符号ｘ２とを比較して判定する。
【００６１】
次に、このようにして空間傾斜符号を加味して、評価値の選別を行った場合の評価値テーブルの例について説明する。
ここでは、第１の実施の形態と同様に、図１２に示したテスト画像を用意して、評価値テーブルを求めた例としてある。即ち、テスト画像として、図１２に示すように、２種類の背景色の境界部を、異なる方向に移動する２つの物体が示された画像である。
この画像の画像信号に対して、従来の図２７に示した相関判定のみから得た評価値テーブルは、図１３に示す状態であり、第１の実施の形態の処理で得た評価値テーブルは、図１４に示す状態である。
【００６２】
これに対して、図１５の構成及び図１６のフローチャートで処理した第２の実施の形態の場合には、図１８に示した評価値テーブルが得られる。この図１８の場合にも、評価値テーブルの二次元方向Ｖｘ及びＶｙが、水平及び垂直の座標位置（画素位置）を示し、縦軸がそれぞれの画素位置で評価値が積算される度数を示す。
この図１８に示した第２の実施の形態による評価値テーブルは、第１の実施の形態の場合（図１４例）と同様に、ピーク位置が明確化している。さらに本実施の形態の場合にも、２つの動く物体を示すピーク位置が候補として正しく示されている。このため、評価値テーブルに登録された値から、注目画素から動いた画素位置が正しく判定され、動きベクトルが定まる。しかも、複数の動きがある場合であっても、その複数の動きをそれぞれ個別に判定できる。
【００６３】
なお、図１５及び図１６の例では、注目画素からの動き方向から得られた動き方位に隣接した画素との空間傾斜が、注目画素と参照画素とで一致するか判断するようにしたが、動き方位と基準にして選ばれた、他の方位の空間傾斜も比較するようにしてもよい。
例えば、注目画素とその隣接画素との間で、動き方位と、その動き方位に１８０°反転した方位との空間傾斜を判断し、参照画素側でも、その隣接画素との間で、動き方位と、その動き方位に１８０°反転した方位との空間傾斜とを判断して、それぞれを比較してもよい。
【００６４】
［７．第３の実施の形態の例］
次に、本発明の第３の実施の形態を、図１９〜図２１を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１及び第２の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。注目画素（注目点）及び参照画素（参照点）の定義についても、第１の実施の形態で説明した定義と同じである。
【００６５】
そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図１９に示す構成としたものである。図１９の評価値テーブル形成部１２において、第１の実施の形態で説明した図３の評価値テーブル形成部１２と同一部分には同一符号を付す。
図１９に示した本実施の形態の例では、評価値テーブルの形成処理として、注目画素と参照画素とで決まる方位及びその反対の方位の空間傾斜の符号を比較して、さらに空間傾斜符号が一致する場合に、空間傾斜パターンを判断するものである。即ち、第２の実施の形態で説明した動き方位に対応した方位の比較と、第１の実施の形態で説明した空間傾斜パターンを用いた空間傾斜の有無を組み合わせた処理例である。
【００６６】
図１９の例の構成について説明すると、相関演算部２０と、相関判定部３０については、図３に示した構成と同じである。即ち、入力端子１１に得られる画像信号の中で、参照画素として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。
【００６７】
そして、注目点メモリ２２に記憶された注目画素の画素値と、参照点メモリ２１に記憶された参照画素の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。
【００６８】
相関判定部３０で得られた評価値は、画素選別部７０に供給する。画素選別部７０は、相関判定部３０が出力する２値を選別するゲート部７１を備える。このゲート部７１を制御する構成として、空間傾斜パターン算出部７２と、参照点パターンメモリ７３と、注目点パターンメモリ７４と、動き方位算出部７５と、動き方位ＬＵＴ７６と、空間傾斜パターンメモリ７７と、傾斜符号比較部７８とを備える。さらに、傾斜有無判定部７９を備える。
【００６９】
空間傾斜パターン算出部７２は、参照点メモリ２１から画像信号の供給を受けて、１フレーム内の各画素について、その画素と周囲８画素との差分を算出して、空間傾斜パターンを算出する。ここでの空間傾斜パターンは、対象画素（注目画素又は参照画素）と、その周囲８画素との差分が一定範囲内である０状態か、＋方向に差分がある＋状態か、−方向に差分がある−状態かの、図７を参照して説明した空間傾斜の有無を示すものである。算出した各画素位置での空間傾斜パターンのデータは、参照点パターンメモリ７３に記憶させ、さらに、その記憶データを注目点パターンメモリ７４にフレーム期間の変化で移す。
【００７０】
また、動き方位算出部７５で、注目画素から見た参照画素の動き方位を算出し、その動き方位の情報を、動き方位ＬＵＴ（ルックアップテーブル）７６に指示する。動き方位ＬＵＴ７６は、指示された動き方位が、中心点（注目画素又は参照画素）から隣接画素を見たときにどの方位に相当するのかについての情報を、対応表として持つ。その対応表としての動き方位ＬＵＴ７６で得られた隣接画素の方位のデータを、参照点パターンメモリ７３と注目点パターンメモリ７４に供給する。
【００７１】
注目点パターンメモリ７４で注目画素のデータを取り出す際には、各点の周囲画素との空間傾斜の内の、動き方位に隣接した画素との空間傾斜のデータと、動き方位の反対側の方位（即ち１８０°反転した方位）に隣接した画素との空間傾斜のデータとを読み出して、傾斜符号比較部７８に供給する。
参照点パターンメモリ７３で参照画素のデータを取り出す際にも、各点の周囲画素との空間傾斜の内の、動き方位に隣接した画素との空間傾斜のデータと、動き方位の反対側の方位に隣接した画素との空間傾斜のデータとを読み出して、傾斜符号比較部７８に供給する。
【００７２】
そして、傾斜符号比較部７８で、注目点パターンメモリ７４から読み出した、空間傾斜のデータと、参照点パターンメモリ７３から読み出した、空間傾斜のデータとを比較する。このように比較することで、注目画素と参照画素とで同じ方位どうしの空間傾斜の符号が比較される。空間傾斜の符号が一致するか否かの情報を、ゲート部７１に供給する。
【００７３】
さらに本実施の形態においては、参照点パターンメモリ７３に記憶された参照画素とその隣接の８画素との空間傾斜パターンと、注目点パターンメモリ７４に記憶された注目画素とその隣接の８画素との空間傾斜パターンとを、傾斜有無判定部７９で比較する。そして、その比較により傾斜有無判定部７９で注目画素と参照画素とのそれぞれで空間傾斜があるか否か判定され、その判定結果を、ゲート部７１に供給する。
傾斜有無判定部７９で空間傾斜有りと判定するパターンは、例えば第１の実施の形態で、図８から図１１に示した空間傾斜パターンとする。即ち、例えば図８に示したモード１が設定されている場合には、中央の注目画素と隣接８画素との関係が、全て０以外（即ち符号＋又は−）であり、参照画素と隣接８画素との関係も同様である場合に、空間傾斜ありと判定する。モード２，モード３，モード４のいずれかを設定した場合には、注目画素を中心した９画素のパターンと、参照画素を中心とした９画素のパターンのそれぞれが、図９，図１０，図１１に示したパターンと一致するかどうか判定される。このようにして、空間傾斜パターンの比較から空間傾斜の有無が判定される。
【００７４】
図１９の説明に戻ると、このようにして比較した空間傾斜の符号と、空間傾斜の有無に基づいて、ゲート部７１の制御を行う。即ち、比較した空間傾斜の符号が一致するとともに、空間傾斜パターンから注目画素と参照画素とのそれぞれで空間傾斜があると判断された場合に、ゲート部７１で評価値を通過させる。空間傾斜符号が不一致である場合と、空間傾斜なしと判断された場合には、ゲート部７１で評価値の通過を阻止させる。
【００７５】
このような制御でゲート部７１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。また、ゲート部７１で評価値を通過させる状態になったことのデータを、その状態になるごとに評価値積算部５１に供給して、評価値積算部５１が備えるカウンタで一致回数をカウントさせる。このようにして得られた評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。
【００７６】
この図１９の構成での処理動作を示したのが、図２０のフローチャートである。
図２０に沿って説明すると、図１９に示した構成での処理は、注目画素と参照画素との間で決まる動き方位についての空間傾斜符号を比較し、さらに空間傾斜パターンを判断して、評価値の選別を行う処理である。以下のフローチャートでは、画素選別部７０での処理を中心にして説明する。
【００７７】
まず、このときの注目画素と参照画素との相対位置から、動き方位とその逆方向の方位を算出する（ステップＳ５１）。動き方位及び逆方向の方位を算出すると、注目画素について、同じフレーム内の動き方位の隣接画素との差分による空間傾斜符号と、動き方位と逆方位の隣接画素との差分による空間傾斜符号を算出する。また、参照画素について、同じフレーム内の動き方位の隣接画素との差分による空間傾斜符号と、動き方位と逆方位の隣接画素との差分による空間傾斜符号を算出する（ステップＳ５２）。ここで算出される空間傾斜符号は、例えば図７を用いて説明したように、差分が一定範囲内で傾斜なしとみなせる０状態、一方に傾斜（差分）がある＋状態、他方に傾斜（差分）がある−状態のいずれかである。
【００７８】
そして、注目画素と参照画素の空間傾斜符号の比較に移る（ステップＳ５３）。このステップＳ５３での比較処理は、図１９のブロック図中の傾斜符号比較部７８での処理に相当する。
この比較では、まず算出した注目画素の２つの空間傾斜符号と、参照画素の２つの空間傾斜符号とを、それぞれ同じ方位どうし比較する。その比較で、注目画素の２つの空間傾斜符号と、参照画素の２つの空間傾斜符号が、それぞれ０状態か否か比較する。すべて０状態である場合には、ステップＳ５８に移って、ゲート部７１で評価値の通過を制限させて、評価値テーブルへの書き込みを禁止させる。
また、ステップＳ５３の処理として、注目画素の動き方位の空間傾斜符号と、参照画素の動き方位の空間傾斜符号とが、一致するか否か判断し、さらに、注目画素の動き方位と反対の方位の空間傾斜符号と、参照画素の動き方位と反対の方位の空間傾斜符号とが、一致するか否か判断し、いずれか一方でも、符号の一致が検出されない場合には、ステップＳ５８に移って、ゲート部７１で評価値の通過を制限させて、評価値テーブルへの書き込みを禁止させる。
【００７９】
そして、ステップＳ５３で、注目画素と参照画素のそれぞれで空間傾斜があり、なおかつ、動き方位及びその反対の方位での空間傾斜符号が一致した場合には、ステップＳ５４に移り、空間傾斜パターンを用いて、注目画素と参照画素のそれぞれが、隣接差分による空間傾斜パターンが、指定された空間傾斜パターン（この空間傾斜パターンは図８〜図１１のモードにより決まる）と一致するか判断して、空間傾斜ありと判定されるか否か判断する。このステップＳ５４での判定処理は、図１９のブロック図中の傾斜有無判定部７９での処理に相当する。
【００８０】
そして、このステップＳ５４での判断結果として、空間傾斜有りか、或いは空間傾斜無しであるかを判定する（ステップＳ５５）。この判定で、空間傾斜パターンが指定されたパターンと一致せず、空間傾斜なしであると判断した場合には、ステップＳ５８に移って、ゲート部７１で評価値の通過を制限させて、評価値テーブルへの書き込みを禁止させる。
一方、空間傾斜パターンが指定されたパターンと一致して、空間傾斜ありと判断された場合には、注目画素と参照画素の差分絶対値を閾値と比較して、閾値未満であるか否か判断する（ステップＳ５６）。注目画素と参照画素の差分絶対値が閾値未満である場合には、ステップＳ５７に移り、ゲート部７１で評価値を通過させて、評価値テーブルへ該当する評価値を足し込ませる。
【００８１】
なお、ゲート部７１では、評価値を通過させたことのデータを、評価値積算部５１に供給して、評価値積算部５１が備えるカウンタで一致回数をカウントさせる。
この図２０に示した処理が、それぞれの注目画素で、サーチエリア内の参照画素を候補として順に実行される。
【００８２】
図１９の構成及び図２０のフローチャートでの処理状態の概要を示したのが、図２１である。
まず、図２１（ａ）に示すように、現在のフレーム（現フレーム）Ｆ２１の１フレーム前の画像データである前フレームＦ２０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ２０とする。この注目画素ｄ２０が決まると、その注目画素ｄ２０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ２１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ２１として評価値が算出される。
【００８３】
ここで本例においては、図２１（ａ）に示すように、例えばあるタイミングのときに、注目画素から、左方向に水平方向ｍ（つまり動き方位ｍ）に動いた点を参照画素として処理を行うものとする。
このとき、図２１（ｂ）に示すように、その動き方向ｍと一致する、注目画素と隣接画素との空間傾斜符号ｘ１を判断すると共に、動き方向ｍと反対の方位での、注目画素と隣接画素との空間傾斜符号ｘ３を判断する。
また、動き方向ｍと一致する、参照画素と隣接画素との空間傾斜符号ｘ２を判断と共に、動き方向ｍと反対の方位での、注目画素と隣接画素との空間傾斜符号ｘ４を判断する。
そして、その注目画素が存在する前フレームでの空間傾斜符号ｘ１と、参照画素が存在する現フレームでの空間傾斜符号ｘ２とを比較し、同様に前フレームでの空間傾斜符号ｘ３と、現フレームでの空間傾斜符号ｘ４とを比較する。それぞれで空間傾斜符号の一致か否かを判断して、双方で符号が一致すると、空間傾斜符号が一致していると判定する。
なお、本実施の形態では、動き方位とその反対方位の空間傾斜符号を比較するようにしたが、第２の実施の形態で図１８などで説明したように、動く方位の空間傾斜符号だけを比較するようにしてもよい。
【００８４】
さらに、図２１（ｃ）に示すように、前フレームの注目画素とその周囲の８画素との差分の符号のパターンから決まる空間傾斜有無の判定と、現フレームの参照画素とその周囲の８画素との差分の符号のパターンから決まる空間傾斜有無の判定とを行う。
【００８５】
そして、図２１（ｂ）に示した動き方位及びその逆方位での空間傾斜符号の比較で一致して、さらに、図２１（ｃ）に示した空間傾斜パターンを使用した判断で空間傾斜有りと判断された場合に、評価値を通過させて、評価値テーブルに積算させる。
この第３の実施の形態の場合には、第１の実施の形態の例や第２の実施の形態の例の評価値テーブルをさらに条件を加えて絞った候補を積算させる処理を行ってある。従って、より良好な評価値テーブルが得られる効果を有する。
この第３の実施の形態の場合には、図１４や図１８のような具体的な評価値テーブルの例は示さないが、本実施の形態の場合にも、画像の動きに対応して的確なピーク位置が検出できると共に、複数の動きがある場合において、それぞれの動きを検出できる効果を有する。
【００８６】
［８．動きベクトル抽出部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル抽出部１３の構成及び動作の例について、図２２〜図２３を参照して説明する。
図２２は、図１の動きベクトル抽出部１３の例を示したものである。
動きベクトル抽出部１３では、入力端子１３ａに、評価値テーブルデータが供給される。この評価値テーブルデータは、例えば、既に説明した第１〜第３の実施の形態のいずれかの処理構成で得られた動きベクトルの評価値テーブルのデータであり、１つのフレーム内で候補ベクトルとなる可能性のある動くベクトルを積算したデータである。
例えば、図３の評価値テーブル算出部５０内の評価値テーブルメモリ５２から供給されるデータであり、評価値テーブルデータ変換部１１１に供給する。
【００８７】
評価値テーブルデータ変換部１１１では、供給された評価値テーブルデータを、頻度値或いはその微分値などのデータに変換する。変換されたデータは、頻度順ソート処理部１１２で、１フレーム内で候補ベクトルを頻度順に並び替える処理を行う。頻度順に並び替えられた候補ベクトルの評価値テーブルデータは、候補ベクトル評価部１１３に供給する。ここでは、頻度順に並び替えられた候補ベクトルの内で、上位の所定順位までの候補ベクトルを、候補ベクトル評価部１１３に供給する。例えば、１フレーム内に存在する頻度の高い候補ベクトルの内で、最も頻度の高いものから１０番目までの候補ベクトルを抽出して、候補ベクトル評価部１１３に供給する。
【００８８】
候補ベクトル評価部１１３では、供給された頻度の高い候補ベクトルのそれぞれを、さらに、決められ条件で評価する処理を行う。ここでの評価処理としては、例えば頻度値が上位の所定順位以内の候補ベクトルであっても、頻度値が予め決めた閾値以下などで、それほど高くない候補ベクトルについては除外するなど、決められた条件での評価を行う。
あるいは、例えば動きベクトル抽出部１３の前段の評価値テーブル形成部１２（図１）での画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価するようにしてもよい。画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価する場合には、例えば、図３の画素選別部４０などで画素選別に使用された、選別された注目画素のデータを使う。その選別された注目画素のデータを、評価値テーブル形成部１２から得て、選別された各注目画素から見たとき、どの候補ベクトルが最も適しているかを評価して、候補ベクトルの評価を行う。
【００８９】
このようにして候補ベクトル評価部１１３で得られた、各候補ベクトルの評価結果に基づいて、候補ベクトル信頼度判定部１１４で、候補ベクトルの内で信頼度の高い候補ベクトルを選定して、その信頼度の高い候補ベクトルのデータを出力端子１３ｂから出力する。
出力端子１３ｂから出力される候補ベクトルの信頼度データは、図１の動きベクトル決定部１４に供給する。
【００９０】
図２３は、図２２に示した動きベクトル抽出部１３で、評価値テーブルデータから候補ベクトルを抽出する際の、処理動作例を示したフローチャートである。
まず、評価値テーブルデータで示された候補ベクトルを、頻度順にソートする処理を行う（ステップＳ１１１）。その頻度順に並び替えられた評価値テーブルの中から、頻度の高いものから順に、所定番目までの候補ベクトルを取り出す。この所定番目としては、例えば頻度の最も高いものから１０番目などの決められた順位のものを取り出す（ステップＳ１１２）。
その後、取り出した複数の候補ベクトルが、候補ベクトルとして適正であるか否か評価し、必要により候補ベクトルを絞る処理が（ステップＳ１１３）。例えば、取り出したそれぞれの候補ベクトルの頻度値がどの程度が判断して、閾値以下の頻度値の候補ベクトルについては評価値を低くする評価処理を行う。この候補ベクトルの評価処理については、種々の処理が考えられ、その評価処理が、候補ベクトルを取り出す精度に影響する。
【００９１】
その評価処理結果に基づいて、各候補ベクトルの信頼度を判定し、信頼度が高い候補ベクトル、即ち画像に割当てられる可能性の高い候補ベクトルだけを、後段のベクトル割当て部１４（図１）に供給する（ステップＳ１１４）。
【００９２】
［９．動きベクトル決定部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル決定部１４の構成及び動作の例について、図２４〜図２６を参照して説明する。
図２４は、図１の動きベクトル決定部１４の構成例を示したものである。動きベクトル決定部１４は、１フレーム内のそれぞれの画素に、前段の動きベクトル抽出部１３から供給される複数の候補ベクトルのいずれかを割当てる処理を行うものである。
この例では、それぞれの画素位置を注目画素としたとき、その注目画素の周囲に、所定の画素数で構成される領域である固定ブロックを設定して、動きベクトルを判定する例である。
【００９３】
図２４に従って構成を説明すると、動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ２１１に供給されて１フレーム記憶される。そして、参照点メモリ２１１に記憶された画像信号が、フレーム期間ごとに注目点メモリ２１２に移される。従って、参照点メモリ２１１に記憶される画像信号と、注目点メモリ２１２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。
【００９４】
そして、注目点メモリ２１２に記憶された画像信号から、注目画素を中心として決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。同様に、参照点メモリ２１１に記憶された画像信号から、参照画素を中心とした決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。このデータ読出し部２１３で読出される注目画素と参照画素の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部２１３で判断される。即ち、例えば候補ベクトルが１０個ある場合には、注目画素からその１０個の候補ベクトルで動いた先の１０個の参照画素が判断されることになる。
【００９５】
そして、データ読出し部２１３で読出された、注目画素を中心とした固定領域の画素信号と、参照画素を中心とした固定領域の画素信号とを、評価値算出部２１４に供給して、両固定領域内の画素信号の差分が検出される。このようにして、評価値算出部２１４では、現在評価中の注目画素と候補ベクトルで接続された全ての参照画素の固定領域の画素信号を判断し、注目画素を中心とした固定領域の画素信号と比較する。
そして、評価値算出部２１４では、比較の結果で、注目画素を中心とした固定領域の画素信号と最も類似した固定領域を持った参照画素を選定する。
選定された参照画素と注目画素とを結ぶ候補ベクトルのデータは、ベクトル決定部２１５に送る。ベクトル決定部２１５では、該当する候補ベクトルを、注目画素からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子２１５から出力させる。
【００９６】
図２５のフローチャートは、この図２４のベクトル決定（割当て）処理動作例を示したフローチャートである。
図２５に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ１２１）。読出された候補ベクトルについての注目画素の座標位置を判断し、その位置の画素（注目画素）とその周辺画素で構成される固定ブロックの画素を注目点メモリ５２から読出す（ステップＳ１２２）。また、読出された候補ベクトルについての参照画素の座標位置を判断し、その位置の画素（参照画素）とその周辺画素で構成される固定ブロックの画素を参照点メモリ５１から読出す（ステップＳ１２３）。
そして、それぞれの固定ブロック内の各画素の画素レベル（画素値：ここでは輝度値）と、注目画素について設定した固定ブロック内の各画素の画素レベルとの差を求め、その差を絶対値化したものをブロック全てで加算し、絶対値差分和を算出する（ステップＳ１２４）。ここまでの処理を、現在の注目画素についての全ての候補ベクトルで示された参照画素について行う。
そして、複数の参照画素ごとに注目画素と比較して得た絶対値差分和の内で、値が最小になる参照画素を探す。この処理で、値が最小になる参照画素を判断すると、その判断された参照画素と注目画素を結ぶ候補ベクトルを、注目画素についての動きベクトルとして割り当てることを決定する（ステップＳ１２５）。
【００９７】
図２６は、この図２４の構成及び図２５のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ１０（注目フレーム）に注目画素ｄ１０が存在し、その時間軸上の次のフレームＦ１１（参照フレーム）内との間で、複数の候補ベクトルＶ１１，Ｖ１２が存在しているとする。フレームＦ１１には、候補ベクトルＶ１１，Ｖ１２で注目画素ｄ１０と結ばれた参照画素ｄ１１，ｄ１２が存在している。
このような図２１の状態を想定すると、図２５のステップＳ２２では、フレームＦ１０内で、注目画素ｄ１０の中心にして固定した所定画素数の固定ブロックＢ１０が設定され、その固定ブロックＢ１０内の画素値が判断される。同様に、図２５のステップＳ２３では、フレームＦ１１内で、参照画素ｄ１１，ｄ１２の中心にして固定した所定画素数の固定ブロックＢ１１，Ｂ１２が設定され、その固定ブロックＢ１１，Ｂ１２内の画素値が、それぞれ判断される。
【００９８】
そして、固定ブロックＢ１１内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。同様に、固定ブロックＢ１２内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。そして、いずれの絶対値差分和の方が小さいか比較される。この比較で、例えば固定ブロックＢ１１を使った絶対値差分和の方が小さいと判断すると、その固定ブロックＢ１１の中心の参照画素ｄ１１と、注目画素ｄ１０とを結ぶ候補ベクトルＶ１１が選択される。この選択された候補ベクトルＶ１１を、注目点ｄ１０の動きベクトルとして割り当てる。
なお、図２６では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目画素に対してより多くの候補ベクトルが存在することがある。また、説明を簡単にするために１つの注目画素だけを示してあるが、実際には、１フレーム内の代表となる複数の画素又は全ての画素が、このような注目画素となる。
【００９９】
このようにして候補ベクトルから選定するベクトルを決定する処理を行うことで、注目画素の周囲の画素の状態と、参照画素の周囲の画素の状態とが、近いものが選定されることになり、それぞれの画素に割り当てる動きベクトルの選定が、良好に行える。
特に、上述した本実施の形態の評価値テーブル形成処理と組み合わせることで、候補が適正に絞られた評価値テーブルを使った候補ベクトルの抽出と、その適正な候補ベクトルからの決定処理が行われ、非常に良好な動きベクトル割り当てが可能となる。
【０１００】
［１０．実施の形態の変形例の説明］
なお、上述した各実施の形態では、注目画素の選定処理については具体的に説明しなかったが、例えば１フレーム内の全ての画素を順に注目画素として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、１フレーム内で代表となる画素を注目画素として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。
また、注目画素に対する参照画素の選定処理についても、図６などに図示したサーチエリアＳＡは一例であり、様々なサーチエリアの選定を適用することができる。
【０１０１】
また、上述した各実施の形態では、評価値テーブルに積算させる評価値を、ゲート部で通過させるか通過させないかの、いわゆる１か０かの制御を行うようにしたが、何らかの重み付けを行って制御を行うようにしてもよい。即ち、動きベクトルとして候補に加えるのに適した評価値（即ち各実施の形態の例でゲート部を通過させる評価値）について、高い評価値として評価値テーブルに積算させる処理構成とする。そして、候補から除外する可能性が高い評価値（即ち各実施の形態の例でゲート部で制限される評価値）について、低い評価値として評価値テーブルに積算させるようにしてもよい。
上述した各実施の形態の例でゲート部の通過を制御する処理は、条件に合致する評価値を高い評価値として扱い、条件に合致しない評価値を低い評価値として扱う処理が、評価値テーブルの積算結果として最も顕著に現れるようにしたものと言える。
【０１０２】
また、上述した各実施の形態では、動きベクトル検出装置として構成させた例について説明したが、この動きベクトル検出装置は、各種画像処理装置に組み込むようにしてもよい。例えば、高能率符号化を行う符合化装置に組み込み、動きベクトルデータを利用して符号化を行うようにすることができる。或いは、入力（受信）した画像データによる表示を行う画像表示装置や記録を行う画像記録装置に組み込み、高画質化するために動きベクトルデータを利用するようにしてもよい。
【０１０３】
また、本発明の動きベクトル検出を行う各構成要素をプログラム化して、例えば各種データ処理を行うコンピュータ装置などの各種情報処理装置に、そのプログラムを実装させて、その情報処理装置に入力した画像信号から動きベクトルを検出する処理を実行する際に、同様の処理を行うようにしてもよい。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施の形態による装置構成例を示すブロック図である。
【図２】本発明の実施の形態による全体処理例を示すフローチャートである。
【図３】本発明の第１の実施の形態による評価値テーブルデータ取得処理例（注目画素，参照画素の空間傾斜パターンを用いて、その空間傾斜符号一致を加味した例）を示すブロック図である。
【図４】図３の例による処理を示したフローチャートである（ｍｏｄｅ１の場合）。
【図５】図３の例による処理を示したフローチャートである（ｍｏｄｅ２〜４の場合）。
【図６】図３の例による処理の概要を示す説明図である。
【図７】本発明の実施の形態による空間傾斜符号の例を示す説明図である。
【図８】本発明の実施の形態による空間傾斜パターンの例（ｍｏｄｅ１の例）を示す説明図である。
【図９】本発明の実施の形態による空間傾斜パターンの例（ｍｏｄｅ２の例）を示す説明図である。
【図１０】本発明の実施の形態による空間傾斜パターンの例（ｍｏｄｅ３の例）を示す説明図である。
【図１１】本発明の実施の形態による空間傾斜パターンの例（ｍｏｄｅ４の例）を示す説明図である。
【図１２】テスト画像の例を示す説明図である。
【図１３】図１２のテスト画像に対して従来の相関判定で生成させた評価値テーブルの例を示した特性図である。
【図１４】図１２のテスト画像に対して図３の例で生成させた評価値テーブルの例を示した特性図である。
【図１５】本発明の第２の実施の形態による評価値テーブルデータ取得処理例（注目画素，参照画素の動き方位の空間傾斜符号を加味した例）を示すブロック図である。
【図１６】図１５の例による処理を示したフローチャートである。
【図１７】図１５の例による処理の概要を示す説明図である。
【図１８】図１２のテスト画像に対して図１５の例で生成させた評価値テーブルの例を示した特性図である。
【図１９】本発明の第３の実施の形態による評価値テーブルデータ取得処理例（注目画素，参照画素の動き方位の空間傾斜符号と空間傾斜パターンを加味した例）を示すブロック図である。
【図２０】図１９の例による処理を示したフローチャートである。
【図２１】図１９の例による処理の概要を示す説明図である。
【図２２】本発明の実施の形態による動きベクトル抽出部の構成例を示すブロック図である。
【図２３】図２２の例による処理を示したフローチャートである。
【図２４】本発明の実施の形態による動きベクトル決定部の構成例を示すブロック図である。
【図２５】図２４の例による処理を示したフローチャートである。
【図２６】図２４の例による動きベクトル決定処理状態の例を示す説明図である。
【図２７】従来の評価値テーブルデータ生成処理構成の一例を示すブロック図である。
【図２８】従来の評価値テーブルデータ生成処理例の概要を示す説明図である。
【図２９】従来の評価値テーブルデータ生成処理構成の別の例を示すブロック図である。
【符号の説明】
【０１０５】
１…画像信号入力端子、２…相関演算部、２ａ…参照点メモリ、２ｂ…注目点メモリ、２ｃ…絶対値算出部、３…相関判定部、３ａ…比較部、４…評価値テーブル算出部、４ａ…評価値積算部、４ｂ…評価値テーブルメモリ、５…評価値テーブルデータ出力端子、６…画素選別部、６ａ…ゲート部、６ｂ…空間傾斜パターン算出部、６ｃ…パターン比較部、空間傾斜パターン、１１…画像信号入力端子、１２…評価値テーブル形成部、１２ａ…評価値テーブルデータ出力端子、１３…動きベクトル抽出部、１４…動きベクトル決定部、１５…動きベクトル出力端子、２０…相関演算部、２１…参照点メモリ、２２…注目点メモリ、２３…絶対値算出部、３０…相関判定部、３１…比較部、４０…画素選別部、４１…ゲート部、４２…空間傾斜パターン算出部、４３参照点パターンメモリ、４４注目点パターンメモリ、４５空間傾斜パターンメモリ、４６傾斜符号比較部、５０…評価値テーブル算出部、５１…評価値積算部、５２…評価値テーブルメモリ、６０…画素選別部、６１…ゲート部、６２…空間傾斜パターン算出部、６３…参照点メモリ、６４…注目点メモリ、６５…動き方位算出部、６６…動き方位ＬＵＴ、６７…傾斜符号比較部、７０…画素選別部、７１…ゲート部、７２…空間傾斜パターン算出部、７４…注目点パターンメモリ、７５…動き方位算出部、７６…動き方位ＬＵＴ、７７…空間傾斜パターンメモリ、７８
…傾斜符号比較部、７９…傾斜有無判定部、１１１…評価値テーブルデータ変換部、１１２…頻度順ソート処理部、１１３…候補ベクトル評価部、１１４…候補ベクトル信頼度判定部、２１１…参照点メモリ、２１２…注目点メモリ、２１３…データ読出し部、２１４…評価値算出部、２１５…ベクトル決定部
【図１】
2010011430.tif 000003
【図２】
2010011430.tif 000004
【図３】
2010011430.tif 000005
【図４】
2010011430.tif 000006
【図５】
2010011430.tif 000007
【図６】
2010011430.tif 000008
【図７】
2010011430.tif 000009
【図８】
2010011430.tif 000010
【図９】
2010011430.tif 000011
【図１０】
2010011430.tif 000012
【図１１】
2010011430.tif 000013
【図１４】
2010011430.tif 000014
【図１５】
2010011430.tif 000015
【図１６】
2010011430.tif 000016
【図１７】
2010011430.tif 000017
【図１８】
2010011430.tif 000018
【図１９】
2010011430.tif 000019
【図２０】
2010011430.tif 000020
【図２１】
2010011430.tif 000021
【図２２】
2010011430.tif 000022
【図２３】
2010011430.tif 000023
【図２４】
2010011430.tif 000024
【図２５】
2010011430.tif 000025
【図２６】
2010011430.tif 000026
【図２７】
2010011430.tif 000027
【図２８】
2010011430.tif 000028
【図２９】
2010011430.tif 000029
【図１２】
2010011430.tif 000030
【図１３】
2010011430.tif 000031