(57)【要約】僅かな演算量のみでマッチング処理を行え、動きベクトル等を精度良く検出することを可能とする画像処理装置および画像処理方法であって、カレントフレームの情報から特徴量と注目画素の空間座標を抽出する第１の特徴量抽出部１３と、参照フレームの情報から特徴量と、注目画素と、注目画素の空間座標と、注目画素に対する近傍領域の空間座標および注目画素の空間座標に対する距離情報を抽出する第２の特徴量抽出部１４と、第２の特徴量抽出部１４による特徴量と注目画素と注目画素の近傍の空間座標および注目画素の空間座標に対する距離情報の対応関係を示すデータベースを作成するデータベース作成部１５と、第１の特徴量抽出部１５により抽出された特徴量に基づいてデータベースから特徴量にリンクした距離情報を検索により算出することにより移動先の空間座標を取得する動きベクトル検出部１６とを設ける。
2004012451.tif 000002
【特許請求の範囲】
【請求項１】
第１のデータに関する情報を記憶した記憶装置において、
上記第１のデータとは異なる第２のデータ中における注目データの第１の特徴を示す第１の特徴量が入力される入力手段と、
上記第１のデータ中における或るデータの上記第１の特徴を示す第３の特徴量と上記第３の特徴量近傍の特徴量に対応する複数の箇所に、上記第１のデータ中における上記或るデータの第２の特徴を示す第２の特徴量を記憶する記憶手段とを有し、
上記記憶手段の上記第１の特徴量に対応する箇所から、上記第１のデータの上記第２の特徴である上記第２の特徴量を出力する
ことを特徴とする記憶装置。
【請求項２】
情報を記憶する記憶装置において、
上記情報が入力あるいは出力される入出力手段と、
上記情報を記憶する格納部とを有し、
上記格納部は、所定の信号における注目データの特徴量と上記特徴量近傍の値に対応した複数のアドレスにより指定された複数の個所に、上記所定の信号における上記注目データの位置情報を少なくとも格納する
ことを特徴とする記憶装置。
【請求項３】
上記格納部は、さらに、
上記注目データが、上記特徴量あるいは上記特徴量近傍の値をとることの確かさを示す信頼度を格納する
ことを特徴とする請求項２記載の記憶装置。
【請求項４】
画像データ中の注目画素の特徴を示す第１の特徴量と上記注目画素の座標が入力される入力手段と、
上記第１の特徴量に対応付けて、上記注目画素の座標を格納する格納手段とを有し、
上記格納手段は、さらに、上記第１の特徴量と異なり、画素の特徴を示す第２の特徴量に対応付けて上記注目画素の座標を格納する
ことを特徴とする記憶装置。
【請求項５】
上記格納手段は、上記第１ないし第２の特徴量に基づくアドレスに、上記注目画素の座標を格納する
ことを特徴とする請求項４記載の記憶装置。
【請求項６】
上記第１の特徴量は、上記注目画素の近傍の画素の値のパターンである
ことを特徴とする請求項４記載の記憶装置。
【請求項７】
上記記憶装置は、半導体装置である
ことを特徴とする請求項４記載の記憶装置。
【請求項８】
上記格納手段は、さらに、
上記注目画素を、上記第１の特徴量あるいは上記第２の特徴量をとることの確かさを示す信頼度を格納する
ことを特徴とする請求項４記載の記憶装置。
【請求項９】
上記格納手段は、さらに、
上記注目画素の座標を、上記第１の特徴量に基づくアドレスあるいは上記第２の特徴量に基づくアドレスに格納することの確かさを示す信頼度を格納する
ことを特徴とする請求項４記載の記憶装置。
【請求項１０】
複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理装置において、
上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、
上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段とを有し、
上記格納手段は、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、
上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報が取得される
ことを特徴とする信号処理装置。
【請求項１１】
上記格納手段は、さらに、
上記第２のデータが、上記第２のデータの特徴として、格納されるアドレスに対応する上記特徴量をとることの確かさを示す信頼度を格納する
ことを特徴とする請求項１０記載の信号処理装置。
【請求項１２】
上記格納手段は、さらに、
上記第２のデータの位置情報を、上記アドレスそれぞれに格納することの確かさを示す信頼度を格納する
ことを特徴とする請求項１０記載の信号処理装置。
【請求項１３】
上記信頼度は、複数の特徴量間の信頼度である
ことを特徴とする請求項１０記載の信号処理装置。
【請求項１４】
上記信頼度は、空間的な距離に基づく信頼度である
ことを特徴とする請求項１０記載の信号処理装置。
【請求項１５】
複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理装置において、
上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、
上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段と、
上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する動きベクトル算出手段と
を有することを特徴とする画像信号処理装置。
【請求項１６】
上記動きベクトル算出手段は、
上記第２のデータの位置情報を取得する際に、空間的な距離に応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項１５記載の画像信号処理装置。
【請求項１７】
上記動きベクトル算出手段は、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項１５記載の画像信号処理装置。
【請求項１８】
上記動きベクトル算出手段は、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報と空間的な距離に応じた信頼度情報を統合した信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項１５記載の画像信号処理装置。
【請求項１９】
複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理装置において、
上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、
上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段とを有し、
上記格納手段は、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、
上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報が取得される
ことを特徴とする信号処理装置。
【請求項２０】
複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理装置において、
上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、
上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段と、
上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する動きベクトル算出手段と
を有することを特徴とす画像信号処理装置。
【請求項２１】
上記動きベクトル算出手段は、
上記第２のデータの位置情報を取得する際に、画像の空間的な距離に応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項２０記載の画像信号処理装置。
【請求項２２】
上記動きベクトル算出手段は、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項２０記載の画像信号処理装置。
【請求項２３】
上記動きベクトル算出手段は、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報と画像の空間的な距離に応じた信頼度情報を統合した信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項２０記載の画像信号処理装置。
【請求項２４】
複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理方法において、
上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、
上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、を有し、
上記第２のステップでは、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、
上記注目データの上記特徴量に対応するアドレスで、上記格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得する
ことを特徴とする信号処理方法。
【請求項２５】
上記第２のステップでは、さらに、
上記第２のデータが、上記第２のデータの特徴として、格納されるアドレスに対応する上記特徴量をとることの確かさを示す信頼度を格納する
ことを特徴とする請求項２４記載の信号処理方法。
【請求項２６】
上記第２のステップでは、さらに、
上記第２のデータの位置情報を、上記アドレスそれぞれに格納することの確かさを示す信頼度を格納する
ことを特徴とする請求項２４記載の信号処理方法。
【請求項２７】
上記信頼度は、複数の特徴量間の信頼度である
ことを特徴とする請求項２４記載の信号処理方法。
【請求項２８】
上記信頼度は、空間的な距離に基づく信頼度である
ことを特徴とする請求項２４記載の信号処理方法。
【請求項２９】
複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理方法において、
上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、
上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、
上記注目データの上記特徴量に対応するアドレスで、上記格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する第３のステップと
を有することを特徴とする画像信号処理方法。
【請求項３０】
上記第３のステップでは、
上記第２のデータの位置情報を取得する際に、空間的な距離に応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項２９記載の画像信号処理方法。
【請求項３１】
上記第３のステップでは、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項２９記載の画像信号処理方法。
【請求項３２】
上記第３のステップでは、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報と空間的な距離に応じた信頼度情報を統合した信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項２９記載の画像信号処理方法。
【請求項３３】
複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理方法において、
上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、
上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップとを有し、
上記第２のステップでは、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、
上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得する
ことを特徴とする信号処処理方法。
【請求項３４】
複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理方法において、
上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、
上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、
上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する第３のステップと
を有することを特徴とする画像信号処理方法。
【請求項３５】
上記第３のステップでは、
上記第２のデータの位置情報を取得する際に、画像の空間的な距離に応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項３４記載の画像信号処理方法。
【請求項３６】
上記第３のステップでは、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項３４記載の画像信号処理方法。
【請求項３７】
上記第３のステップでは、
上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報と画像の空間的な距離に応じた信頼度情報を統合した信頼度情報に基づいて動きベクトルを求める
ことを特徴とする請求項３４記載の画像信号処理方法。
【発明の詳細な説明】
【技術分野】  本発明は、たとえば動画像圧縮装置などに用いられる動き検出装置やオブジェクト検索装置等、マッチングを必要とする処理に適用可能な記憶装置、信号処理装置、および画像信号処理装置、並びに信号処理方法に関するものである。
【背景技術】  信号のマッチング処理、特に画像信号のマッチング処理は、一般的に演算量が多いという問題点がある。マッチング処理を用いた例として、以下に説明するようなブロックマッチングによる動きベクトル検出がある。
すなわち、画像処理装置においては、動画像圧縮を効率よく行うための主要技術の１つとして、画像の動きを示す動きベクトルを求める動き検出がある。この動きベクトルを求める手法はいくつか提案されているが、主な手法の１つとしてブロックマッチングアルゴリズムと呼ばれる手法がある。
図１は、ブロックマッチングアルゴリズムを採用した従来の画像処理装置における動き検出装置の構成例を示すブロック図である。
この動き検出装置１は、フレームメモリ２，３、および動きベクトル検出部４を有している。
動き検出装置１においては、入力端子ＴＩＮから画像信号が入力されると、１画面の情報がフレームメモリ２に格納される。
次の画像情報が入力されると、先ほどの（前回に入力された）フレームメモリ２の情報がフレームメモリ３に格納され、現在（今回）入力された情報がフレームメモリ２に格納される。
すなわち、カレントフレームＦｃの情報がフレームメモリ２に、参照フレームＦｒの情報がフレームメモリ３に格納されていることになる。
次に、カレントフレームＦｃ、参照フレームＦｒの情報が動きベクトル検出部４に送られる。そして、動きベクトル検出部４でブロック分けされて動きベクトル（Ｖｘ，Ｖｙ）が検出されて、端子ＴＯＵＴから出力される。
図２は、ブロックマッチングアルゴリズムの概要を説明するための図である。以下に、アルゴリズムの概要を図２に関連付けて説明する。
このアルゴリズムにおいては、カレントフレームＦｃ内の注目画素Ｆｃ（ｘ，ｙ）における動きベクトルは、注目画素Ｆｃ（ｘ，ｙ）を中心としてある基準ブロック範囲（Ｌ×Ｌ）の画素と、参照フレームＦｒ内のサーチエリアＳＲ内の前記ブロック範囲（Ｌ×Ｌ）と同じブロック範囲内の画素とで対応する画素との差分絶対値和を演算する。
サーチエリアＳＲ内で抽出するブロック範囲を一画素ずつ移動させながら上述の演算を繰り返し、全てのブロックの中で最も差分絶対値和が最も小さいブロックの中心位置と注目画素位置との差分ベクトルを解（動きベクトル）とする。
次に、図３に関連付けてカレントフレームＦｃ内ある画素Ｆｃ（ｘ，ｙ）の動きベクトルを検出する処理手順を詳細に説明する。
ステップＳＴ１
ステップＳＴ１においては、処理開始ＳＴ０後、注目画素の位置（ｘ，ｙ）から参照フレーム内の同位置を基準としたサーチエリアＳＲが決定する。
ステップＳＴ２
ステップＳＴ２においては、演算結果の最小値を格納する変数ｍｉｎの初期化のために、演算式の最大値を代入する。１画素を８ビット、ブロック内の画素数を１６とすると、２８×１６＝４０９６を変数ｍｉｎに代入する。
ステップＳＴ３
ステップＳＴ３においては、サーチエリアＳＲ内のブロックをカウントするカウンタ変数ｎを１に初期化する。
ステップＳＴ４
ステップＳＴ４においては、演算結果を代入する変数ｓｕｍを０に初期化する。
ステップＳＴ５
ステップＳＴ５においては、基準ブロックの範囲をＬ×Ｌ、カレントフレームＦｃのあるブロック内の画素をＦｃ（ｉ，ｊ）、参照フレームＦｒのサーチエリアＳＲ内のｋ番目のブロック内の画素をＦｒｋ（ｉ，ｊ）とすると、対応する画素との差分絶対値和、すなわち次の式１に示す演算を行い、演算結果をｓｕｍに代入する。
2004012451.tif 000003
ステップＳＴ６
ステップＳＴ６においては、演算した差分絶対値和ｓｕｍと差分絶対値和の最小値ｍｉｎとの大小関係の判別を行う。演算した差分絶対値和ｓｕｍが小さい場合にはステップＳＴ７へ、大きい場合（等しいを含む）には演算結果が最小値ではないので更新手続きのステップＳＴ７をスキップしてステップＳＴ８へ進む。
ステップＳＴ７
ステップＳＴ７においては、最小値ｍｉｎを演算結果ｓｕｍに更新し、動きベクトル番号としてブロックのカウント値ｎを設定する。
ステップＳＴ８
ステップＳＴ８においては、ブロックのカウント値ｎがサーチエリアＳＲ内のブロック総数、つまり最後のブロックならば終了なのでステップＳＴ１０へ、最後のブロックではなければ、ＳＴ９へ進む。
ステップＳＴ９
ステップＳＴ９においては、ブロックのカウント値ｎをｎ＋１にインクリメントして、演算を繰り返すためにステップＳＴ４へ進む。
ステップＳＴ１０
ステップＳＴ１０においては、動き番号に格納されているブロック番号のブロックの中心画素と（ｘ，ｙ）から動きベクトルを求めて出力する。
上述したブロックマッチングアルゴリズムは、式（１）の演算を繰り返し行うため、演算量が非常に膨大となっており、ＭＰＥＧ等の画像圧縮処理の大半の時間がこれに費やされるという不利益がある。
【発明の開示】
本発明の目的は、僅かな演算量のみでマッチング処理等を行うことができ、しかも動きベクトル等を精度良く検出することを可能とする記憶装置、信号処理装置、画像処理装置装置および信号処理方法を提供することにある。
上記目的を達成するため、本発明の第１の観点は、第１のデータに関する情報を記憶した記憶装置において、上記第１のデータとは異なる第２のデータ中における注目データの第１の特徴を示す第１の特徴量が入力される入力手段と、上記第１のデータ中における或るデータの上記第１の特徴を示す第３の特徴量と上記第３の特徴量近傍の特徴量に対応する複数の箇所に、上記第１のデータ中における上記或るデータの第２の特徴を示す第２の特徴量を記憶する記憶手段とを有し、上記記憶手段の上記第１の特徴量に対応する箇所から、上記第１のデータの上記第２の特徴である上記第２の特徴量を出力する。
本発明の第２の観点は、情報を記憶する記憶装置において、上記情報が入力あるいは出力される入出力手段と、上記情報を記憶する格納部とを有し、上記格納部は、所定の信号における注目データの特徴量と上記特徴量近傍の値に対応した複数のアドレスにより指定された複数の個所に、上記所定の信号における上記注目データの位置情報を少なくとも格納する。
好適には、上記格納部は、さらに、上記注目データが、上記特徴量あるいは上記特徴量近傍の値をとることの確かさを示す信頼度を格納する。
本発明の第３の観点は、画像データ中の注目画素の特徴を示す第１の特徴量と上記注目画素の座標が入力される入力手段と、上記第１の特徴量に対応付けて、上記注目画素の座標を格納する格納手段とを有し、上記格納手段は、さらに、上記第１の特徴量と異なり、画素の特徴を示す第２の特徴量に対応付けて上記注目画素の座標を格納する。
好適には、上記格納手段は、上記第１ないし第２の特徴量に基づくアドレスに、上記注目画素の座標を格納する。
また、上記第１の特徴量は、上記注目画素の近傍の画素の値のパターンである。
また、上記記憶装置は、半導体装置である。
好適には、上記格納手段は、さらに、上記注目画素を、上記第１の特徴量あるいは上記第２の特徴量をとることの確かさを示す信頼度を格納する。
好適には、上記格納手段は、さらに、上記注目画素の座標を、上記第１の特徴量に基づくアドレスあるいは上記第２の特徴量に基づくアドレスに格納することの確かさを示す信頼度を格納する。
本発明の第４の観点は、複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理装置において、上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段とを有し、上記格納手段は、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報が取得される。
好適には、上記格納手段は、さらに、上記第２のデータが、上記第２のデータの特徴として、格納されるアドレスに対応する上記特徴量をとることの確かさを示す信頼度を格納する。
好適には、上記格納手段は、さらに、上記第２のデータの位置情報を、上記アドレスそれぞれに格納することの確かさを示す信頼度を格納する。
好適には、上記信頼度は、複数の特徴量間の信頼度である。
また、上記信頼度は、空間的な距離に基づく信頼度である。
本発明の第５の観点は、複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理装置において、上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段と、上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する動きベクトル算出手段とを有する。
本発明の第６の観点は、複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理装置において、上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段とを有し、上記格納手段は、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報が取得される。
本発明の第７の観点は、複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理装置において、上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段と、上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する動きベクトル算出手段とを有する。
好適には、上記動きベクトル算出手段は、上記第２のデータの位置情報を取得する際に、画像の空間的な距離に応じた信頼度情報に基づいて動きベクトルを求める。
好適には、上記動きベクトル算出手段は、上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報に基づいて動きベクトルを求める。
好適には、上記動きベクトル算出手段は、上記第２のデータの位置情報を取得する際に、特徴量に応じた応じた信頼度情報と画像の空間的な距離に応じた信頼度情報を統合した信頼度情報に基づいて動きベクトルを求める。
本発明の第８の観点は、複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理方法において、上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、を有し、上記第２のステップでは、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、上記注目データの上記特徴量に対応するアドレスで、上記格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得する。
本発明の第９の観点は、複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理方法において、上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、上記注目データの上記特徴量に対応するアドレスで、上記格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する第３のステップとを有する。
本発明の第１０の観点は、複数の第１のデータを含む第１の信号と、複数の第２のデータを含む第２の信号を用いてマッチング処理を行う信号処理方法において、上記第１の信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップとを有し、上記第２のステップでは、上記第２のデータの位置情報を複数の特徴量に対応するアドレスで指定される個所に格納し、上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得する。
本発明の第１１の観点は、複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理方法において、上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、上記第２のデータそれぞれの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、上記注目データの上記特徴量および上記特徴量近傍の値に対応する複数のアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する第３のステップとを有する。
【図面の簡単な説明】  図１は、ブロックマッチングアルゴリズムを採用した従来の動き検出装置の構成例を示すブロック図である。
図２は、ブロックマッチングアルゴリズムの概要を説明するための図である。
図３は、カレントフレームＦＣ内ある画素Ｆｃ（ｘ，ｙ）の動きベクトルを検出する処理手順を説明するためのフローチャートである。
図４は、本発明に係る画像処理装置の要部である動き検出装置の一実施形態を示すブロック図である。
図５は、特徴量アドレス方式における動きメモリの構造を説明するための図である。
図６は、特徴量として画素パターンを用いる例を説明するための図である。
図７は、特徴量データベースの作成方法を説明するための図である。
図８は、特徴量データベースの作成方法を説明するための図である。
図９は、本実施形態に係るデータベースに格納されるデータの構造例を示す図である。
図１０は、２次元的に表現したリンクデータ内の空間座標を示す図である。
図１１は、２次元的にリンクデータ内の信頼度の一例を示す図である。
図１２は、入力画像と注目画素近傍情報について説明するための図である。
図１３は、ｎｘ×ｎｙ次元空間を示す図である。
図１４は、１フレーム前の画像中において座標（ｘ０，ｙ０）のパターンと座標（ｘ１，ｙ１）の画素パターンが同じだったため図１２のｎｘ×ｎｙ次元空間において同一座標に格納される例を説明するための図である。
図１５は、データベース作成部の基本的なデータベース作成手順を示すフローチャートである。
図１６は、データベース作成時にあらかじめ特徴量に基づく信頼度を計算し、データベースに保持するデータベース作成手順を示すフローチャートである。
図１７は、画像中における注目画素を示す図である。
図１８は、特徴量に基づく信頼度情報をデータベースに格納する場合における各特徴量の算出のイメージを示す図である。
図１９は、本実施形態に係る動きベクトル検出部の構成例を示すブロック図であって、信頼度のチェックに空間座標の情報も用いる場合の図である。
図２０は、本実施形態に係る動きベクトル検出部の構成例を示すブロック図であって、信頼度のチェックに空間座標の情報を用いない場合の図である。
図２１は、画像の空間的な信頼度を用いる場合の動きベクトル検出部の動作を説明するためのフローチャートである。
図２２は、本発明に係る画像処理装置の要部である動き検出装置の他の実施形態を示すブロック図である。
図２３は、図２２の装置における特徴量に基づく距離評価を動きベクトル時に行う場合の動きベクトル検出部の動作を説明するためのフローチャートである。
図２４は、本実施形態に係る動きベクトル検出部の他の構成例を示すブロック図である。
図２５は、本発明に係る画像処理装置の要部である動き検出装置のさらに他の実施形態を示すブロック図である。
【発明を実施するための最良の形態】  以下、本発明の実施の形態を添付図面に関連付けて説明する。
図４は、本発明に係る画像処理装置の要部である動き検出装置の一実施形態を示すブロック図である。
本動き検出装置は、画素の特徴量と画素の空間座標の対応関係を示すデータベースを作成し、データベースのデータに基づいて動きベクトルを検出することにより、僅かな演算で動きベクトルを精度良く推定することを可能とするものである。このデータベース（メモリ）は、画素の特徴量をアドレスとして、各画素の空間座標等を格納するものである。しかし、特徴量をインデックスとして画素の空間座標等を関連付けたものでも良い。
ところで、特徴量をアドレスにしたデータベース（メモリ）を使うことで、マッチング処理を行い易くすることができる。その概略を以下に説明する。
この方法は、特徴量をアドレスとして位置情報を格納する動き検出メモリ（以下、ＭＥメモリという）を用いて、たとえば周辺画素値を特徴量としてマッチング処理を行うことにより、僅かな演算で動きベクトルを精度良く推定することを可能とするものである。
この特徴量アドレス方式を採用したＭＥメモリの構成および機能について図５に関連付けて説明する。
図５は、特徴量アドレス方式を採用したＭＥメモリの構成例を示す図である。
通常のメモリの場合、画素の位置情報をアドレスとして画素値を格納するものであるが、このＭＥメモリの場合、特徴量をアドレスとして、特徴量毎にその特徴量を持つ画素の位置情報を順次フラグアドレスＦＲＧＡ１，２．．．、つまり図５のＢ、Ｃ・・・に格納していく。
１つのセルＭＥ−Ｂ１は、位置情報分の記憶容量を備えているものとする。同時に、フラグアドレスＦＲＧＡ０には、その特徴量に格納した位置情報の個数を格納しておくものとする。
特徴量としては、注目画素を中心としたあるブロック内の画素値とする。たとえば、ブロック範囲を３×３、垂直方向をｉ、水平方向をｊ、位置（ｉ，ｊ）の画素値をＬ（ｉ，ｊ）とすると、この場合の特徴量は、次の式２のようになる。
2004012451.tif 000004
しかし、このように１つの座標に１つの特徴量（アドレス）を対応させたデータベース（メモリ）を用いた場合、ノイズの影響で特徴量が少し変わると対応座標で検出できないというおそれがある。
この欠点を解消する方法として、以下の方法が考えられる。
１）１つの座標に複数の特徴量（アドレス）を対応させたメモリを用いる。そして、信頼度を判定することで、参照フレームＦｒ上で対応する座標を決定し、動きベクトルを検出する。
２）１つの座標に複数の特徴量（アドレス）を対応させ、その対応関係の信頼性に関する信頼度情報も格納したデータベースメモリ（メモリ）を用いる。そして、参照フレームＦｒ上での対応する座標を、信頼度を判定することで決定し、動きベクトルを検出する。
これの方法をふまえて本実施形態について詳細に説明する。
以下、本動き検出装置の具体的な構成および機能ついて、図面を参照しながら詳細に説明する。
本動き検出装置１０は、第１のフレームメモリ１１、第２のフレームメモリ１２、第１の特徴量抽出部１３、第２の特徴量抽出部１４、データベース作成部１５、および動きベクトル検出部１６を有している。
なお、動きベクトル検出部１６により本発明に係る動きベクトル算出手段が構成される。
以下、動き検出装置１０の各構成要素の機能の概要を説明し、その後、データベース作成部１５のデータの格納方法、および動きベクトル検出部１６の動きベクトルの推定機能について順を追って説明する。
まず、動き検出装置１０の各構成要素の機能の概要を説明する。
第１のフレームメモリ１１は、入力端子ＴＩＮから入力された画像信号の１画面の情報を格納する。
第１のフレームメモリ１１は、次の画像情報が入力されると先に格納した画像情報、すなわちカレントフレームＦｃの情報を格納し、先に格納した画像情報（カレントフレームＦｃの情報）を第２のフレームメモリ１２、および第１の特徴量抽出部１３に出力する。
第１のフレームメモリ１１では、格納したカレントフレームの情報は、次のフレームを入力する前に第２のフレームメモリ１２に格納される。
第２のフレームメモリ１２は、第１のフレームメモリ１１に格納されていた以前（たとえば１フレーム前）の画像情報を参照フレームＦｒの情報として格納する。
第２のフレームメモリ１２では、第１のフレームメモリ１１に格納された情報が第２のフレームメモリ１２に上書きされる前に第２の特徴量抽出部１４に画像情報（参照フレームＦｒの情報）を出力する。
第１の特徴量抽出部１３は、第１のフレームメモリ１１による画像情報、すなわち注目フレームであるカレントフレームＦｃの情報から特徴量と注目画素の空間座標を抽出し、抽出した特徴量を信号Ｓ１３ａとして、注目画素の空間座標を信号Ｓ１３ｂとして動きベクトル検出部１６に出力する。
第２の特徴量抽出部１４は、入力された画像情報、たとえば注目フレームの１フレーム前の参照フレームＦｒの情報から注目画素の特徴量と注目画素の特徴量の近傍の特徴量、注目画素の空間座標と、特徴量空間における注目画素の特徴量と、その特徴量の近傍の値との距離情報を信頼度情報として抽出し、抽出した特徴量夫々を信号Ｓ１４ａとして、注目画素の空間座標を信号Ｓ１４ｂとして、信頼度情報を信号Ｓ１４ｃとしてデータベース作成部１５に出力する。
データベース作成部１５は、第２の特徴量抽出部１４により信号Ｓ１４ａ〜Ｓ１４ｃとして入力した特徴量と、注目画素の空間座標と、各特徴量と空間座標の信頼度情報とをデータベースに登録する。
ここで示す特徴量は、たとえば図６に示すように、３×１の画像パターン（３画素からなるブロックパターン）でも良い。図６の例では、画素値がそれぞれＡ、Ｂ，Ｃであるようなブロックパターンとなっている。
以下に、特徴量データベースの作成方法の概要について説明する。
ここでは、説明の容易さを考慮して、図６に示した３画素からなるパターンを考える。その各画素値Ａ，Ｂ，Ｃをそれぞれ特徴量成分１、特徴量成分２、特徴量成分３とし、図７に示すように、それぞれの特徴量成分の軸である、特徴軸１、特徴軸２、特徴軸３からなる特徴空間を例にとって考える。
図７の例は、空間座標（ｗ０，ｈ０）における特徴量が（ｘ，ｙ，ｚ）となる場合である。図７に示すように、特徴空間における空間座標（ｘ，ｙ，ｚ）の位置にリンクしたバッファに空間座標（ｗ０，ｈ０）を格納することによって特徴量データベースが作成される。  次に、本実施形態に係るデータ作成部１５における特徴量空間における特徴量データベースの構造およびその作成方法について説明する。
本実施形態においては、特徴量データベースでは、図８に示すように、特徴空間における座標（ｘ，ｙ，ｚ）の位置にリンクしたバッファに空間座標（ｗ０，ｈ０）を格納するだけでなく、その周辺の特徴量にも空間座標（ｗ０，ｈ０）についての情報を格納する。
これはのちに動きベクトルを抽出する際にロバスト性の向上を図るためであり、データベース作成時の特徴量情報と実際に動きベクトルを検出するための特徴量情報とが完全に一致しなくても対応する座標を検出することを可能にするためである。
そして、本実施形態では、空間座標（ｗ０，ｈ０）を格納するだけでなく、特徴量空間の座標（ｘ，ｙ，ｚ）と、空間座標（ｗ０，ｈ０）が収納される特徴量夫々との間の距離情報も同時に格納する。この情報は、複数の空間座標が求める特徴量と一致した場合の確度情報として用いられるものである。
図９は、データベースに格納されるデータの構造例を示す図である。
この例のデータベースでは特徴量をアドレスとして、その特徴量を抽出した画素の空間座標を格納し、特徴量に対する空間座標の信頼度情報を格納する構造になっている。
注目画素の特徴量の周辺の値と、注目画素の空間座標をリンクさせる。この場合、たとえば注目画素の特徴量と各特徴量の間の特徴量空間の距離に応じて信頼度が定まる。たとえば、特徴量空間内の距離が長くなるに従い、格納する注目画素信頼度が下がる傾向にある。
図１０は、２次元的に表現した特徴量空間内の各特徴量に対応する空間座標を示す図であり、図１１は、２次元的に座標空間の信頼度の一例を示す図である。
この例では、注目画素の信頼度を「１」とすると、周辺画素の信頼度は上下左右の画素で「０．５」となり、斜め方向の周辺画素の信頼度は「０．３」となっている。
動きベクトル検出部１６は、第１の特徴量抽出部１３で抽出された特徴量をインデックスとしてデータベース作成部１５のデータベース情報Ｓ１５から前（あるいは後）のフレームにおいてどの位置にこの特徴量に等しいものが存在していたかの空間座標情報を取得し、ここで取得した前（後）のフレームにおける同一特徴量の存在位置と入力された現在の注目画素の空間座標との相対関係を求めることにより、動きベクトルを取得する（移動先の空間座標を取得する）。
また、動きベクトル検出部１６は、後で詳述するように、信頼度情報に基づいて動きベクトルの推定を行う。
このように、動きベクトル検出部１６は、特徴量をインデックスとしてデータベース内を検索し、それに対応する空間座標を出力する。これは、注目画素と同一の特徴量を有するものが前後のフレームのどの位置に存在したかの情報を取得することができることを意味する。
ただし一般には、同一特徴量に対して複数の空間座標がリンクされるケースが考えられる。そのような場合に一意にリンクした空間座標のリンクを見つける方法としては、「注目画素基準のサーチエリア内にあるか」、「注目画素から最も近いものか」という規範を用いてもよい。
次に、データベース作成部１５のデータ格納方法、動きベクトル検出部１６における動きベクトルの推定機能、および信頼度情報の取得方法について、具体的に説明する。
まず、データの格納方法について、図１２〜図１６に関連付けて説明す。
図１２は、入力画像と注目画素近傍情報について説明するための図である。
図１２において、（ｘ０，ｙ０）は注目画像の空間的な座標、Ｎｘは注目画素近傍で指定したブロックの幅、Ｎｙは注目画素近傍で指定したブロックの高さ、Ｙｉｊは注目画素近傍のブロック領域における画素レベルをそれぞれ示している。
ここでは、一般例として画像中における空間座標（ｘ０，ｙ０）において高さがＮｙ、幅がＮｘであるブロックと、ブロック内の画素の値をＹｉｊとして表記することをここで定義する。以降は、この表記を使って説明を行う。
特徴量は、ある特定の特徴量に限定されるものではないが、分かりやすさを考えて本実施形態において用いる特徴量は、ブロック内の各画素毎の輝度値からなるベクトルとしている。
図１３は、ｎｘ×ｎｙ次元空間を示す図である。
図１３は、最も基本的な場合の例を示している。ここでは、注目フレームの１フレーム前の画像において、空間座標（ｘ０，ｙ０）における大きさＮｘ×Ｎｙのブロック内の輝度パターンが図１１に示したものであると仮定すると、特徴量データベースには、特徴量空間における座標（Ｙ００，Ｙ０１，．．．．Ｙｎｘｎｙ）に対応する（ｘ０，ｙ０）の値（座標、信頼度情報）が格納され蓄積される。
図１４は、１フレーム前の画像中において座標（ｘ０，ｙ０）のパターンと座標（ｘ１，ｙ１）の画素パターンが同じだったため図１３のｎｘ×ｎｙ次元空間において同一座標に格納される例を説明するための図である。
もしも画像中の空間座標（ｘ１，ｙ１）におけるブロックの画素パターンが（Ｙ００，Ｙ０１，．．．，Ｙｎｘｎｙ）となり、（Ｘ０，ｙ０）と同一の画素パターンである場合には、特徴量が同一であるので、特徴量空間においては、同一座標に格納されることになる。
よって（Ｙ００，Ｙ０１，．．．Ｙｎｘｎｙ）には、（ｘ０，ｙ０）と（ｘ１，ｙ１）の２つの座標の値が格納されることになる。
特徴量空間における座標（Ｙ００，Ｙ０１，．．．．，Ｙｎｘｎｙ）において格納されたデータが（ｘ０，ｙ０）と（ｘ１，ｙ１）であるとは、１フレーム前空間座標（ｘ０，ｙ０）近傍における画素パターンと座標（ｘ１，ｙ１）の近傍における画素パターンが同じであることを意味する。
図１５は、データベース作成部１５の基本的なデータベース作成手順を示すフローチャートである。
図１５に示すように、第２の特徴量抽出部１４が参照フレームＦｒの特徴量を抽出し（ステップＳＴ１０１）、データベース作成部１５に供給される。
データベース作成部１５は、特徴量をインデックスとして対応する空間座標を、画像が終わるまえでデータベースに格納する動作を行う（ステップＳＴ１０２，ＳＴ１０３）。
また、本実施形態においては、動きベクトル検出部１６は、信頼度情報に基づいて動きベクトルを推定する。
この信頼度情報の取得方法としては、データベース作成時にあらかじめ特徴量に基づく信頼度を計算し、データベースに保持する方法と、動きベクトルを求める時点で特徴量に基づく信頼度を計算する方法を採用することが可能である。
このうち、データベース作成時に信頼度を計算する場合には、データベースに格納時に、各特徴量における各座標の信頼度Ｊを計算し、その信頼度Ｊを画素の空間座標（ｘ０，ｙ０）とともに登録する。
図１６は、データベース作成時にあらかじめ特徴量に基づく信頼度を計算し、データベースに保持するデータベース作成手順を示すフローチャートである。
図１６に示すように、第２の特徴量抽出部１４が参照フレームＦｒの空間座標（ｘ０，ｙ０）における特徴量を抽出し（ステップＳＴ１１１）、データベース作成部１５に供給される。
データベース作成部１５は、特徴量を指定した範囲内でずらして（ステップＳＴ１１２）、各特徴量における座標（ｘ０，ｙ０）の信頼度Ｊを計算する（ステップＳＴ１１３）。
そして、各特徴量をインデックスとして空間座標（ｘ０，ｙ０）および対応する信頼度情報を、画像が終わるまでデータベースに格納する動作を行う（ステップＳＴ１１４，ＳＴ１１５）。
次に、動きベクトル検出部１６における信頼度情報に基づく動きベクトル推定について説明する。
ここでは、画像の空間的な距離に基づく信頼度情報を用いた動きベクトル推定、画像の特徴量に基づく信頼度情報を用いた動きベクトル推定、画像の特徴量と画像の空間座標に基づく信頼度情報を統合した信頼度情報を用いた動きベクトル推定の３つの形態について説明する。
まず、画像の空間的な距離に基づく信頼度情報を用いた動きベクトル推定について説明する。
以上のように特徴量データベースが作成されたときに、動きベクトルの求め方は次のようになる。
画像の空間的な距離に基づく信頼度情報を用いて動きベクトルを求めるケースは、次のように求めることができる。
評価値  Ｊ    ＝    ΔＬ                              …（３）
ΔＬは、画像の空間的な距離を表現するもので、たとえば（ｘ０，ｙ０）と（ｘ１，ｙ１）の距離Ｌは、以下のように表すことができる。
ΔＬ＝  ｜（ｘ１，ｙ１）−（ｘ０，ｙ１）｜              …（４）
図１７に示すように、＃ｎ＋１フレームの座標（ｘ’，ｙ’）における動きベクトルは、次の様に求めることができる。
まず、＃ｎ＋１フレームにおける座標（ｘ’，ｙ’）において近傍画素の値を取得する。
次に、データベース作成部１５の特徴量データベースから求めた画素パターンを用いて、そこに保存されているデータを取得する。
データベースに格納されているデータが（ｘ０，ｙ０）と（ｘ１，ｙ１）の場合、すなわち候補座標が複数ある場合には、画像中の空間的な距離に基づく信頼度が最小のものを動きベクトルとする。
すなわち、画像の空間的な距離に基づく信頼度をたとえば空間的な距離の絶対値とすると、次の式５の条件、
｜（ｘ’，ｙ’）−（ｘ０，ｙ０）｜＞｜（ｘ’，ｙ’）−（ｘ１，ｙ１）｜
…（５）
すなわち、次の式６の条件を満足する場合には、動きベクトルは式７を解とし、満足しない場合には、式８を動きベクトルの解とする。
ΔＬ０  ＞  ΔＬ１                                        …（６）
｛（ｘ’，ｙ’）−（ｘ０，ｙ０）｝                        …（７）
｛（ｘ’，ｙ’）−（ｘ１，ｙ１）｝                        …（８）
以上が基本的な動きベクトル検出のアルゴリズムである。
次に、候補座標の求め方として、信頼度を導入した場合について説明する。
すなわち、画像の特徴量に基づく信頼度情報を用いた動きベクトル推定について説明する。
上述した例では、画像の空間的な距離に基づいて信頼度を算出していたが、ここでは新たに特徴量に関する信頼度を導入する。
これから導入する特徴量に基づく信頼度とは、基準とする特徴量Ｔ０に対して評価する特徴量Ｔがどの程度ずれているかということを表現する量と定義する。
特徴量に基づく信頼度情報を用いて動きベクトルを求めるケースは、次のように求めることができる。
評価値  Ｊ    ＝    ΔＴ                              …（９）
ΔＴは、特徴量空間における基準特徴量に対する差分量を表現するもので、その一例としては特徴量間の距離がある。以降の説明では、上記特徴量間の距離を例にとり説明する。
ここで特徴量Ｔを上述した具体例に対応させるとＴ０＝（Ｙ００，Ｙ０１，．．．ＹｎｘＹｎｙ）などがその一例となる。
このときＴ０、Ｔ１＝（Ｙ００’，Ｙ０１’，．．．ＹｎｘＹｎｙ’）、Ｔ２＝（Ｙ００”，Ｙ０１”，．．．ＹｎｘＹｎｙ”）とすると候補座標の算出の仕方は、以下のようになる。
＃ｎ＋１フレームの座標（ｘ’，ｙ’）における動きベクトルは、次のように求めることができる。
まず、＃ｎ＋１フレームにおける座標（ｘ’，ｙ’）において近傍画素の値を取得する。
次に、データベース作成部１５の特徴量データベースから求めた画素パターンを用いて、そこに保存されているデータを取得する。
データベースに格納されているデータが（ｘ０，ｙ０）と（ｘ１，ｙ１）の場合、すなわち候補座標が複数ある場合には、特徴量量間の誤差量に基づく信頼度（ここでは、ΔＴ１，ΔＴ０）が最小のものを動きベクトルとする。すなわち次の式１０の条件を満足するならば動きベクトルは式１１を解とし、満足しない場合には、式１２を動きベクトルの解とする。
ΔＴ１  ＞  ΔＴ０                                        …（１０）
｛（ｘ’，ｙ’）−（ｘ０，ｙ０）｝                          …（１１）
｛（ｘ’，ｙ’）−（ｘ１，ｙ１）｝                          …（１２）
次に、画像の特徴量と画像の空間座標に基づく信頼度情報を統合した信頼度情報を用いた動きベクトル推定について説明する。
画像の特徴量と画像の空間的な距離に基づく信頼度情報を統合した新しい信頼度情報である統合信頼度の作り方は、以下のようになる。ｗ０，ｗ１は重み付け係数である。
評価値Ｊ  ＝  ΔＩ  ＝  ｗ０×ΔＬ＋ｗ１×ΔＴ            …（１３）
＃ｎ＋１フレームの座標（ｘ’，ｙ’）における動きベクトルは、次のように求めることができる。
まず、＃ｎ＋１フレームにおける座標（ｘ’，ｙ’）において近傍画素の値を取得する。
次に、データベース作成部１５の特徴量データベースから求めた画素パターンを用いて、そこに保存されているデータを取得する。
データベースに格納されているデータが（ｘ０，ｙ０）と（ｘ１，ｙ１）の場合、すなわち候補座標が複数ある場合には、統合信頼度間の誤差量に基づく信頼度が最小のものを動きベクトルとする。すなわち画像の空間的な距離に基づく信頼度をたとえば空間的な距離の絶対値とすると次の式１４の条件を満足するならば動きベクトルは式１５を解とし、満足しない場合には、式１６を動きベクトルの解とする。
ΔＩ１  ＞  ΔＩ０                                      …（１４）
｛（ｘ’，ｙ’）−（ｘ０，ｙ０）｝                        …（１５）
｛（ｘ’，ｙ’）−（ｘ１，ｙ１）｝                        …（１６）
また、次の式１７の条件、
2004012451.tif 000005
すなわち、座標（Ｙ００，Ｙ０１，．．．．，Ｙｎｘｎｙ）に格納されている座標が（ｘ０，ｙ０）であり、座標（Ｙ００＋１，Ｙ０１，．．．．，Ｙｎｘｎｙ）に格納されている座標が（ｘ１，ｙ１）であるとき、次の式１８の条件を満足するならば、動きベクトル候補は、（ｘ１，ｙ１）とすることを表す。
｜（ｘ’，ｙ’）−（ｘ０，ｙ０）｜＞｜（ｘ’，ｙ’）−（ｘ１，ｙ１）｜
…（１８）
ただし座標（Ｙ００＋１，Ｙ０１，．．．．，Ｙｎｘｎｙ）に格納されている座標が（ｘ２，ｙ２）であるときに下記の式１９の条件を満足する場合であったとしても、（ｘ２，ｙ２）が（ｘ０，ｙ０）と距離が離れている場合には（ｘ２，ｙ２）を動きベクトル候補とすることは、現実的ではない。
｜（ｘ’，ｙ’）−（ｘ０，ｙ０）｜＞｜（ｘ’，ｙ’）−（ｘ２，ｙ２）｜
…（１９）
そこで本実施形態においては、画像パターンのみによる評価だけではなくて、動きベクトル値の大きさに上限を与えることによって上記問題を解決している。
次に信頼度情報の取得方法について説明する。
ここまで信頼度に基づく動きベクトル推定方法について説明した。このうち画像の空間的な特徴量に基づく信頼度は、動きベクトルを求める時点でしか求めることができないが、特徴量に基づく信頼度に関しては、データベースの作成時点でも求めることが可能になる。
よって、この特徴量に基づく信頼度の取得方法について２つの具体例について説明する。
第１はデータベース作成時にあらかじめ特徴量に基づく信頼度を計算し、データベースに保持する方法であり、第２のは動きベクトルを求める時点で特徴量に基づく信頼度を計算する方法である。
ただし、第１のデータベース作成時にあらかじめ特徴量に基づく信頼度を計算し、データベースに格納する方法については、既に説明したのでここではその詳細は省略する。
なお、図１８は、特徴量に基づく信頼度情報をデータベースに格納する場合における各特徴量の算出のイメージを示す図である。
この例は、座標（ｘ１，ｙ１）の特徴量Ｔ１、座標（ｘ２，ｙ２）の特徴量Ｔ２、座標（ｘＮ，ｙＮ）の特徴量ＴＮ、各座標、および信頼度ｆをデータベースに格納するイメージを示している。座標（ｘ１，ｙ１）について考える。座標（ｘ１，ｙ１）の特徴量はＴ１である。ここでは、このΔｔｉ（ｉ＝０，１，２，，，ｎ）だけ特徴量をずらし、各特徴量Ｔ１＋Δｔｉに対応させて、座標（ｘ１，ｙ１）と、座標（ｘ１，ｙ１）の各特徴量に対する信頼度ｆを格納する。
ここで、動きベクトルを求めるときに特徴量に基づく信頼度を計算する方法について説明する。
＃ｎ＋１フレームの座標（ｘ’，ｙ’）における動きベクトルは、次のように求めることができる。
まず、＃ｎ＋１フレームにおける座標（ｘ’，ｙ’）において近傍画素の値を取得する。
次に、データベース作成部１５の特徴量データベースから求めた画素パターンを用いて、そこに保存されているデータを取得する。
特徴量をある程度変化させ、その特徴量の変化量に応じた特徴量に基づく信頼度を各特徴量について計算する。
そして、特徴量空間における検索範囲内にて、上記で定義した統合評価値Ｊ間の差分量に基づく信頼度が最小のものを動きベクトルとする。すなわち統合評価値の差が小さい方が信頼度が高いとすると、次の式２０の条件を満足するならば動きベクトルは式２１を解とし、満足しない場合には、式２２を動きベクトルの解とする。
ΔＴ１  ＞  ΔＴ０                                        …（２０）
｛（ｘ’，ｙ’）−（ｘ０，ｙ０）｝                        …（２１）
｛（ｘ’，ｙ’）−（ｘ１，ｙ１）｝                        …（２２）
図１９および図２０は、動きベクトル検出部１６の具体的な構成例を示すブロック図であって、図１９は、信頼度チェックに空間座標の情報も用いる場合であり、図２０は、信頼度チェックに空間座標の情報を用いない場合である。
この動きベクトル検出部１６は、図１９および図２０に示すように、対応点候補選出部１６１、信頼度チェック部１６２、および動きベクトル決定部１６３を有している。対応点候補選出部１６１は、信頼度情報がデータベース作成部１５に格納して有る場合には、入力特徴量Ｔ±ΔＴの範囲で候補選出のための検索（マッチング）を行う。
対応点候補選出部１６１は、信頼度情報がデータベース作成部１５に格納されていない場合には、入力特徴量そのものでマッチングを行い、また信頼度の計算を行う。
信頼度チェック部１６２は、上述した信頼度の各条件を満足するかをチェックし、チェック結果を動きベクトル決定部１６３に供給する。
動きベクトル決定部１６３は、信頼度のチェック結果に基づいて動きベクトルの解を求める。
図２１は、１つの座標に複数の特徴量を対応させた場合の動きベクトル検出部１６の動作を説明するためのフローチャートである。この例では、信頼度は動きベクトル検出部１６で計算される。
図２１に示すように、第１の特徴量抽出部１３がカレントフレームＦｃの特徴量を抽出し（ステップＳＴ２０１）、動きベクトル検出部１６に供給される。
動きベクトル検出部１６では、対応点候補選択部１６１が特徴量空間においてデータベースに格納されているデータとマッチする特徴量を検索する（ステップＳＴ２０２）。
そして、データベース中でマッチする特徴量が見つかった場合には（ステップＳＴ２０３）、検出された特徴量にリンクした情報、たとえば空間座標を抽出する（ステップＳＴ２０４）。
ステップＳＴ２０４の処理が終了すると、候補となる座標が複数であるか否かの判定を行う（ステップＳＴ２０５）。
候補となる座標が複数ある場合には、信頼度を計算し（ステップＳＴ２０６）、信頼度チェック部１６２において信頼度の最も高い座標を動きベクトル決定部１６３に出力する（ステップＳＴ２０７）。
そして、動きベクトル決定部１６３において、所定の条件に基づいて動きベクトルを求める（ステップＳＴ２０８）。
なお、ステップＳＴ２０３において、データベース中でマッチする特徴量が見つからなかった場合には、動きベクトルは不定であると判断する（ステップＳＴ２０９）。
また、ステップＳＴ２０５において、候補となる座標が複数でなく一つであると判定した場合には、対応する空間座標を信頼度チェック部１６２を介して動きベクトル決定部１６３に出力し（ステップＳＴ２１０）、ステップＳＴ２０８の処理に移行する。
上記は、１つの空間座標に対して複数の特徴量（アドレス）が対応するように空間座標を格納したメモリを利用した場合であった。上記以外にも、メモリは、１つの空間座標に対して１つの特徴量（アドレス）が対応するように空間座標を格納したメモリを使っても、漏れの無い動きベクトル検出が行える。以下にその方法を説明する。
この場合の動き検出装置１０Ａを、図２２に示す。
この動き検出装置１０Ａが図４の動き検出装置１０と異なるのは、特徴量抽出部１４Ａと、データベース作成部１５Ａと、動きベクトル検出部１６Ａである。
特徴量抽出部１４Ａは、信頼度情報を出力せずに、空前座標と特徴量をデータベース作成部１５Ａに出力する。
データベース作成部１５Ａは、入力された特徴量に対応するアドレスに、入力された空間座標をデータベース（メモリ）に格納する。
動きベクトル検出部１６Ａは、入力された特徴量を変動させる。そして、入力された特徴量と、変動させた後の特徴量とを用いて、これらの特徴量に対応するアドレス空間座標を、データベース作成部１５Ａから取得する。そして、取得された空間座標に対して、信頼度判定を行い動きベクトルを検出する。
図２３は、この場合の動きベクトル検出部１６Ａの動作を説明するためのフローチャートである。
図２３に示すように、第１の特徴量抽出部１３がカレントフレームＦｃの特徴量を抽出し（ステップＳＴ３０１）、動きベクトル検出部１６に供給される。
動きベクトル検出部１６Ａでは、対応点候補選択部１６１が特徴量に対応する複数の候補特徴量に基づいて検索する（ステップＳＴ３０２）。
また、対応点候補選択部１６１が特徴量空間においてデータベースに格納されているデータとマッチする特徴量を検索する（ステップＳＴ３０３）。
そして、データベース中でマッチする特徴量が見つかった場合には（ステップＳＴ３０４）、検出された特徴量にリンクした情報、たとえば空間座標を抽出する（ステップＳＴ３０５）。
ステップＳＴ３０５の処理が終了すると、候補となる座標が複数であるか否かの判定を行う（ステップＳＴ３０６）。
候補となる座標が複数ある場合には、信頼度を計算し（ステップＳＴ３０７）、信頼度チェック部１６２において信頼度の最も高い座標を動きベクトル決定部１６３に出力する（ステップＳＴ３０８）。
そして、動きベクトル決定部１６３において、所定の条件に基づいて動きベクトルを求める（ステップＳＴ３０９）。
なお、ステップＳＴ３０４において、データベース中でマッチする特徴量が見つからなかった場合には、動きベクトルは不定であると判断する（ステップＳＴ３１０）。
また、ステップＳＴ３０５において、候補となる座標が複数でなく一つであると判定した場合には、対応する空間座標を信頼度チェック部１６２を介して動きベクトル決定部１６３に出力する（ステップＳＴ３１１）。
また、図２４は、動きベクトル検出部１６Ａの他の構成例を示す図である。
動き検出ベクトル部１６Ａは、読み出し部１６４と、決定部１６５を有する。
読み出し部１６４は、特徴量情報に基づいて特徴量を変動させ、データベース（メモリ）から複数の特徴量（アドレス）の空間座標を読み出し、決定部１６５の送出する。また、その際、必要ならば、その特徴量の信頼度も取得し、決定部１６５に送る。また、特徴量の信頼度は、この読み出し部１６４で計算する。
また、図２５は、動き検出装置のさらに他の構成例を示す図である。
１つの空間座標を複数の特徴量に対応するアドレスに格納するデータベース（メモリ）を用いた動き検出装置の例である。このデータベース（メモリ）は、信頼度情報は格納しない。
この動き検出装置１０Ｂが図４の動き検出装置１０と異なるのは、特徴量抽出部１４Ｂと、データベース作成部１５Ｂと、動きベクトル検出部１６Ｂである。
特徴量抽出部１４Ａは、特徴量を抽出し、特徴量を±Δだけ変動させて、変動させた複数の空間座標をデータベース作成部１５Ｂに出力する。
データベース作成部１５Ｂは、入力された特徴量に対応するアドレスに、入力された空間座標をデータベース（メモリ）に格納する。
動きベクトル検出部１６Ｂは、入力された特徴量に対応するアドレス空間座標を、データベース作成部１５Ｂから取得する。そして、取得された空間座標に対して、信頼度判定を行い動きベクトルを検出する。
動きベクトル検出部１６Ｂを図２４の構成と同様の構成とした場合、たとえば読み出し部１６４は、データベース（メモリ）から特徴量（アドレス）の空間座標（信頼度情報）を読み出し、決定部１６５に送出する。また、その際、必要ならば、その特徴量の信頼度も取得し、決定部１６５に送る。また、特徴量の信頼度は、この読み出し部１６４で計算する。
最後に、図４の動き検出装置の動作を説明する。
第１のフレームメモリ１１に入力端子ＴＩＮから入力された画像信号の１画面の情報が格納される。
第２のフレームメモリ１２では、第１のフレームメモリ１１に格納されていた以前（たとえば１フレーム前）の画像情報を参照フレームＦｒの情報として格納される。
そして、第１のフレームメモリ１２では、第１のフレームメモリ１１に格納された情報が第２のフレームメモリ１２に上書きされる前に第２の特徴量抽出部１４に画像情報（参照フレームＦｒの情報）が出力される。
第２の特徴量抽出部１４においては、入力された画像情報、たとえば注目フレームの１フレーム前の参照フレームＦｒの情報から特徴量と、注目画素とその近傍の空間座標と、空間座標と注目画素との空間的距離情報が抽出される。
そして、抽出した特徴量が信号Ｓ１４ａとして、注目画素とその近傍の空間座標が信号Ｓ１４ｂとして、空間座標と注目画素との空間的距離情報が信号Ｓ１４ｃとしてデータベース作成部１５に出力される。
データベース作成部１５においては、第２の特徴量抽出部１４により信号Ｓ１４ａ〜Ｓ１４ｃとして入力した特徴量と注目画素とその近傍の空間座標とリンク関係がデータベースに登録される。
そして、たとえば次のタイミングで入力された画像は、第１のフレームメモリ１１に一度蓄えられたのち、第１の特徴量抽出部１３に供給される。
第１の特徴量抽出部１３では、第１のフレームメモリ１１による画像情報、すなわり注目フレームであるカレントフレームＦｃの情報から特徴量と注目画素の空間座標が抽出される。そして、抽出した特徴量が信号Ｓ１３ａとして、注目画素の空間座標が信号Ｓ１３ｂとして動きベクトル検出部１６に出力される。
動きベクトル検出部１６においては、第１の特徴量抽出部１３で抽出された特徴量をインデックスとしてデータベース作成部１５のデータベース情報Ｓ１５から前（後）のフレームにおいてどの位置にこの特徴量に等しいものが存在していたかの空間座標情報が取得される。
そして、ここで取得した前（後）のフレームにおける同一特徴量の存在位置と入力された現在の注目画素の空間座標との相対関係を求めることにより、動きベクトルが取得される。
以上では、注目画素の空間座標を、注目画素の特徴量と注目画素の特徴量近傍の特徴量とに対応するアドレス夫々に格納した。しかし、注目画素の特徴量に対応するアドレスに、注目画素の空間座標と、注目画素近傍の空間座標を格納することで、１つの空間座標を複数の特徴量に対応させるという概念を実現してもよい。
本実施例では、動きベクトル検出に対応した記憶装置について、説明した。そのため、各特徴量をアドレスとして、空間座標を記憶する記憶装置を例に挙げた。
しかし、本発明は、動きベクトル検出以外にも、マッチングを行うシステムに適用できるものである。つまり、データの特徴Ａを示す各第１の特徴量をアドレスとして、データの特徴Ｂを示す第２の特徴量を記憶するようにしても良い。この特徴Ａ、特徴Ｂに関しては、マッチングを行うシステム／装置の目的によって適宜設定・変更できるものである。例えば、本実施の形態では、特徴Ａ：画素値パターン／ＡＤＲＣコード、特徴Ｂ：座標として説明したが、これら以外の特徴を用いてもよい。
以上説明したように、本実施形態によれば、第１のフレームメモリ１１による注目フレームであるカレントフレームＦｃの情報から特徴量と注目画素の空間座標を抽出し、抽出した特徴量を信号Ｓ１３ａとして、注目画素の空間座標を信号Ｓ１３ｂとして出力する第１の特徴量抽出部１３と、注目フレームの１フレーム前の参照フレームＦｒの情報から特徴量と、注目画素とその近傍の空間座標と、空間座標と注目画素との空間的距離情報を抽出し、抽出した特徴量を信号Ｓ１４ａとして、注目画素とその近傍の空間座標を信号Ｓ１４ｂとして、空間座標と注目画素との空間的距離情報を信号Ｓ１４ｃとして出力する第２の特徴量抽出部１４と、第２の特徴量抽出部１４により信号Ｓ１４ａ〜Ｓ１４ｃとして入力した特徴量と注目画素とその近傍の空間座標とリンク関係をデータベースに登録するデータベース作成部１５と、第１の特徴量抽出部１３で抽出された特徴量をインデックスとしてデータベース作成部１５のデータベース情報Ｓ１５から前（後）のフレームにおいてどの位置にこの特徴量に等しいものが存在していたかの空間座標情報を取得し、ここで取得した前（後）のフレームにおける同一特徴量の存在位置と入力された現在の注目画素の空間座標との相対関係を求めることにより、動きベクトルを取得する動きベクトル検出部１６と、を設けたので、以下の効果を得ることができる。
すなわち、本実施形態においては、ブロックエリア内の空間パターン情報を特徴量とし、候補数だけの距離演算比較をするだけなので、従来の手法よりも僅かな演算量で、かつ、精度の高い動きベクトル検出が可能となる利点がある。
【産業上の利用可能性】  本発明の画像処理装置および画像処理方法よれば、精度の高い動きベクトル検出が可能となることから、動画像圧縮装置などに用いられる動き検出装置やオブジェクト検索装置等、マッチングを必要とする処理に適用可能である。
【符号の説明】
１０，１０Ａ，１０Ｂ…動き検出装置
１１…第１のフレームメモリ
１２…第２のフレームメモリ
１３…第１の特徴量抽出部
１４，１４Ａ，１４Ｂ…第２の特徴量抽出部
１５，１５Ａ，１５Ｂ…データベース作成部
１６，１６Ａ，１６Ｂ…動きベクトル検出部
【図１】
2004012451.tif 000006
【図２】
2004012451.tif 000007
【図３】
2004012451.tif 000008
【図４】
2004012451.tif 000009
【図５】
2004012451.tif 000010
【図６】
2004012451.tif 000011
【図７】
2004012451.tif 000012
【図８】
2004012451.tif 000013
【図９】
2004012451.tif 000014
【図１０】
2004012451.tif 000015
【図１１】
2004012451.tif 000016
【図１２】
2004012451.tif 000017
【図１３】
2004012451.tif 000018
【図１４】
2004012451.tif 000019
【図１５】
2004012451.tif 000020
【図１６】
2004012451.tif 000021
【図１７】
2004012451.tif 000022
【図１８】
2004012451.tif 000023
【図１９】
2004012451.tif 000024
【図２０】
2004012451.tif 000025
【図２１】
2004012451.tif 000026
【図２２】
2004012451.tif 000027
【図２３】
2004012451.tif 000028
【図２４】
2004012451.tif 000029
【図２５】
2004012451.tif 000030
【国際調査報告】
2004012451.tif 000031
2004012451.tif 000032