(57)【要約】演算手段は奇数または偶数フィールドの画素データと現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、各候補ベクトルに対する予測誤差を順次算出し、フィールド比較器は算出された予測誤差から最小の予測誤差を求めフィールド動きベクトルを検出する。また、ＡＥ記憶装置は演算手段によって所定の組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差を格納する。加算器は演算手段によって算出された予測誤差とＡＥ記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算しフレーム単位での予測誤差を算出する。そして、フレーム比較器は算出されたフレーム単位での予測誤差から最小の予測誤差を求めフレーム動きベクトルを検出する。
2004012460.tif 000002
【特許請求の範囲】
【請求項１】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
前記参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、
前記参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記参照画像奇数フィールド記憶装置からの前記奇数フィールドの画素データまたは前記参照画像偶数フィールド記憶装置からの前記偶数フィールドの画素データと、前記現画像記憶装置からの前記現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段と、
前記演算手段によって算出された予測誤差を保持し、前記演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、
前記演算手段によって前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差を格納するＡＥ記憶装置と、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記ＡＥ記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフレーム単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項２】
請求項１に記載の動きベクトル検出装置において、
前記演算手段は、
前記参照画像フレームの奇数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、前記参照画像フレームの奇数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、前記第１の演算および前記第２の演算の前または後に、前記第３の演算および前記第４の演算を行うものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、
前記演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、
前記ＡＥ記憶装置は、
前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フレーム比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項３】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
前記参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、
前記参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記参照画像奇数フィールド記憶装置からの前記奇数フィールドの画素データまたは前記参照画像偶数フィールド記憶装置からの前記偶数フィールドの画素データと、前記現画像記憶装置からの前記現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段とを備え、
前記現画像記憶装置は、
前記現画像ブロックの画素データに上書きすることによって、前記演算手段によって前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差をさらに格納するものであり、
前記演算手段によって算出された予測誤差を保持し、前記演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記現画像記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフレーム単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とをさらに備える
ことを特徴とする動きベクトル検出装置。
【請求項４】
請求項３に記載の動きベクトル検出装置において、
前記演算手段は、
前記参照画像フレームの奇数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、前記参照画像フレームの奇数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、前記第１の演算および前記第２の演算の前または後に、前記第３の演算および前記第４の演算を行うものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、
前記演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、
前記現画像記憶装置は、
前記現画像ブロックの画素データに上書きすることによって、前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フレーム比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項５】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
前記参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、
前記参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記参照画像奇数フィールド記憶装置からの前記奇数フィールドの画素データまたは前記参照画像偶数フィールド記憶装置からの前記偶数フィールドの画素データと、前記現画像記憶装置からの前記現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、前記現画像ブロックの各候補ベクトルに対する予測誤差を算出する演算手段と、
前記演算手段によって算出された予測誤差を保持し、前記演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、
前記演算手段によって前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納するレジスタと、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記レジスタが格納する予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフレーム単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項６】
請求項５に記載の動きベクトル検出装置において、
前記演算手段は、
前記参照画像フレームの奇数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、前記参照画像フレームの奇数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、前記第１のステージの前または後に、前記第２のステージを行うものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、
前記演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、
前記レジスタは、
前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された前記１つの候補ベクトルに対する予測誤差を格納するものであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フレーム比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項７】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
各々が、前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力する前記ｎ個の参照画像記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、前記現画像記憶装置からの前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データとにもとづいて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、
前記演算手段によって前記参照画像フレームを構成するフィールドが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像と、前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像との組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納する前記組み合わせに応じた数のレジスタと、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記レジスタが格納する前記１つの候補ベクトルに対する予測誤差とを加算し、フィールド単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフィールド単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項８】
請求項７に記載の動きベクトル検出装置において、
前記ｎ個の参照画像記憶装置は、
前記参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、前記参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、
前記演算手段は、
前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、前記参照画像フレームを構成するフィールドの偶数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第３の演算と、前記参照画像フレームを構成する偶数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、前記第１のステージの前または後に、前記第２のステージを行うものであり、
前記組み合わせの数に応じたレジスタは、
前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された１つの候補ベクトルに対する予測誤差を格納する１つのレジスタであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フィールド比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフィールド動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項９】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
各々が、前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力する前記ｎ個の参照画像記憶装置と、
前記現画像ブロックを構成するフィールドが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データを格納し、出力する現画像記憶装置と、
前記ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、前記現画像記憶装置からの部分画像の画素データとにもとづいて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、
前記演算手段によって算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項１０】
請求項９に記載の動きベクトル検出装置において、
前記ｎ個の参照画像記憶装置は、
前記参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、前記参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、
前記演算手段は、
前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、前記参照画像フレームを構成するフィールドの偶数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算結果と、前記演算手段の前記第２の演算結果とにもとづいてフィールド動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項１１】
請求項９に記載の動きベクトル検出装置において、
前記ｎ個の参照画像記憶装置は、
前記参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、前記参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、
前記演算手段は、
前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第１の演算と、前記参照画像フレームを構成するフィールドの偶数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算結果と、前記演算手段の前記第２の演算結果とにもとづいてフィールド動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項１２】
現画像フレーム内の現画像ブロックについての参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成する奇数または偶数フィールドの画素データと、前記現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、
前記順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、
前記各組み合わせにおける１つの組み合わせについて算出されたフィールド単位での複数の予測誤差を保持しておいて、前記１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた前記複数の予測誤差のうちの対応する１つの予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【請求項１３】
請求項１２に記載の動きベクトル検出方法において、
前記フレーム動きベクトルを算出するステップは、
前記参照画像フレームの画素データまたは前記現画像ブロックの画素データが保持されている領域に上書きすることによって、前記各組み合わせにおける１つの組み合わせについて算出された前記複数の予測誤差を保持するステップを含むものであることを特徴とする動きベクトル検出方法。
【請求項１４】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成する奇数または偶数フィールドの画素データと、前記現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、
前記順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、
前記各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、前記１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた前記１つの候補ベクトルに対する予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【請求項１５】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データとに基づいて、前記参照画像フレームの前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データと、前記現画像ブロックの前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データとの各組み合わせについて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、
前記各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、前記１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた前記１つの候補ベクトルに対する予測誤差とに基づいて、フィールド動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【請求項１６】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像のうちのいずれか１つの部分画像の画素データとに基づいて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、
前記順次算出される予測誤差に基づいてフィールド動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【発明の詳細な説明】
【技術分野】  本発明は、動画像符号化装置において、動きベクトルを求める動きベクトル検出装置及び動きベクトル検出方法に関する。
【背景技術】  動画像の画像圧縮を実現する方法として、１つ前の画面中のある部分が現在の画面ではどの場所に移動したのかを示す情報（動きベクトル）を用いて、時間的冗長性を削減するという方法がある。
この動きベクトルを抽出するための技術として、ブロックマッチング法がよく知られている。ブロックマッチング法とは、まず符号化対象画像フレーム（以下、現画像フレームという）を複数のブロック（現画像ブロック）に分割し、過去または未来のフレーム（以下、参照画像フレームという）内の複数のブロック（参照画像ブロック）から、現画像ブロックと最も相関度の高い参照画像ブロックを抽出し、抽出された参照画像ブロックと現画像ブロックの相対的変位を動きベクトルとするものである。
一般に、最も相関度の高いブロックを抽出するには、現画像ブロックと参照画像ブロックとにおける全ての画素同士の減算を行い、その絶対値和（または２乗和）を求め、その値が最小となる参照画像ブロックを検出することによって、最も相関度の高いブロックを抽出する。
ところで、国際標準ＩＴＵ−ＴのＨ．２６１およびＩＳＯ／ＩＥＣ１１１７２−２では、順次走査方式の画像の符号化のみを取り扱っているのに対し、国際標準のＩＳＯ／ＩＥＣ１３８１８−２では、さらに、インターレース走査方式の画像の符号化も取り扱っている。
インターレース走査方式は、順次１ライン毎に垂直走査を行う順次走査方式に対して、所定の走査ラインの本数に対応した走査回数によってフレームを構成するものである。例えば、２：１のインターレース走査方式は、１枚のフレームを奇数走査ラインからなるフィールドと偶数走査ラインからなるフィールドの２枚のフィールドで構成し、まず一方のフィールドを走査してから他方のフィールドの走査を行うものである。このインターレース走査方式は、信号の帯域幅を節減し、実質的に走査線数を減らすことなく、画面全体の走査回数を多くして画像のちらつきを少なくするものである。
インターレース走査方式の画像には、フレームを符号化の単位とするフレーム構造と、フィールドを符号化の単位とするフィールド構造の２種類が提供されている。フレーム構造の場合は、インターレースされた２つのフィールドを合成したフレームピクチャ単位で動き補償やＤＣＴ符号化を行う。これに対して、フィールド構造の場合は、インターレースされた２つのフィールドの各フィールドピクチャ単位で符号化を行う。さらに、予測方式にはフレーム予測方式とフィールド予測方式がある。
以下、フレーム構造における動き補償について説明する。
ここで、現画像フレームが奇数走査ラインからなる奇数フィールドおよび偶数走査ラインからなる偶数フィールドから構成され、参照画像フレームが奇数走査ラインからなる奇数フィールドおよび偶数走査ラインからなる偶数フィールドから構成され、参照画像フレームから現画像フレームを予測する。
フレーム構造におけるフレーム動き補償予測は、インターレースされた２つのフィールドが合成されたフレームを単位とし、参照画像フレームから現画像フレームを動きベクトルＭＶとして表し、動き補償予測を行うものである。
フレーム構造におけるフィールド動き補償予測は、フィールド毎に動き補償を行うものである。すなわち、参照画像フレームの奇数フィールドまたは偶数フィールドから現画像フレームの奇数フィールドを動きベクトルＭＶ１によって予測し、参照画像フレームの奇数フィールドまたは偶数フィールドから現画像フレームの偶数フィールドを動きベクトルＭＶ２によって予測する。そして、奇数および偶数２つのフィールドを合成することによって参照画像フレームから現画像フレームを予測する。
以上より、フレーム構造の場合には、フィールド動き補償予測による２本の動きベクトルＭＶ１およびＭＶ２と、フレーム動き補償予測による１本の動きベクトルＭＶとの合計３本の動きベクトルが求められる。
ところで、フレーム動きベクトルＭＶは、そのフレームを構成する奇数フィールドのフィールド動きベクトルＭＶ１と、偶数フィールドのフィールド動きベクトルＭＶ２とを求めるときに、予測誤差として算出された複数の誤差の差分絶対値または２乗和（以下、ＡＥという）のうち、それぞれ対応するもの同士を加算した結果によって求めることができる。
しかしながら、従来の動きベクトル検出装置においては、現画像の奇数フィールドのフィールド動きベクトルＭＶ１、現画像の偶数フィールドのフィールド動きベクトルＭＶ２、および現画像のフレーム動きベクトルＭＶをそれぞれ求める場合には、現画像の奇数フィールドの現画像ブロックに対応するＡＥを算出するための演算装置と現画像の偶数フィールドの現画像ブロックに対応するＡＥを算出するための演算装置との２つの回路を独立に構成する必要がある。そして、タイミングをあわせて並列動作させることによって、それぞれの演算装置から算出された奇数フィールドのＡＥと偶数フィールドのＡＥを加算することにより、フレームに対応するＡＥを算出する。さらに、算出したＡＥから各動きベクトルを求める際、算出されたＡＥが各演算装置から並列に出力されるため、各候補点におけるＡＥの値を比較し、その中から最小になるものを選択する比較器もそれぞれ独立に３つ必要となり、回路規模が大きくなってしまう。
また、一般に相関度の高いブロックを選出する可能性を高めるためには、参照画像における探索領域を広げて候補となる参照画像ブロックの数を増やす必要がある。このため、探索範囲の拡大に伴ってハードウェア量が大きく増大してしまう。
【発明の開示】
上記に鑑み、本発明は、回路規模の削減を可能とした動きベクトル検出装置及び動きベクトル検出方法を提供することを目的とする。
上記の目的を達成するために、本発明の第１の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、参照画像奇数フィールド記憶装置からの奇数フィールドの画素データまたは参照画像偶数フィールド記憶装置からの偶数フィールドの画素データと、現画像記憶装置からの現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段と、演算手段によって算出された予測誤差を保持し、演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、演算手段によって参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差を格納するＡＥ記憶装置と、演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差とＡＥ記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、加算器によって算出されたフレーム単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備えることを特徴とする。
第１の動きベクトル検出装置によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。
また、第１の動きベクトル検出装置において、演算手段は、参照画像フレームの奇数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、参照画像フレームの偶数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、参照画像フレームの奇数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、参照画像フレームの偶数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、第１の演算および第２の演算の前または後に、第３の演算および第４の演算を行うものであり、フィールド比較器は、演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、ＡＥ記憶装置は、演算手段の前記第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、加算器は、第１の演算によって算出された予測誤差と第２の演算によって算出された予測誤差とを加える第１の加算を行い、第３の演算によって算出された予測誤差と第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フレーム比較器は、加算器の第１の加算結果と、加算器の第２の加算結果とにもとづいてフレーム動きベクトルを検出することが好ましい。
本発明の第２の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、参照画像奇数フィールド記憶装置からの奇数フィールドの画素データまたは参照画像偶数フィールド記憶装置からの偶数フィールドの画素データと、現画像記憶装置からの現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段とを備え、現画像記憶装置は、現画像ブロックの画素データに上書きすることによって、演算手段によって参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差をさらに格納するものであり、演算手段によって算出された予測誤差を保持し、演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、演算手段によって１つの組み合わせと対応する組み合わせについて算出された予測誤差と現画像記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、加算器によって算出されたフレーム単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とをさらに備えることを特徴とする。
第２の動きベクトル検出装置によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フィールド単位で算出された予測誤差を一時格納する手段として、現画像ブロック記憶装置を再利用することにより、記憶装置を別途設ける必要がなくなり、ハードウェア規模をさらに削減することができる。従って、回路化が容易な動きベクトル検出装置を提供できる。
また、第２の動きベクトル検出装置において、演算手段は、参照画像フレームの奇数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、参照画像フレームの偶数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、参照画像フレームの奇数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、参照画像フレームの偶数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、第１の演算および第２の演算の前または後に、第３の演算および第４の演算を行うものであり、フィールド比較器は、演算手段の第１の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、演算手段の第２の演算によって算出された予測誤差のうち最小の予測誤差と、算手段の第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、現画像記憶装置は、現画像ブロックの画素データに上書きすることによって、演算手段の第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、加算器は、第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、第３の演算によって算出された予測誤差と第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フレーム比較器は、加算器の前記第１の加算結果と、加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出することが好ましい。
本発明の第３の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、参照画像奇数フィールド記憶装置からの奇数フィールドの画素データまたは参照画像偶数フィールド記憶装置からの偶数フィールドの画素データと、現画像記憶装置からの現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、現画像ブロックの各候補ベクトルに対する予測誤差を算出する演算手段と、演算手段によって算出された予測誤差を保持し、演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、演算手段によって参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納するレジスタと、演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差とレジスタが格納する予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、加算器によって算出されたフレーム単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備えることを特徴とする。
第３の動きベクトル検出装置によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フレーム動きベクトルの算出の際に要する記憶手段として１つの候補ベクトルに対する予測誤差を格納できるレジスタのみで足りるので、ハードウェア規模を削減できる。
また、第３の動きベクトル検出装置において、演算手段は、参照画像フレームの奇数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、参照画像フレームの偶数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、参照画像フレームの奇数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、参照画像フレームの偶数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、第１のステージの前または後に、第２のステージを行うものであり、フィールド比較器は、演算手段の第１の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、演算手段の第２の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、レジスタは、演算手段の前記第１の演算〜第４の演算のいずれかによって算出された１つの候補ベクトルに対する予測誤差を格納するものであり、加算器は、第１の演算によって算出された予測誤差と第２の演算によって算出された予測誤差とを加える第１の加算を行い、第３の演算によって算出された予測誤差と第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フレーム比較器は、加算器の第１の加算結果と、加算器の第２の加算結果とにもとづいてフレーム動きベクトルを検出することが好ましい。
本発明の第４の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、各々が、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力するｎ個の参照画像記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、現画像記憶装置からの現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像の画素データとにもとづいて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、演算手段によって参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像と、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像との組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納する組み合わせに応じた数のレジスタと、演算手段によって１つの組み合わせと対応する組み合わせについて算出された予測誤差とレジスタが格納する１つの候補ベクトルに対する予測誤差とを加算し、フィールド単位での予測誤差を算出する加算器と、加算器によって算出されたフィールド単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備えることを特徴とする。
第４の動きベクトル検出装置によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像と、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像とを用いて順次算出された部分画像の各候補ベクトルに対する予測誤差に基づいて、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立してｎ個構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できる。
また、第４の動きベクトル検出装置において、ｎ個の参照画像記憶装置は、参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、演算手段は、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、参照画像フレームを構成するフィールドの偶数列と現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの偶数列との間で予測誤差を算出する第３の演算と、参照画像フレームを構成する偶数列と現画像ブロックの奇数列との間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、第１のステージの前または後に、第２のステージを行うものであり、組み合わせの数に応じたレジスタは、演算手段の第１の演算〜第４の演算のいずれかによって算出された１つの候補ベクトルに対する予測誤差を格納する１つのレジスタであり、加算器は、前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フィールド比較器は、加算器の第１の加算結果と、加算器の前記第２の加算結果とにもとづいてフィールド動きベクトルを検出することが好ましい。
本発明の第５の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、各々が、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力するｎ個の参照画像記憶装置と、現画像ブロックを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力する現画像記憶装置と、ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、現画像記憶装置からの部分画像の画素データとにもとづいて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、演算手段によって算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備えることを特徴とする。
第５の動きベクトル検出装置によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像を用いて、現画像ブロックのｎ列毎の部分画像またはｎ行毎の部分画像のうちいずれか一方の部分画像の各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立してｎ個構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できる。従って、第１から第４の動きベクトル検出装置に比べて演算を行う組み合わせの数が大幅に削減されるにも関わらず高い演算効率の保持を実現できるため、動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。これにより、動きベクトルの検出に必要な処理時間をおよそ半分に低減することができる。
また、第５の動きベクトル検出装置において、ｎ個の参照画像記憶装置は、参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、演算手段は、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、参照画像フレームを構成するフィールドの偶数列と現画像ブロックの奇数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、フィールド比較器は、演算手段の第１の演算結果と、演算手段の第２の演算結果とにもとづいてフィールド動きベクトルを検出することが好ましい。
また、第５の動きベクトル検出装置において、ｎ個の参照画像記憶装置は、参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、演算手段は、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの偶数列との間で予測誤差を算出する第１の演算と、参照画像フレームを構成するフィールドの偶数列と現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、フィールド比較器は、演算手段の第１の演算結果と、演算手段の前記第２の演算結果とにもとづいてフィールド動きベクトルを検出するものであることを特徴とする。
本発明の第１の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについての参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成する奇数または偶数フィールドの画素データと、現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、各組み合わせにおける１つの組み合わせについて算出されたフィールド単位での複数の予測誤差を保持しておいて、１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた複数の予測誤差のうちの対応する１つの予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする。
第１の動きベクトル検出方法によると、順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。
第１の動きベクトル検出方法において、フレーム動きベクトルを算出するステップは、参照画像フレームの画素データまたは現画像ブロックの画素データが保持されている領域に上書きすることによって、各組み合わせにおける１つの組み合わせについて算出された複数の予測誤差を保持するステップを含むことが好ましい。
このようにすると、フィールド単位で算出された予測誤差を一時格納する手段として、現画像ブロックの画素データまたは参照画像フレームの画素データを格納していた領域を再利用することにより、記憶装置を別途設ける必要がなくなるので、ハードウェア規模をさらに削減することができる。
第２の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成する奇数または偶数フィールドの画素データと、現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた１つの候補ベクトルに対する予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする。
第２の動きベクトル検出方法によると、順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フレーム動きベクトルの算出の際には１つの候補ベクトルに対する予測誤差を保持しておけば足りるので、ハードウェア規模を削減できる。
第３の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像の画素データとに基づいて、参照画像フレームのｎ列毎またはｎ行毎に間引かれた部分画像の画素データと、現画像ブロックのｎ列毎またはｎ行毎に間引かれた部分画像の画素データとの各組み合わせについて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた１つの候補ベクトルに対する予測誤差とに基づいて、フィールド動きベクトルを算出するステップとを含むことを特徴とする。
第３の動きベクトル検出方法によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像と、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像とを用いて順次算出された部分画像の各候補ベクトルに対する予測誤差に基づいて、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。従って、簡単に間引き演算に対応可能であって且つ探索範囲および動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。
第４の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像のうちのいずれか１つの部分画像の画素データとに基づいて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、順次算出される予測誤差に基づいてフィールド動きベクトルを算出するステップとを含むことを特徴とする。
第４の動きベクトル検出方法によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像を用いて、現画像ブロックのｎ列毎の部分画像またはｎ行毎の部分画像のうちいずれか一方の部分画像の各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。従って、第１から第３の動きベクトル検出方法に比べて演算を行う組み合わせの数が大幅に削減されるにも関わらず高い演算効率の保持を実現できるため、動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。これにより、動きベクトルの検出に必要な処理時間をおよそ半分に低減することができる。
【図面の簡単な説明】  図１は本発明の第１の実施形態に係る動きベクトル検出装置の構成例を示す図である。
図２は第１の実施形態に係る演算装置の内部構成例を示す図である。
図３は第１の実施形態に係るプロセッサエレメントの構成例を示す図である。
図４は第１の実施形態に係る現画像フレームブロックと参照画像フレームにおける探索範囲との関係を示す図である。
図５は現画像フレームブロックと参照画像フレームとの関係を示す図である。
図６（ａ）〜（ｃ）は、第１の実施形態に係る候補ベクトル領域における分割方法を説明するための図である。
図７は第１の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
図８は第１の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
図９は本発明の第２の実施形態に係る動きベクトル検出装置の構成例を示す図である。
図１０は第２の実施形態に係る演算装置の内部構成例を示す図である。
図１１は第２の実施形態に係るプロセッサエレメントの構成例を示す図である。
図１２は本発明の第３の実施形態に係る動きベクトル検出装置の構成例を示す図である。
図１３は第３の実施形態に係る演算装置の内部構成例を示す図である。
図１４（ａ）〜（ｃ）は、第３の実施形態に係る候補ベクトル領域の分割方法を説明するための図である。
図１５は第３の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
図１６Ａは第３の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
図１６Ｂは第３の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
図１７は第４の実施形態における現画像奇数フィールドと参照画像奇数フィールドとの関係を示す図である。
図１８は第４の実施形態に係る動きベクトル検出装置の構成例を示す図である。
図１９（ａ）〜（ｃ）は、第４の実施形態に係る候補ベクトル領域の分割方法を説明するための図である。
図２０は第４の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
図２１Ａは第４の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
図２１Ｂは第４の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
図２２は第４の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
図２３は第５の実施形態に係る動きベクトル検出装置の構成例を示す図である。
図２４（ａ）〜（ｃ）は、第５の実施形態に係る候補ベクトル領域の分割方法を説明するための図である。
図２５は第５の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
図２６は第５の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
【発明を実施するための最良の形態】  以下、本発明の各実施形態について、図面を参照しながら説明する。
なお、各実施形態で参照する各図面相互間において、同一または相当する部分には同一の符号を付しており、その説明は同様である。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る動きベクトル検出装置１００の構成例を示す図である。
図１に示す動きベクトル検出装置１００は、参照画像奇数フィールド記憶装置１０１、参照画像偶数フィールド記憶装置１０２、現画像記憶装置１０３、参照画像パリティ選択手段１０４および１０５（演算手段に含まれる）、演算装置１０６（演算手段に含まれる）、画像データ制御装置１０７、フィールド比較器１０８、ＡＥ記憶装置１０９、加算器１１０、およびフレーム比較器１１１を有している。
また、図２は、図１に示した演算装置１０６の内部構成例を示す図である。
図２に示す演算装置１０６は、プロセッサエレメントＰＥ０〜ＰＥ８、参照画像制御装置２０１、現画像制御装置２０２、現画像データ入力２０３、参照画像データ入力２０４および２０５、参照画像データ選択手段２０６ａ〜２０６ｉ、起動信号入力２０７、およびＡＥ出力２０８を有している。
さらに、図３は、図２に示した各プロセッサエレメントＰＥ０〜ＰＥ８の内部構成例を示す図である。
図３に示すプロセッサエレメントＰＥ０〜ＰＥ８の一例は、現画像レジスタ３０１、絶対値差分演算装置３０２、加算器３０３、ＡＥレジスタ３０４、現画像入力選択手段３０５、現画像データ入力３０６、参照画像データ入力３０７、現画像制御信号入力３０８、累積絶対値差分和入力３０９、およびＡＥ出力３１０を有している。
なお、以下では、例として、図４に示すように、フレーム構造における現画像フレームブロック４ａのサイズを３×６画素、参照画像フレームにおける探索範囲４ｂを８×１０画素として説明する。なお、図中、探索範囲４ｂ内に候補ベクトルの領域を示している。また、これをフィールド単位で見ると、図５に示すようになる。つまり、図４で示した現画像フレームブロック４ａは、現画像奇数フィールドブロック５ａと現画像偶数フィールドブロック５ｂとで表せる。また、図４で示した参照画像フレームブロック４ｂは、参照画像奇数フィールドブロック５ｃと参照画像偶数フィールドブロック５ｄとで表せる。
図１に示すように、第１の実施形態における動きベクトル検出装置１００において、参照画像奇数フィールド記憶装置１０１には参照画像データとして参照画像フレームにおける探索範囲４ｂを含む奇数フィールドの画素データ（以下、奇数フィールド画素データという）が格納されている。また、参照画像偶数フィールド記憶装置１０２には参照画像データとして参照画像フレームにおける探索範囲４ｂを含む偶数フィールドの画素データ（以下、偶数フィールド画素データという）が格納されている。現画像記憶装置１０３には現画像データとして現画像ブロックの画素データが格納されている。
画像データ制御装置１０７からのパリティ制御信号によって制御される参照画像パリティ選択手段１０４および１０５は、参照画像奇数フィールド記憶装置１０１に記憶された奇数フィールド画素データと参照画像偶数フィールド記憶装置１０２に記憶された偶数フィールド画素データとのいずれのデータを演算装置１０６に供給するかを決定する。つまり、画像データ制御装置１０７は、参照画像奇数フィールド記憶装置１０１および参照画像偶数フィールド記憶装置１０２を、パリティ制御信号によって制御する。また、画像データ制御装置１０７は、制御信号によって現画像記憶装置１０３から出力されるデータを制御し、図２に示した演算装置１０６内の参照画像制御装置２０１と現画像制御装置２０２とに対する起動信号を生成し、さらには制御信号によってＡＥ記憶装置１０９を制御する。
演算装置１０６は、入力された参照画像データと現画像データとをもとに、パイプライン処理を用いて、フィールド単位で各候補ベクトルに関するＡＥを順次算出する。
図２に示すように、演算装置１０６は１フィールド分の現画像ブロックの画素数に等しい数のプロセッサエレメントＰＥ０〜ＰＥ８を備える。また、参照画像制御装置２０１は各プロセッサエレメントＰＥ０〜ＰＥ８に供給される参照画像データを制御する。さらに、現画像制御装置２０２は、図３に示す各プロセッサエレメントＰＥ０〜ＰＥ８内に入力される現画像データを制御する。
図３に示すように、演算装置１０６を構成する各プロセッサエレメントＰＥ０〜ＰＥ８は、現画像ブロックの１フィールド分のデータを１画素ずつレジスタ３０１に保持し、次に参照画像の画素データをクロックサイクル毎に受ける。そして、差分絶対値演算装置３０２は１画素分の絶対値差分和を算出する。加算器３０３は差分絶対値演算装置３０２からの絶対値差分和に前段のプロセッサエレメントからの出力を加算し、一旦ＡＥレジスタ３０４に格納した後、その結果を１サイクル後に後段のプロセッサエレメントに出力する。すなわち、各プロセッサエレメントＰＥ０〜ＰＥ８はいわゆるカスケード接続の構成をとっている。
演算装置１０６から順次出力されたＡＥは、フィールド比較器１０８において最小の値となるものが選択される。また、演算装置１０６から順次出力されたＡＥはＡＥ記憶装置１０９に一時格納され、一時格納されたＡＥは、対応する候補ベクトルの異フィールドでのＡＥが後に演算装置１０６から出力されるタイミングにあわせてＡＥ記憶装置１０９から出力され、加算器１１０において加算される。これにより、順次フレーム単位の各候補ベクトルのＡＥが算出され、フレーム比較器１１１においてフレーム単位での最小のＡＥが選択される。
ＡＥ記憶装置１０９は、１フィールド分の全候補ベクトルに対するＡＥを格納できる容量をもつ。これにより、演算装置１０６はフィールド単位のみでの一連のＡＥを演算するという構成をとることが可能になる。
ここでは、現画像フィールドブロックと参照画像フィールドのパリティの１つの組み合わせにおける演算を、２つのステップに分けて行う。
図６は、奇数フィールドを例にした探索範囲における各候補ブロックの探索順序を示す図である。図６（ｂ）および（ｃ）において、各候補ブロック中の左上隅の画素をその候補ブロックの代表点とし、代表点の動きを示す矢印によって候補ブロックの探索順序を表している。また、以下では、左上隅を代表点とする候補ベクトル（０，０）を座標（Ａ０，０）で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
まず、図６（ａ）に示すように、候補ベクトル領域を、現画像フレームブロッの水平方向画素数分（つまり３画素分）だけの幅をもつ複数の領域に分割する。
はじめに、左側の領域ａ１について、左上の候補ブロックから始めて、水平方向に３個の候補ブロックを順に処理する。次に、垂直方向に１段下がって左端から水平方向に３個の候補ブロックを処理する。このような処理を、図６（ｂ）に示す通り、３回繰り返すことによって９個の候補ブロックを処理する（ステップ１）。
次に、右側の領域ａ２について、左上に位置する（Ａ３，０）を代表点とする候補ブロックから始め、図６（ｃ）に示す通りの順序で残り９個の候補ブロックを処理する（ステップ２）。
現画像と参照画像の奇数フィールドおよび偶数フィールド全てとの組み合わせについて、同様の順序で探索を行う。
以下、本発明の第１の実施形態における動きベクトル検出装置１００の動作について説明する。
図７は、本発明に係る動きベクトル検出装置１００に含まれる構成要素の時間毎におけるデータのパリティを示す図である。
動きベクトル検出装置１００の動作について、現画像ブロックのフィールドと参照画像のフィールドとのパリティの組み合わせによって、図７に示すような４つのステージに分けて説明する。
＜ステージ１＞
ステージ１では、図７に示すように、現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとの組み合わせにおける演算（第１の演算に対応する）を行う。
まず、現画像記憶装置１０３に格納されている現画像奇数フィールドブロック５ａについての奇数フィールド画素データを演算装置１０６に供給する。
図２に示すように、現画像入力２０３から入力される現画像データは全プロセッサエレメントＰＥ０〜ＰＥ８に入力されており、現画像制御装置２０２から制御される各プロセッサエレメントＰＥ０〜ＰＥ８内のそれぞれの現画像入力選択手段３０５によって、入力された現画像データをレジスタ３０１に格納するかレジスタの値を保持し続けるかが選択される。
現画像データとして、図５の右側中段に示す現画像奇数フィールドブロック５ａの各画素データＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…、Ｘ１，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…、ＰＥ８のレジスタ３０１に格納され、ステージ１での全探索ポイントにおけるＡＥの算出が終了するまで保持され続ける。
また、図１に示した参照画像パリティ選択手段１０４および１０５は、それぞれ画像データ制御装置１０７からのパリティ制御信号によって、参照画像奇数フィールド記憶装置１０１からの参照画像奇数フィールド５ｃの２つの奇数フィールド画素データが、演算装置１０６における参照画像入力２０４と２０５とに供給されるように動作する。
図２に示すように、参照画像制御装置２０１によって制御される各参照画像データ選択手段２０６ａ〜２０６ｉは、参照画像入力２０４と２０５とから供給された２つの参照画像データのうち各プロセッサエレメントＰＥ０〜ＰＥ８に使用させるデータを選択する。
次に、一連のＡＥを求める動作について、図８を参照しながら具体的に説明する。
図８は、演算装置１０６において実現されるパイプライン処理を説明するための図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ８が要求する参照画像データを示している。
まず、１サイクル目（Ｃ０）において、参照画像奇数フィールド記憶装置１０１から（Ａ０，０）の画素データが出力され、参照画像入力２０４を通して演算装置１０６に入力される。演算装置１０６において、プロセッサエレメントＰＥ０に接続された参照画像データ選択手段２０６ａは、参照画像入力２０４を選択する。なお、それ以外のプロセッサエレメントＰＥ１〜ＰＥ８は、その演算結果が無効となるため、参照画像入力２０４と２０５とのどちらを選択しても構わない。
同様に、２サイクル目（Ｃ１）において、プロセッサエレメントＰＥ０とＰＥ１に（Ａ１，０）の画素データが入力され、３サイクル目（Ｃ２）ではプロセッサエレメントＰＥ０、ＰＥ１、およびＰＥ２に（Ａ２，０）の画素データが入力される。
４サイクル目（Ｃ３）において、参照画像奇数フィールド記憶装置１０１から（Ａ０，１）と（Ａ３，０）の２つの画素データが出力され、それぞれ参照画像入力２０４、２０５から演算装置１０６に入力される。演算装置１０６において、プロセッサエレメントＰＥ０、ＰＥ３にそれぞれ接続された参照画像データ選択手段２０６ａ、２０６ｄは参照画像入力２０４をそれぞれ選択する。また、プロセッサエレメントＰＥ１、ＰＥ２にそれぞれ接続された参照画像データ選択手段２０６ｂ、２０６ｃは参照画像入力２０５をそれぞれ選択する。
このように、演算装置１０６への入力を２系統設けることにより、同時に２個のデータが必要となる場合に対応することができる。また、図６に示した探索順に従って参照画像データを供給していくことにより、パイプライン処理を中断することなく、演算装置１０６が同時に必要とするデータ数を最大でも２個に抑えることが可能となる。
それ以降の時間においても、図７に示すように、順次プロセッサエレメントＰＥ０〜ＰＥ８に必要な画素データを供給していくことにより、候補ブロックの絶対値差分和が累積されていく。その結果、演算装置１０６は、１０サイクル目（Ｃ９）から１８サイクル目（Ｃ１７）にかけて、ステップ１における各候補ベクトル（０，０）〜（２，２）のそれぞれに対応した候補ブロックのＡＥを連続して出力する。この間、各プロセッサエレメントＰＥ０〜ＰＥ８に入力される２つのデータを適応的に選択することにより、連続した演算が可能となる。
ステップ１の演算が終了した後引き続き、図８に示すように、各プロセッサエレメントＰＥ０〜ＰＥ８に必要な画素データを供給し、ステップ２の演算を行う。これにより、現画像の奇数フィールドブロックと参照画像の奇数フィールドとの組み合わせにおける全探索ポイントにおけるＡＥの算出が終了する。
順次算出された現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとのＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ１を求めるためにその最小のものが選ばれる。また、画像データ制御装置１０７からの制御信号によって、ＡＥ記憶装置１０９は全てのＡＥを格納する。
＜ステージ２（第２のステージに対応する）＞
ステージ２では、図７に示すように、現画像偶数フィールドブロック５ｂと参照画像偶数フィールド５ｄとの組み合わせにおける演算（第２の演算に対応する）を行う。
まず、現画像記憶装置１０３に格納されている現画像偶数フィールドブロック５ｂについての偶数フィールド画素データを演算装置１０６に供給する。
現画像データとして、図５の右側下段に示す現画像偶数フィールドブロック５ｂの各画素データＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…、Ｙ１，２、Ｙ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…、ＰＥ８のレジスタ３０１に格納され、ステージ２での全探索ポイントにおけるＡＥの算出が終了するまで保持され続ける。
次に、演算装置１０６は、参照画像偶数フィールド５ｄの参照画像データを供給し、演算を行う。このとき、図１に示した参照画像パリティ選択手段１０４と１０５は、参照画像偶数フィールド記憶装置１０２から出力された参照画像偶数フィールド５ｄについての偶数フィールド画素データが演算装置１０６に供給されるように動作する。これにより、参照画像偶数フィールド５ｄについての偶数フィールド画素データが演算装置１０６に入力され、ステージ１と同様にして全探索ポイントにおけるＡＥが求められる。
順次算出された現画像偶数フィールドブロック５ｂと参照画像偶数フィールド５ｄとの組み合わせにおけるＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ２を求めるためにその最小のものが選ばれる。また、全てのＡＥは加算器１１０に入力される。
また、ステージ１においてＡＥ記憶装置１０９に格納された現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとの組み合わせにおけるＡＥが、画像データ制御装置１０７からの制御信号にもとづいて、演算装置１０６から順次出力されるＡＥとタイミングをあわせてＡＥ記憶装置１０９から出力され、加算器１１０に入力される。
加算器１１０では、入力された２つのＡＥを加算することにより、順次フレーム単位でのＡＥを算出する。この各ＡＥは、フレームにおける縦方向偶数ラインに対応した候補ベクトルのＡＥとなる。
そして、フレーム比較器１１１は、算出されたＡＥを入力し、フレーム動きベクトルＭＶを求めるためにその最小の値を選び、保持する。
＜ステージ３＞
ステージ３では、図７に示すように、演算装置１０６内の現画像データを現画像偶数フィールドブロック５ｂのものに保ったまま、ステージ１と同様に、供給する参照画像データを再び参照画像奇数フィールド５ｃのものに切り替えて一連の演算（第３の演算に対応する）を行う。そして、現画像偶数フィールドブロック５ｂと参照画像奇数フィールド５ｃとのＡＥを算出する。算出されたＡＥは、ステージ１と同様に、フィールド比較器１０８に入力され、保持されているステージ２の結果を加味してフィールド動きベクトルＭＶ２が求められる。また、算出されたＡＥは、ＡＥ記憶装置１０９へ格納される。
＜ステージ４＞
ステージ４では、図７に示すように、再び現画像奇数フィールドブロック５ａの画素データを演算装置１０６に供給し、参照画像データとして再び参照画像偶数フィールド５ｄの画素データを使用することにより、現画像奇数フィールドブロック５ａと参照画像偶数フィールド５ｄとの組み合わせにおける演算（第４の演算に対応する）を行う。同様にして算出されたＡＥは、ステージ２と同様に、フィールド比較器１０８に入力され、ステージ１の結果を加味してフィールド動きベクトルＭＶ１が求められる。また、算出されたＡＥは、加算器１１０において、ＡＥ記憶装置１０９からタイミングをあわせて読み出されたステージ３での演算結果である対応する現画像偶数フィールドブロック５ｂと参照画像奇数フィールド５ｃとのＡＥに加算され、フレーム単位のＡＥが算出される。このＡＥは、フレームにおける縦方向奇数ラインに対応した候補ベクトルのＡＥとなる。
そして、このフレーム単位でのＡＥはフレーム比較器１１１に入力され、保持されているステージ２の結果を加味してフレーム動きベクトルＭＶが求められる。
以上のように、本実施形態によると、現画像と参照画像の偶数フィールドおよび奇数フィールドとの全組み合わせを時分割で処理することによって、フレーム動きベクトルＭＶ、フィールド動きベクトルＭＶ１、およびフィールド動きベクトルＭＶ２の合計３本のベクトルを求める。このようにして、回路規模が削減された動きベクトル検出装置の提供が可能となる。加えて、パイプライン処理を用いているために、高い効率で演算を行うことができる。
なお、上記第１の実施形態においては、演算開始前にあらかじめ現画像データを演算装置１０６へ供給したが、本実施形態はこれに限る趣旨ではない。つまり、例えば供給する画素データが現画像奇数フィールドブロック５ａの場合はＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…、Ｘ１，２、Ｘ２，２の順に、また現画像偶数フィールドブロック５ｂの場合はＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…Ｙ１，２、Ｙ２，２の順に演算装置１０６に供給するようにし、現画像データと参照画像データとの演算装置１０６への供給のタイミングをあわせることにより、現画像の画素データの供給と演算とを同時に実行することができ、処理時間を短縮することが可能となる。
（第２の実施形態）
図９は、本発明の第２の実施形態に係る動きベクトル検出装置２００の構成例を示す図である。
なお、以下では、第１の実施形態と同様に、上記図４および図５で示した現画像フレームブロックと参照画像フレームとを例にして説明する。
図９に示す動きベクトル検出装置２００は、現画像記憶装置１１２、画像データ制御装置１１３、演算装置１１４（演算手段に対応する）を有し、その他の構成要素は第１の実施形態と同じものである。
また、図１０は、図９に示した演算装置１１４の内部構成例を示す図である。
図１０に示す演算装置１１４は、１フィールド分の候補ブロックの画素数に等しい数のプロセッサエレメントＰＥ０〜ＰＥ８、現画像制御装置２０９、現画像パリティ制御信号入力２１０を有し、その他の構成要素は第１の実施形態と同じものである。
さらに、図１１は、図１０に示した各プロセッサエレメントＰＥ０〜ＰＥ８の内部構成例を示す図である。
図１１に示すプロセッサエレメントＰＥは、第２の現画像レジスタ３１１、第２の現画像入力選択手段３１２、現画像パリティ選択装置３１３、第２の現画像制御信号入力３１４、現画像パリティ制御入力３１５を有し、その他の構成要素は第１の実施形態と同じものである。
図９に示す現画像記憶装置１１２には、第１の実施形態と同様、現画像フレームブロックの画素データが格納されている。また、画像データ制御装置１１３からのパリティ制御信号は、演算装置１１４にも入力されている。
演算装置１１４は、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、フィールド単位で各候補ベクトルに関するＡＥを順次算出する。
図１１に示す各プロセッサエレメントＰＥ０〜ＰＥ８の一例は、現画像データの一のフィールドと他のフィールドの両方の画像データを２つの現画像レジスタ３０１および３１１で保持し、演算時にそのどちらを用いるかを選択できるように構成されている。その動作は、データの保持時には現画像制御装置２０９からの制御信号によって、またデータの演算時には画像データ制御装置１１３からの制御信号によって制御される。各プロセッサエレメントＰＥ０〜ＰＥ８は、カスケード接続の構成をとっており、現画像パリティ選択装置３１３によって選択された現画像データとクロックサイクル毎に受ける参照画像の画素データとの絶対値差分和を差分絶対値演算装置３０２によって算出する。そして、加算器３０３において、累積絶対値差分和入力３０９を通して入力される前段のプロセッサエレメントＰＥからの絶対値差分和に加算し、その結果を１サイクル後に後段のプロセッサエレメントＰＥに出力する。
演算装置１１４から順次出力されたＡＥは、フィールド比較器１０８において最小の値となるものが選択される。また、演算装置１１４から順次出力されたＡＥは、格納されている現画像データに上書きする形で現画像記憶装置１１２に一時格納される。
現画像記憶装置１１２に格納されたＡＥは、対応する候補ベクトルの異フィールドでのＡＥが演算装置１１４から出力されるタイミングにあわせて、画像データ制御装置１１３からの制御信号を受けて現画像記憶装置１１２から出力され、加算器１１０で加算される。これにより、順次フレーム単位の各候補ベクトルに関するＡＥが算出され、フレーム比較器１１１においてフレーム単位での最小のＡＥが選択される。
ここで、現画像記憶装置１１２は、少なくとも現画像ブロックの全画素データと、１フィールド分の全候補ブロックに対するＡＥとのいずれか大きい方を格納できるだけの容量をもつ。
このように、フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として、現画像データを格納する現画像記憶装置１１２を再利用する。これにより、新たな記憶装置を設ける必要なくなり、ハードウェア規模の削減をより達成し、さらには回路化を容易にする。また、フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として、参照画像奇数フィールド記憶装置１０１または参照画像偶数フィールド記憶装置１０２を再利用することにより、ハードウェア規模の削減を実現することもできる。
以下、本発明の第２の実施形態の動作について説明する。
なお、候補ブロックの探索順序は、第１の実施形態と同様に、上記図６に示した探索順と同様である。
まず、現画像記憶装置１１２に格納されている現画像ブロックの画素データを演算装置１１４に供給する。
図１０に示すように、現画像入力２０３から入力される現画像データは全プロセッサエレメントＰＥ０〜ＰＥ８に入力され、現画像制御装置２０９から制御される各プロセッサエレメントＰＥ０〜ＰＥ８内のそれぞれの現画像入力選択手段３０５および３１２によって、入力された現画像の画素データをレジスタ３０１または３１１に格納するかどうかが選択される。
現画像データとして、図５の右側中段に示す現画像奇数フィールドブロック５ａの各画素データＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…、Ｘ１，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…、ＰＥ８の現画像レジスタ３０１に格納され、また現画像偶数フィールドブロック５ｂの各画素データＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…、Ｙ１，２、Ｙ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…、ＰＥ８の現画像レジスタ３１１に格納され、ＡＥの算出が全て終了するまで保持され続ける。このため、現画像記憶装置１１２は、演算装置１１４に格納されていたデータを保持し続ける必要はない。
次に、参照画像データを演算装置１１４へ供給し、一連のＡＥを求める動作について説明する。その動作の流れは、上記図７で示した第１の実施形態と同様である。以下、各ステージに分けて説明する。
＜ステージ１＞
まず、画像データ制御装置１１３が現画像パリティ制御信号によって現画像パリティ選択装置３１３を制御することによって、演算装置１１４内の全てのプロセッサエレメントＰＥ０〜ＰＥ８は、現画像データとして現画像レジスタ３０１に格納された現画像奇数フィールドブロック５ａのデータを用いる。そして、第１の実施形態における図８の場合と同様にして、参照画像奇数フィールド５ｃについての奇数フィールド画素データを演算装置１１４に供給することにより、ステージ１の演算（第１の演算に対応する）を行う。
順次算出された現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとのＡＥは、フィールド比較器１０８に入力される。フィールド比較器１０８は、フィールド動きベクトルＭＶ１を求めるためにその最小のものを選択し、保持する。また、順次算出された全てのＡＥは、画像データ制御装置１１３からの制御信号によって、その全てが現画像記憶装置１１２における、既に演算装置１１４に供給された現画像データを格納する領域に上書きする形で、一時格納される。
＜ステージ２＞
次に、画像データ制御装置１１３が現画像パリティ制御信号によって現画像パリティ選択装置３１３を制御することによって、演算装置１１４内の全てのプロセッサエレメントＰＥ０〜ＰＥ８は、現画像データとして現画像レジスタ３１１に格納された現画像偶数フィールドブロック５ｂのデータを用いる。そして、第１の実施形態における図８の場合と同様にして、参照画像偶数フィールド５ｄについての偶数フィールド画素データを演算装置１１４に供給することにより、ステージ２の演算（第２の演算に対応する）を行う。
順次算出された現画像偶数フィールドブロック５ｂと参照画像偶数フィールド５ｄとの組み合わせにおけるＡＥは、フィールド比較器１０８に入力される。フィールド比較器１０８は、フィールド動きベクトルＭＶ２を求めるためにその最小のものを選択し、保持する。また、上記順次算出された全てのＡＥは加算器１１０に入力される。
また、現画像記憶装置１１２は、画像データ制御装置１１３からの制御信号を受けることによって、ステージ１において格納した現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとのＡＥを、演算装置１１４から順次出力されるＡＥとタイミングをあわせて出力し、加算器１１０に入力する。
加算器１１０は、入力された２つのＡＥを加算することにより、順次フレーム単位でのＡＥを算出する。これらの各ＡＥは、フレームでの縦方向偶数ラインに対応した候補ベクトルのＡＥとなる。
そして、フレーム比較器１１１は、加算器１１０で算出されたＡＥを入力し、フレーム動きベクトルＭＶを求めるためにその最小の値を選択し、保持する。
＜ステージ３＞
続いて使用する現画像データとして、現画像偶数フィールドブロック５ｂの画素データに保ったまま、ステージ１と同様に、供給する参照画像データを再び参照画像奇数フィールド５ｃの画素データに切り替えてステージ３の演算（第３の演算に対応する）を行う。算出されたＡＥはステージ１と同様にフィールド比較器１０８に入力され、フィールド比較器１０８は保持しているステージ２の結果を加味してフィールド動きベクトルＭＶ２を求める。また、算出されたＡＥは現画像記憶装置１１２へ格納される。
＜ステージ４＞
さらに、ステージ１と同様に、使用する現画像データとして現画像奇数フィールドブロック５ａの画素データに切り替え、参照画像データとして再び参照画像偶数フィールド５ｄの画素データを使用することによって、ステージ４の演算（第４の演算に対応する）を行う。算出されたＡＥはステージ２と同様にフィールド比較器１０８に入力され、フィールド比較器１０８はステージ１の結果を加味してフィールド動きベクトルＭＶ１を求める。また、加算器１１０は、タイミングをあわせて現画像記憶装置１１２から読み出されたステージ３で算出したＡＥに加算し、フレーム単位のＡＥを算出する。このＡＥは、フレームにおける縦方向奇数ラインに対応した候補ベクトルのＡＥとなる。そして、算出されたフレーム単位のＡＥはフレーム比較器１１１に入力され、フレーム比較器１１１において、保持されているステージ２の結果を加味してフレーム動きベクトルＭＶが求められる。
以上のように、本実施形態によると、現画像と参照画像の偶数フィールドおよび奇数フィールドとの全組み合わせを時分割で処理することにより、フレーム動きベクトルＭＶ、フィールド動きベクトルＭＶ１およびフィールド動きベクトルＭＶ２の計３本のベクトルを求める。フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として、現画像データを格納する現画像記憶装置１１２を再利用する。これにより、新たな記憶装置を設ける必要なくなり、ハードウェア規模の削減をより達成し、さらには回路化を容易にする。
なお、本実施形態において、フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として現画像記憶装置１１２を再利用する場合について説明したが、参照画像奇数フィールド記憶装置１０１または参照画像偶数フィールド記憶装置１０２を再利用することによっても、ハードウェア規模の削減を実現することもできる。
また、本実施形態において、現画像データの演算装置１１４への供給順を特に指定しなかったが、以下のように実行することもできる。すなわち、現画像データを、参照画像データの演算装置１１４への供給のタイミングにあわせ、現画像奇数フィールドブロック５ａの場合はステージ１においてＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…、Ｘ１，２、Ｘ２，２の順にプロセッサエレメントＰＥ内のレジスタに供給しつつ演算を行う。そして、その演算結果を現画像偶数フィールドブロック５ｂの画素データを上書きしないように現画像記憶装置１１２に格納する。また、現画像偶数フィールドブロック５ｂの場合はステージ２においてＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…、Ｙ１，２、Ｙ２，２の順に演算装置１１４に供給しつつ演算を行う。このようにすることで、現画像の画素データの供給と演算とを同時に実行することができ、全体の処理時間を短縮することが可能となる。
また、上記第１および第２の実施形態では、参照画像と現画像のフィールドとの組み合わせについて、（奇数−奇数）、（偶数−偶数）、（奇数−偶数）、（偶数−奇数）の順で行ったが、必ずしもこの順に従う必要はない。すなわち、同じパリティのフィールド同士の組み合わせにおけるステージと、異なるパリティのフィールド同士の組み合わせにおけるステージとが、それぞれ連続になるように処理しさえすればよい。
（第３の実施形態）
図１２は、本発明の第３の実施形態に係る動きベクトル検出装置３００の構成例を示す図である。
なお、以下では、第１の実施形態と同様に、上記図４および図５で示した現画像フレームブロックと参照画像フレームとを例にして説明する。
図１２に示す動きベクトル検出装置３００は、画像データ制御装置１１５、演算装置１１６（演算手段に対応する）、１つの探索ポイントにおけるＡＥ（１つの候補ベクトルに対する予測誤差）を格納できるレジスタ１１７を有し、その他の構成要素は第１の実施形態と同じものである。
図１３は、図１２に示した演算装置１１６の内部構成例を示したものであり、候補ブロックの１フィールド分の画素数に等しい数のプロセッサエレメントＰＥを有し、各プロセッサエレメントＰＥ０〜ＰＥ８は、第２の実施形態で用いた図１１に示すものと同じものである。図１３に示す演算装置１１６は、参照画像制御装置２１１、現画像制御装置２１２、参照画像奇数フィールドデータ入力２１３ａおよび２１３ｂ、参照画像偶数フィールドデータ入力２１４ａおよび２１４ｂ、参照画像データ選択手段２１５ａ〜２１５ｉを有し、その他の構成要素は第２の実施形態と同じものである。
本実施形態では、参照画像奇数フィールド記憶装置１０１、参照画像偶数フィールド記憶装置１０２は、参照画像奇数フィールドの画素データ、参照画像偶数フィールドの画素データをそれぞれ２つずつ演算装置１１６にそのまま供給する。
演算装置１１６は、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、フィールド単位で各候補ベクトルに関するＡＥを順次算出する。
演算装置１１６において、画像データ制御装置２１５と参照画像制御装置２１１とからの制御信号によって、偶数番号のプロセッサエレメントＰＥと奇数番号のプロセッサエレメントＰＥとは、それぞれ異なるパリティについての演算を交互に行うように動作する。各プロセッサエレメントＰＥ０〜ＰＥ８はカスケード接続の構成をとっているので、このように動作させることによって、演算装置１１６は、異なるパリティの組み合わせにおけるＡＥを１サイクル毎に交互に出力する。
演算装置１１６から出力されたＡＥはフィールド比較器１０８に入力される。フィールド比較器１０８は最小の値となるものを選択する。また、演算装置１１６から出力されたＡＥはレジスタ１１７に一時格納される。
レジスタ１１７に一時的に格納されたＡＥは、次のクロックサイクルにおいてレジスタ１１７から出力し、加算器１１０に入力する。加算器１１０は、演算装置１１６から出力される対応する異パリティの組み合わせでのＡＥと加算することによってフレーム単位のＡＥを算出し、フレーム比較器１１１に入力する。そして、フレーム比較器１１１はフレーム単位での最小のＡＥを決定する。
このように、各プロセッサエレメントＰＥ０〜ＰＥ８をクロックサイクル毎に使い分け、異なるパリティのフィールドに対するＡＥを演算装置１１６から交互に出力させることによって、余分な記憶装置を用いることなく、レジスタ１個の追加のみでフレーム動きベクトルＭＶを求めることができ、ハードウェア規模の削減と共に、回路化が容易になる。
ここで、各候補ブロックの探索順について図１４を参照しながら説明する。
図１４は、図５に示した参照画像奇数フィールド５ｃを例にした探索範囲内の各候補ブロックの探索順序を表している。また、以下では、左上隅を代表点とする候補ベクトル（０，０）を座標（Ａ０，０）で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
図１４（ａ）に示すように、候補ベクトルの領域を現画像フレームブロックの水平方向画素分（つまり３画素分）だけの幅をもつ複数の領域に分割する。
まず、図１４（ｂ）に示すように、左側の領域ａ１について、左上の候補ブロックから開始して１行ずつ下りながら水平方向に順に番号をつけていったときに、奇数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ１）。
次に、同様に、図１４（ｃ）に示すように、左側の領域ａ１について、偶数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ２）。
さらに、右側の領域ａ２についても同様に、奇数番号（ステップ３）、偶数番号（ステップ４）の順に処理する。
以下、本発明の第３の実施形態に係る動きベクトル検出装置３００の動作について説明する。
まず、第２の実施形態と同様にして、現画像記憶装置１０３に格納されている現画像フレームブロックの画素データを演算装置１１６に供給する。
次に、一連のＡＥを求める動作について説明する。
図１５は、本実施形態における動きベクトル検出装置３００に含まれる各構成要素の時間毎におけるデータのパリティを示す図である。
一連のＡＥを求める動作は、現画像フィールドブロックと参照画像フィールドの同パリティ同士、および現画像フィールドブロックと参照画像フィールドの異パリティ同士の２つのステージに分けて行われる。以下、各ステージに分けて説明する。
＜ステージ１（第１のステージに対応する）＞
ステージ１では、図１５に示すように、現画像フィールドブロックと参照画像フィールドとについて、奇数フィールド同士の組み合わせ（第１の演算の対象となる組み合わせ）と偶数フィールド同士の組み合わせ（第２の演算の対象となる組み合わせ）についてのそれぞれのＡＥが交互に出力されるように、全探索ポイントにおける演算を行う。
ここで、一連のＡＥを求める動作について、図１６Ａおよび図１６Ｂを参照しながら具体的に説明する。
図１６Ａは、演算装置１１６によって実現されるステップ１および２までのパイプライン処理を説明するための図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ８が使用するデータを示している。また、図１６Ａの上段はステージ１における動作、図１６Ａ下段はステージ２における動作を表している。
まず、画像データ制御装置１１５が図１１に示した現画像パリティ選択装置３１３を制御することによって、１サイクル目（Ｃ０）において、演算装置１１６内の偶数番号のプロセッサエレメントＰＥは、現画像データとして現画像レジスタ３０１に格納された現画像奇数フィールドブロック（図５参照、以下同様）の画素データを用い、また奇数番号のプロセッサエレメントＰＥは、現画像レジスタ３１１に格納された現画像偶数フィールドブロック（図５参照、以下同様）の画素データを用いる。以降、クロックサイクル毎に、用いる画素データのパリティが交互になるようにする。
次に、参照画像データの演算装置１１６への供給について説明する。
まず、１サイクル目（Ｃ０）において、参照画像奇数フィールド記憶装置１０１から参照画像奇数フィールド（図５参照、以下同様）の（Ａ０，０）の参照画素データが、図１２に示す演算装置１１６の入力２１３ａから供給される。演算装置１１６において、参照画像制御装置２１１から制御された参照画像データ選択手段２１５ａによって、（Ａ０，０）の画素データがプロセッサエレメントＰＥ０に供給される。なお、その他のプロセッサエレメントＰＥでは、その演算結果は無効となるため、いずれの入力を選択しても構わない。
次に、２サイクル目（Ｃ１）において、参照画像奇数フィールド記憶装置１０１から参照画像奇数フィールドの（Ａ１，０）の参照画素データがプロセッサエレメントＰＥ１に供給される。また、参照画像偶数フィールド記憶装置１０２から参照画像偶数フィールド（図５参照、以下同様）の（Ｂ０，０）の画素データがプロセッサエレメントＰＥ０に供給される。
さらに、３サイクル目（Ｃ２）において、プロセッサエレメントＰＥ０とＰＥ２には参照画像奇数フィールド記憶装置１０１から参照画像奇数フィールドの（Ａ２，０）の画素データが供給される。また、プロセッサエレメントＰＥ１には参照画像偶数フィールド記憶装置１０２から参照画像偶数フィールドの（Ｂ１，０）の画素データが供給される。
次に、４サイクル目（Ｃ３）において、参照画像奇数フィールド記憶装置１０１の２つの出力から参照画像奇数フィールドの（Ａ０，１）、（Ａ３，０）の画素データがそれぞれ出力され、それぞれ演算装置１１６の入力２１３ａ、２１３ｂを通じてプロセッサエレメントＰＥ３、ＰＥ１に供給される。それと同時に、参照画像偶数フィールド記憶装置１０２からの参照画像偶数フィールドの（Ｂ２，０）が出力され、演算装置１１６の入力２１４ａを通じてプロセッサエレメントＰＥ２とＰＥ０に供給される。
このように、各フィールドについて入力を２系統ずつもつことにより、それぞれ同時に２個のデータが必要となる場合に対応する。図１４に示すように参照画像データを供給すれば、パイプライン処理を中断することなく、演算装置１１６が同時に必要とするデータ数を各パリティ毎に最大でも２個に抑えることが可能になる。
それ以降のサイクルについても、順次プロセッサエレメントＰＥ０〜ＰＥ８に必要な画素データを図１６Ａに示すように供給していくことにより、候補ブロックの絶対値差分和が累積されていく。このように、異なるフィールドの演算を各プロセッサエレメントＰＥ０〜ＰＥ８に交互に行わせることにより、奇数フィールド同士の組み合わせと偶数フィールド同士の組み合わせとについて、それぞれの対応するＡＥを演算装置１１６から交互に得ることが可能となる。
そして、１０サイクル目（Ｃ９）において、参照画像と現画像の奇数フィールドの組み合わせにおける候補ベクトル（０，０）に対応した候補ブロックのＡＥが演算装置１１６から出力される。ここで、図１６Ａにおいて、フィールドが奇数のものを”Ｏ”とし、フィールドが偶数のものを”Ｅ”として、算出されたＡＥのパリティを表現している。このＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ１を求めるために使用されると同時に、レジスタ１１７に格納される。
１１サイクル目（Ｃ１０）において、参照画像と現画像の偶数フィールドの組み合わせにおける候補ベクトル（０，０）に対応した候補ブロックのＡＥが演算装置１１６から出力される。このＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ２を求めるために使用される。それと同時に、このＡＥは、加算器１１０において、レジスタ１１７から出力される奇数フィールドの組み合わせでのＡＥに加算され、縦方向偶数ラインに対応したフレーム単位でのＡＥとなる。そして、フレーム比較器１１１において、入力されたフレーム単位でのこのＡＥは、フレーム動きベクトルＭＶを求めるために使用される。
以降、引き続き図１６Ａに従って演算を行うことにより、ステップ１の動作は終了する。そのまま引き続いて、上記ステップ２から４の演算を行うことにより、現画像フィールドブロックと参照画像フィールドの同パリティ同士の組み合わせでの全探索ポイントにおけるＡＥの算出が終了する。
＜ステージ２（ステージ２に対応する）＞
ステージ２では、図１５に示すように、ステージ１と同様の４つのステップからなる探索順に従って、現画像フィールドブロックと参照画像フィールドとについて、異なるパリティのフィールド同士での組み合わせ、つまり現画像フィールドブロックが偶数フィールドで参照画像フィールドが奇数フィールドである組み合わせ（第３の演算に対応する組み合わせ）と現画像フィールドブロックが奇数フィールドで参照画像フィールドが偶数フィールドである組み合わせ（第４の演算に対応する組み合わせ）についての全探索ポイントにおける演算を、図１６Ｂに従って行う。
ただし、現画像フィールドブロックと参照画像フィールドとが異なるパリティ同士の組み合わせの場合、フレーム単位のＡＥを求める際には、垂直方向に１画素分ずらしたものを足し合わせる必要がある。このため、参照画像奇数フィールドにおける上端の行および参照画像偶数フィールドにおける下端の行に関する候補ベクトルは、フレーム単位でのＡＥ算出には使用されない。このため、図１６Ｂに示すように、片方のフィールドのみの演算を行う期間が存在する。
ステージ２においても、上記と同様に演算を行うことによって、ステージ１とステージ２とにおける演算により、フレーム動きベクトルＭＶ、フィールド動きベクトルＭＶ１およびフィールド動きベクトルＭＶ２の計３本のベクトルを求めることができる。
以上のように、本実施形態によると、順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フレーム動きベクトルの算出の際には１つの候補ベクトルに対する予測誤差を保持しておけば足りるので、ハードウェア規模を削減できる。
なお、本実施形態では、ステージ１において現画像フィールドブロックと参照画像フィールドの同パリティ同士の組み合わせについて、（奇数−奇数）の組み合わせが先になるように演算し、その後ステージ２において異なるパリティの組み合わせについて、（偶数−奇数）の組み合わせが先になるよう演算したが、必ずしもこの順で行う必要はない。
また、上記第１〜第３の実施形態においては、フレーム構造におけるフィールド動き補償予測による２本の動きベクトルＭＶ１およびＭＶ２と、フレーム動き補償予測による１本の動きベクトルＭＶの計３本の動きベクトルを求めた。しかしながら、使用するデータをフィールド構造のものにすることで、１６×８動き補償予測による２本の動きベクトルＭＶ１およびＭＶ２と、フィールド動き補償予測による１本の動きベクトルＭＶの計３本の動きベクトルを求めることも可能である。
さらに、上記第１〜第３の実施形態においては、フレーム構造における現画像ブロックサイズを３×６画素、参照画像を８×１０画素として説明したが、現画像ブロックサイズと参照画像の範囲は特にこれに限定するものではない。
（第４の実施形態）
以下の第４の実施形態においては、説明を単純化するために、図１７の最上段に示すように、現画像フレームブロックおよび参照画像フレームの双方が奇数フィールドである組み合わせについてのみ考えるが、この組み合わせに限定されるものではない。また、図１７に示すように、フィールド単位で現画像奇数フィールドブロック１７ｂのブロックサイズを４×３画素（１７ｂ）、探索範囲を８×５画素の参照画像奇数フィールド１７ａとし、それぞれを異なる位相の２列周期で間引く形となる偶数列（例えば１７ｃ及び１７ｅ）と奇数列（例えば１７ｄ及び１７ｆ）との２つの部分画像に分割して処理する場合（つまり、対応する請求項におけるｎが２である場合に該当する）について説明する。
図１８は、本発明の第４の実施形態に係る動きベクトル検出装置４００の構成例を示すブロック図である。
図１８に示す動きベクトル検出装置４００は、参照画像偶数列画素記憶装置１１８（参照画像記憶装置に対応する）、参照画像奇数列画素記憶装置１１９（参照画像記憶装置に対応する）、演算装置１２０（演算手段に対応する）、画像データ制御装置１２１を有し、その他の構成要素は、第３の実施形態と同じものである。
第４の実施形態の例では、前述の通り、２つの部分画像に分割して処理を行うので、参照画像データを記憶する装置の数は２個、レジスタの数は１個となる。また、演算装置１２０は現画像奇数フィールドブロック１７ｂが間引かれた部分画像の画素数である６画素に等しい数のプロセッサエレメントＰＥ０〜ＰＥ５を有し、演算装置１２０の内部構成および各プロセッサエレメントＰＥ０〜５は、それぞれ上記図１１および図１３と同様の構成で実現できる。
参照画像偶数列画素記憶装置１１８および参照画像奇数列画素記憶装置１１９からそれぞれ出力された２つずつのデータは、そのまま演算装置１２０に供給される。また、画像データ制御装置１２１からの制御信号が、演算装置１２０に入力される。
演算装置１２０は、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、候補ブロックの偶数または奇数ライン分の各候補ベクトルに関する部分的なＡＥを順次算出する。
演算装置１２０において、偶数番号のプロセッサエレメントＰＥと奇数番号のプロセッサエレメントＰＥとは、それぞれ異なる列の部分画像に対する演算を交互に行うように動作する。各プロセッサエレメントＰＥ０〜ＰＥ５はカスケード接続の構成をとっているので、このように動作させることにより、演算装置１２０は、異なる列の部分画像の組み合わせにおけるＡＥ（以下、部分ＡＥという）を１サイクル毎に交互に出力する。出力された部分ＡＥは、そのままレジスタ１１７に一時格納される。
レジスタ１１７に格納された部分ＡＥは、次のクロックサイクルにおいて出力される。加算器１１０において、演算装置１２０から出力される同じブロック内における他の部分画像の組み合わせでの部分ＡＥと加算されることにより、フィールド単位のＡＥが算出される。算出されたフィールド単位でのＡＥはフィールド比較器１０８に入力され、フィールド単位での最小のＡＥが決定される。
このように、１つのフィールドの演算を列単位で間引いて、間引かれた領域毎の演算を、その演算結果が順番に出力されるようにし、フィールド単位のＡＥを求める。これにより、必要なプロセッサエレメントＰＥの数が大幅に減少され、ハードウェアの削減につながる。
ここでは、間引かれた画像の１つの組み合わせについての演算を、４つのステップに分けて行う。現画像奇数フィールドブロックと参照画像奇数フィールドとの奇数列画像同士、および現画像奇数フィールドブロックと参照画像奇数フィールドとの偶数列画像同士との組み合わせを１つのペアとして扱う。
図１９（ａ）〜（ｃ）は、図１７で示した参照画像奇数フィールド１７ａの偶数列１７ｅを例にした探索範囲内の各候補ブロックの探索順序を説明するための図である。また、以下では、左上隅を代表点とする候補ベクトル（０，０）の座標（Ａ０，０）で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
図１９（ａ）に示すように、探索範囲を現画像奇数フィールドブロック１７ｂの部分画像（例えば１７ｃ、１７ｄ参照）の水平方向画素数分の２画素分だけの幅をもつ複数の領域に分割する。
まず、左側の領域ｂ１について、左上の候補ブロックから開始して１行ずつ下りながら水平方向に順に番号をつけていったときに、奇数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ１）。
次に、同様に左側の領域ｂ１について、偶数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ２）。
さらに、右側の領域ｂ２についても同様にして、奇数番号（ステップ３）、偶数番号（ステップ４）の順に処理する。
なお、ステップ３及び４における処理領域が探索範囲外になるような場合、そのブロックにおける処理は無効となる。
本実施形態では、２つの部分画像に間引いて処理を行うため、奇数番号と偶数番号との２種類について、別のステップに分けて処理する。
以下、本発明の第４の実施形態に係る動きベクトル検出装置４００の動作について説明する。
まず、現画像記憶装置１０３に格納されている現画像奇数フィールドブロック１７ｂの画素データを演算装置１２０に供給する。
現画像データは、現画像奇数フィールドブロック１７ｂの偶数列１７ｃの画素データＸ０，０、Ｘ２，０、Ｘ０，１、Ｘ２，１、Ｘ０，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０〜ＰＥ５の現画像レジスタ３０１に格納され、また奇数列の画素データＸ１，０、Ｘ３，１、Ｘ１，１、Ｘ３，１、Ｘ１，２、Ｘ３，２が、それぞれＰＥ０〜ＰＥ５の現画像レジスタ３１１に格納され、一連のＡＥの算出が終了するまで保持され続ける。
次に、一連の演算について図２０を参照しながら説明する。
図２０は、本実施形態における動きベクトル検出装置４００に含まれる各構成要素の時間毎におけるデータを示す図である。以下では、その演算について２つのステージに分けて行う。
＜ステージ１（第１のステージに対応する）＞
まず、図１７に示すように、現画像奇数フィールドブロックと参照画像奇数フィールドとの偶数列画像同士（１７ｃ、１７ｅ）の組み合わせ（第２の演算の対象となる組み合わせ）、奇数列画像同士（１７ｄ、１７ｆ）の組み合わせ（第１の演算の対象となる組み合わせ）について、それぞれの部分ＡＥが交互に出力されるように、全探索ポイントにおける演算を行う。
ここで、一連のＡＥを求める動作について図２１Ａおよび図２１Ｂを参照しながら具体的に説明する。
図２１Ａおよび図２１Ｂは、演算装置１２０によって実現されるパイプライン処理を表す図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ５が使用するデータを示している。
まず、画像データ制御装置１２１が選択手段３１１を制御することによって、１サイクル目（Ｃ０）において、演算装置１２０内の偶数番号のプロセッサエレメントＰＥは、現画像データとしてレジスタ３０１に格納された現画像奇数フィールドブロック１７ｂの偶数列１７ｃの画素データを用いる。また、奇数番号のプロセッサエレメントＰＥは、現画像データとしてレジスタ３１１に格納された現画像奇数フィールドブロック１７ｂの奇数列１７ｄの画素データを用いる。以降クロックサイクル毎に、用いる画素データが交互になるようにする。
次に、参照画像データの演算装置１２０への供給について説明する。
まず、１サイクル目（Ｃ０）において、参照画像偶数列画素記憶装置１１８から（Ａ０，０）の画素データが、入力２１３ａを通じて演算装置１２０のプロセッサエレメントＰＥ０に供給される。その他のプロセッサエレメントＰＥでは、その演算結果は無効となるため、いずれの入力を選択しても構わない。
次に、２サイクル目（Ｃ１）において、参照画像偶数列画素記憶装置１１８から（Ａ２，０）の画素データがプロセッサエレメントＰＥ１に供給され、そして参照画像奇数列画素記憶装置１１９から（Ａ１，０）の画素データがプロセッサエレメントＰＥ０に供給される。
さらに、３サイクル目（Ｃ２）において、プロセッサエレメントＰＥ０およびＰＥ２に参照画像偶数列画素記憶装置１１８からの（Ａ０，１）の画素データが供給され、プロセッサエレメントＰＥ１には参照画像奇数列画素記憶装置１１９からの（Ａ３，０）の画素データがそれぞれ供給される。
それ以降のサイクルについても、図２１Ａに示すように順次プロセッサエレメントＰＥ０〜ＰＥ５に必要な画素データを供給していくことにより、間引かれた候補ブロックの絶対値差分和（部分ＡＥ）が累積されていく。
このように、異なる分割領域の演算を各プロセッサエレメントＰＥ０〜ＰＥ５に交互に行わせることにより、上述の偶数列同士、奇数列同士の組み合わせについて、それぞれの部分ＡＥを演算装置１２０から交互に得ることが可能になる。
演算の結果、７サイクル目（Ｃ６）において、候補ベクトル（０，０）に対応する候補ブロックの偶数列での部分ＡＥが演算装置１２０から出力される。この部分ＡＥは、レジスタ１１７に格納される。なお、図２１Ａにおいて、現画像奇数フィールドブロック１７ｂの偶数列１７ｃについての部分ＡＥを”Ｅ”、現画像奇数フィールドブロック１７ｂの奇数列１７ｄについての部分ＡＥを”Ｏ”と表している。
８サイクル目（Ｃ７）には、奇数列同士の組み合わせにおける候補ベクトル（０，０）に対応する候補ブロックの部分ＡＥが演算装置１２０から出力される。この部分ＡＥは、レジスタ１１７から出力される偶数列でのＡＥに加算され、フィールド単位でのＡＥとなり、そのままフィールド比較器１０８に入力され、フィールド動きベクトルを求めるために使用される。
このように、偶数列と奇数列の組み合わせで、１つの候補ベクトルに対応したＡＥが算出される。なお、図２１Ａにおいて太線で囲まれた部分２１ａは、候補ベクトル（０，０）に関するＡＥの算出を示している。
以降、同様にして、図２１Ａに従って演算を行うことにより、ステップ１が終了し、そのまま引き続いてステップ２の演算を行うことにより、現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとの同パリティ列同士の組み合わせについて、全探索ポイントにおけるＡＥの算出が終了する。
＜ステージ２（第２のステージに対応する）＞
続いて、ステージ１と同様の探索順で、図２０に示す通り、現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとの奇数列−偶数列画像の組み合わせ（第４の演算の対象となる組み合わせ）、偶数列−奇数列画像の組み合わせ（第３の演算の対象となる組み合わせ）についての演算を、図２１Ｂに従って、上記と同様に行うことにより、全探索範囲においての演算が終了し、フィールド動きベクトルを求めることができる。
以上のように、本実施形態に係る動きベクトル検出装置によると、参照画像奇数フィールド１７ａの偶数列１７ｅ及び奇数列１７ｆの部分画像を用いて、現画像奇数フィールドブロック１７ｂの偶数列１７ｃ及び奇数列１７ｄの部分画像についての各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例と比較して算出に必要な回路が半分になり予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。
なお、本実施形態の上記ステージ１での現画像奇数フィールドブロック１７ｂと参照画像奇数フィールドとの偶数列同士の組み合わせにおける一連の演算は、水平方向に１画素ずつ間引いて演算を行うことに相当するため、特に大きな回路変更を要さずに、そのような間引き演算に対応できる。
また、本実施形態では、現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとについて、偶数列と奇数列の２つの部分画像に間引いて処理を行ったが、行単位に間引いてもよく、さらに部分画像への間引き方を２つに限定する必要はない。なお、その場合、間引き方に対応する数のレジスタを設ければよい。
また、本実施形態では、ステージ１で現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとの同パリティ列同士の組み合わせについては（偶数−偶数）の組み合わせが先になるよう行い、次のステージ２で異なるパリティの組み合わせについては（偶数−奇数）の組み合わせが先になるよう行ったが、必ずしもこの順で行う必要はない。
また、上記第１〜第４の実施形態においては、フレーム構造を例として説明したが、フィールド構造にも対応可能である。
また、上記第１〜第４の実施形態においては、パイプライン処理の無駄を少なくするため、参照画像データを格納する２つの記憶装置はそれぞれ２つの出力を備え、それに伴い上記第１および第２の実施形態では参照画像データのパリティを選択する選択手段も２つ備えてる構成にしたが、処理時間に余裕があれば記憶装置の出力および選択手段は１つであっても構わない。
さらに、上記第１〜第４の実施形態においては、相関度の評価指標として、参照画像フレームブロックと現画像フレームブロックとの画素データの差分絶対値和をＡＥとして用いたが、差分２乗和をＡＥとしても構わない。
（第５の実施形態）
以下の第５の実施形態においては、説明を単純化するために、図２２の最上段に示すように、現画像フレームブロックおよび参照画像フレーム双方が奇数フィールドである組み合わせについてのみ考えるが、この組み合わせに限定されるものではない。また、図２２に示すように、フィールド単位で現画像奇数フィールドブロック２２ｂのブロックサイズを４×３画素（２２ｂ）、探索範囲を８×５画素の参照画像奇数フィールド２２ａとし、それぞれを異なる位相の２列周期で間引く形となる偶数列（例えば２２ｃ及び２２ｅ）と奇数列（例えば２２ｄ及び２２ｆ）との２つの部分画像に分割して処理する場合（つまり、対応する請求項におけるｎが２である場合に該当する）について説明する。さらに、以下では、現画像奇数フィールドブロック２２ｂの部分画像のうちの偶数列２２ｃの画素データのみを用いる場合について説明するが、以下の実施例に限定されるわけではない。
図２３は、本発明の第５の実施形態に係る動きベクトル検出装置５００の構成例を示すブロック図である。
図２３に示す動きベクトル検出装置５００は、画像データ制御装置１２２、現画像記憶装置１２３、演算装置１０６ａ（演算手段に対応する）、参照画像偶数列画素記憶装置１１８（参照画像記憶装置に対応する）、参照画像奇数列画素記憶装置１１９（参照画像記憶装置に対応する）、及びフィールド比較器１０８を有している。現画像記憶装置１２３は、現画像奇数フィールドブロック２２ｂの偶数列２２ｃの画素データのみが格納されている。なお、参照画像偶数列画素記憶装置１１８（参照画像記憶装置に対応する）、参照画像奇数列画素記憶装置１１９（参照画像記憶装置に対応する）、及びフィールド比較器１０８は、第４の実施形態と同様のものである。
第５の実施形態の例では、前述の通り、２つの部分画像に分割して処理を行うため、参照画像データを記憶する装置の数は２個、レジスタの数は１個となる。また、演算装置１０６ａは、第１の実施形態と同様の構成を有しているが、現画像奇数フィールドブロック２２ｂが間引かれた部分画像の画素数である６画素に等しい数のプロセッサエレメントＰＥ０〜ＰＥ５を有する。なお、演算装置１０６ａの内部構成および各プロセッサエレメントＰＥ０〜５は、それぞれ上記図２および図３と同様の構成で実現できる。
参照画像制御装置２０１（図２参照）は各プロセッサエレメントＰＥ０〜ＰＥ５に供給される参照画像データを制御する。さらに、現画像制御装置２０２（図２参照）は、各プロセッサエレメントＰＥ０〜ＰＥ５に入力される現画像データを制御する。
参照画像偶数列画素記憶装置１１８および参照画像奇数列画素記憶装置１１９からそれぞれ出力された２つずつのデータは、そのまま演算装置１０６ａに供給される。また、画像データ制御装置１２２からの制御信号が、演算装置１０６ａに入力される。
演算装置１０６ａは、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、候補ブロックの偶数または奇数ライン分の各候補ベクトルに関する部分的なＡＥを順次算出する。
演算装置１０６ａから順次算出された部分的なＡＥは、フィールド比較器１０８においてそのまま最小の値となるＡＥが選択される。
ここでは、間引かれた部分画像の１つの組み合わせについての演算を、２つのステップに分けて行う。
図２４（ａ）〜（ｃ）は、図２２で示した参照画像奇数フィールド２２ａの偶数列２２ａを例にした探索範囲内の各候補ブロックの探索順序を説明するための図である。また、以下では、左上隅を代表点とする候補ベクトル（０，０）の座標（Ａ０，０）で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
また、図２４（ａ）に示すように、探索範囲を現画像奇数フィールドブロック２２ｂの部分画像（例えば２２ｃ）の水平方向画素数分の２画素分だけの幅をもつ複数の領域に分割する。
まず、左側の領域ｃ１について、左上の候補ブロックから開始して１行ずつ下りながら水平方向に順に番号をつけていったときに、奇数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ１）。
次に、同様に左側の領域ｃ１について、偶数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ２）。
さらに、右側の領域ｃ２についても同様にして、奇数番号（ステップ３）、偶数番号（ステップ４）の順に処理する。
なお、ステップ３及び４における処理領域が探索範囲外になるような場合、そのブロックにおける処理は無効となる。
以下、本発明の第５の実施形態に係る動きベクトル検出装置５００の動作について説明する。
まず、現画像記憶装置１２３に格納されている現画像奇数フィールドブロック２２ｂの偶数列２２ｃの現画像データを演算装置１０６ａに供給する。
現画像データは、現画像奇数フィールドブロック２２ｂの偶数列２２ｃの画素データＸ０，０、Ｘ２，０、Ｘ０，１、Ｘ２，１、Ｘ０，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０〜ＰＥ５の現画像レジスタ３０１（図３参照）に格納され、一連のＡＥの算出が終了するまで保持され続ける。
次に、一連の演算について図２５及び図２６を参照しながら説明する。
図２５は、本実施形態に係る動きベクトル検出装置５００に含まれる各構成要素の時間毎におけるデータを示す図である。
図２６は、本実施形態に係る動きベクトル検出装置５００に含まれる各構成要素の時間毎におけるデータを示す図である。
ここで、一連のＡＥを求める動作について図２６を参照しながら具体的に説明する。
図２６は、演算装置１０６ａによって実現されるパイプライン処理を表す図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ５が使用するデータを示している。
まず、１サイクル目（Ｃ０）において、参照画像偶数列画素記憶装置１１８から（Ａ０，０）の参照画素データが、入力２０４（図２参照）を通じて演算装置１０６ａのプロセッサエレメントＰＥ０に供給される。その他のプロセッサエレメントＰＥでは、その演算結果は無効となるため、いずれの入力を選択しても構わない。
次に、２サイクル目（Ｃ１）において、参照画像偶数列画素記憶装置１１８から（Ａ２，０）の画素データがプロセッサエレメントＰＥ１に供給され、そして参照画像奇数列画素記憶装置１１９から（Ａ１，０）の画素データがプロセッサエレメントＰＥ０に供給される。
さらに、３サイクル目（Ｃ２）において、プロセッサエレメントＰＥ０およびＰＥ２に参照画像偶数列画素記憶装置１１８からの（Ａ０，１）の画素データが供給され、プロセッサエレメントＰＥ１には参照画像奇数列画素記憶装置１１９からの（Ａ３，０）の画素データがそれぞれ供給される。
それ以降のサイクルについても、図２６に示すように順次プロセッサエレメントＰＥ０〜ＰＥ５に必要な画素データを供給していくことにより、間引かれた候補ブロックの絶対値差分和が累積されていく。
このように、異なる分割領域の演算を各プロセッサエレメントＰＥ０〜ＰＥ５に交互に行わせることにより、現画像奇数フィールドブロック２２ｂの偶数列２２ｃ及び参照画像奇数フィールド２２ａの偶数列２２ｅの組み合わせと、現画像奇数フィールドブロック２２ｂの偶数列２２ｃ及び参照画像奇数フィールド２２ａの奇数列２２ｆの組み合わせとについて、それぞれの部分ＡＥを演算装置１０６ａから交互に得ることが可能になる。
演算の結果、７サイクル目（Ｃ６）において、候補ベクトル（０，０）に対応する候補ブロックの偶数列での部分ＡＥが演算装置１０６ａから出力される。この部分ＡＥは、そのままフィールド比較器１０８に入力され、フィールド動きベクトルを求めるために使用される。なお、図２６において、現画像奇数フィールドブロック２２ｂの偶数列２２ｃについての部分ＡＥを”Ｅ”と表している。また、図２６において太線で囲まれた部分２６ａは、候補ベクトル（０，０）に関する部分ＡＥの算出を示している。
以降、同様にして、図２６に従って演算を行うことにより、ステップ１が終了し、そのまま引き続いてステップ２、３の演算を順に行うことにより、現画像奇数フィールドブロック２２ｂと参照画像奇数フィールド２２ａとの上記組み合わせについて、全探索ポイントにおけるＡＥの算出が終了する。なお、本実施形態では、参照画像奇数フィールド２２ａの偶数列２２ｅの数が奇数となるので、ステップ４の演算は行われない。
以上のように、本実施形態に係る動きベクトル検出装置によると、参照画像奇数フィールド２２ａの偶数列２２ｅと奇数列２２ｆの部分画像を用いて、現画像奇数フィールドブロック２２ｂの偶数列２２ｃの部分画像についての各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。従って、演算する組み合わせの削減と共に高い演算効率の保持を実現できるため、動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。これにより、動きベクトルの検出に必要な処理時間をおよそ半分に低減することができる。
なお、本実施形態では、現画像奇数フィールドブロック２２ｂと参照画像奇数フィールド２２ａとの偶数列同士（２２ｃと２２ｅ）の組み合わせにおける一連の演算は、水平方向に１画素ずつ間引いて演算を行うことに相当するため、特に大きな回路変更を要さずに、そのような間引き演算に対応できる。
また、本実施形態では、現画像奇数フィールドブロック２２ｂと参照画像奇数フィールド２２ａとについて、偶数列と奇数列の２つの部分画像に間引いて処理を行ったが、行単位に間引いてもよく、さらに部分画像への間引き方を２つに限定する必要はない。
また、上記第１〜第５の実施形態においては、フレーム構造を例として説明したが、フィールド構造にも対応可能である。
【産業上の利用の可能性】
本発明に係る動きベクトル検出装置及び動きベクトル検出方法によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。このため、本発明に係る動きベクトル検出装置及び動きベクトル検出方法を、動画符号化装置に用いると有用である。
【図１】
2004012460.tif 000003
【図２】
2004012460.tif 000004
【図３】
2004012460.tif 000005
【図４】
2004012460.tif 000006
【図５】
2004012460.tif 000007
【図６】
2004012460.tif 000008
【図７】
2004012460.tif 000009
【図８】
2004012460.tif 000010
【図９】
2004012460.tif 000011
【図１０】
2004012460.tif 000012
【図１１】
2004012460.tif 000013
【図１２】
2004012460.tif 000014
【図１３】
2004012460.tif 000015
【図１４】
2004012460.tif 000016
【図１５】
2004012460.tif 000017
2004012460.tif 000018
2004012460.tif 000019
【図１７】
2004012460.tif 000020
【図１８】
2004012460.tif 000021
【図１９】
2004012460.tif 000022
【図２０】
2004012460.tif 000023
2004012460.tif 000024
2004012460.tif 000025
【図２２】
2004012460.tif 000026
【図２３】
2004012460.tif 000027
【図２４】
2004012460.tif 000028
【図２５】
2004012460.tif 000029
【図２６】
2004012460.tif 000030
【手続補正書】
【提出日】平成16年5月20日(2004.5.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
前記参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、
前記参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記参照画像奇数フィールド記憶装置からの前記奇数フィールドの画素データまたは前記参照画像偶数フィールド記憶装置からの前記偶数フィールドの画素データと、前記現画像記憶装置からの前記現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段と、
前記演算手段によって算出された予測誤差を保持し、前記演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、
前記演算手段によって前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差を格納するＡＥ記憶装置と、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記ＡＥ記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフレーム単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項２】
請求項１に記載の動きベクトル検出装置において、
前記演算手段は、
前記参照画像フレームの奇数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、前記参照画像フレームの奇数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、前記第１の演算および前記第２の演算の前または後に、前記第３の演算および前記第４の演算を行うものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、
前記演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、
前記ＡＥ記憶装置は、
前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フレーム比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項３】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
前記参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、
前記参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記参照画像奇数フィールド記憶装置からの前記奇数フィールドの画素データまたは前記参照画像偶数フィールド記憶装置からの前記偶数フィールドの画素データと、前記現画像記憶装置からの前記現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段とを備え、
前記現画像記憶装置は、
前記現画像ブロックの画素データに上書きすることによって、前記演算手段によって前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差をさらに格納するものであり、
前記演算手段によって算出された予測誤差を保持し、前記演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記現画像記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフレーム単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とをさらに備える
ことを特徴とする動きベクトル検出装置。
【請求項４】
請求項３に記載の動きベクトル検出装置において、
前記演算手段は、
前記参照画像フレームの奇数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、前記参照画像フレームの奇数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、前記第１の演算および前記第２の演算の前または後に、前記第３の演算および前記第４の演算を行うものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、
前記演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、
前記現画像記憶装置は、
前記現画像ブロックの画素データに上書きすることによって、前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フレーム比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項５】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
前記参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、
前記参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記参照画像奇数フィールド記憶装置からの前記奇数フィールドの画素データまたは前記参照画像偶数フィールド記憶装置からの前記偶数フィールドの画素データと、前記現画像記憶装置からの前記現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、前記現画像ブロックの各候補ベクトルに対する予測誤差を算出する演算手段と、
前記演算手段によって算出された予測誤差を保持し、前記演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、
前記演算手段によって前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納するレジスタと、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記レジスタが格納する予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフレーム単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項６】
請求項５に記載の動きベクトル検出装置において、
前記演算手段は、
前記参照画像フレームの奇数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、前記参照画像フレームの奇数フィールドと前記現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、前記参照画像フレームの偶数フィールドと前記現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、前記第１のステージの前または後に、前記第２のステージを行うものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、
前記演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、前記演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、
前記レジスタは、
前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された前記１つの候補ベクトルに対する予測誤差を格納するものであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フレーム比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項７】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
各々が、前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力する前記ｎ個の参照画像記憶装置と、
前記現画像ブロックの画素データを格納し、出力する現画像記憶装置と、
前記ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、前記現画像記憶装置からの前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データとにもとづいて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、
前記演算手段によって前記参照画像フレームを構成するフィールドが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像と、前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像との組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納する前記組み合わせに応じた数のレジスタと、
前記演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差と前記レジスタが格納する前記１つの候補ベクトルに対する予測誤差とを加算し、フィールド単位での予測誤差を算出する加算器と、
前記加算器によって算出されたフィールド単位での予測誤差を保持し、前記加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項８】
請求項７に記載の動きベクトル検出装置において、
前記ｎ個の参照画像記憶装置は、
前記参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、前記参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、
前記演算手段は、
前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、前記参照画像フレームを構成するフィールドの偶数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第３の演算と、前記参照画像フレームを構成する偶数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、前記第１のステージの前または後に、前記第２のステージを行うものであり、
前記組み合わせの数に応じたレジスタは、
前記演算手段の前記第１の演算〜第４の演算のいずれかによって算出された１つの候補ベクトルに対する予測誤差を格納する１つのレジスタであり、
前記加算器は、
前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、
前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、
前記フィールド比較器は、
前記加算器の前記第１の加算結果と、前記加算器の前記第２の加算結果とにもとづいてフィールド動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項９】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、
各々が、前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力する前記ｎ個の参照画像記憶装置と、
前記現画像ブロックを構成するフィールドが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データを格納し、出力する現画像記憶装置と、
前記ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、前記現画像記憶装置からの部分画像の画素データとにもとづいて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、
前記演算手段によって算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備える
ことを特徴とする動きベクトル検出装置。
【請求項１０】
請求項９に記載の動きベクトル検出装置において、
前記ｎ個の参照画像記憶装置は、
前記参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、前記参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、
前記演算手段は、
前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、前記参照画像フレームを構成するフィールドの偶数列と前記現画像ブロックの奇数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算結果と、前記演算手段の前記第２の演算結果とにもとづいてフィールド動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項１１】
請求項９に記載の動きベクトル検出装置において、
前記ｎ個の参照画像記憶装置は、
前記参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、前記参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、
前記演算手段は、
前記参照画像フレームを構成するフィールドの奇数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第１の演算と、前記参照画像フレームを構成するフィールドの偶数列と前記現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、
前記フィールド比較器は、
前記演算手段の前記第１の演算結果と、前記演算手段の前記第２の演算結果とにもとづいてフィールド動きベクトルを検出するものである
ことを特徴とする動きベクトル検出装置。
【請求項１２】
現画像フレーム内の現画像ブロックについての参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成する奇数または偶数フィールドの画素データと、前記現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、
前記順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、
前記各組み合わせにおける１つの組み合わせについて算出されたフィールド単位での複数の予測誤差を保持しておいて、前記１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた前記複数の予測誤差のうちの対応する１つの予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【請求項１３】
請求項１２に記載の動きベクトル検出方法において、
前記フレーム動きベクトルを算出するステップは、
前記参照画像フレームの画素データまたは前記現画像ブロックの画素データが保持されている領域に上書きすることによって、前記各組み合わせにおける１つの組み合わせについて算出された前記複数の予測誤差を保持するステップを含むものであることを特徴とする動きベクトル検出方法。
【請求項１４】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成する奇数または偶数フィールドの画素データと、前記現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、前記参照画像フレームの奇数または偶数フィールドと前記現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、前記現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、
前記順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、
前記各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、前記１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた前記１つの候補ベクトルに対する予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【請求項１５】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データとに基づいて、前記参照画像フレームの前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データと、前記現画像ブロックの前記ｎ列毎または前記ｎ行毎に間引かれた部分画像の画素データとの各組み合わせについて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、
前記各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、前記１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた前記１つの候補ベクトルに対する予測誤差とに基づいて、フィールド動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【請求項１６】
現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、
前記参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、前記現画像ブロックが前記ｎ列毎または前記ｎ行毎に間引かれた部分画像のうちのいずれか１つの部分画像の画素データとに基づいて、前記現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、
前記順次算出される予測誤差に基づいてフィールド動きベクトルを算出するステップとを含むことを特徴とする動きベクトル検出方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置において、動きベクトルを求める動きベクトル検出装置及び動きベクトル検出方法に関する。
【背景技術】
【０００２】
動画像の画像圧縮を実現する方法として、１つ前の画面中のある部分が現在の画面ではどの場所に移動したのかを示す情報（動きベクトル）を用いて、時間的冗長性を削減するという方法がある。
【０００３】
この動きベクトルを抽出するための技術として、ブロックマッチング法がよく知られている。ブロックマッチング法とは、まず符号化対象画像フレーム（以下、現画像フレームという）を複数のブロック（現画像ブロック）に分割し、過去または未来のフレーム（以下、参照画像フレームという）内の複数のブロック（参照画像ブロック）から、現画像ブロックと最も相関度の高い参照画像ブロックを抽出し、抽出された参照画像ブロックと現画像ブロックの相対的変位を動きベクトルとするものである。
【０００４】
一般に、最も相関度の高いブロックを抽出するには、現画像ブロックと参照画像ブロックとにおける全ての画素同士の減算を行い、その絶対値和（または２乗和）を求め、その値が最小となる参照画像ブロックを検出することによって、最も相関度の高いブロックを抽出する。
【０００５】
ところで、国際標準ITU-TのH.261およびISO/IEC11172-2では、順次走査方式の画像の符号化のみを取り扱っているのに対し、国際標準のISO/IEC13818-2では、さらに、インターレース走査方式の画像の符号化も取り扱っている。
【０００６】
インターレース走査方式は、順次１ライン毎に垂直走査を行う順次走査方式に対して、所定の走査ラインの本数に対応した走査回数によってフレームを構成するものである。例えば、２：１のインターレース走査方式は、１枚のフレームを奇数走査ラインからなるフィールドと偶数走査ラインからなるフィールドの２枚のフィールドで構成し、まず一方のフィールドを走査してから他方のフィールドの走査を行うものである。このインターレース走査方式は、信号の帯域幅を節減し、実質的に走査線数を減らすことなく、画面全体の走査回数を多くして画像のちらつきを少なくするものである。
【０００７】
インターレース走査方式の画像には、フレームを符号化の単位とするフレーム構造と、フィールドを符号化の単位とするフィールド構造の２種類が提供されている。フレーム構造の場合は、インターレースされた２つのフィールドを合成したフレームピクチャ単位で動き補償やＤＣＴ符号化を行う。これに対して、フィールド構造の場合は、インターレースされた２つのフィールドの各フィールドピクチャ単位で符号化を行う。さらに、予測方式にはフレーム予測方式とフィールド予測方式がある。
【０００８】
以下、フレーム構造における動き補償について説明する。
【０００９】
ここで、現画像フレームが奇数走査ラインからなる奇数フィールドおよび偶数走査ラインからなる偶数フィールドから構成され、参照画像フレームが奇数走査ラインからなる奇数フィールドおよび偶数走査ラインからなる偶数フィールドから構成され、参照画像フレームから現画像フレームを予測する。
【００１０】
フレーム構造におけるフレーム動き補償予測は、インターレースされた２つのフィールドが合成されたフレームを単位とし、参照画像フレームから現画像フレームを動きベクトルＭＶとして表し、動き補償予測を行うものである。
【００１１】
フレーム構造におけるフィールド動き補償予測は、フィールド毎に動き補償を行うものである。すなわち、参照画像フレームの奇数フィールドまたは偶数フィールドから現画像フレームの奇数フィールドを動きベクトルＭＶ１によって予測し、参照画像フレームの奇数フィールドまたは偶数フィールドから現画像フレームの偶数フィールドを動きベクトルＭＶ２によって予測する。そして、奇数および偶数２つのフィールドを合成することによって参照画像フレームから現画像フレームを予測する。
【００１２】
以上より、フレーム構造の場合には、フィールド動き補償予測による２本の動きベクトルＭＶ１およびＭＶ２と、フレーム動き補償予測による１本の動きベクトルＭＶとの合計３本の動きベクトルが求められる。
【００１３】
ところで、フレーム動きベクトルＭＶは、そのフレームを構成する奇数フィールドのフィールド動きベクトルＭＶ１と、偶数フィールドのフィールド動きベクトルＭＶ２とを求めるときに、予測誤差として算出された複数の誤差の差分絶対値または２乗和（以下、ＡＥという）のうち、それぞれ対応するもの同士を加算した結果によって求めることができる。
【特許文献１】特開平１０−３２２７０６号公報
【特許文献２】特開平７−２２２１７６号公報
【特許文献３】特開平７−１１５６４６号公報
【特許文献４】特開平１０−７９９４７号公報
【特許文献５】特開平１０−１２６７８３号公報
【特許文献４】特開平９−１３０８０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来の動きベクトル検出装置においては、現画像の奇数フィールドのフィールド動きベクトルＭＶ１、現画像の偶数フィールドのフィールド動きベクトルＭＶ２、および現画像のフレーム動きベクトルＭＶをそれぞれ求める場合には、現画像の奇数フィールドの現画像ブロックに対応するＡＥを算出するための演算装置と現画像の偶数フィールドの現画像ブロックに対応するＡＥを算出するための演算装置との２つの回路を独立に構成する必要がある。そして、タイミングをあわせて並列動作させることによって、それぞれの演算装置から算出された奇数フィールドのＡＥと偶数フィールドのＡＥを加算することにより、フレームに対応するＡＥを算出する。さらに、算出したＡＥから各動きベクトルを求める際、算出されたＡＥが各演算装置から並列に出力されるため、各候補点におけるＡＥの値を比較し、その中から最小になるものを選択する比較器もそれぞれ独立に３つ必要となり、回路規模が大きくなってしまう。
【００１５】
また、一般に相関度の高いブロックを選出する可能性を高めるためには、参照画像における探索領域を広げて候補となる参照画像ブロックの数を増やす必要がある。このため、探索範囲の拡大に伴ってハードウェア量が大きく増大してしまう。
【００１６】
上記に鑑み、本発明は、回路規模の削減を可能とした動きベクトル検出装置及び動きベクトル検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記の目的を達成するために、本発明の第１の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、参照画像奇数フィールド記憶装置からの奇数フィールドの画素データまたは参照画像偶数フィールド記憶装置からの偶数フィールドの画素データと、現画像記憶装置からの現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段と、演算手段によって算出された予測誤差を保持し、演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、演算手段によって参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差を格納するＡＥ記憶装置と、演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差とＡＥ記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、加算器によって算出されたフレーム単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備えることを特徴とする。
【００１８】
第１の動きベクトル検出装置によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。
【００１９】
また、第１の動きベクトル検出装置において、演算手段は、参照画像フレームの奇数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、参照画像フレームの偶数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、参照画像フレームの奇数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、参照画像フレームの偶数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、第１の演算および第２の演算の前または後に、第３の演算および第４の演算を行うものであり、フィールド比較器は、演算手段の前記第１の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の前記第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、演算手段の前記第２の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、ＡＥ記憶装置は、演算手段の前記第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、加算器は、第１の演算によって算出された予測誤差と第２の演算によって算出された予測誤差とを加える第１の加算を行い、第３の演算によって算出された予測誤差と第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フレーム比較器は、加算器の第１の加算結果と、加算器の第２の加算結果とにもとづいてフレーム動きベクトルを検出することが好ましい。
【００２０】
本発明の第２の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、参照画像奇数フィールド記憶装置からの奇数フィールドの画素データまたは参照画像偶数フィールド記憶装置からの偶数フィールドの画素データと、現画像記憶装置からの現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出する演算手段とを備え、現画像記憶装置は、現画像ブロックの画素データに上書きすることによって、演算手段によって参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された複数の予測誤差をさらに格納するものであり、演算手段によって算出された予測誤差を保持し、演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、演算手段によって１つの組み合わせと対応する組み合わせについて算出された予測誤差と現画像記憶装置が格納する複数の予測誤差のうちの対応する１つの予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、加算器によって算出されたフレーム単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とをさらに備えることを特徴とする。
【００２１】
第２の動きベクトル検出装置によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フィールド単位で算出された予測誤差を一時格納する手段として、現画像ブロック記憶装置を再利用することにより、記憶装置を別途設ける必要がなくなり、ハードウェア規模をさらに削減することができる。従って、回路化が容易な動きベクトル検出装置を提供できる。
【００２２】
また、第２の動きベクトル検出装置において、演算手段は、参照画像フレームの奇数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、参照画像フレームの偶数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算と、参照画像フレームの奇数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、参照画像フレームの偶数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを行うものであって、第１の演算および第２の演算の前または後に、第３の演算および第４の演算を行うものであり、フィールド比較器は、演算手段の第１の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、演算手段の第２の演算によって算出された予測誤差のうち最小の予測誤差と、算手段の第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、現画像記憶装置は、現画像ブロックの画素データに上書きすることによって、演算手段の第１の演算〜第４の演算のいずれかによって算出された予測誤差を格納するものであり、加算器は、第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、第３の演算によって算出された予測誤差と第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フレーム比較器は、加算器の前記第１の加算結果と、加算器の前記第２の加算結果とにもとづいてフレーム動きベクトルを検出することが好ましい。
【００２３】
本発明の第３の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、参照画像フレームを構成する奇数フィールドの画素データを格納し、出力する参照画像奇数フィールド記憶装置と、参照画像フレームを構成する偶数フィールドの画素データを格納し、出力する参照画像偶数フィールド記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、参照画像奇数フィールド記憶装置からの奇数フィールドの画素データまたは参照画像偶数フィールド記憶装置からの偶数フィールドの画素データと、現画像記憶装置からの現画像ブロックの奇数または偶数フィールドの画素データとにもとづいて、現画像ブロックの各候補ベクトルに対する予測誤差を算出する演算手段と、演算手段によって算出された予測誤差を保持し、演算手段によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器と、演算手段によって参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納するレジスタと、演算手段によって前記１つの組み合わせと対応する組み合わせについて算出された予測誤差とレジスタが格納する予測誤差とを加算し、フレーム単位での予測誤差を算出する加算器と、加算器によって算出されたフレーム単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフレーム動きベクトルを検出するフレーム比較器とを備えることを特徴とする。
【００２４】
第３の動きベクトル検出装置によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フレーム動きベクトルの算出の際に要する記憶手段として１つの候補ベクトルに対する予測誤差を格納できるレジスタのみで足りるので、ハードウェア規模を削減できる。
【００２５】
また、第３の動きベクトル検出装置において、演算手段は、参照画像フレームの奇数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第１の演算と、参照画像フレームの偶数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、参照画像フレームの奇数フィールドと現画像ブロックの偶数フィールドとの間で予測誤差を算出する第３の演算と、参照画像フレームの偶数フィールドと現画像ブロックの奇数フィールドとの間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、第１のステージの前または後に、第２のステージを行うものであり、フィールド比較器は、演算手段の第１の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の第４の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第１のフィールド動きベクトルを検出し、演算手段の第２の演算によって算出された予測誤差のうち最小の予測誤差と、演算手段の前記第３の演算によって算出された予測誤差のうち最小の予測誤差とにもとづいて第２のフィールド動きベクトルを検出するものであり、レジスタは、演算手段の前記第１の演算〜第４の演算のいずれかによって算出された１つの候補ベクトルに対する予測誤差を格納するものであり、加算器は、第１の演算によって算出された予測誤差と第２の演算によって算出された予測誤差とを加える第１の加算を行い、第３の演算によって算出された予測誤差と第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フレーム比較器は、加算器の第１の加算結果と、加算器の第２の加算結果とにもとづいてフレーム動きベクトルを検出することが好ましい。
【００２６】
本発明の第４の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、各々が、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力するｎ個の参照画像記憶装置と、現画像ブロックの画素データを格納し、出力する現画像記憶装置と、ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、現画像記憶装置からの現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像の画素データとにもとづいて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、演算手段によって参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像と、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像との組み合わせのうちの１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を格納する組み合わせに応じた数のレジスタと、演算手段によって１つの組み合わせと対応する組み合わせについて算出された予測誤差とレジスタが格納する１つの候補ベクトルに対する予測誤差とを加算し、フィールド単位での予測誤差を算出する加算器と、加算器によって算出されたフィールド単位での予測誤差を保持し、加算器によって新たに算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備えることを特徴とする。
【００２７】
第４の動きベクトル検出装置によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像と、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像とを用いて順次算出された部分画像の各候補ベクトルに対する予測誤差に基づいて、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立してｎ個構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できる。
【００２８】
また、第４の動きベクトル検出装置において、ｎ個の参照画像記憶装置は、参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、演算手段は、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、参照画像フレームを構成するフィールドの偶数列と現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算する第１のステージと、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの偶数列との間で予測誤差を算出する第３の演算と、参照画像フレームを構成する偶数列と現画像ブロックの奇数列との間で予測誤差を算出する第４の演算とを交互に演算する第２のステージとを行うものであって、第１のステージの前または後に、第２のステージを行うものであり、組み合わせの数に応じたレジスタは、演算手段の第１の演算〜第４の演算のいずれかによって算出された１つの候補ベクトルに対する予測誤差を格納する１つのレジスタであり、加算器は、前記第１の演算によって算出された予測誤差と前記第２の演算によって算出された予測誤差とを加える第１の加算を行い、前記第３の演算によって算出された予測誤差と前記第４の演算によって算出された予測誤差とを加える第２の加算を行うものであり、フィールド比較器は、加算器の第１の加算結果と、加算器の前記第２の加算結果とにもとづいてフィールド動きベクトルを検出することが好ましい。
【００２９】
本発明の第５の動きベクトル検出装置は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出装置であって、各々が、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力するｎ個の参照画像記憶装置と、現画像ブロックを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像の画素データを格納し、出力する現画像記憶装置と、ｎ個の参照画像記憶装置からの各々の部分画像の画素データと、現画像記憶装置からの部分画像の画素データとにもとづいて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を算出する演算手段と、演算手段によって算出された予測誤差と既に保持してある予測誤差とを比較して、小さい方の予測誤差を保持し、最小となる予測誤差にもとづいてフィールド動きベクトルを検出するフィールド比較器とを備えることを特徴とする。
【００３０】
第５の動きベクトル検出装置によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像を用いて、現画像ブロックのｎ列毎の部分画像またはｎ行毎の部分画像のうちいずれか一方の部分画像の各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立してｎ個構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できる。従って、第１から第４の動きベクトル検出装置に比べて演算を行う組み合わせの数が大幅に削減されるにも関わらず高い演算効率の保持を実現できるため、動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。これにより、動きベクトルの検出に必要な処理時間をおよそ半分に低減することができる。
【００３１】
また、第５の動きベクトル検出装置において、ｎ個の参照画像記憶装置は、参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、演算手段は、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの奇数列との間で予測誤差を算出する第１の演算と、参照画像フレームを構成するフィールドの偶数列と現画像ブロックの奇数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、フィールド比較器は、演算手段の第１の演算結果と、演算手段の第２の演算結果とにもとづいてフィールド動きベクトルを検出することが好ましい。
【００３２】
また、第５の動きベクトル検出装置において、ｎ個の参照画像記憶装置は、参照画像フレームを構成するフィールドの偶数列の画素データを格納し、出力する参照画像偶数列画素記憶装置と、参照画像フレームを構成するフィールドの奇数列の画素データを格納し、出力する参照画像奇数列画素記憶装置とであり、演算手段は、参照画像フレームを構成するフィールドの奇数列と現画像ブロックの偶数列との間で予測誤差を算出する第１の演算と、参照画像フレームを構成するフィールドの偶数列と現画像ブロックの偶数列との間で予測誤差を算出する第２の演算とを交互に演算するものであり、フィールド比較器は、演算手段の第１の演算結果と、演算手段の前記第２の演算結果とにもとづいてフィールド動きベクトルを検出するものであることを特徴とする。
【００３３】
本発明の第１の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについての参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成する奇数または偶数フィールドの画素データと、現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、各組み合わせにおける１つの組み合わせについて算出されたフィールド単位での複数の予測誤差を保持しておいて、１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた複数の予測誤差のうちの対応する１つの予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする。
【００３４】
第１の動きベクトル検出方法によると、順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。
【００３５】
第１の動きベクトル検出方法において、フレーム動きベクトルを算出するステップは、参照画像フレームの画素データまたは現画像ブロックの画素データが保持されている領域に上書きすることによって、各組み合わせにおける１つの組み合わせについて算出された複数の予測誤差を保持するステップを含むことが好ましい。
【００３６】
このようにすると、フィールド単位で算出された予測誤差を一時格納する手段として、現画像ブロックの画素データまたは参照画像フレームの画素データを格納していた領域を再利用することにより、記憶装置を別途設ける必要がなくなるので、ハードウェア規模をさらに削減することができる。
【００３７】
第２の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成する奇数または偶数フィールドの画素データと、現画像ブロックの奇数または偶数フィールドの画素データとに基づいて、参照画像フレームの奇数または偶数フィールドと現画像ブロックの奇数または偶数フィールドとの各組み合わせについて、現画像ブロックの各候補ベクトルに対する予測誤差を順次算出するステップと、順次算出される予測誤差の中から最小となる予測誤差を算出してフィールド動きベクトルを算出するステップと、各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた１つの候補ベクトルに対する予測誤差とに基づいて、フレーム動きベクトルを算出するステップとを含むことを特徴とする。
【００３８】
第２の動きベクトル検出方法によると、順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フレーム動きベクトルの算出の際には１つの候補ベクトルに対する予測誤差を保持しておけば足りるので、ハードウェア規模を削減できる。
【００３９】
第３の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像の画素データとに基づいて、参照画像フレームのｎ列毎またはｎ行毎に間引かれた部分画像の画素データと、現画像ブロックのｎ列毎またはｎ行毎に間引かれた部分画像の画素データとの各組み合わせについて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、各組み合わせにおける１つの組み合わせについて算出された１つの候補ベクトルに対する予測誤差を保持しておいて、１つの組み合わせに対応する組み合わせについて算出された予測誤差と保持しておいた１つの候補ベクトルに対する予測誤差とに基づいて、フィールド動きベクトルを算出するステップとを含むことを特徴とする。
【００４０】
第３の動きベクトル検出方法によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像と、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像とを用いて順次算出された部分画像の各候補ベクトルに対する予測誤差に基づいて、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。従って、簡単に間引き演算に対応可能であって且つ探索範囲および動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。
【００４１】
第４の動きベクトル検出方法は、現画像フレーム内の現画像ブロックについて、参照画像フレームに対する予測誤差を最小にする候補ベクトルを動きベクトルとして検出する動きベクトル検出方法において、参照画像フレームを構成するフィールドがｎ（ｎは２以上の自然数、以下同じ）列毎またはｎ行毎に間引かれた部分画像の画素データと、現画像ブロックがｎ列毎またはｎ行毎に間引かれた部分画像のうちのいずれか１つの部分画像の画素データとに基づいて、現画像ブロックの部分画像の各候補ベクトルに対する予測誤差を順次算出するステップと、順次算出される予測誤差に基づいてフィールド動きベクトルを算出するステップとを含むことを特徴とする。
【００４２】
第４の動きベクトル検出方法によると、参照画像フレームを構成するフィールドがｎ列毎またはｎ行毎に間引かれた部分画像を用いて、現画像ブロックのｎ列毎の部分画像またはｎ行毎の部分画像のうちいずれか一方の部分画像の各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。従って、第１から第３の動きベクトル検出方法に比べて演算を行う組み合わせの数が大幅に削減されるにも関わらず高い演算効率の保持を実現できるため、動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。これにより、動きベクトルの検出に必要な処理時間をおよそ半分に低減することができる。
【発明の効果】
【００４３】
本発明の動きベクトル検出装置及びその検出方法によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。
【発明を実施するための最良の形態】
【００４４】
以下、本発明の各実施形態について、図面を参照しながら説明する。
【００４５】
なお、各実施形態で参照する各図面相互間において、同一または相当する部分には同一の符号を付しており、その説明は同様である。
【００４６】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る動きベクトル検出装置１００の構成例を示す図である。
【００４７】
図１に示す動きベクトル検出装置１００は、参照画像奇数フィールド記憶装置１０１、参照画像偶数フィールド記憶装置１０２、現画像記憶装置１０３、参照画像パリティ選択手段１０４および１０５（演算手段に含まれる）、演算装置１０６（演算手段に含まれる）、画像データ制御装置１０７、フィールド比較器１０８、ＡＥ記憶装置１０９、加算器１１０、およびフレーム比較器１１１を有している。
【００４８】
また、図２は、図１に示した演算装置１０６の内部構成例を示す図である。
【００４９】
図２に示す演算装置１０６は、プロセッサエレメントＰＥ０〜ＰＥ８、参照画像制御装置２０１、現画像制御装置２０２、現画像データ入力２０３、参照画像データ入力２０４および２０５、参照画像データ選択手段２０６ａ〜２０６ｉ、起動信号入力２０７、およびＡＥ出力２０８を有している。
【００５０】
さらに、図３は、図２に示した各プロセッサエレメントＰＥ０〜ＰＥ８の内部構成例を示す図である。
【００５１】
図３に示すプロセッサエレメントＰＥ０〜ＰＥ８の一例は、現画像レジスタ３０１、絶対値差分演算装置３０２、加算器３０３、ＡＥレジスタ３０４、現画像入力選択手段３０５、現画像データ入力３０６、参照画像データ入力３０７、現画像制御信号入力３０８、累積絶対値差分和入力３０９、およびＡＥ出力３１０を有している。
【００５２】
なお、以下では、例として、図４に示すように、フレーム構造における現画像フレームブロック４ａのサイズを３×６画素、参照画像フレームにおける探索範囲４ｂを８×１０画素として説明する。なお、図中、探索範囲４ｂ内に候補ベクトルの領域を示している。また、これをフィールド単位で見ると、図５に示すようになる。つまり、図４で示した現画像フレームブロック４ａは、現画像奇数フィールドブロック５ａと現画像偶数フィールドブロック５ｂとで表せる。また、図４で示した参照画像フレームブロック４ｂは、参照画像奇数フィールドブロック５ｃと参照画像偶数フィールドブロック５ｄとで表せる。
【００５３】
図１に示すように、第１の実施形態における動きベクトル検出装置１００において、参照画像奇数フィールド記憶装置１０１には参照画像データとして参照画像フレームにおける探索範囲４ｂを含む奇数フィールドの画素データ（以下、奇数フィールド画素データという）が格納されている。また、参照画像偶数フィールド記憶装置１０２には参照画像データとして参照画像フレームにおける探索範囲４ｂを含む偶数フィールドの画素データ（以下、偶数フィールド画素データという）が格納されている。現画像記憶装置１０３には現画像データとして現画像ブロックの画素データが格納されている。
【００５４】
画像データ制御装置１０７からのパリティ制御信号によって制御される参照画像パリティ選択手段１０４および１０５は、参照画像奇数フィールド記憶装置１０１に記憶された奇数フィールド画素データと参照画像偶数フィールド記憶装置１０２に記憶された偶数フィールド画素データとのいずれのデータを演算装置１０６に供給するかを決定する。つまり、画像データ制御装置１０７は、参照画像奇数フィールド記憶装置１０１および参照画像偶数フィールド記憶装置１０２を、パリティ制御信号によって制御する。また、画像データ制御装置１０７は、制御信号によって現画像記憶装置１０３から出力されるデータを制御し、図２に示した演算装置１０６内の参照画像制御装置２０１と現画像制御装置２０２とに対する起動信号を生成し、さらには制御信号によってＡＥ記憶装置１０９を制御する。
【００５５】
演算装置１０６は、入力された参照画像データと現画像データとをもとに、パイプライン処理を用いて、フィールド単位で各候補ベクトルに関するＡＥを順次算出する。
【００５６】
図２に示すように、演算装置１０６は１フィールド分の現画像ブロックの画素数に等しい数のプロセッサエレメントＰＥ０〜ＰＥ８を備える。また、参照画像制御装置２０１は各プロセッサエレメントＰＥ０〜ＰＥ８に供給される参照画像データを制御する。さらに、現画像制御装置２０２は、図３に示す各プロセッサエレメントＰＥ０〜ＰＥ８内に入力される現画像データを制御する。
【００５７】
図３に示すように、演算装置１０６を構成する各プロセッサエレメントＰＥ０〜ＰＥ８は、現画像ブロックの１フィールド分のデータを１画素ずつレジスタ３０１に保持し、次に参照画像の画素データをクロックサイクル毎に受ける。そして、差分絶対値演算装置３０２は１画素分の絶対値差分和を算出する。加算器３０３は差分絶対値演算装置３０２からの絶対値差分和に前段のプロセッサエレメントからの出力を加算し、一旦ＡＥレジスタ３０４に格納した後、その結果を１サイクル後に後段のプロセッサエレメントに出力する。すなわち、各プロセッサエレメントＰＥ０〜ＰＥ８はいわゆるカスケード接続の構成をとっている。
【００５８】
演算装置１０６から順次出力されたＡＥは、フィールド比較器１０８において最小の値となるものが選択される。また、演算装置１０６から順次出力されたＡＥはＡＥ記憶装置１０９に一時格納され、一時格納されたＡＥは、対応する候補ベクトルの異フィールドでのＡＥが後に演算装置１０６から出力されるタイミングにあわせてＡＥ記憶装置１０９から出力され、加算器１１０において加算される。これにより、順次フレーム単位の各候補ベクトルのＡＥが算出され、フレーム比較器１１１においてフレーム単位での最小のＡＥが選択される。
【００５９】
ＡＥ記憶装置１０９は、１フィールド分の全候補ベクトルに対するＡＥを格納できる容量をもつ。これにより、演算装置１０６はフィールド単位のみでの一連のＡＥを演算するという構成をとることが可能になる。
【００６０】
ここでは、現画像フィールドブロックと参照画像フィールドのパリティの１つの組み合わせにおける演算を、２つのステップに分けて行う。
【００６１】
図６は、奇数フィールドを例にした探索範囲における各候補ブロックの探索順序を示す図である。図６（ｂ）および（ｃ）において、各候補ブロック中の左上隅の画素をその候補ブロックの代表点とし、代表点の動きを示す矢印によって候補ブロックの探索順序を表している。また、以下では、左上隅を代表点とする候補ベクトル（０，０）を座標（Ａ０，０）で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
【００６２】
まず、図６（ａ）に示すように、候補ベクトル領域を、現画像フレームブロックの水平方向画素数分（つまり３画素分）だけの幅をもつ複数の領域に分割する。
【００６３】
はじめに、左側の領域ａ１について、左上の候補ブロックから始めて、水平方向に３個の候補ブロックを順に処理する。次に、垂直方向に１段下がって左端から水平方向に３個の候補ブロックを処理する。このような処理を、図６（ｂ）に示す通り、３回繰り返すことによって９個の候補ブロックを処理する（ステップ１）。
【００６４】
次に、右側の領域ａ２について、左上に位置する（Ａ３，０）を代表点とする候補ブロックから始め、図６（ｃ）に示す通りの順序で残り９個の候補ブロックを処理する（ステップ２）。
【００６５】
現画像と参照画像の奇数フィールドおよび偶数フィールド全てとの組み合わせについて、同様の順序で探索を行う。
【００６６】
以下、本発明の第１の実施形態における動きベクトル検出装置１００の動作について説明する。
【００６７】
図７は、本発明に係る動きベクトル検出装置１００に含まれる構成要素の時間毎におけるデータのパリティを示す図である。
【００６８】
動きベクトル検出装置１００の動作について、現画像ブロックのフィールドと参照画像のフィールドとのパリティの組み合わせによって、図７に示すような４つのステージに分けて説明する。
【００６９】
＜ステージ１＞
ステージ１では、図７に示すように、現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとの組み合わせにおける演算（第１の演算に対応する）を行う。
【００７０】
まず、現画像記憶装置１０３に格納されている現画像奇数フィールドブロック５ａについての奇数フィールド画素データを演算装置１０６に供給する。
【００７１】
図２に示すように、現画像入力２０３から入力される現画像データは全プロセッサエレメントＰＥ０〜ＰＥ８に入力されており、現画像制御装置２０２から制御される各プロセッサエレメントＰＥ０〜ＰＥ８内のそれぞれの現画像入力選択手段３０５によって、入力された現画像データをレジスタ３０１に格納するかレジスタの値を保持し続けるかが選択される。
【００７２】
現画像データとして、図５の右側中段に示す現画像奇数フィールドブロック５ａの各画素データＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…  、Ｘ１，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…  、ＰＥ８のレジスタ３０１に格納され、ステージ１での全探索ポイントにおけるＡＥの算出が終了するまで保持され続ける。
【００７３】
また、図１に示した参照画像パリティ選択手段１０４および１０５は、それぞれ画像データ制御装置１０７からのパリティ制御信号によって、参照画像奇数フィールド記憶装置１０１からの参照画像奇数フィールド５ｃの２つの奇数フィールド画素データが、演算装置１０６における参照画像入力２０４と２０５とに供給されるように動作する。
【００７４】
図２に示すように、参照画像制御装置２０１によって制御される各参照画像データ選択手段２０６ａ〜２０６ｉは、参照画像入力２０４と２０５とから供給された２つの参照画像データのうち各プロセッサエレメントＰＥ０〜ＰＥ８に使用させるデータを選択する。
【００７５】
次に、一連のＡＥを求める動作について、図８を参照しながら具体的に説明する。
【００７６】
図８は、演算装置１０６において実現されるパイプライン処理を説明するための図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ８が要求する参照画像データを示している。
【００７７】
まず、１サイクル目（Ｃ０）において、参照画像奇数フィールド記憶装置１０１から（Ａ０，０）の画素データが出力され、参照画像入力２０４を通して演算装置１０６に入力される。演算装置１０６において、プロセッサエレメントＰＥ０に接続された参照画像データ選択手段２０６ａは、参照画像入力２０４を選択する。なお、それ以外のプロセッサエレメントＰＥ１〜ＰＥ８は、その演算結果が無効となるため、参照画像入力２０４と２０５とのどちらを選択しても構わない。
【００７８】
同様に、２サイクル目（Ｃ１）において、プロセッサエレメントＰＥ０とＰＥ１に（Ａ１，０）の画素データが入力され、３サイクル目（Ｃ２）ではプロセッサエレメントＰＥ０、ＰＥ１、およびＰＥ２に（Ａ２，０）の画素データが入力される。
【００７９】
４サイクル目（Ｃ３）において、参照画像奇数フィールド記憶装置１０１から（Ａ０，１）と（Ａ３，０）の２つの画素データが出力され、それぞれ参照画像入力２０４、２０５から演算装置１０６に入力される。演算装置１０６において、プロセッサエレメントＰＥ０、ＰＥ３にそれぞれ接続された参照画像データ選択手段２０６ａ、２０６ｄは参照画像入力２０４をそれぞれ選択する。また、プロセッサエレメントＰＥ１、ＰＥ２にそれぞれ接続された参照画像データ選択手段２０６ｂ、２０６ｃは参照画像入力２０５をそれぞれ選択する。
【００８０】
このように、演算装置１０６への入力を２系統設けることにより、同時に２個のデータが必要となる場合に対応することができる。また、図６に示した探索順に従って参照画像データを供給していくことにより、パイプライン処理を中断することなく、演算装置１０６が同時に必要とするデータ数を最大でも２個に抑えることが可能となる。
【００８１】
それ以降の時間においても、図７に示すように、順次プロセッサエレメントＰＥ０〜ＰＥ８に必要な画素データを供給していくことにより、候補ブロックの絶対値差分和が累積されていく。その結果、演算装置１０６は、１０サイクル目（Ｃ９）から１８サイクル目（Ｃ１７）にかけて、ステップ１における各候補ベクトル（０，０）〜（２，２）のそれぞれに対応した候補ブロックのＡＥを連続して出力する。この間、各プロセッサエレメントＰＥ０〜ＰＥ８に入力される２つのデータを適応的に選択することにより、連続した演算が可能となる。
【００８２】
ステップ１の演算が終了した後引き続き、図８に示すように、各プロセッサエレメントＰＥ０〜ＰＥ８に必要な画素データを供給し、ステップ２の演算を行う。これにより、現画像の奇数フィールドブロックと参照画像の奇数フィールドとの組み合わせにおける全探索ポイントにおけるＡＥの算出が終了する。
【００８３】
順次算出された現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとのＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ１を求めるためにその最小のものが選ばれる。また、画像データ制御装置１０７からの制御信号によって、ＡＥ記憶装置１０９は全てのＡＥを格納する。
【００８４】
＜ステージ２（第２のステージに対応する）＞
ステージ２では、図７に示すように、現画像偶数フィールドブロック５ｂと参照画像偶数フィールド５ｄとの組み合わせにおける演算（第２の演算に対応する）を行う。
【００８５】
まず、現画像記憶装置１０３に格納されている現画像偶数フィールドブロック５ｂについての偶数フィールド画素データを演算装置１０６に供給する。
【００８６】
現画像データとして、図５の右側下段に示す現画像偶数フィールドブロック５ｂの各画素データＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…  、Ｙ１，２、Ｙ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…  、ＰＥ８のレジスタ３０１に格納され、ステージ２での全探索ポイントにおけるＡＥの算出が終了するまで保持され続ける。
【００８７】
次に、演算装置１０６は、参照画像偶数フィールド５ｄの参照画像データを供給し、演算を行う。このとき、図１に示した参照画像パリティ選択手段１０４と１０５は、参照画像偶数フィールド記憶装置１０２から出力された参照画像偶数フィールド５ｄについての偶数フィールド画素データが演算装置１０６に供給されるように動作する。これにより、参照画像偶数フィールド５ｄについての偶数フィールド画素データが演算装置１０６に入力され、ステージ１と同様にして全探索ポイントにおけるＡＥが求められる。
【００８８】
順次算出された現画像偶数フィールドブロック５ｂと参照画像偶数フィールド５ｄとの組み合わせにおけるＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ２を求めるためにその最小のものが選ばれる。また、全てのＡＥは加算器１１０に入力される。
【００８９】
また、ステージ１においてＡＥ記憶装置１０９に格納された現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとの組み合わせにおけるＡＥが、画像データ制御装置１０７からの制御信号にもとづいて、演算装置１０６から順次出力されるＡＥとタイミングをあわせてＡＥ記憶装置１０９から出力され、加算器１１０に入力される。
【００９０】
加算器１１０では、入力された２つのＡＥを加算することにより、順次フレーム単位でのＡＥを算出する。この各ＡＥは、フレームにおける縦方向偶数ラインに対応した候補ベクトルのＡＥとなる。
【００９１】
そして、フレーム比較器１１１は、算出されたＡＥを入力し、フレーム動きベクトルＭＶを求めるためにその最小の値を選び、保持する。
【００９２】
＜ステージ３＞
ステージ３では、図７に示すように、演算装置１０６内の現画像データを現画像偶数フィールドブロック５ｂのものに保ったまま、ステージ１と同様に、供給する参照画像データを再び参照画像奇数フィールド５ｃのものに切り替えて一連の演算（第３の演算に対応する）を行う。そして、現画像偶数フィールドブロック５ｂと参照画像奇数フィールド５ｃとのＡＥを算出する。算出されたＡＥは、ステージ１と同様に、フィールド比較器１０８に入力され、保持されているステージ２の結果を加味してフィールド動きベクトルＭＶ２が求められる。また、算出されたＡＥは、ＡＥ記憶装置１０９へ格納される。
【００９３】
＜ステージ４＞
ステージ４では、図７に示すように、再び現画像奇数フィールドブロック５ａの画素データを演算装置１０６に供給し、参照画像データとして再び参照画像偶数フィールド５ｄの画素データを使用することにより、現画像奇数フィールドブロック５ａと参照画像偶数フィールド５ｄとの組み合わせにおける演算（第４の演算に対応する）を行う。同様にして算出されたＡＥは、ステージ２と同様に、フィールド比較器１０８に入力され、ステージ１の結果を加味してフィールド動きベクトルＭＶ１が求められる。また、算出されたＡＥは、加算器１１０において、ＡＥ記憶装置１０９からタイミングをあわせて読み出されたステージ３での演算結果である対応する現画像偶数フィールドブロック５ｂと参照画像奇数フィールド５ｃとのＡＥに加算され、フレーム単位のＡＥが算出される。このＡＥは、フレームにおける縦方向奇数ラインに対応した候補ベクトルのＡＥとなる。
【００９４】
そして、このフレーム単位でのＡＥはフレーム比較器１１１に入力され、保持されているステージ２の結果を加味してフレーム動きベクトルＭＶが求められる。
【００９５】
以上のように、本実施形態によると、現画像と参照画像の偶数フィールドおよび奇数フィールドとの全組み合わせを時分割で処理することによって、フレーム動きベクトルＭＶ、フィールド動きベクトルＭＶ１、およびフィールド動きベクトルＭＶ２の合計３本のベクトルを求める。このようにして、回路規模が削減された動きベクトル検出装置の提供が可能となる。加えて、パイプライン処理を用いているために、高い効率で演算を行うことができる。
【００９６】
なお、上記第１の実施形態においては、演算開始前にあらかじめ現画像データを演算装置１０６へ供給したが、本実施形態はこれに限る趣旨ではない。つまり、例えば供給する画素データが現画像奇数フィールドブロック５ａの場合はＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…  、Ｘ１，２、Ｘ２，２の順に、また現画像偶数フィールドブロック５ｂの場合はＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…  Ｙ１，２、Ｙ２，２の順に演算装置１０６に供給するようにし、現画像データと参照画像データとの演算装置１０６への供給のタイミングをあわせることにより、現画像の画素データの供給と演算とを同時に実行することができ、処理時間を短縮することが可能となる。
【００９７】
（第２の実施形態）
図９は、本発明の第２の実施形態に係る動きベクトル検出装置２００の構成例を示す図である。
【００９８】
なお、以下では、第１の実施形態と同様に、上記図４および図５で示した現画像フレームブロックと参照画像フレームとを例にして説明する。
【００９９】
図９に示す動きベクトル検出装置２００は、現画像記憶装置１１２、画像データ制御装置１１３、演算装置１１４（演算手段に対応する）を有し、その他の構成要素は第１の実施形態と同じものである。
【０１００】
また、図１０は、図９に示した演算装置１１４の内部構成例を示す図である。
【０１０１】
図１０に示す演算装置１１４は、１フィールド分の候補ブロックの画素数に等しい数のプロセッサエレメントＰＥ０〜ＰＥ８、現画像制御装置２０９、現画像パリティ制御信号入力２１０を有し、その他の構成要素は第１の実施形態と同じものである。
【０１０２】
さらに、図１１は、図１０に示した各プロセッサエレメントＰＥ０〜ＰＥ８の内部構成例を示す図である。
【０１０３】
図１１に示すプロセッサエレメントＰＥは、第２の現画像レジスタ３１１、第２の現画像入力選択手段３１２、現画像パリティ選択装置３１３、第２の現画像制御信号入力３１４、現画像パリティ制御入力３１５を有し、その他の構成要素は第１の実施形態と同じものである。
【０１０４】
図９に示す現画像記憶装置１１２には、第１の実施形態と同様、現画像フレームブロックの画素データが格納されている。また、画像データ制御装置１１３からのパリティ制御信号は、演算装置１１４にも入力されている。
【０１０５】
演算装置１１４は、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、フィールド単位で各候補ベクトルに関するＡＥを順次算出する。
【０１０６】
図１１に示す各プロセッサエレメントＰＥ０〜ＰＥ８の一例は、現画像データの一のフィールドと他のフィールドの両方の画像データを２つの現画像レジスタ３０１および３１１で保持し、演算時にそのどちらを用いるかを選択できるように構成されている。その動作は、データの保持時には現画像制御装置２０９からの制御信号によって、またデータの演算時には画像データ制御装置１１３からの制御信号によって制御される。各プロセッサエレメントＰＥ０〜ＰＥ８は、カスケード接続の構成をとっており、現画像パリティ選択装置３１３によって選択された現画像データとクロックサイクル毎に受ける参照画像の画素データとの絶対値差分和を差分絶対値演算装置３０２によって算出する。そして、加算器３０３において、累積絶対値差分和入力３０９を通して入力される前段のプロセッサエレメントＰＥからの絶対値差分和に加算し、その結果を１サイクル後に後段のプロセッサエレメントＰＥに出力する。
【０１０７】
演算装置１１４から順次出力されたＡＥは、フィールド比較器１０８において最小の値となるものが選択される。また、演算装置１１４から順次出力されたＡＥは、格納されている現画像データに上書きする形で現画像記憶装置１１２に一時格納される。
【０１０８】
現画像記憶装置１１２に格納されたＡＥは、対応する候補ベクトルの異フィールドでのＡＥが演算装置１１４から出力されるタイミングにあわせて、画像データ制御装置１１３からの制御信号を受けて現画像記憶装置１１２から出力され、加算器１１０で加算される。これにより、順次フレーム単位の各候補ベクトルに関するＡＥが算出され、フレーム比較器１１１においてフレーム単位での最小のＡＥが選択される。
【０１０９】
ここで、現画像記憶装置１１２は、少なくとも現画像ブロックの全画素データと、１フィールド分の全候補ブロックに対するＡＥとのいずれか大きい方を格納できるだけの容量をもつ。
【０１１０】
このように、フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として、現画像データを格納する現画像記憶装置１１２を再利用する。これにより、新たな記憶装置を設ける必要なくなり、ハードウェア規模の削減をより達成し、さらには回路化を容易にする。また、フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として、参照画像奇数フィールド記憶装置１０１または参照画像偶数フィールド記憶装置１０２を再利用することにより、ハードウェア規模の削減を実現することもできる。
【０１１１】
以下、本発明の第２の実施形態の動作について説明する。
【０１１２】
なお、候補ブロックの探索順序は、第１の実施形態と同様に、上記図６に示した探索順と同様である。
【０１１３】
まず、現画像記憶装置１１２に格納されている現画像ブロックの画素データを演算装置１１４に供給する。
【０１１４】
図１０に示すように、現画像入力２０３から入力される現画像データは全プロセッサエレメントＰＥ０〜ＰＥ８に入力され、現画像制御装置２０９から制御される各プロセッサエレメントＰＥ０〜ＰＥ８内のそれぞれの現画像入力選択手段３０５および３１２によって、入力された現画像の画素データをレジスタ３０１または３１１に格納するかどうかが選択される。
【０１１５】
現画像データとして、図５の右側中段に示す現画像奇数フィールドブロック５ａの各画素データＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…  、Ｘ１，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…  、ＰＥ８の現画像レジスタ３０１に格納され、また現画像偶数フィールドブロック５ｂの各画素データＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…  、Ｙ１，２、Ｙ２，２が、それぞれプロセッサエレメントＰＥ０、ＰＥ１、ＰＥ２、…  、ＰＥ８の現画像レジスタ３１１に格納され、ＡＥの算出が全て終了するまで保持され続ける。このため、現画像記憶装置１１２は、演算装置１１４に格納されていたデータを保持し続ける必要はない。
【０１１６】
次に、参照画像データを演算装置１１４へ供給し、一連のＡＥを求める動作について説明する。その動作の流れは、上記図７で示した第１の実施形態と同様である。以下、各ステージに分けて説明する。
【０１１７】
＜ステージ１＞
まず、画像データ制御装置１１３が現画像パリティ制御信号によって現画像パリティ選択装置３１３を制御することによって、演算装置１１４内の全てのプロセッサエレメントＰＥ０〜ＰＥ８は、現画像データとして現画像レジスタ３０１に格納された現画像奇数フィールドブロック５ａのデータを用いる。そして、第１の実施形態における図８の場合と同様にして、参照画像奇数フィールド５ｃについての奇数フィールド画素データを演算装置１１４に供給することにより、ステージ１の演算（第１の演算に対応する）を行う。
【０１１８】
順次算出された現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとのＡＥは、フィールド比較器１０８に入力される。フィールド比較器１０８は、フィールド動きベクトルＭＶ１を求めるためにその最小のものを選択し、保持する。また、順次算出された全てのＡＥは、画像データ制御装置１１３からの制御信号によって、その全てが現画像記憶装置１１２における、既に演算装置１１４に供給された現画像データを格納する領域に上書きする形で、一時格納される。
【０１１９】
＜ステージ２＞
次に、画像データ制御装置１１３が現画像パリティ制御信号によって現画像パリティ選択装置３１３を制御することによって、演算装置１１４内の全てのプロセッサエレメントＰＥ０〜ＰＥ８は、現画像データとして現画像レジスタ３１１に格納された現画像偶数フィールドブロック５ｂのデータを用いる。そして、第１の実施形態における図８の場合と同様にして、参照画像偶数フィールド５ｄについての偶数フィールド画素データを演算装置１１４に供給することにより、ステージ２の演算（第２の演算に対応する）を行う。
【０１２０】
順次算出された現画像偶数フィールドブロック５ｂと参照画像偶数フィールド５ｄとの組み合わせにおけるＡＥは、フィールド比較器１０８に入力される。フィールド比較器１０８は、フィールド動きベクトルＭＶ２を求めるためにその最小のものを選択し、保持する。また、上記順次算出された全てのＡＥは加算器１１０に入力される。
【０１２１】
また、現画像記憶装置１１２は、画像データ制御装置１１３からの制御信号を受けることによって、ステージ１において格納した現画像奇数フィールドブロック５ａと参照画像奇数フィールド５ｃとのＡＥを、演算装置１１４から順次出力されるＡＥとタイミングをあわせて出力し、加算器１１０に入力する。
【０１２２】
加算器１１０は、入力された２つのＡＥを加算することにより、順次フレーム単位でのＡＥを算出する。これらの各ＡＥは、フレームでの縦方向偶数ラインに対応した候補ベクトルのＡＥとなる。
【０１２３】
そして、フレーム比較器１１１は、加算器１１０で算出されたＡＥを入力し、フレーム動きベクトルＭＶを求めるためにその最小の値を選択し、保持する。
【０１２４】
＜ステージ３＞
続いて使用する現画像データとして、現画像偶数フィールドブロック５ｂの画素データに保ったまま、ステージ１と同様に、供給する参照画像データを再び参照画像奇数フィールド５ｃの画素データに切り替えてステージ３の演算（第３の演算に対応する）を行う。算出されたＡＥはステージ１と同様にフィールド比較器１０８に入力され、フィールド比較器１０８は保持しているステージ２の結果を加味してフィールド動きベクトルＭＶ２を求める。また、算出されたＡＥは現画像記憶装置１１２へ格納される。
【０１２５】
＜ステージ４＞
さらに、ステージ１と同様に、使用する現画像データとして現画像奇数フィールドブロック５ａの画素データに切り替え、参照画像データとして再び参照画像偶数フィールド５ｄの画素データを使用することによって、ステージ４の演算（第４の演算に対応する）を行う。算出されたＡＥはステージ２と同様にフィールド比較器１０８に入力され、フィールド比較器１０８はステージ１の結果を加味してフィールド動きベクトルＭＶ１を求める。また、加算器１１０は、タイミングをあわせて現画像記憶装置１１２から読み出されたステージ３で算出したＡＥに加算し、フレーム単位のＡＥを算出する。このＡＥは、フレームにおける縦方向奇数ラインに対応した候補ベクトルのＡＥとなる。そして、算出されたフレーム単位のＡＥはフレーム比較器１１１に入力され、フレーム比較器１１１において、保持されているステージ２の結果を加味してフレーム動きベクトルＭＶが求められる。
【０１２６】
以上のように、本実施形態によると、現画像と参照画像の偶数フィールドおよび奇数フィールドとの全組み合わせを時分割で処理することにより、フレーム動きベクトルＭＶ、フィールド動きベクトルＭＶ１およびフィールド動きベクトルＭＶ２の計３本のベクトルを求める。フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として、現画像データを格納する現画像記憶装置１１２を再利用する。これにより、新たな記憶装置を設ける必要なくなり、ハードウェア規模の削減をより達成し、さらには回路化を容易にする。
【０１２７】
なお、本実施形態において、フレーム動きベクトルＭＶを求めるためにフィールド単位で算出されたＡＥを一時格納する手段として現画像記憶装置１１２を再利用する場合について説明したが、参照画像奇数フィールド記憶装置１０１または参照画像偶数フィールド記憶装置１０２を再利用することによっても、ハードウェア規模の削減を実現することもできる。
【０１２８】
また、本実施形態において、現画像データの演算装置１１４への供給順を特に指定しなかったが、以下のように実行することもできる。すなわち、現画像データを、参照画像データの演算装置１１４への供給のタイミングにあわせ、現画像奇数フィールドブロック５ａの場合はステージ１においてＸ０，０、Ｘ１，０、Ｘ２，０、Ｘ０，１、Ｘ１，１、…  、Ｘ１，２、Ｘ２，２の順にプロセッサエレメントＰＥ内のレジスタに供給しつつ演算を行う。そして、その演算結果を現画像偶数フィールドブロック５ｂの画素データを上書きしないように現画像記憶装置１１２に格納する。また、現画像偶数フィールドブロック５ｂの場合はステージ２においてＹ０，０、Ｙ１，０、Ｙ２，０、Ｙ０，１、Ｙ１，１、…  、Ｙ１，２、Ｙ２，２の順に演算装置１１４に供給しつつ演算を行う。このようにすることで、現画像の画素データの供給と演算とを同時に実行することができ、全体の処理時間を短縮することが可能となる。
【０１２９】
また、上記第１および第２の実施形態では、参照画像と現画像のフィールドとの組み合わせについて、（奇数−奇数）、（偶数−偶数）、（奇数−偶数）、（偶数−奇数）の順で行ったが、必ずしもこの順に従う必要はない。すなわち、同じパリティのフィールド同士の組み合わせにおけるステージと、異なるパリティのフィールド同士の組み合わせにおけるステージとが、それぞれ連続になるように処理しさえすればよい。
【０１３０】
（第３の実施形態）
図１２は、本発明の第３の実施形態に係る動きベクトル検出装置３００の構成例を示す図である。
【０１３１】
なお、以下では、第１の実施形態と同様に、上記図４および図５で示した現画像フレームブロックと参照画像フレームとを例にして説明する。
【０１３２】
図１２に示す動きベクトル検出装置３００は、画像データ制御装置１１５、演算装置１１６（演算手段に対応する）、１つの探索ポイントにおけるＡＥ（１つの候補ベクトルに対する予測誤差）を格納できるレジスタ１１７を有し、その他の構成要素は第１の実施形態と同じものである。
【０１３３】
図１３は、図１２に示した演算装置１１６の内部構成例を示したものであり、候補ブロックの１フィールド分の画素数に等しい数のプロセッサエレメントＰＥを有し、各プロセッサエレメントＰＥ０〜ＰＥ８は、第２の実施形態で用いた図１１に示すものと同じものである。図１３に示す演算装置１１６は、参照画像制御装置２１１、現画像制御装置２１２、参照画像奇数フィールドデータ入力２１３ａおよび２１３ｂ、参照画像偶数フィールドデータ入力２１４ａおよび２１４ｂ、参照画像データ選択手段２１５ａ〜２１５ｉを有し、その他の構成要素は第２の実施形態と同じものである。
【０１３４】
本実施形態では、参照画像奇数フィールド記憶装置１０１、参照画像偶数フィールド記憶装置１０２は、参照画像奇数フィールドの画素データ、参照画像偶数フィールドの画素データをそれぞれ２つずつ演算装置１１６にそのまま供給する。
【０１３５】
演算装置１１６は、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、フィールド単位で各候補ベクトルに関するＡＥを順次算出する。
【０１３６】
演算装置１１６において、画像データ制御装置２１５と参照画像制御装置２１１とからの制御信号によって、偶数番号のプロセッサエレメントＰＥと奇数番号のプロセッサエレメントＰＥとは、それぞれ異なるパリティについての演算を交互に行うように動作する。各プロセッサエレメントＰＥ０〜ＰＥ８はカスケード接続の構成をとっているので、このように動作させることによって、演算装置１１６は、異なるパリティの組み合わせにおけるＡＥを１サイクル毎に交互に出力する。
【０１３７】
演算装置１１６から出力されたＡＥはフィールド比較器１０８に入力される。フィールド比較器１０８は最小の値となるものを選択する。また、演算装置１１６から出力されたＡＥはレジスタ１１７に一時格納される。
【０１３８】
レジスタ１１７に一時的に格納されたＡＥは、次のクロックサイクルにおいてレジスタ１１７から出力し、加算器１１０に入力する。加算器１１０は、演算装置１１６から出力される対応する異パリティの組み合わせでのＡＥと加算することによってフレーム単位のＡＥを算出し、フレーム比較器１１１に入力する。そして、フレーム比較器１１１はフレーム単位での最小のＡＥを決定する。
【０１３９】
このように、各プロセッサエレメントＰＥ０〜ＰＥ８をクロックサイクル毎に使い分け、異なるパリティのフィールドに対するＡＥを演算装置１１６から交互に出力させることによって、余分な記憶装置を用いることなく、レジスタ１個の追加のみでフレーム動きベクトルＭＶを求めることができ、ハードウェア規模の削減と共に、回路化が容易になる。
【０１４０】
ここで、各候補ブロックの探索順について図１４を参照しながら説明する。
【０１４１】
図１４は、図５に示した参照画像奇数フィールド５ｃを例にした探索範囲内の各候補ブロックの探索順序を表している。また、以下では、左上隅を代表点とする候補ベクトル（０，０）を座標（Ａ０，０）で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
【０１４２】
図１４（ａ）に示すように、候補ベクトルの領域を現画像フレームブロックの水平方向画素分（つまり３画素分）だけの幅をもつ複数の領域に分割する。
【０１４３】
まず、図１４（ｂ）に示すように、左側の領域ａ１について、左上の候補ブロックから開始して１行ずつ下りながら水平方向に順に番号をつけていったときに、奇数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ１）。
【０１４４】
次に、同様に、図１４（ｃ）に示すように、左側の領域ａ１について、偶数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ２）。
【０１４５】
さらに、右側の領域ａ２についても同様に、奇数番号（ステップ３）、偶数番号（ステップ４）の順に処理する。
【０１４６】
以下、本発明の第３の実施形態に係る動きベクトル検出装置３００の動作について説明する。
【０１４７】
まず、第２の実施形態と同様にして、現画像記憶装置１０３に格納されている現画像フレームブロックの画素データを演算装置１１６に供給する。
【０１４８】
次に、一連のＡＥを求める動作について説明する。
【０１４９】
図１５は、本実施形態における動きベクトル検出装置３００に含まれる各構成要素の時間毎におけるデータのパリティを示す図である。
【０１５０】
一連のＡＥを求める動作は、現画像フィールドブロックと参照画像フィールドの同パリティ同士、および現画像フィールドブロックと参照画像フィールドの異パリティ同士の２つのステージに分けて行われる。以下、各ステージに分けて説明する。
【０１５１】
＜ステージ１（第１のステージに対応する）＞
ステージ１では、図１５に示すように、現画像フィールドブロックと参照画像フィールドとについて、奇数フィールド同士の組み合わせ（第１の演算の対象となる組み合わせ）と偶数フィールド同士の組み合わせ（第２の演算の対象となる組み合わせ）についてのそれぞれのＡＥが交互に出力されるように、全探索ポイントにおける演算を行う。
【０１５２】
ここで、一連のＡＥを求める動作について、図１６Ａおよび図１６Ｂを参照しながら具体的に説明する。
【０１５３】
図１６Ａは、演算装置１１６によって実現されるステップ１および２までのパイプライン処理を説明するための図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ８が使用するデータを示している。また、図１６Ａの上段はステージ１における動作、図１６Ａ下段はステージ２における動作を表している。
【０１５４】
まず、画像データ制御装置１１５が図１１に示した現画像パリティ選択装置３１３を制御することによって、１サイクル目（Ｃ０）において、演算装置１１６内の偶数番号のプロセッサエレメントＰＥは、現画像データとして現画像レジスタ３０１に格納された現画像奇数フィールドブロック（図５参照、以下同様）の画素データを用い、また奇数番号のプロセッサエレメントＰＥは、現画像レジスタ３１１に格納された現画像偶数フィールドブロック（図５参照、以下同様）の画素データを用いる。以降、クロックサイクル毎に、用いる画素データのパリティが交互になるようにする。
【０１５５】
次に、参照画像データの演算装置１１６への供給について説明する。
【０１５６】
まず、１サイクル目（Ｃ０）において、参照画像奇数フィールド記憶装置１０１から参照画像奇数フィールド（図５参照、以下同様）の（Ａ０，０）の参照画素データが、図１２に示す演算装置１１６の入力２１３ａから供給される。演算装置１１６において、参照画像制御装置２１１から制御された参照画像データ選択手段２１５ａによって、（Ａ０，０）の画素データがプロセッサエレメントＰＥ０に供給される。なお、その他のプロセッサエレメントＰＥでは、その演算結果は無効となるため、いずれの入力を選択しても構わない。
【０１５７】
次に、２サイクル目（Ｃ１）において、参照画像奇数フィールド記憶装置１０１から参照画像奇数フィールドの（Ａ１，０）の参照画素データがプロセッサエレメントＰＥ１に供給される。また、参照画像偶数フィールド記憶装置１０２から参照画像偶数フィールド（図５参照、以下同様）の（Ｂ０，０）の画素データがプロセッサエレメントＰＥ０に供給される。
【０１５８】
さらに、３サイクル目（Ｃ２）において、プロセッサエレメントＰＥ０とＰＥ２には参照画像奇数フィールド記憶装置１０１から参照画像奇数フィールドの（Ａ２，０）の画素データが供給される。また、プロセッサエレメントＰＥ１には参照画像偶数フィールド記憶装置１０２から参照画像偶数フィールドの（Ｂ１，０）の画素データが供給される。
【０１５９】
次に、４サイクル目（Ｃ３）において、参照画像奇数フィールド記憶装置１０１の２つの出力から参照画像奇数フィールドの（Ａ０，１）、（Ａ３，０）の画素データがそれぞれ出力され、それぞれ演算装置１１６の入力２１３ａ、２１３ｂを通じてプロセッサエレメントＰＥ３、ＰＥ１に供給される。それと同時に、参照画像偶数フィールド記憶装置１０２からの参照画像偶数フィールドの（Ｂ２，０）が出力され、演算装置１１６の入力２１４ａを通じてプロセッサエレメントＰＥ２とＰＥ０に供給される。
【０１６０】
このように、各フィールドについて入力を２系統ずつもつことにより、それぞれ同時に２個のデータが必要となる場合に対応する。図１４に示すように参照画像データを供給すれば、パイプライン処理を中断することなく、演算装置１１６が同時に必要とするデータ数を各パリティ毎に最大でも２個に抑えることが可能になる。
【０１６１】
それ以降のサイクルについても、順次プロセッサエレメントＰＥ０〜ＰＥ８に必要な画素データを図１６Ａに示すように供給していくことにより、候補ブロックの絶対値差分和が累積されていく。このように、異なるフィールドの演算を各プロセッサエレメントＰＥ０〜ＰＥ８に交互に行わせることにより、奇数フィールド同士の組み合わせと偶数フィールド同士の組み合わせとについて、それぞれの対応するＡＥを演算装置１１６から交互に得ることが可能となる。
【０１６２】
そして、１０サイクル目（Ｃ９）において、参照画像と現画像の奇数フィールドの組み合わせにおける候補ベクトル（０，０）に対応した候補ブロックのＡＥが演算装置１１６から出力される。ここで、図１６Ａにおいて、フィールドが奇数のものを”Ｏ”とし、フィールドが偶数のものを”Ｅ”として、算出されたＡＥのパリティを表現している。このＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ１を求めるために使用されると同時に、レジスタ１１７に格納される。
【０１６３】
１１サイクル目（Ｃ１０）において、参照画像と現画像の偶数フィールドの組み合わせにおける候補ベクトル(０，０)に対応した候補ブロックのＡＥが演算装置１１６から出力される。このＡＥは、フィールド比較器１０８に入力され、フィールド動きベクトルＭＶ２を求めるために使用される。それと同時に、このＡＥは、加算器１１０において、レジスタ１１７から出力される奇数フィールドの組み合わせでのＡＥに加算され、縦方向偶数ラインに対応したフレーム単位でのＡＥとなる。そして、フレーム比較器１１１において、入力されたフレーム単位でのこのＡＥは、フレーム動きベクトルＭＶを求めるために使用される。
【０１６４】
以降、引き続き図１６Ａに従って演算を行うことにより、ステップ１の動作は終了する。そのまま引き続いて、上記ステップ２から４の演算を行うことにより、現画像フィールドブロックと参照画像フィールドの同パリティ同士の組み合わせでの全探索ポイントにおけるＡＥの算出が終了する。
【０１６５】
＜ステージ２（ステージ２に対応する）＞
ステージ２では、図１５に示すように、ステージ１と同様の４つのステップからなる探索順に従って、現画像フィールドブロックと参照画像フィールドとについて、異なるパリティのフィールド同士での組み合わせ、つまり現画像フィールドブロックが偶数フィールドで参照画像フィールドが奇数フィールドである組み合わせ（第３の演算に対応する組み合わせ）と現画像フィールドブロックが奇数フィールドで参照画像フィールドが偶数フィールドである組み合わせ（第４の演算に対応する組み合わせ）についての全探索ポイントにおける演算を、図１６Ｂに従って行う。
【０１６６】
ただし、現画像フィールドブロックと参照画像フィールドとが異なるパリティ同士の組み合わせの場合、フレーム単位のＡＥを求める際には、垂直方向に１画素分ずらしたものを足し合わせる必要がある。このため、参照画像奇数フィールドにおける上端の行および参照画像偶数フィールドにおける下端の行に関する候補ベクトルは、フレーム単位でのＡＥ算出には使用されない。このため、図１６Ｂに示すように、片方のフィールドのみの演算を行う期間が存在する。
【０１６７】
ステージ２においても、上記と同様に演算を行うことによって、ステージ１とステージ２とにおける演算により、フレーム動きベクトルＭＶ、フィールド動きベクトルＭＶ１およびフィールド動きベクトルＭＶ２の計３本のベクトルを求めることができる。
【０１６８】
以上のように、本実施形態によると、順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。さらに、フレーム動きベクトルの算出の際には１つの候補ベクトルに対する予測誤差を保持しておけば足りるので、ハードウェア規模を削減できる。
【０１６９】
なお、本実施形態では、ステージ１において現画像フィールドブロックと参照画像フィールドの同パリティ同士の組み合わせについて、(奇数−奇数)の組み合わせが先になるように演算し、その後ステージ２において異なるパリティの組み合わせについて、(偶数−奇数)の組み合わせが先になるよう演算したが、必ずしもこの順で行う必要はない。
【０１７０】
また、上記第１〜第３の実施形態においては、フレーム構造におけるフィールド動き補償予測による２本の動きベクトルＭＶ１およびＭＶ２と、フレーム動き補償予測による１本の動きベクトルＭＶの計３本の動きベクトルを求めた。しかしながら、使用するデータをフィールド構造のものにすることで、１６×８動き補償予測による２本の動きベクトルＭＶ１およびＭＶ２と、フィールド動き補償予測による１本の動きベクトルＭＶの計３本の動きベクトルを求めることも可能である。
【０１７１】
さらに、上記第１〜第３の実施形態においては、フレーム構造における現画像ブロックサイズを３×６画素、参照画像を８×１０画素として説明したが、現画像ブロックサイズと参照画像の範囲は特にこれに限定するものではない。
【０１７２】
（第４の実施形態）
以下の第４の実施形態においては、説明を単純化するために、図１７の最上段に示すように、現画像フレームブロックおよび参照画像フレームの双方が奇数フィールドである組み合わせについてのみ考えるが、この組み合わせに限定されるものではない。また、図１７に示すように、フィールド単位で現画像奇数フィールドブロック１７ｂのブロックサイズを４×３画素（１７ｂ）、探索範囲を８×５画素の参照画像奇数フィールド１７ａとし、それぞれを異なる位相の２列周期で間引く形となる偶数列（例えば１７ｃ及び１７ｅ）と奇数列（例えば１７ｄ及び１７ｆ）との２つの部分画像に分割して処理する場合（つまり、対応する請求項におけるｎが２である場合に該当する）について説明する。
【０１７３】
図１８は、本発明の第４の実施形態に係る動きベクトル検出装置４００の構成例を示すブロック図である。
【０１７４】
図１８に示す動きベクトル検出装置４００は、参照画像偶数列画素記憶装置１１８（参照画像記憶装置に対応する）、参照画像奇数列画素記憶装置１１９（参照画像記憶装置に対応する）、演算装置１２０（演算手段に対応する）、画像データ制御装置１２１を有し、その他の構成要素は、第３の実施形態と同じものである。
【０１７５】
第４の実施形態の例では、前述の通り、２つの部分画像に分割して処理を行うので、参照画像データを記憶する装置の数は２個、レジスタの数は１個となる。また、演算装置１２０は現画像奇数フィールドブロック１７ｂが間引かれた部分画像の画素数である６画素に等しい数のプロセッサエレメントＰＥ０〜ＰＥ５を有し、演算装置１２０の内部構成および各プロセッサエレメントＰＥ０〜５は、それぞれ上記図１１および図１３と同様の構成で実現できる。
【０１７６】
参照画像偶数列画素記憶装置１１８および参照画像奇数列画素記憶装置１１９からそれぞれ出力された２つずつのデータは、そのまま演算装置１２０に供給される。また、画像データ制御装置１２１からの制御信号が、演算装置１２０に入力される。
【０１７７】
演算装置１２０は、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、候補ブロックの偶数または奇数ライン分の各候補ベクトルに関する部分的なＡＥを順次算出する。
【０１７８】
演算装置１２０において、偶数番号のプロセッサエレメントＰＥと奇数番号のプロセッサエレメントＰＥとは、それぞれ異なる列の部分画像に対する演算を交互に行うように動作する。各プロセッサエレメントＰＥ０〜ＰＥ５はカスケード接続の構成をとっているので、このように動作させることにより、演算装置１２０は、異なる列の部分画像の組み合わせにおけるＡＥ（以下、部分ＡＥという）を１サイクル毎に交互に出力する。出力された部分ＡＥは、そのままレジスタ１１７に一時格納される。
【０１７９】
レジスタ１１７に格納された部分ＡＥは、次のクロックサイクルにおいて出力される。加算器１１０において、演算装置１２０から出力される同じブロック内における他の部分画像の組み合わせでの部分ＡＥと加算されることにより、フィールド単位のＡＥが算出される。算出されたフィールド単位でのＡＥはフィールド比較器１０８に入力され、フィールド単位での最小のＡＥが決定される。
【０１８０】
このように、１つのフィールドの演算を列単位で間引いて、間引かれた領域毎の演算を、その演算結果が順番に出力されるようにし、フィールド単位のＡＥを求める。これにより、必要なプロセッサエレメントＰＥの数が大幅に減少され、ハードウェアの削減につながる。
【０１８１】
ここでは、間引かれた画像の１つの組み合わせについての演算を、４つのステップに分けて行う。現画像奇数フィールドブロックと参照画像奇数フィールドとの奇数列画像同士、および現画像奇数フィールドブロックと参照画像奇数フィールドとの偶数列画像同士との組み合わせを１つのペアとして扱う。
【０１８２】
図１９（ａ）〜（ｃ）は、図１７で示した参照画像奇数フィールド１７ａの偶数列１７ｅを例にした探索範囲内の各候補ブロックの探索順序を説明するための図である。また、以下では、左上隅を代表点とする候補ベクトル（０，０）の座標(Ａ０，０)で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
【０１８３】
図１９（ａ）に示すように、探索範囲を現画像奇数フィールドブロック１７ｂの部分画像（例えば１７ｃ、１７ｄ参照）の水平方向画素数分の２画素分だけの幅をもつ複数の領域に分割する。
【０１８４】
まず、左側の領域ｂ１について、左上の候補ブロックから開始して１行ずつ下りながら水平方向に順に番号をつけていったときに、奇数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ１）。
【０１８５】
次に、同様に左側の領域ｂ１について、偶数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ２）。
【０１８６】
さらに、右側の領域ｂ２についても同様にして、奇数番号（ステップ３）、偶数番号（ステップ４）の順に処理する。
【０１８７】
なお、ステップ３及び４における処理領域が探索範囲外になるような場合、そのブロックにおける処理は無効となる。
【０１８８】
本実施形態では、２つの部分画像に間引いて処理を行うため、奇数番号と偶数番号との２種類について、別のステップに分けて処理する。
【０１８９】
以下、本発明の第４の実施形態に係る動きベクトル検出装置４００の動作について説明する。
【０１９０】
まず、現画像記憶装置１０３に格納されている現画像奇数フィールドブロック１７ｂの画素データを演算装置１２０に供給する。
【０１９１】
現画像データは、現画像奇数フィールドブロック１７ｂの偶数列１７ｃの画素データＸ０，０、Ｘ２，０、Ｘ０，１、Ｘ２，１、Ｘ０，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０〜ＰＥ５の現画像レジスタ３０１に格納され、また奇数列の画素データＸ１，０、Ｘ３，０、Ｘ１，１、Ｘ３，１、Ｘ１，２、Ｘ３，２が、それぞれＰＥ０〜ＰＥ５の現画像レジスタ３１１に格納され、一連のＡＥの算出が終了するまで保持され続ける。
【０１９２】
次に、一連の演算について図２０を参照しながら説明する。
【０１９３】
図２０は、本実施形態における動きベクトル検出装置４００に含まれる各構成要素の時間毎におけるデータを示す図である。以下では、その演算について２つのステージに分けて行う。
【０１９４】
＜ステージ１（第１のステージに対応する）＞
まず、図１７に示すように、現画像奇数フィールドブロックと参照画像奇数フィールドとの偶数列画像同士（１７ｃ、１７ｅ）の組み合わせ（第２の演算の対象となる組み合わせ）、奇数列画像同士（１７ｄ、１７ｆ）の組み合わせ（第１の演算の対象となる組み合わせ）について、それぞれの部分ＡＥが交互に出力されるように、全探索ポイントにおける演算を行う。
【０１９５】
ここで、一連のＡＥを求める動作について図２１Ａおよび図２１Ｂを参照しながら具体的に説明する。
【０１９６】
図２１Ａおよび図２１Ｂは、演算装置１２０によって実現されるパイプライン処理を表す図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ５が使用するデータを示している。
【０１９７】
まず、画像データ制御装置１２１が選択手段３１１を制御することによって、１サイクル目（Ｃ０）において、演算装置１２０内の偶数番号のプロセッサエレメントＰＥは、現画像データとしてレジスタ３０１に格納された現画像奇数フィールドブロック１７ｂの偶数列１７ｃの画素データを用いる。また、奇数番号のプロセッサエレメントＰＥは、現画像データとしてレジスタ３１１に格納された現画像奇数フィールドブロック１７ｂの奇数列１７ｄの画素データを用いる。以降クロックサイクル毎に、用いる画素データが交互になるようにする。
【０１９８】
次に、参照画像データの演算装置１２０への供給について説明する。
【０１９９】
まず、１サイクル目（Ｃ０）において、参照画像偶数列画素記憶装置１１８から（Ａ０，０）の画素データが、入力２１３ａを通じて演算装置１２０のプロセッサエレメントＰＥ０に供給される。その他のプロセッサエレメントＰＥでは、その演算結果は無効となるため、いずれの入力を選択しても構わない。
【０２００】
次に、２サイクル目（Ｃ１）において、参照画像偶数列画素記憶装置１１８から（Ａ２，０）の画素データがプロセッサエレメントＰＥ１に供給され、そして参照画像奇数列画素記憶装置１１９から（Ａ１，０）の画素データがプロセッサエレメントＰＥ０に供給される。
【０２０１】
さらに、３サイクル目（Ｃ２）において、プロセッサエレメントＰＥ０およびＰＥ２に参照画像偶数列画素記憶装置１１８からの（Ａ０，１）の画素データが供給され、プロセッサエレメントＰＥ１には参照画像奇数列画素記憶装置１１９からの（Ａ３，０）の画素データがそれぞれ供給される。
【０２０２】
それ以降のサイクルについても、図２１Ａに示すように順次プロセッサエレメントＰＥ０〜ＰＥ５に必要な画素データを供給していくことにより、間引かれた候補ブロックの絶対値差分和（部分ＡＥ）が累積されていく。
【０２０３】
このように、異なる分割領域の演算を各プロセッサエレメントＰＥ０〜ＰＥ５に交互に行わせることにより、上述の偶数列同士、奇数列同士の組み合わせについて、それぞれの部分ＡＥを演算装置１２０から交互に得ることが可能になる。
【０２０４】
演算の結果、７サイクル目（Ｃ６）において、候補ベクトル（０，０）に対応する候補ブロックの偶数列での部分ＡＥが演算装置１２０から出力される。この部分ＡＥは、レジスタ１１７に格納される。なお、図２１Ａにおいて、現画像奇数フィールドブロック１７ｂの偶数列１７ｃについての部分ＡＥを”Ｅ”、現画像奇数フィールドブロック１７ｂの奇数列１７ｄについての部分ＡＥを”Ｏ”と表している。
【０２０５】
８サイクル目（Ｃ７）には、奇数列同士の組み合わせにおける候補ベクトル(０，０)に対応する候補ブロックの部分ＡＥが演算装置１２０から出力される。この部分ＡＥは、レジスタ１１７から出力される偶数列でのＡＥに加算され、フィールド単位でのＡＥとなり、そのままフィールド比較器１０８に入力され、フィールド動きベクトルを求めるために使用される。
【０２０６】
このように、偶数列と奇数列の組み合わせで、１つの候補ベクトルに対応したＡＥが算出される。なお、図２１Ａにおいて太線で囲まれた部分２１ａは、候補ベクトル(０，０)に関するＡＥの算出を示している。
【０２０７】
以降、同様にして、図２１Ａに従って演算を行うことにより、ステップ１が終了し、そのまま引き続いてステップ２の演算を行うことにより、現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとの同パリティ列同士の組み合わせについて、全探索ポイントにおけるＡＥの算出が終了する。
【０２０８】
＜ステージ２（第２のステージに対応する）＞
続いて、ステージ１と同様の探索順で、図２０に示す通り、現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとの奇数列−偶数列画像の組み合わせ（第４の演算の対象となる組み合わせ）、偶数列−奇数列画像の組み合わせ（第３の演算の対象となる組み合わせ）についての演算を、図２１Ｂに従って、上記と同様に行うことにより、全探索範囲においての演算が終了し、フィールド動きベクトルを求めることができる。
【０２０９】
以上のように、本実施形態に係る動きベクトル検出装置によると、参照画像奇数フィールド１７ａの偶数列１７ｅ及び奇数列１７ｆの部分画像を用いて、現画像奇数フィールドブロック１７ｂの偶数列１７ｃ及び奇数列１７ｄの部分画像についての各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例と比較して算出に必要な回路が半分になり予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。
【０２１０】
なお、本実施形態の上記ステージ１での現画像奇数フィールドブロック１７ｂと参照画像奇数フィールドとの偶数列同士の組み合わせにおける一連の演算は、水平方向に１画素ずつ間引いて演算を行うことに相当するため、特に大きな回路変更を要さずに、そのような間引き演算に対応できる。
【０２１１】
また、本実施形態では、現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとについて、偶数列と奇数列の２つの部分画像に間引いて処理を行ったが、行単位に間引いてもよく、さらに部分画像への間引き方を２つに限定する必要はない。なお、その場合、間引き方に対応する数のレジスタを設ければよい。
【０２１２】
また、本実施形態では、ステージ１で現画像奇数フィールドブロック１７ｂと参照画像奇数フィールド１７ａとの同パリティ列同士の組み合わせについては（偶数−偶数）の組み合わせが先になるよう行い、次のステージ２で異なるパリティの組み合わせについては（偶数−奇数）の組み合わせが先になるよう行ったが、必ずしもこの順で行う必要はない。
【０２１３】
また、上記第１〜第４の実施形態においては、フレーム構造を例として説明したが、フィールド構造にも対応可能である。
【０２１４】
また、上記第１〜第４の実施形態においては、パイプライン処理の無駄を少なくするため、参照画像データを格納する２つの記憶装置はそれぞれ２つの出力を備え、それに伴い上記第１および第２の実施形態では参照画像データのパリティを選択する選択手段も２つ備えてる構成にしたが、処理時間に余裕があれば記憶装置の出力および選択手段は１つであっても構わない。
【０２１５】
さらに、上記第１〜第４の実施形態においては、相関度の評価指標として、参照画像フレームブロックと現画像フレームブロックとの画素データの差分絶対値和をＡＥとして用いたが、差分２乗和をＡＥとしても構わない。
【０２１６】
（第５の実施形態）
以下の第５の実施形態においては、説明を単純化するために、図２２の最上段に示すように、現画像フレームブロックおよび参照画像フレーム双方が奇数フィールドである組み合わせについてのみ考えるが、この組み合わせに限定されるものではない。また、図２２に示すように、フィールド単位で現画像奇数フィールドブロック２２ｂのブロックサイズを４×３画素（２２ｂ）、探索範囲を８×５画素の参照画像奇数フィールド２２ａとし、それぞれを異なる位相の２列周期で間引く形となる偶数列（例えば２２ｃ及び２２ｅ）と奇数列（例えば２２ｄ及び２２ｆ）との２つの部分画像に分割して処理する場合（つまり、対応する請求項におけるｎが２である場合に該当する）について説明する。さらに、以下では、現画像奇数フィールドブロック２２ｂの部分画像のうちの偶数列２２ｃの画素データのみを用いる場合について説明するが、以下の実施例に限定されるわけではない。
【０２１７】
図２３は、本発明の第５の実施形態に係る動きベクトル検出装置５００の構成例を示すブロック図である。
【０２１８】
図２３に示す動きベクトル検出装置５００は、画像データ制御装置１２２、現画像記憶装置１２３、演算装置１０６ａ（演算手段に対応する）、参照画像偶数列画素記憶装置１１８（参照画像記憶装置に対応する）、参照画像奇数列画素記憶装置１１９（参照画像記憶装置に対応する）、及びフィールド比較器１０８を有している。現画像記憶装置１２３は、現画像奇数フィールドブロック２２ｂの偶数列２２ｃの画素データのみが格納されている。なお、参照画像偶数列画素記憶装置１１８（参照画像記憶装置に対応する）、参照画像奇数列画素記憶装置１１９（参照画像記憶装置に対応する）、及びフィールド比較器１０８は、第４の実施形態と同様のものである。
【０２１９】
第５の実施形態の例では、前述の通り、２つの部分画像に分割して処理を行うため、参照画像データを記憶する装置の数は２個、レジスタの数は１個となる。また、演算装置１０６ａは、第１の実施形態と同様の構成を有しているが、現画像奇数フィールドブロック２２ｂが間引かれた部分画像の画素数である６画素に等しい数のプロセッサエレメントＰＥ０〜ＰＥ５を有する。なお、演算装置１０６ａの内部構成および各プロセッサエレメントＰＥ０〜５は、それぞれ上記図２および図３と同様の構成で実現できる。
【０２２０】
参照画像制御装置２０１（図２参照）は各プロセッサエレメントＰＥ０〜ＰＥ５に供給される参照画像データを制御する。さらに、現画像制御装置２０２（図２参照）は、各プロセッサエレメントＰＥ０〜ＰＥ５に入力される現画像データを制御する。
【０２２１】
参照画像偶数列画素記憶装置１１８および参照画像奇数列画素記憶装置１１９からそれぞれ出力された２つずつのデータは、そのまま演算装置１０６ａに供給される。また、画像データ制御装置１２２からの制御信号が、演算装置１０６ａに入力される。
【０２２２】
演算装置１０６ａは、入力された参照画像データと保持している現画像データとをもとに、パイプライン処理を用いて、候補ブロックの偶数または奇数ライン分の各候補ベクトルに関する部分的なＡＥを順次算出する。
【０２２３】
演算装置１０６ａから順次算出された部分的なＡＥは、フィールド比較器１０８においてそのまま最小の値となるＡＥが選択される。
【０２２４】
ここでは、間引かれた部分画像の１つの組み合わせについての演算を、２つのステップに分けて行う。
【０２２５】
図２４（ａ）〜（ｃ）は、図２２で示した参照画像奇数フィールド２２ａの偶数列２２ａを例にした探索範囲内の各候補ブロックの探索順序を説明するための図である。また、以下では、左上隅を代表点とする候補ベクトル（０，０）の座標(Ａ０，０)で表し、水平方向右向きおよび垂直方向下向きをそれぞれ正方向として候補ベクトルの座標を表すことにする。
【０２２６】
また、図２４（ａ）に示すように、探索範囲を現画像奇数フィールドブロック２２ｂの部分画像（例えば２２ｃ）の水平方向画素数分の２画素分だけの幅をもつ複数の領域に分割する。
【０２２７】
まず、左側の領域ｃ１について、左上の候補ブロックから開始して１行ずつ下りながら水平方向に順に番号をつけていったときに、奇数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ１）。
【０２２８】
次に、同様に左側の領域ｃ１について、偶数番号において番号の小さい順に候補ブロックを順に処理していく（ステップ２）。
【０２２９】
さらに、右側の領域ｃ２についても同様にして、奇数番号（ステップ３）、偶数番号（ステップ４）の順に処理する。
【０２３０】
なお、ステップ３及び４における処理領域が探索範囲外になるような場合、そのブロックにおける処理は無効となる。
【０２３１】
以下、本発明の第５の実施形態に係る動きベクトル検出装置５００の動作について説明する。
【０２３２】
まず、現画像記憶装置１２３に格納されている現画像奇数フィールドブロック２２ｂの偶数列２２ｃの現画像データを演算装置１０６ａに供給する。
【０２３３】
現画像データは、現画像奇数フィールドブロック２２ｂの偶数列２２ｃの画素データＸ０，０、Ｘ２，０、Ｘ０，１、Ｘ２，１、Ｘ０，２、Ｘ２，２が、それぞれプロセッサエレメントＰＥ０〜ＰＥ５の現画像レジスタ３０１（図３参照）に格納され、一連のＡＥの算出が終了するまで保持され続ける。
【０２３４】
次に、一連の演算について図２５及び図２６を参照しながら説明する。
【０２３５】
図２５は、本実施形態に係る動きベクトル検出装置５００に含まれる各構成要素の時間毎におけるデータを示す図である。
【０２３６】
図２６は、本実施形態に係る動きベクトル検出装置５００に含まれる各構成要素の時間毎におけるデータを示す図である。
【０２３７】
ここで、一連のＡＥを求める動作について図２６を参照しながら具体的に説明する。
【０２３８】
図２６は、演算装置１０６ａによって実現されるパイプライン処理を表す図であり、各サイクルにおいて各プロセッサエレメントＰＥ０〜ＰＥ５が使用するデータを示している。
【０２３９】
まず、１サイクル目（Ｃ０）において、参照画像偶数列画素記憶装置１１８から（Ａ０，０）の参照画素データが、入力２０４（図２参照）を通じて演算装置１０６ａのプロセッサエレメントＰＥ０に供給される。その他のプロセッサエレメントＰＥでは、その演算結果は無効となるため、いずれの入力を選択しても構わない。
【０２４０】
次に、２サイクル目（Ｃ１）において、参照画像偶数列画素記憶装置１１８から（Ａ２，０）の画素データがプロセッサエレメントＰＥ１に供給され、そして参照画像奇数列画素記憶装置１１９から（Ａ１，０）の画素データがプロセッサエレメントＰＥ０に供給される。
【０２４１】
さらに、３サイクル目（Ｃ２）において、プロセッサエレメントＰＥ０およびＰＥ２に参照画像偶数列画素記憶装置１１８からの（Ａ０，１）の画素データが供給され、プロセッサエレメントＰＥ１には参照画像奇数列画素記憶装置１１９からの（Ａ３，０）の画素データがそれぞれ供給される。
【０２４２】
それ以降のサイクルについても、図２６に示すように順次プロセッサエレメントＰＥ０〜ＰＥ５に必要な画素データを供給していくことにより、間引かれた候補ブロックの絶対値差分和が累積されていく。
【０２４３】
このように、異なる分割領域の演算を各プロセッサエレメントＰＥ０〜ＰＥ５に交互に行わせることにより、現画像奇数フィールドブロック２２ｂの偶数列２２ｃ及び参照画像奇数フィールド２２ａの偶数列２２ｅの組み合わせと、現画像奇数フィールドブロック２２ｂの偶数列２２ｃ及び参照画像奇数フィールド２２ａの奇数列２２ｆの組み合わせとについて、それぞれの部分ＡＥを演算装置１０６ａから交互に得ることが可能になる。
【０２４４】
演算の結果、７サイクル目（Ｃ６）において、候補ベクトル（０，０）に対応する候補ブロックの偶数列での部分ＡＥが演算装置１０６ａから出力される。この部分ＡＥは、そのままフィールド比較器１０８に入力され、フィールド動きベクトルを求めるために使用される。なお、図２６において、現画像奇数フィールドブロック２２ｂの偶数列２２ｃについての部分ＡＥを”Ｅ”と表している。また、図２６において太線で囲まれた部分２６ａは、候補ベクトル（０，０）に関する部分ＡＥの算出を示している。
【０２４５】
以降、同様にして、図２６に従って演算を行うことにより、ステップ１が終了し、そのまま引き続いてステップ２、３の演算を順に行うことにより、現画像奇数フィールドブロック２２ｂと参照画像奇数フィールド２２ａとの上記組み合わせについて、全探索ポイントにおけるＡＥの算出が終了する。なお、本実施形態では、参照画像奇数フィールド２２ａの偶数列２２ｅの数が奇数となるので、ステップ４の演算は行われない。
【０２４６】
以上のように、本実施形態に係る動きベクトル検出装置によると、参照画像奇数フィールド２２ａの偶数列２２ｅと奇数列２２ｆの部分画像を用いて、現画像奇数フィールドブロック２２ｂの偶数列２２ｃの部分画像についての各候補ベクトルに対する予測誤差を順次算出して、フィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。従って、演算する組み合わせの削減と共に高い演算効率の保持を実現できるため、動きベクトルの位置精度を変化させずに簡略化した動きベクトルの検出を実現できる。これにより、動きベクトルの検出に必要な処理時間をおよそ半分に低減することができる。
【０２４７】
なお、本実施形態では、現画像奇数フィールドブロック２２ｂと参照画像奇数フィールド２２ａとの偶数列同士（２２ｃと２２ｅ）の組み合わせにおける一連の演算は、水平方向に１画素ずつ間引いて演算を行うことに相当するため、特に大きな回路変更を要さずに、そのような間引き演算に対応できる。
【０２４８】
また、本実施形態では、現画像奇数フィールドブロック２２ｂと参照画像奇数フィールド２２ａとについて、偶数列と奇数列の２つの部分画像に間引いて処理を行ったが、行単位に間引いてもよく、さらに部分画像への間引き方を２つに限定する必要はない。
【０２４９】
また、上記第１〜第５の実施形態においては、フレーム構造を例として説明したが、フィールド構造にも対応可能である。
【産業上の利用可能性】
【０２５０】
本発明に係る動きベクトル検出装置及び動きベクトル検出方法によると、演算手段において順次算出された原画像ブロックの各候補ベクトルに対する予測誤差に基づいてフィールド動きベクトルを時分割で算出するので、従来例のように算出に必要な回路を独立して２つ構成する必要がなくなって予測誤差の算出に必要なハードウェア規模を大幅に縮小できると共に、フィールド単位で最小の予測誤差を求める際に要するフィールド比較器のハードウェア規模を大幅に縮小できる。このため、本発明に係る動きベクトル検出装置及び動きベクトル検出方法を、動画符号化装置に用いると有用である。
【図面の簡単な説明】
【０２５１】
【図１】本発明の第１の実施形態に係る動きベクトル検出装置の構成例を示す図である。
【図２】第１の実施形態に係る演算装置の内部構成例を示す図である。
【図３】第１の実施形態に係るプロセッサエレメントの構成例を示す図である。
【図４】第１の実施形態に係る現画像フレームブロックと参照画像フレームにおける探索範囲との関係を示す図である。
【図５】現画像フレームブロックと参照画像フレームとの関係を示す図である。
【図６】（ａ）〜（ｃ）は、第１の実施形態に係る候補ベクトル領域における分割方法を説明するための図である。
【図７】第１の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
【図８】第１の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
【図９】本発明の第２の実施形態に係る動きベクトル検出装置の構成例を示す図である。
【図１０】第２の実施形態に係る演算装置の内部構成例を示す図である。
【図１１】第２の実施形態に係るプロセッサエレメントの構成例を示す図である。
【図１２】本発明の第３の実施形態に係る動きベクトル検出装置の構成例を示す図である。
【図１３】第３の実施形態に係る演算装置の内部構成例を示す図である。
【図１４】（ａ）〜（ｃ）は、第３の実施形態に係る候補ベクトル領域の分割方法を説明するための図である。
【図１５】第３の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
【図１６Ａ】第３の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
【図１６Ｂ】第３の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
【図１７】第４の実施形態における現画像奇数フィールドと参照画像奇数フィールドとの関係を示す図である。
【図１８】第４の実施形態に係る動きベクトル検出装置の構成例を示す図である。
【図１９】（ａ）〜（ｃ）は、第４の実施形態に係る候補ベクトル領域の分割方法を説明するための図である。
【図２０】第４の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
【図２１Ａ】第４の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
【図２１Ｂ】第４の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
【図２２】第４の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
【図２３】第５の実施形態に係る動きベクトル検出装置の構成例を示す図である。
【図２４】（ａ）〜（ｃ）は、第５の実施形態に係る候補ベクトル領域の分割方法を説明するための図である。
【図２５】第５の実施形態に係る各構成要素の時間毎におけるデータを示す図である。
【図２６】第５の実施形態に係る演算装置によって実現されるパイプライン処理を示す図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2004012460.tif 000031
【図２】
2004012460.tif 000032
【図３】
2004012460.tif 000033
【図４】
2004012460.tif 000034
【図５】
2004012460.tif 000035
【図６】
2004012460.tif 000036
【図７】
2004012460.tif 000037
【図８】
2004012460.tif 000038
【図９】
2004012460.tif 000039
【図１０】
2004012460.tif 000040
【図１１】
2004012460.tif 000041
【図１２】
2004012460.tif 000042
【図１３】
2004012460.tif 000043
【図１４】
2004012460.tif 000044
【図１５】
2004012460.tif 000045
【図１６Ａ】
2004012460.tif 000046
【図１６Ｂ】
2004012460.tif 000047
【図１７】
2004012460.tif 000048
【図１８】
2004012460.tif 000049
【図１９】
2004012460.tif 000050
【図２０】
2004012460.tif 000051
【図２１Ａ】
2004012460.tif 000052
【図２１Ｂ】
2004012460.tif 000053
【図２２】
2004012460.tif 000054
【図２３】
2004012460.tif 000055
【図２４】
2004012460.tif 000056
【図２５】
2004012460.tif 000057
【図２６】
2004012460.tif 000058
【国際調査報告】
2004012460.tif 000059
2004012460.tif 000060
2004012460.tif 000061
2004012460.tif 000062