(57)【要約】【課題】動き補償に伴う演算量を削減できる画像処理装置、符号化装置およびそれらの方法を提供する。【解決手段】少数精度の動きベクトル探索において、処理対象となる現フレームの動き補償ブロック内の画素データと参照フレームの動き補償ブロック内の画素データとの差分（残差成分）に対して、前述したアダマール変換に比べて演算量の少ない簡易的な直交変換（本発明の直交変換）を施した値の絶対値和である簡易ＳＡＴＤを簡易ＳＡＴＤ算出回路４２で生成する。動き予測・補償回路３６は、簡易ＳＡＴＤを用いて規定される評価値Ｊを最小にする動きベクトルを特定する。【選択図】  図４
2004241957.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段と
を有する画像処理装置。
【請求項２】
前記差分生成手段は、所定の動き補償ブロック内の前記複数の第１の画素データと、当該第１の画素データに対応する前記第２の画素データとの差分を生成し、
前記直交変換手段は、垂直方向および水平方向のうち前記動き補償ブロックの種類に対応した方向の変換を規定した前記１次元の直交変換を前記差分に施す
請求項１に記載の画像処理装置。
【請求項３】
前記直交変換手段は、前記動き補償ブロックが水平方向を長辺とする場合には、前記水平方向について規定された前記１次元の直交変換を前記差分に施し、前記動き補償ブロックが垂直方向を長辺とする場合には、前記垂直方向について規定された前記１次元の直交変換を前記差分に施す
請求項２に記載の画像処理装置。
【請求項４】
前記直交変換手段は、前記動き補償ブロックが正方形状である場合には、前記水平方向および前記垂直方向について規定された２次元の直交変換を前記差分に施す
請求項３に記載の画像処理装置。
【請求項５】
前記直交変換手段は、前記動き補償ブロックが正方形状である場合には、前記直交変換を行わない
請求項３に記載の画像処理装置。
【請求項６】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段と、
前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトル特定手段が特定した前記動きベクトルを符号化する符号化手段と
を有する符号化装置。
【請求項７】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段と
を有する画像処理装置。
【請求項８】
前記直交変換手段は、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の最も高い周波数成分から所定の範囲内の一部の周波数成分のみを残すように前記２次元の直交変換を施す
請求項７に記載の画像処理装置。
【請求項９】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段と、
前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトル特定手段が特定した前記動きベクトルを符号化する符号化手段と
を有する符号化装置。
【請求項１０】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段と
を有する画像処理装置。
【請求項１１】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段と、
前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトルを符号化する符号化手段と
を有する符号化装置。
【請求項１２】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段と
を有する画像処理装置。
【請求項１３】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、
前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、
前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段と、
前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトルを符号化する符号化手段と
を有する符号化装置。
【請求項１４】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、
前記第１の工程で生成した前記差分に１次元の直交変換を施す第２の工程と、
前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する第３の工程と
を有する画像処理方法。
【請求項１５】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、
前記第１の工程で生成した前記差分に１次元の直交変換を施す第２の工程と、
前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する第３の工程と、
前記第２の画像データと前記第１の画像データとの差分、並びに前記第３の工程で特定した前記動きベクトルを符号化する第４の工程と
を有する符号化方法。
【請求項１６】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、
前記第１の工程で生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す第２の工程と、
前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する第３の工程と
を有する画像処理方法。
【請求項１７】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、
前記第１の工程で生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す第２の工程と、
前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する第３の工程と、
前記第２の画像データと前記第１の画像データとの差分、並びに前記第３の工程で特定した前記動きベクトルを符号化する第４の工程と
を有する符号化方法。
【請求項１８】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、
前記第１の工程で生成した前記差分に１次元の直交変換を施す第２の工程と、
前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する第３の工程と
を有する画像処理方法。
【請求項１９】
第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、
前記第１の工程で生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す第２の工程と、
前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する第３の工程と
を有する画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの量子化制御に特徴を有する画像処理装置および符号化装置と、それらの方法に関する。
【０００２】
【従来の技術】
近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＥＰＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。
ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ．  ２６Ｌ（ＩＴＵ−Ｔ  Ｑ６／１６  ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌ規格ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ  Ｍｏｄｅｌ  ｏｆ  Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇとして行われている。
【０００６】
ところで、ＭＰＥＧおよびＨ．２６Ｌ規格の符号化装置では、高い圧縮効率を得るために、動き予測・補償が重要や役割を果たす。
ＭＰＥＧおよびＨ．２６Ｌを発展させたＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）方式では、以下の３つの方式を導入して、高い圧縮効率を達成している。
第１の方式はマルチプル参照フレーム（Ｍｌｕｔｉｐｌｅ  Ｒｅｆｅｒｅｎｃｅ  Ｆｒａｍｅ）であり、第２の方式は可変動き予測・補償ブロックサイズであり、第３の方式はＦＩＲフィルタを用いた１／４画素精度あるいは１／８画素精度の少数画素精度の動き補償である。
このようなＪＶＴ方式では、例えば、少数精度の動きベクトル探索において、処理対象となる現フレームの動き補償ブロック内の画素データと参照フレームの動き補償ブロック内の画素データとの差分（残差成分）の自乗和を示すＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｅｃ）ではなく、上記差分に対して、垂直方向および水平方向のアダマール変換を施した値の絶対値和であるＳＡＴＤを生成し、当該ＳＡＴＤを用いて規定される値Ｊを最小にする動きベクトルを探索する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したように動き探索において、上記差分に対して、垂直方向および水平方向のアダマール変換を施してＳＡＴＤを生成するのでは、演算量が多くなり、処理負担が大きいという問題がある。
なお、動き補償における動き補償（ＭＣ）ブロックの予測方向の決定処理についても、同様な問題がある。
【０００８】
本発明はかかる事情に鑑みてなされたものであり、動き補償に伴う演算量を削減できる画像処理装置、符号化装置およびそれらの方法を提供することを目的とする。
また、本発明は、予測符号化における予測方向の決定に伴う演算量を削減できる画像処理装置、符号化装置およびそれらの方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像処理装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段とを有する。
【００１０】
第１の発明の画像処理装置の作用は以下のようになる。
差分生成手段が、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する。
次に、直交変換手段が、前記差分生成手段が生成した前記差分に１次元の直交変換を施す。
次に、動きベクトル特定手段が、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する。
【００１１】
第２の発明の符号化装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段と、前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトル特定手段が特定した前記動きベクトルを符号化する符号化手段とを有する。
【００１２】
第２の発明の符号化装置の作用は以下のようになる。
差分生成手段が、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する。
次に、直交変換手段が、前記差分生成手段が生成した前記差分に１次元の直交変換を施す。
次に、動きベクトル特定手段が、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する。
次に、符号化手段が、前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトル特定手段が特定した前記動きベクトルを符号化する。
【００１３】
第３の発明の画像処理装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段とを有する。
【００１４】
第３の発明の画像処理装置の作用は以下のようになる。
差分生成手段が、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する。
次に、直交変換手段が、前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す。
次に、動きベクトル特定手段が、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する。
【００１５】
第４の発明の符号化装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する動きベクトル特定手段と、前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトル特定手段が特定した前記動きベクトルを符号化する符号化手段とを有する。
【００１６】
第４の発明の符号化装置の作用は以下のようになる。
差分生成手段が、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する。
次に、直交変換手段が、前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す。
次に、動きベクトル特定手段が、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する。
次に、符号化手段が、前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトル特定手段が特定した前記動きベクトルを符号化する。
【００１７】
第５の発明の画像処理装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段とを有する。
【００１８】
第５の発明の画像処理装置の作用は以下のようになる。
差分生成手段が、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する。
次に、直交変換手段が、前記差分生成手段が生成した前記差分に１次元の直交変換を施す。
次に、予測方向特定手段が、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する。
【００１９】
第６の発明の符号化装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に１次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段と、前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトルを符号化する符号化手段とを有する。
【００２０】
第７の発明の画像処理装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段とを有する。
【００２１】
第８の発明の符号化装置は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する差分生成手段と、前記差分生成手段が生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す直交変換手段と、前記直交変換手段で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する予測方向特定手段と、前記第２の画像データと前記第１の画像データとの差分、並びに前記動きベクトルを符号化する符号化手段とを有する。
【００２２】
第９の発明の画像処理方法は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、前記第１の工程で生成した前記差分に１次元の直交変換を施す第２の工程と、前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する第３の工程とを有する。
【００２３】
第１０の発明の画像処理方法は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、前記第１の工程で生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す第２の工程と、前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記候補となる複数の動きベクトルのなかから、動き補償に用いる動きベクトルを特定する第３の工程とを有する。
【００２４】
第１１の発明の画像処理方法は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、前記第１の工程で生成した前記差分に１次元の直交変換を施す第２の工程と、前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する第３の工程とを有する。
【００２５】
第１２の発明の画像処理方法は、第１の画像データ内の複数の第１の画素データと、前記第１の画像データと相関を有する第２の画像データ内における、前記複数の第１の画素データに対応する位置から候補となる動きベクトルによって指し示される位置に対応する複数の第２の画素データとの差分をそれぞれ生成する第１の工程と、前記第１の工程で生成した前記差分に、水平方向および垂直方向のうち少なくとも一方の方向において前記差分の一部の周波数成分のみを残すように２次元の直交変換を施す第２の工程と、前記第２の工程で前記直交変換が施された前記差分の累積値を基に、前記動きベクトルを用いた予測方向を特定する第３の工程とを有する。
【００２６】
【発明の実施の形態】
〔本発明の関連技術〕
図１は、本発明の関連技術に係わる符号化装置５００の機能ブロック図である。
図１に示す符号化装置５００において、入力となる画像信号は、まず、Ａ／Ｄ変換回路５０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替え回路５０２においてフレーム画像データの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム画像データの全体が直交変換回路５０４に入力され、直交変換回路５０４において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路５０４の出力となる変換係数は、量子化回路５０５において量子化処理される。
量子化回路５０５の出力となる、量子化された変換係数は、可逆符号化回路５０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ５０７に蓄積され、圧縮された画像データとして出力される。
【００２７】
量子化回路５０５における量子化レートは、レート制御回路５１２によって制御される。
同時に、量子化回路５０５の出力となる、量子化された変換係数は、逆量子化回路５０８において逆量子化され、続いて逆直交変換回路５０９において逆直交変換処理が施され、デブロックフィルタ５１３においてブロック歪みが除去されて復号された参照フレーム画像データが得られる。当該参照フレーム画像データは、フレームメモリ５１０に蓄積される。
【００２８】
一方、インター符号化が行われる画像に関しては、画面並べ替え回路５０２から出力されたフレーム画像データが、動き予測・補償回路５１１に入力される。同時に参照フレーム画像データがフレームメモリ５１０より読み出され、動き予測・補償回路５１１によって動きベクトルが生成され、当該動きベクトルおよび参照フレーム画像データを用いて予測フレーム画像データが生成される。予測フレーム画像データが演算回路５０３に出力され、演算回路５０３において、画面並べ替え回路５０２からのフレーム画像データと、動き予測・補償回路５１１からの予測フレーム画像データとの差分を示す画像データが生成され、当該画像データが直交変換回路５０４に出力される。
また、動き補償・予測回路５１１は、動きベクトルを可逆符号化回路５０６に出力し、可逆符号化回路５０６において、動きベクトルが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００２９】
図２は、図１に示す符号化装置５００に対応する復号回路４９９の機能ブロック図である。
図２に示す復号回路４９９では、入力となる画像データがバッファ６１３に格納された後、可逆復号回路６１４に出力される。そして、可逆復号回路６１４において、フレーム画像データのフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路６１４において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償装置６２０に出力される。
【００３０】
可逆復号回路６１４の出力となる、量子化された変換係数は、逆量子化回路６１５に入力され、ここで逆量子化される。当該逆量子化された変換係数には、逆直交変換回路６１６において、定められたフレーム画像データのフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ６２１でブロック歪みが除去された後に画面並べ替えバッファ６１８に格納され、Ｄ／Ａ変換回路６１９によるＤ／Ａ変換処理を経て出力される。
【００３１】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路６２０において、動きベクトルＭＶ及びフレームメモリ６５０に格納された参照フレーム画像データを基に予測フレーム画像データが生成され、この予測フレーム画像データと、逆直交変換回路６１６から出力されたフレーム画像データとが加算器６１７において加算される。その他の処理はイントラ符号化されたフレーム画像データと同様である。
【００３２】
ところで、図１に示す符号化装置５００では、ＪＶＴ方式により、例えば、少数精度の動きベクトル探索において、処理対象となる現フレームの動き補償ブロック内の画素データと参照フレームの動き補償ブロック内の画素データとの差分ｄ（残差成分）の自乗和を示すＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｅｃ）ではなく、上記差分ｄに対して、下記式（１）に示すように、垂直方向および水平方向のアダマール変換を施した値の絶対値和であるＳＡＴＤを生成し、当該ＳＡＴＤを用いて規定される値Ｊを最小にする動きベクトルを探索する。
【００３３】
【数１】
2004241957.tif 000003
【００３４】
しかしながら、上述したように動き探索において、上記差分ｄに対して、下記式（１）に示す垂直方向および水平方向のアダマール変換を施してＳＡＴＤを生成するのでは、演算量が多くなり、処理負担が大きいという問題がある。
なお、動き補償における動き補償（ＭＣ）ブロックの予測方向の決定処理、並びにマクロブロックモードの決定処理についても、同様な問題がある。
【００３５】
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
第１実施形態
図３は、本実施形態の通信システム１の概念図である。
図３に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置４９９とを有する。
符号化装置２が発明の符号化装置に対応している。
符号化装置２および復号装置４９９は、上述したＪＶＴ符号化方式に基づいて符号化および復号を行なう。
復号回路４９９は、図２を用いて前述したものと同じである。
【００３６】
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
【００３７】
〔符号化装置２〕
図４は、図３に示す符号化装置２の全体構成図である。
図４に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替えバッファ２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、動き予測・補償回路３６、デブロックフィルタ３７、モード判別回路４０、簡易ＳＡＴＤ算出回路４１および簡易ＳＡＴＤ算出回路４２を有する。
ここで、簡易ＳＡＴＤ算出回路４２が第１の発明の差分生成手段おび直交変換手段に対応し、動き予測・補償回路３６が第１の発明の動きベクトル特定手段に対応している。
また、可逆符号化回路２７が本発明の符号化手段に対応している。
さらに、モード判別回路４０が本発明の予測方向特定手段に対応し、動き予測・補償回路３６が本発明の動きベクトル特定手段に対応している。
【００３８】
符号化装置２では、例えば、少数精度の動きベクトル探索において、処理対象となる現フレームの動き補償ブロック内の画素データと参照フレームの動き補償ブロック内の画素データとの差分（残差成分）に対して、前述したアダマール変換に比べて演算量の少ない簡易的な直交変換（本発明の直交変換）を施した値の絶対値和である簡易ＳＡＴＤを簡易ＳＡＴＤ算出回路４１および簡易ＳＡＴＤ算出回路４２で生成することに特徴を有している。
モード判別回路４０および動き予測・補償回路３６は、このように同様に生成された簡易ＳＡＴＤを基に、それぞれモード判別および動きベクトルの探索を行う。
【００３９】
以下、符号化装置２の構成要素について説明する。
〔Ａ／Ｄ変換回路２２〕
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替えバッファ２３に出力する。
【００４０】
〔画面並べ替えバッファ２３〕
画面並べ替えバッファ２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）  構造に応じて、符号化する順番に並べ替えたフレーム画像データＳ２３をモード判別回路４０に出力する。
【００４１】
〔モード判別回路４０〕
モード判別回路４０は、動き予測・補償回路３６における動き予測・補償において用いられる動き補償ブロックの予測方向（インター予測における順方向および逆方向）を決定する予測方向決定処理、並びにマクロブロックをイントラ／インターのどちらのモードで符号化するかを決定するモード決定処理を行う。
モード判別回路４０は、例えば、Ｂフレームの動き補償ブロックの予測方向として、下記式（２）で定義される値Ｊ（本発明の累積値）を最小にする方向を選択する。
【００４２】
【数２】
2004241957.tif 000004
【００４３】
上記式（２）において、ＰＤＩＲは、動き補償ブロックの予測方向を示し、ｓは符号化対象の画像データ（現フレームデータ）を示し、ｃは参照画像データ（参照フレームデータ）を示し、ｍは動きベクトルを示し、ｐは予測動きベクトルを示し、ＲＥＦは参照画像データの識別番号を示し、Ｒは当該予測方向を選択した場合の動きベクトルの発生符号量を示し、ｌＭＯＴＩＯＮは所定の係数を示している。
また、上記式（２）におけるＳＡＴＤは、その引数に示される符号化対象の画像データのブロック内の画素データと、参照画像データのブロック内の画素データとの差分（残差成分）ｄに、所定の直交変換Ｃ（本発明の直交変換）を施した値の累積値（絶対値和）を示している。
【００４４】
ここで、簡易ＳＡＴＤ算出回路４１がＳＡＴＤの算出を行い、モード判別回路４０は、簡易ＳＡＴＤ算出回路４１から入力したＳＡＴＤを用いて、上記式（２）の値Ｊを算出する。
本実施形態では、上記差分ｄを下記式（３）のように定義する。
【００４５】
【数３】
2004241957.tif 000005
【００４６】
なお、モード判別回路４０は、上記簡易ＳＡＴＤを基に、マクロブロックモードの決定を行ってもよい。
【００４７】
〔簡易ＳＡＴＤ算出回路４１〕
図５は、簡易ＳＡＴＤ算出回路４１の機能ブロック図である。
図５に示すように、簡易ＳＡＴＤ算出回路４１は、例えば、差分算出回路６１および直交変換回路６２を有する。
ここで、差分算出回路６１が本発明の差分生成手段に対応し、直交変換回路６２が本発明の直交変換手段に対応している。
【００４８】
差分算出回路６１は、現フレームの所定のブロック内の画素データＳ９０と参照フレームの所定のブロック内の画素データＳ９１との差分（残差成分）ｄを生成する。
また、直交変換回路６２は、以下に示す式（４）〜（１１）の何れかを、直交変換Ｃとして上記差分ｄに施し、それによって得られた値の絶対値和を簡易ＳＡＴＤとする。
【００４９】
すなわち、直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（４）に示すように、アダマール変換の水平方向のみの変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。
【００５０】
【数４】
2004241957.tif 000006
【００５１】
直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（５）に示すように、アダマール変換の垂直方向のみの変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。
【００５２】
【数５】
2004241957.tif 000007
【００５３】
直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（６）に示すように、アダマール変換により水平方向の低域成分および垂直方向の低域成分のみの残す変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。
なお、本実施形態において、水平方向の低域成分とは差分ｄの最も低域の周波数成分から所定の範囲にある周波数成分（例えば、式（３）の左２行あるいは１行分の係数）を示し、垂直方向の高域成分とは差分ｄの最も高域の成分から所定の範囲にある周波数成分（例えば、式（３）の右２行あるいは１行分の係数）を示し、垂直方向の中域成分とは上記低域成分と上記高域成分との間の周波数成分を示す。
また、本実施形態において、垂直方向の低域成分とは差分ｄの最も低域の周波数成分から所定の範囲にある周波数成分（例えば、式（３）の上２行あるいは１行分の係数）を示し、垂直方向の高域成分とは差分ｄの最も高域の成分から所定の範囲にある周波数成分（例えば、式（３）の下２行あるいは１行分の係数）を示し、垂直方向の中域成分とは上記低域成分と上記高域成分との間の周波数成分を示す。
【００５４】
【数６】
2004241957.tif 000008
【００５５】
直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（７）に示すように、アダマール変換により水平方向の低域成分および垂直方向の全域成分を残す変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。この場合には、直交変換回路６２は、垂直方向の変換に先立って水平方向の変換を行うことで、上記式（１）に示す演算に比べて演算量を削減できる。
【００５６】
【数７】
2004241957.tif 000009
【００５７】
直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（８）に示すように、アダマール変換により水平方向の全域成分および垂直方向の低域成分のみを残す変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。この場合には、直交変換回路６２は、水平方向の変換に先立って垂直方向の変換を行うことで、上記式（１）に示す演算に比べて演算量を削減できる。
【００５８】
【数８】
2004241957.tif 000010
【００５９】
直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（９）に示すように、アダマール変換により水平方向の低域成分、並びに垂直方向の高域および低域成分のみを残す変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。
【００６０】
【数９】
2004241957.tif 000011
【００６１】
直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（１０）に示すように、アダマール変換により水平方向の低域および高域成分、並びに垂直方向の低域成分のみを残す変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。
【００６２】
【数１０】
2004241957.tif 000012
【００６３】
直交変換回路６２は、上記式（３）に示す差分ｄに対して、下記式（１１）に示すように、アダマール変換により水平方向の低域および高域成分、並びに垂直方向の低域および高域成分のみを残す変換を直交変換Ｃとして施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとする。
【００６４】
【数１１】
2004241957.tif 000013
【００６５】
直交変換回路６２は、動き補償ブロックの種類に応じて、上述した式（４）〜（１１）の何れかを、直交変換Ｃとして差分ｄに施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとしてもよい。
例えば、直交変換回路６２は、動き補償ブロックの種類が図７に示す１６×８あるいは８×４である場合には、上記式（４），（７）あるいは（９）を直交変換Ｃとして用いる。
また、直交変換回路６２は、動き補償ブロックの種類が図７に示す８×１６あるいは４×８である場合には、上記式（５），（７）あるいは（１０）を直交変換Ｃとして用いる。
また、直交変換回路６２は、動き補償ブロックの種類が正方形状である場合には、下記式（１２）、上記式（６）あるいは（１１）を用いてもよい。また、この場合には、アダマール変換を行わず、ＳＡＤを用いてもよい。
【００６６】
〔演算回路２４〕
演算回路２４は、フレーム画像データＳ２３がインター（Ｉｎｔｅｒ）  符号化される場合には、フレーム画像データＳ２３と、動き予測・補償回路３６から入力した予測フレーム画像データＳ３６ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、フレーム画像データＳ２３がイントラ（Ｉｎｔｒａ）  符号化される場合には、フレーム画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。
【００６７】
〔直交変換回路２５〕
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
直交変換回路２５は、例えば、４×４のブロックを単位として直交変換を行う。
【００６８】
〔量子化回路２６〕
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００６９】
〔可逆符号化回路２７〕
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化し、符号化された画像データをバッファ２８に格納する。
また、可逆符号化回路２７は、動き予測・補償回路３６から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
バッファ２８に格納された画像データは、変調等された後に送信される。
【００７０】
〔逆量子化回路２９および逆直交変換回路３０〕
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これをデブロックフィルタ３７に出力する。
逆直交変換回路３０は、量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成したフレーム画像データをフレームメモリ３１に格納する。
【００７１】
〔レート制御回路３２〕
レート制御回路３２は、バッファ２８から読み出した画像データ、量子化パラメータＱＰを基に、量子化回路２６における量子化の量子化スケールを生成し、これを量子化回路２６に出力する。
【００７２】
〔動き予測・補償回路３６〕
動き予測・補償回路３６は、フレームメモリ３１からの画像データＳ３１と、画面並べ替えバッファ２３からの画像データとを基に動き予測・補償処理を行って、動きベクトルＭＶおよび参照画像データＳ３６ａを生成する。
動き予測・補償回路３６は、動きベクトルＭＶを可逆符号化回路２７に出力し、参照画像データＳ３６ａを演算回路２４に出力する。
動き予測・補償回路３６は、ＪＶＴ方式により、図６に示すようにマルチプル参照フレームを用いると共に、図７に示すように複数の種類の動き補償ブロックを選択的に用いる。さらには、ＦＩＲフィルタを用いた１／４画素精度あるいは１／８画素精度の少数画素精度の動き補償を行う。
【００７３】
図８は、動き予測・補償回路３６の機能ブロック図である。
図８に示すように、動き予測・補償回路３６は、例えば、整数精度ＭＶ探索回路５１、ＳＡＤ算出回路５２、補間回路５３、少数画素精度ＭＶ探索回路５４および参照画像決定回路５５を有する。
整数精度ＭＶ探索回路５１は、モード判別回路４０から入力した処理対象の画像データ（現フレームデータ）Ｓ２３内の画素データと、フレームメモリ３１から入力した参照画像データＳ３１（参照フレームデータ）内の画素データと、候補となる動きベクトルＭＶをＳＡＤ算出回路５２に出力する。
整数精度ＭＶ探索回路５１は、ＳＡＤ算出回路５２から入力した後述するＳＡＤを基に、候補となる複数の動きベクトルのうち、下記式（１２）で示される値Ｊを最小にする動きベクトルＭＶ１を整数画素精度で探索（特定）する。
【００７４】
【数１２】
2004241957.tif 000014
【００７５】
上記式（１２）に示すλＭＯＤＥとしては、ＩおよびＰフレームに対しては下記式（１３）で示されるλＭＯＤＥ，Ｐ（Ｉ）  が用いられ、Ｂフレームに対しては下記式（１４）で示されるλＭＯＤＥ，Ｂが用いられる。また、ＳＡＤは、ＳＡＤ算出回路５２から入力したものを用いる。
【００７６】
【数１３】
2004241957.tif 000015
【００７７】
【数１４】
2004241957.tif 000016
【００７８】
ＳＡＤ算出回路５２は、画像データ（現フレームデータ）Ｓ２３の動き補償ブロックＢ内の画素データｓ（ｘ，ｙ）と、フレームメモリ３１から入力した参照画像データＳ３１（参照フレームデータ）の動き補償ブロックＢに対応するブロック内の画素データｃ（ｘ−ｍｘ  ，ｙ−ｍｙ  ）とを用いて、下記式（１５）によりＳＡＤを算出する。
【００７９】
【数１５】
2004241957.tif 000017
【００８０】
補間回路５３は、フレームメモリ３１から入力した整数画素精度の参照画像データ（参照フレームデータ）Ｓ３１をＦＩＲフィルタ等を用いて補間処理して１／４画素あるいは１／８画素精度の少数画素精度の参照画像データを生成し、これを少数画素精度ＭＶ探索回路５４に出力する。
【００８１】
少数画素精度ＭＶ探索回路５４は、例えば、フレームメモリ３１からの整数画素精度の参照画像データＳ３１と、補間回路５３で得られた少数画素精度の参照画像データとを用いて、整数精度ＭＶ探索回路５１で生成された動きベクトルＭＶ１によって規定される検索範囲内で、少数画素精度で動きベクトルの探索を行う。
このとき、少数画素精度ＭＶ探索回路５４は、簡易ＳＡＴＤ算出回路４２から入力した簡易ＳＡＴＤを用いて、下記式（１６）に示される値Ｊを算出し、複数の候補動きベクトルのなかから、当該値Ｊを最小にする動きベクトルＭＶを探索する。
【００８２】
【数１６】
2004241957.tif 000018
【００８３】
参照画像決定回路５５は、少数画素精度ＭＶ探索回路５４から入力した動きベクトルＭＶを基に参照画像データＳ３６ａを生成する。
【００８４】
〔簡易ＳＡＴＤ算出回路４２〕
図９は、図４および図８に示す簡易ＳＡＴＤ算出回路４２の機能ブロック図である。
図９に示すように、簡易ＳＡＴＤ算出回路４２は、例えば、差分算出回路７１および直交変換回路７２を有している。
但し、簡易ＳＡＴＤ算出回路４２は、図８に示す画像データ２３（現フレームデータ）の少数画素および整数画素の画素データＳ２３ａと、参照画像データＳ３１（参照フレームデータ）内の少数画素および整数画素の画素データＳ３１ａとを用いて簡易ＳＡＴＤを算出する。
ここで、差分算出回路７１が本発明の差分生成手段に対応し、直交変換回路７２が本発明の直交変換手段に対応している。
【００８５】
差分算出回路７１は、各動き補償ブロック内の画素データＳ２３ａと、当該画素データＳ２３ａに対応する画素位置から候補動きベクトルによって指し示される画素位置に対応する参照画像データＳ３１ａ内の画素データＳ３１ａとの差分（残差成分）ｄをそれぞれ算出する。
また、直交変換回路７２は、前述した式（４）〜（１１）の何れかを、直交変換Ｃとして、差分算出回路７１が算出した上記差分ｄに施し、それによって得られた値の絶対値和を簡易ＳＡＴＤとする。
【００８６】
直交変換回路７２は、動き補償ブロックの種類に応じて、上述した式（４）〜（１１）の何れかを、直交変換Ｃとして差分ｄに施し、それによって得られた値の絶対値和を上記簡易ＳＡＴＤとしてもよい。
例えば、直交変換回路７２は、動き補償ブロックの種類が図７に示す１６×８あるいは８×４である場合には、上記式（４），（７）あるいは（９）を直交変換Ｃとして用いる。
また、直交変換回路７２は、動き補償ブロックの種類が図７に示す８×１６あるいは４×８である場合には、上記式（５），（７）あるいは（１０）を直交変換Ｃとして用いる。
また、直交変換回路７２は、動き補償ブロックの種類が正方形状である場合には、下記式（１２）、上記式（６）あるいは（１１）を用いてもよい。また、この場合には、アダマール変換を行わず、ＳＡＤを用いてもよい。
【００８７】
次に、図４に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替えバッファ２３においてフレーム画像データの並べ替えが行われる。
そして、モード判別回路４０において、簡易ＳＡＴＤ算出回路４１において簡易的に算出された簡易ＳＡＴＤを基に、動き予測・補償において用いられる動き補償ブロックの予測方向を決定する予測方向決定処理、並びにマクロブロックをイントラ／インターのどちらのモードで符号化するかを決定するモード決定処理が行われる。
【００８８】
イントラ符号化が行われる画像データＳ２３（フレームデータ）に関しては、フレームデータ全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２６において量子化処理される。
量子化回路２６は、レート制御回路３２からの制御に基づいて、量子化を行う。
【００８９】
量子化回路２６の出力となる、量子化された変換係数は、可逆変換回路２７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ２８に蓄積され、圧縮された画像データとして出力される。
同時に、量子化回路２６の出力となる、量子化された変換係数は、逆量子化回路２９に入力され、さらに逆直交変換回路３０において逆直交変換処理が施されて、復号された画像データ（フレームデータ）となり、その画像データがフレームメモリ３１に蓄積される。
【００９０】
一方、インター符号化が行われる画像に関しては、先ず、その画像データＳ２３が動き予測・補償回路３６に入力される。また、参照画像データＳ３１がフレームメモリ３１より読み出され、動き予測・補償回路３６に出力される。
そして、動き予測・補償回路３６において、参照画像の画像データＳ３１を用いて、動きベクトルＭＶおよび予測画像データＳ３６ａが生成される。
【００９１】
そして、演算回路２４において、モード判別回路４０からの画像データＳ２３と、動き予測・補償回路３６からの予測画像データＳ３６ａとの差分信号である画像データＳ２４が生成され、当該画像データＳ２４が直交変換回路２５に出力される。
このとき、動き予測・補償回路３６は、ＪＶＴ方式により、マルチプル参照フレームを用いると共に、複数の種類の動き補償ブロックを選択的に用いる。さらには、ＦＩＲフィルタを用いた１／４画素精度あるいは１／８画素精度の少数画素精度の動き補償を行う。
当該動き補償において、動き予測・補償回路３６は、前述したように、簡易ＳＡＴＤ算出回路４２から入力した簡易ＳＡＴＤを用いて、上記式（１６）に示される値Ｊを算出し、複数の候補動きベクトルのなかから、当該値Ｊを最小にする動きベクトルＭＶを探索する。
【００９２】
そして、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
【００９３】
以上説明したように、符号化装置２によれば、簡易ＳＡＴＤ算出回路４１において、アダマール変換を簡易的にした上記式（４）〜（１１）に示される直交変換Ｃを行って簡易ＳＡＴＤを算出し、当該簡易ＳＡＴＤを基に動き補償ブロックの予測方向を決定する。
そのため、アダマール変換を用いる場合に比べて動き予測・補償回路３６の演算量を削減できると共に、直交変換を行わない場合に比べて適切な動きベクトルＭＶを得ることができ、演算回路２４で生成される画像信号Ｓ２４の情報量を削減できる（符号化効率を高められる）。
【００９４】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態によれば、簡易ＳＡＴＤ算出回路４１および簡易ＳＡＴＤ算出回路４２において直交変換としてアダマール変換を用いる場合を例示したが、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ）  などのその他の直交変換を用いてもよい。
なお、本実施形態において、ＪＶＴ方式では、簡易ＳＡＴＤ算出回路４１および簡易ＳＡＴＤ算出回路４２における直交変換Ｃを４×４画素のブロックに対して行うが、本発明は、例えば、８×８画素などの４×４画素以外のブロックについて直交変換Ｃを施してもよい。
【００９５】
【発明の効果】
以上説明したように、本発明によれば、動き補償に伴う演算量を削減できる画像処理装置、符号化装置およびそれらの方法を提供できる。
また、本発明によれば、予測符号化における予測方向の決定に伴う演算量を削減できる画像処理装置、符号化装置およびそれらの方法を提供できる。
【図面の簡単な説明】
【図１】図１は、本発明の関連技術に係わる符号化装置の機能ブロック図である。
【図２】図２は、本発明の関連技術に係わる復号装置の機能ブロック図である。
【図３】図３は、本発明の第１実施形態に係わる符号化装置を説明するための図である。
【図４】図４は、図３に示す符号化装置の機能ブロック図である。
【図５】図５は、図３に示すモード判別回路に対応する簡易ＳＡＴＤ算出回路の機能ブロック図である。
【図６】図６は、図３に示す動き予測・補償回路によるマルチプル参照フレームを説明するための図である。
【図７】図７は、図３に示す動き予測・補償回路によって選択される複数の種類の動き補償ブロックを説明するための図である。
【図８】図８は、図３に示す動き予測・補償回路の機能ブロック図である。
【図９】図９は、図３に示す動き予測・補償回路に対応した簡易ＳＡＴＤ算出回路の機能ブロック図である。
【符号の説明】
１…通信システム、２…符号化装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替えバッファ、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３６…動き予測・補償回路、４１…簡易ＳＡＴＤ算出回路、４２…簡易ＳＡＴＤ算出回路、６１，７１…差分算出回路、６２，７２…直交変換回路、５１…整数精度ＭＶ探索回路、５２…ＳＡＤ算出回路、５３…補間回路、５４…少数画素精度ＭＶ探索回路、５５…参照画像決定回路
【図１】
2004241957.tif 000019
【図２】
2004241957.tif 000020
【図３】
2004241957.tif 000021
【図４】
2004241957.tif 000022
【図５】
2004241957.tif 000023
【図６】
2004241957.tif 000024
【図７】
2004241957.tif 000025
【図８】
2004241957.tif 000026
【図９】
2004241957.tif 000027