(57)【要約】  【課題】  少ない演算量で高い符号化効率を達成できるデータ処理装置を提供する。  【解決手段】  ＳＡＤ算出回路３５が、動き補償ブロックＭＣＢを単位として、動き補償の対象となる画像データと動き補償で参照される参照画像データの再構成画像データＲＥＦとの間の差分に応じた値を示す指標データＳＡＤ算出する。指標算出回路３６において、指標データＳＡＤを補正して指標データＣＯＳＴを算出する。ＭＣＢサイズサイズ指定回路３７において、異なる複数のサイズの動き補償ブロックＭＣＢの各々について指標算出回路３６が算出した指標データＣＯＳＴを基に、上記複数のサイズのうち単数のサイズを選択する。【選択図】    図２
2005151152.tif 000002
【特許請求の範囲】
【請求項１】
動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する算出手段と、
異なる複数のサイズの前記動き補償ブロックの各々を単位として前記算出手段が算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する選択手段と
を有するデータ処理装置。
【請求項２】
前記算出手段は、前記参照画像データと当該参照画像データの予測画像データとの差分に直行変換処理、量子化処理、逆量子化処理、並びに逆直行変換処理を順に施す再構成前処理を行って得られるデータと、当該参照画像データの予測画像データとを基に得られる前記再構成画像データを用いて前記指標データを算出する
請求項１に記載のデータ処理装置。
【請求項３】
テスト画像データの動き補償で参照される参照画像データと当該参照画像データの第１の予測画像データとの差分に前記再構成前処理を行って得られる第１のデータと、前記第１の予測画像データとを基に第１の再構成画像データが生成され、前記テスト画像データと前記第１の再構成画像データとの間の差分に応じた第１の指標データが生成され、
前記テスト画像データと当該テスト画像データの第２の予測画像データとの差分に前記
再構成前処理を行って得られる第２のデータと、前記第２の予測画像データとを基に第２の再構成画像データが生成され、前記テスト画像データと前記第２の再構成画像データとの間の差分に応じた第２の指標データが生成された場合に、
前記第１の指標データと前記第２の指標データとを基に予め規定された補正処理を、前記算出手段が算出した前記指標データに施す補正手段
をさらに有し、
前記選択手段は、前記補正手段による前記補正処理を経た前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する
請求項１に記載のデータ処理装置。
【請求項４】
前記参照画像データの前記再構成画像データ内で前記算出手段が算出した前記指標データを最小にする前記動き補償ブロックを特定し、前記参照画像データ内での前記特定した動き補償ブロックの位置を基に、前記動き補償の対象となる画像データ内の前記動き補償ブロックの動きベクトルを生成する動き補償手段
をさらに有する請求項１に記載のデータ処理装置。
【請求項５】
前記動き補償手段は、前記選択手段が選択した前記サイズに対応して生成した前記動きベクトルを選択する
請求項４に記載のデータ処理装置。
【請求項６】
前記算出手段は、前記動き補償の対象となる画像データ内の前記動き補償ブロックと、前記再構成画像データ内の前記動き補償ブロックとの間の画素データ間の差分絶対値和を示す前記指標データを算出する
請求項１に記載のデータ処理装置。
【請求項７】
前記補正手段は、予め決められた複数の量子化パラメータのそれぞれに対応して規定された複数の前記補正処理のうち、前記動き補償ブロックを量子化するスケールを規定する前記量子化パラメータに対応する前記補正処理を選択し、当該選択した補正処理を前記算出手段が算出した前記指標データに施す
請求項３に記載のデータ処理装置。
【請求項８】
動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する第１の工程と、
異なる複数のサイズの前記動き補償ブロックの各々を単位として前記第１の工程で算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する第２の工程と
を有するデータ処理方法。
【請求項９】
動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参
照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する算出手段と、
異なる複数のサイズの前記動き補償ブロックの各々を単位として前記算出手段が算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する選択手段と、  前記参照画像データ内の前記選択手段で選択された動き補償ブロックのサイズを用いて得られた動きベクトルおよび予測画像データを選択する動き補償手段と、
前記動き補償の対象となる画像データと前記動き補償手段が選択した前記予測画像データとの差分に直交変換処理および量子化処理を順に施す第１の処理手段と、
前記第１処理手段で生成されたデータを符号化する符号化手段と、
前記第１の処理手段で生成されたデータに、逆量子化処理および逆直交変換処理を順に施す第２の処理手段と、
他の画像データから参照される前記画像データについて前記動き補償手段が選択した前記予測画像データと、当該画像データについて前記第２の処理手段で生成されたデータとを基に、前記再構成画像データを生成する再構成手段と
を有する符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの動き補償を行うデータ処理装置およびその方法と符号化装置に関する。
【背景技術】
【０００２】
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。      
【０００３】
ＭＰＥＧ方式に続いて、さらなる高圧縮率を実現するＪＶＴ(Joint Video Team)と呼ばれる符号化方式が提案されている。
ＪＶＴ方式では、ＭＰＥＧと同様に、動き予測・補償処理において、動きベクトルを基にした動き予測・補償を行う。
ところで、ＪＶＴ方式の符号化装置では、例えば、上記動き予測・補償処理において、
複数の動き補償ブロックのサイズが規定されている。
上述した符号化装置では、予め決められた動き補償ブロックＭＣＢを単位として、動き補償の対象となるフレームデータと、その参照画像データの再構成画像データとの画素データ間の差分絶対値和を示す指標データＳＡＤを算出し、当該指標データＳＡＤを用いて得られるデータＪ１を最小にする動きベクトルを探索する。
ここで、参照画像データの再構成画像データは、当該参照画像データと、その予測画像データとの差分に直行変換処理、量子化処理、逆量子化処理、並びに逆直行変換処理を施す再構成前処理を行って得られる。
また、上述した符号化装置では、動き補償ブロックＭＣＢを単位として、動き補償の対象となるフレームデータとその予測画像データとの差分に直行変換処理、量子化処理、逆量子化処理、並びに逆直行変換処理を施す再構成前処理を行って得られたデータと、当該予測画像データとを基に再構成された再構成画像データと、上記動き補償の対象となるフレームデータとの間の画素データ間の差分の自乗の絶対値和を示す指標データＳＳＤを算出し、当該指標データＳＳＤを用いて得られるデータＪ２を最小にする動き補償ブロックのサイズを選択する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の符号化装置では、上述したように、処理中の動き補償ブロックの全てについて、上述した指標データＳＳＤを算出する必要があり、演算量が多く、高速処理が困難であるという問題がある
【０００５】
本発明は上述した従来技術に鑑みて成され、動き補償ブロックの予め決められた複数のサイズのなかから符号化効率を基に選択されたサイズの動き補償ブロックを用いて動き補償を行う場合の演算量を削減できるデータ処理装置、その方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した従来技術の問題点を解決するために、第１の発明のデータ処理装置は、動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する算出手段と、異なる複数のサイズの前記動き補償ブロックの各々を単位として前記算出手段が算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する選択手段とを有する。
【０００７】
第１の発明のデータ処理装置の作用は以下のようになる。
先ず、算出手段が、動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する。
次に、選択手段が、異なる複数のサイズの前記動き補償ブロックの各々を単位として前記算出手段が算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する。
【０００８】
第２の発明のデータ処理方法は、動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する第１の工程と、異なる複数のサイズの前記動き補償ブロックの各々を単位として前記第１の工程で算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する第２の工程とを有する。
【０００９】
第３の発明の符号化装置は、動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する算出手段と、異なる複数のサイズの前記動き補償ブロックの各々を単位として前記算出手段が算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する選択手段と、前記参照画像データ内の前記選択手段で選択された動き補償ブロックのサイズを用いて得られた動きベクトルおよび予測画像データを選択する動き補償手段と、前記動き補償の対象となる画像データと前記動き補償手段が選択した前記予測画像データとの差分に直交変換処理および量子化処理を順に施す第１の処理手段と、前記第１処理手段で生成されたデータを符号化する符号化手段と、前記第１の処理手段で生成されたデータに、逆量子化処理および逆直交変換処理を順に施す第２の処理手段と、他の画像データから参照される前記画像データについて前記動き補償手段が選択した前記予測画像データと、当該画像データについて前記第２の処理手段で生成されたデータとを基に、前記再構成画像データを生成する再構成手段とを有する。
【００１０】
第３の発明の符号化装置の作用は以下のようになる。
算出手段が、動き補償ブロックを単位として、動き補償の対象となる画像データと前記動き補償で参照される参照画像データの再構成画像データとの間の差分に応じた値を示す指標データを算出する。
そして、選択手段が、異なる複数のサイズの前記動き補償ブロックの各々を単位として前記算出手段が算出した前記指標データを基に、前記複数のサイズのうち単数のサイズを選択する。
そして、動き補償手段が、前記参照画像データ内の前記選択手段で選択された動き補償ブロックのサイズを用いて得られた動きベクトルおよび予測画像データを選択する。
そして、第１の処理手段が、前記動き補償の対象となる画像データと前記動き補償手段が選択した前記予測画像データとの差分に直交変換処理および量子化処理を順に施す。
そして、第２の処理手段が、前記第１の処理手段で生成されたデータに、逆量子化処理および逆直交変換処理を順に施す。
そして、再構成手段が、他の画像データから参照される前記画像データについて前記動き補償手段が選択した前記予測画像データと、当該画像データについて前記第２の処理手段で生成されたデータとを基に、前記再構成画像データを生成する。
【発明の効果】
【００１１】
本発明によれば、動き補償ブロックの予め決められた複数のサイズのなかから符号化効率を基に選択されたサイズの動き補償ブロックを用いて動き補償を行う場合の演算量を削減できるデータ処理装置、その方法およびその装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態に係わるＪＶＴ方式の符号化装置について説明する。
以下、図１〜図７を参照して本発明の実施形態を説明する。
先ず、本発明の構成要素と本実施形態の構成要素との対応関係を説明する。
図１および図２に示す符号化装置２が第３の発明の符号化装置に対応している。
また、ＳＡＤ算出回路３５が、第１および第３の発明の算出手段に対応し、ＭＣＢサイズ指定回路３７が第１および第３の発明の選択手段に対応している。
また、動き予測・補償回路３９が第３の発明の動き補償手段に対応し、直交変換回路２５および量子化回路２６が第３の発明の第１の処理手段に対応し、逆量子化回路２９および逆直交変換回路３０が第３の発明の第２の処理手段に対応し、可逆符号化回路２７が第３の発明の符号化手段に対応し、再構成回路３１が第３の発明の再構成手段に対応している。
また、本実施形態の動き補償ブロックＭＣＢが、本発明の動き補償ブロックに対応している。
また、本実施形態の指標データＳＡＤが、本発明の指標データに対応している。
【００１３】
次に、図２を参照して符号化装置２の特徴について説明する。
ＳＡＤ算出回路３５が、動き補償ブロックＭＣＢを単位として、動き補償の対象となる画像データと動き補償で参照される参照画像データの再構成画像データＲＥＦとの間の差分に応じた値を示す指標データＳＡＤを算出する。
そして、指標算出回路３６において、指標データＳＡＤを補正して指標データＣＯＳＴを算出する。
そして、ＭＣＢサイズサイズ指定回路３７において、異なる複数のサイズの動き補償ブロックＭＣＢの各々について指標算出回路３６が算出した指標データＣＯＳＴを基に、上記複数のサイズのうち単数のサイズを選択する。
【００１４】
以下、第１実施形態の通信システム１について詳細に説明する。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行う。
【００１５】
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、再構成回路３１、レート制御回路３２、フレームメモリ３４、ＳＡＤ算出回路３５、指標算出回路３６、ＭＣＢサイズサイズ指定回路３７、デブロックフィルタ３８、動き予測・補償回路３９、イントラ予測回路４１、選択回路４４およびフレームメモリ４５を有する。
【００１６】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｃｂ，Ｃｒから構成される原画像信号Ｓ１０をデジタルのフレームデータＳ２２に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力したフレームデータＳ２２を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えたフレームデータＳ２３を演算回路２４、イントラ予測回路４１、動き予測・補償回路３９、ＳＡＤ算出回路３５に出力する。
【００１７】
演算回路２４は、フレームデータＳ２３内の処理対照の動き補償ブロックＭＣＢと、それに対応して選択回路４４から入力した予測画像データＰＩの動き補償ブロックＭＣＢとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００１８】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、選択データＳ４４がインター予測符号化を選択したことを示す場合に、動き予測・補償回路３９から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
【００１９】
バッファ２８に格納された画像データは、変調等された後に送信される。
逆量子化回路２９は、他の動き補償ブロックＭＣＢから参照される参照画像データの動き補償ブロックＭＣＢの画像データＳ２６を逆量子化した信号を生成し、これをデブロックフィルタ３８に出力する。
デブロックフィルタ３８は、画像データＳ２６のブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、フレームメモリ４５に書き込む。
逆直交変換回路３０は、デブロックフィルタ３８から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データＳ３０を再構成回路３１に出力する。
再構成回路３１は、逆直交変換回路３０からのデータＳ３０と、それに対応して動き予測・補償回路３９から入力した対応する動き補償ブロックＭＣＢの予測画像データＰＩとを、例えば加算して参照画像データ内の動き補償ブロックデータの再構成画像データＲＥＦを生成し、これをフレームメモリ３４に書き込む。
これにより、フレームメモリ３４には、参照画像データの再構成画像データＲＥＦが書き込まれる。
レート制御回路３２は、例えば、画面並べ替え回路２３から入力したフレームデータＳ２３を基に、画像中の複雑度が高い部分は細かく量子化し、画像中の複雑度が低い部分は粗く量子化するように量子化パラメータＱＰを生成する。
そして、レート制御回路３２は、上記生成した量子化パラメータＱＰ、並びにバッファ２３から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
また、レート制御回路３２は、上記生成した量子化パラメータＱＰを、指標算出回路３６に出力する。
【００２０】
ＳＡＤ算出回路３５は、図４に示すように、図３に示す複数の動き補償ブロックＭＣＢのサイズを用いて、画面並べ替え回路２３から入力したフレームデータＳ２３内の各マクロブロックＭＢに対して、フレームデータＳ２３内の動き補償ブロックＭＣＢと、動き予測・補償回路３９から入力した参照画像データの再構成画像データＲＥＦの探索範囲ＳＲ内の所定の位置の動き補償ブロックＭＣＢとの差分絶対値和を示す指標データＳＡＤを下記式（１）を基に算出する。
なお、下記式（１）において、ｓ〔ｘ，ｙ〕は、フレームデータＳ２３の画素位置（ｘ，ｙ）の画素データを示す。
また、ｃ（ｘ−ｍｘ，ｙ−ｍｙ）は、参照画像データの再構成画像データＲＥＦ内の画素位置（ｘ−ｍｘ，ｙ−ｍｙ）の画素データを示す。
ここで、（ｍｘ，ｍｙ）によって動きベクトルＭＶが規定される。
下記式（１）では、フレームデータＳ２３内の処理対象の動き補償ブロックＭＣＢを構成する全ての画素データについて演算が行われるように、動き補償ブロックＭＣＢ内の全ての画素位置（ｘ，ｙ）が順に選択される。
【００２１】
【数１】
2005151152.tif 000003
【００２２】
ＳＡＤ算出回路３５は、参照画像データの再構成画像データＲＥＦの探索範囲内の全てあるいは予め決められ一部の位置の動き補償ブロックＭＣＢのそれぞれについて、上記指標データＳＡＤを算出し、これを動き予測・補償回路３９に出力する。
ここで、上記再構成画像データＲＥＦ内の動き補償ブロックＭＣＢの位置が、候補となる動きベクトルＭＶを規定している。
また、ＳＡＤ算出回路３５は、図３に示す全ての動き補償ブロックＭＣＢのサイズの各々について動き予測・補償回路３９が上記最小であると特定した指標データＳＡＤを指定する指定データＳＡＤ＿Ｉを入力し、それに対応する指標データＳＡＤを指標算出回路３６に出力する。
【００２３】
指標算出回路３６は、図３に示す全ての動き補償ブロックＭＣＢのそれぞれに対応してＳＡＤ算出回路３５から入力した指標データＳＡＤに、予め規定された補正処理を施して補正して指標データＣＯＳＴを生成する。
すなわち、指標算出回路３６は、下記式（２），（３）により、指標データＤ’，Ｒ’を算出する。
本実施形態において、補正処理データとは、例えば、下記式（２），（３）の定数ａ，ｂ，ｃ，ｄを示す。
本実施形態では、レート制御回路３２からの量子化パラメータＱＰを基に、補正処理データａ，ｂ，ｃ，ｄを規定してもよい。
また、図３に示す動き補償ブロックＭＣＢの全てに共通した補正処理データａ，ｂ，ｃ，ｄを用いてもよいし、動き補償ブロックＭＣＢ毎あるいは一部について異なる補正処理データａ，ｂ，ｃ，ｄを用いてもよい。
【００２４】
【数２】
2005151152.tif 000004
【００２５】
【数３】
2005151152.tif 000005
【００２６】
以下、補正処理データａ，ｂ，ｃ，ｄの決定方法について説明する。
符号化装置２において、テスト画像データの動き補償で参照される参照画像データ（Ｓ２３）と当該参照画像データの第１の予測画像データＰＩとの差分を示す画像データＳ２４を演算回路２４で生成する。
そして、演算回路２４で生成された画像データＳ２４に対して、直交変換回路２５、量子化回路２６、逆量子化回路２９、デブロックフィルタ３８および逆直交変換回路３０の処理を施して画像データＳ３０（本発明の第１のデータ）を生成する。
そして、画像データＳ３０と、それに対応する予測画像データＰＩ（本発明の第１の予測画像データ）とを基に第１の再構成画像データＲＥＦ（本発明の第１の再構成画像データ）を生成する。
そして、ＳＡＤ算出回路３５において、上記式（１）における上記テスト画像データをｓとし、上記第１の再構成画像データをｃとして、上記式（１）の演算を行って指標データＳＡＤ（本発明の第１の指標データ）を算出する。
【００２７】
また、上記テスト画像データ（Ｓ２３）とその第２の予測画像データＰＩとの差分を示す画像データＳ２４を演算回路２４で生成する。
そして、演算回路２４で生成された画像データＳ２４に対して、直交変換回路２５、量子化回路２６、逆量子化回路２９、デブロックフィルタ３８および逆直交変換回路３０の処理を施して画像データＳ３０（本発明の第２のデータ）を生成する。
そして、当該画像データＳ３０と、それに対応する予測画像データＰＩ（本発明の第２の予測画像データ）とを基に第２の再構成画像データＲＥＦ（本発明の第２の再構成画像データ）を生成する。
そして、下記式（４）により、指標データＳＳＤ（本発明の第２の指標データ）を算出する。
下記式（４）において、ｓはテスト画像データを示し、ｃは上記第２の再構成画像データＲＥＦを示している。
また、ｓｙ，ｃｙは、輝度成分を示し、ｃｕ，ｃｖ，ｓｕ，ｓｖは色差成分を示している。
また、ＭＯＤＥは、動き補償ブロックＭＣＢを示し、ＱＰは量子化パラメータを示している。
【００２８】
【数４】
2005151152.tif 000006
【００２９】
そして、図５に示すように、テスト画像データについて算出した指標データＳＡＤをＸ座標（ＳＡＤ）とし、それに対応して算出された指標データＳＳＤをＹ座標（Ｄ’）としてプロットを行い、その結果を基に、上記補正処理データａ，ｂを決定する。
補正処理データａ，ｂによって、図５に示す直線ＬＩＮＥ１が規定される。
【００３０】
また、上記テストデータについて、当該テスト画像データの動きベクトルＭＶを生成し、その動きベクトルＭＶと予測動きベクトルＰＭＶとの差分の情報を含む、当該マクロブロックの発生符号量Ｒを算出する。
そして、図６に示すように、テスト画像データについて算出した指標データＳＡＤをＸ座標（ＳＡＤ）とし、それに対応して算出された発生符号量ＲをＹ座標（Ｒ’）としてプロットを行い、その結果を基に、上記補正処理データｃ，ｄを決定する。
補正処理データｃ，ｄによって、図６に示す直線ＬＩＮＥ２が規定される。
【００３１】
次に、指標算出回路３６は、上記算出した指標データＤ’，Ｒ’を用いて下記式（５）演算を行って指標データＣＯＳＴを算出し、これをＭＣＢサイズサイズ指定回路３７に出力する。
ここで、下記式（５）において、λは、例えば、量子化パラメータＱＰに応じて決まる値である。
指標算出回路３６は、レート制御回路３２から入力した量子化パラメータＱＰを基にλを算出する。
【００３２】
【数５】
2005151152.tif 000007
【００３３】
指標算出回路３６は、例えば、複数の量子化パラメータＱＰのそれぞれに対応して異なる上記補正処理を選択して施してもよい。
また、指標算出回路３６は、図３に示す動き補償ブロックＭＣＢの複数のサイズのそれぞれに対応して異なる上記補正処理を施してもよい。
【００３４】
ＭＣＢサイズサイズ指定回路３７は、指標算出回路３６から入力した、図３に示す全てのサイズの動き補償ブロックＭＣＢのそれぞれについての指標データＣＯＮＴのうち最小のものを特定する。
そして、ＭＣＢサイズサイズ指定回路３７は、上記特定した最小の指標データＣＯＳＴに対応する動き補償ブロックＭＣＢのサイズを指定した動き補償ブロック指定データＭＢＭ＿Ｉを動き予測・補償回路３９に出力する。
【００３５】
動き予測・補償回路３９は、例えば、ＭＣＢサイズサイズ指定回路３７から動き補償ブロック選択データＭＢＭ＿Ｉを入力する。
動き補償ブロック選択データＭＢＭ＿Ｉは、例えば、図３に示す動き補償ブロックＭＣＢのサイズのうち選択されたサイズを示している。
動き予測・補償回路３９は、例えば、図３に示す全ての動き補償ブロックＭＣＢのサイズの各々について、ＳＡＤ算出回路３５から指標データＳＡＤを基に得られるデータＪ１を最小にする動きベクトルＭＶを特定する。
そして、動き予測・補償回路３９は、動き補償ブロック指定データＭＢＭ＿Ｉが示す単数の動き補償ブロックＭＣＢのサイズに対応して上記特定された動きベクトルＭＶを選択する。
そして、動き予測・補償回路３９は、上記選択した動きベクトルＭＶと、処理対象の動き補償ブロックＭＣＢに対応した参照画像データの再構成画像データＲＥＦとを基に、当該処理対象の動き補償ブロックＭＣＢの予測画像データＰＩを生成する。
また、動き予測・補償回路３９は、当該処理対象の動き補償ブロックＭＣＢと、上記予測画像データＰＩとの差分ＤＩＦを算出する。
動き予測・補償回路３９は、上記予測画像データＰＩと差分ＤＩＦを選択回路４４に出力する。
また、動き予測・補償回路３９は、他の動き補償ブロックＭＣＢから参照される上記予測画像データＰＩ，例えば、Ｐピクチャの予測画像データＰＩを再構成回路３１に出力する。
【００３６】
イントラ予測回路４１は、予め決められた複数のイントラ予測モードのそれぞれについて、イントラ予測符号を施して予測画像データＰＩを生成し、当該予測画像データＰＩとフレームデータＳ２３との差分ＤＩＦを検出する。
そして、イントラ予測回路４１は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードによる予測画像データＰＩと、上記差分ＤＩＦとを選択回路４４に出力する。
【００３７】
選択回路４４は、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路３９から入力した差分ＤＩＦとを比較する。
選択回路４４は、上記比較によりイントラ予測回路４１から入力した差分ＤＩＦの方が小さいと判断すると、イントラ予測回路４１から入力した予測画像データＰＩを選択して演算回路２４に出力する。
選択回路４４は、上記比較により動き予測・補償回路３９から入力した差分ＤＩＦの方が小さいと判断すると、動き予測・補償回路３９から入力した予測画像データＰＩを選択して演算回路２４に出力する。
また、選択回路４４は、イントラ予測回路４１からの予測画像デーＰＩを選択した場合にはインター予測符号化を選択したことを示す選択データＳ４４を可逆符号化回路２７に出力し、動き予測・補償回路３９からの予測画像データＰＩを選択した場合にはイントラ予測符号化を選択したことを示す選択データＳ４４を可逆符号化回路２７に出力する。
【００３８】
以下、図２に示す符号化装置２における動き予測・補償の動作例を説明する。
図７は、当該動作例を説明するためのフローチャートである。
ステップＳＴ１：
動き予測・補償回路３９が、フレームデータＳ２３内のマクロブロックデータＭＢのおうち未選択のマクロブロックデータＭＢを選択する。
ステップＳＴ２：
動き予測・補償回路３９が、図３に示す動き補償ブロックＭＣＢの複数のサイズのうち未指定のサイズを指定する。
ステップＳＴ３：
動き予測・補償回路３９が、参照画像データの探索範囲内の上記指定されたサイズの動き補償ブロックＭＣＢの再構成画像データＲＥＦをＳＡＤ算出回路３５に出力する。
そして、ＳＡＤ算出回路３５が、フレームデータＳ２３内のステップＳＴ１で選択されたマクロブロックデータＭＢのステップＳＴ２で指定された動き補償ブロックＭＣＢと、動き予測・補償回路３９から入力した上記再構成画像データＲＥＦとを基に、指標データＳＡＤを算出し、これを動き予測・補償回路３９に出力する。
ステップＳＴ４：
動き予測・補償回路３９は、ステップＳＴ３でＳＡＤ算出回路３５から入力した指標データＳＡＤを基に得られるデータＪ１を最小にする動き補償ブロックＭＣＢの位置を特定し、当該特定した位置を基に動きベクトルＭＶを生成する。
そして、動き予測・補償回路３９は、上記特定した動き補償ブロックＭＣＢに対応する指標データＳＡＤを指定した指定データＳＡＤ＿ＩをＳＡＤ算出回路３５に出力する。
ステップＳＴ５：
ＳＡＤ算出回路３５は、ステップＳＴ４で入力した指定データＳＡＤ＿Ｉで指定された指標データＳＡＤを指標算出回路３６に出力する。
指標算出回路３６は、ステップＳＴ５でＳＡＤ算出回路３５から入力した指標データＳＡＤに、予め規定された補正処理を施して補正して指標データＣＯＳＴを生成し、これをＭＣＢサイズサイズ指定回路３７に出力する。
ステップＳＴ６：
ＭＣＢサイズサイズ指定回路３７は、全ての動き補償ブロックＭＣＢがステップＳＴ２で指定され、それらに対応する指標データＣＯＳＴを全て入力したか否かを判断し、入力したと判断するとステップＳＴ７に進み、そうでない場合にはステップＳＴ２に戻る。
【００３９】
ステップＳＴ７：
ＭＣＢサイズサイズ指定回路３７は、図３に示す動き補償ブロックＭＣＢの全てのサイズに対応して指標算出回路３６から入力した指標データＣＯＳＴのうち最小のものを特定し、当該特定した指標データＣＯＳＴに対応する動き補償ブロックＭＣＢのサイズを指定した指定データＭＢＭ＿Ｉを動き予測・補償回路３９に出力する。
ステップＳＴ８：
動き予測・補償回路３９は、図３に示す動き補償ブロックＭＣＢの全てのサイズについてステップＳＴ４で生成した動きベクトルＭＶのうち、ステップＳＴ７で入力した指定データＭＢＭ＿Ｉで指定された指標データＣＯＳＴに対応する動きベクトルＭＶと、それに対応して生成された予測画像データＰＩおよび差分ＤＩＦを特定する。
ステップＳＴ９：
動き予測・補償回路３９は、ステップＳＴ８で特定した予測画像データＰＩおよび差分ＤＩＦを選択回路４４に出力する。
ステップＳＴ１０：
処理対象のフレームデータＳ２３内の全てのマクロブロックデータＭＢについてステップＳＴ１〜９の処理が終了したか否かを判断し、終了したと判断すると処理を終了し、そうでない場合にはステップＳＴ１に戻る。
【００４０】
以下、図２に示す符号化装置２の全体動作を説明する。
原画像信号Ｓ１０が入力されると、原画像信号Ｓ１０がＡ／Ｄ変換回路２２においてデジタルのフレームデータＳ２２に変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレームデータＳ２２内のピクチャの並べ替えが行われ、それによって得られたフレームデータＳ２３が演算回路２４、ＳＡＤ算出回路３５、動き予測・補償回路３９およびイントラ予測回路４１に出力される。
次に、演算回路２４が、画面並べ替え回路２３からのフレームデータＳ２３と選択回路４４からの予測画像データＰＩとの差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。
【００４１】
次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データＳ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、量子化された変換係数Ｓ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆変換回路２７が、変換係数Ｓ２６に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データを生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、バッファ２８から読み出した画像データを基に、量子化回路２６における量子化レートを制御する。
【００４２】
また、逆量子化回路２９が、量子化回路２６から入力した変換係数Ｓ２６を逆量子化し、逆量子化した変換係数をデブロックフィルタ３８に出力する。
デブロックフィルタ３８は、逆量子化回路２９から入力した変換係数のブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、フレームメモリ４５に書き込む。
逆直交変換回路３０は、デブロックフィルタ３８から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成したデータを再構成回路３１に出力する。
そして、再構成回路３１は、逆直交変換回路３０からのデータと、当該データに対応して動き予測・補償回路３９から入力した対応する動き補償ブロックＭＣＢの予測画像データＰＩとを、例えば加算して参照画像データ内の動き補償ブロックデータの再構成画像データＲＥＦを生成し、これをフレームメモリ３４に書き込む。
そして、動き予測・補償回路３９、ＳＡＤ算出回路３５、指標算出回路３６およびＭＣＢサイズサイズ指定回路３７において、図７を用いて前述した処理が行われる。
これにより、動き予測・補償回路３９において生成された動きベクトルＭＶに対応する予測画像データＰＩおよび差分ＤＩＦが選択回路４４に出力される。
【００４３】
そして、イントラ予測回路４１において、イントラ予測符号化が行われ、その予測画像データＰＩと、差分ＤＩＦとが選択回路４４に出力される。
そして、選択回路４４において、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路３９から入力した差分ＤＩＦとのうち小さい方の差分ＤＩＦに対応する予測画像データＰＩが演算回路２４に出力される。
【００４４】
以上説明したように、符号化装置２によれば、ＳＡＤ算出回路３５で生成された指標データＳＡＤを用いて、上記式（２），（３）、（５）を基に指標データＤ‘，Ｒ’，ＣＯＳＴを生成することで、ＭＣＢサイズサイズ指定回路３７において動き補償ブロックＭＣＢの選択を行う。
そのため、符号化装置２によれば、処理中の動き補償ブロックＭＣＢの全てについて、従来技術で説明した指標データＳＳＤを算出する必要がなく、従来に比べて演算量を削減できる。すなわち、符号化装置２によれば、指標データＳＳＤを算出する上で必要な処理中の動き補償ブロックＭＣＢの再構成画像データを生成する必要がなく、演算量を削減できる。
また、符号化装置２では、ＳＡＤ算出回路３５で生成された指標データＳＡＤを図５および図６を用いて説明したように指標算出回路３６において補正処理して生成された指標データＣＯＳＴを基に動き補償ブロックＭＣＢのサイズを選択する。
そのため、符号化装置２によれば、従来と同様に、最適な動き補償ブロックＭＣＢを高精度に選択でき、高い符号化効率を実現できる。
【００４５】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、上記（１）を基に指標データＳＡＤを生成する場合を例示したが、その代わりに、下記式（６）を基に指標データＳＡＴＤを算出し、これを基に指標データＣＯＳＴを算出してもよい。
【００４６】
【数６】
2005151152.tif 000008
【産業上の利用可能性】
【００４７】
本発明は、画像データを符号化する符号化システムに適用可能である。
【図面の簡単な説明】
【００４８】
【図１】図１は、本発明は、本発明の第１実施形態の通信システムの構成図である。
【図２】図２は、図１に示す符号化装置の機能ブロック図である。
【図３】図３は、図２に示す動き予測・補償回路で用いられる動き補償ブロックのサイズの種類を説明するための図である。
【図４】図４は、図２に示す動き予測・補償回路における動きベクトルの探索方法を説明するための図である。
【図５】図５は、図２に示す指標算出回路で行われる補正処理を説明するための図である。
【図６】図６は、図２に示す指標算出回路で行われる補正処理を説明するための図である。
【図７】図７は、図１に示す符号化装置の動き補償に関する動作例を説明するためのフローチャートである。
【符号の説明】
【００４９】
１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…再構成回路、３２…レート制御回路、３５…ＳＡＤ算出回路、３６…指標算出回路、３７…ＭＣＢサイズ選択回路、３９…動き予測・補償回路、４１…イントラ予測回路、４４…選択回路
【図１】
2005151152.tif 000009
【図２】
2005151152.tif 000010
【図３】
2005151152.tif 000011
【図４】
2005151152.tif 000012
【図５】
2005151152.tif 000013
【図６】
2005151152.tif 000014
【図７】
2005151152.tif 000015