(57)【特許請求の範囲】
【請求項１】
符号化ストリームを変換するデータ処理装置において、
フィールドモードで符号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフィールド符号化ストリームをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、変換手段と、
を備える、
データ処理装置。
【請求項２】
上記動きベクトル変換手段は、上記マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報をそれぞれ、（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ）及び（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）とし、フレーム変換して得られるフレーム単位の動きベクトル情報を（ｍｖｘ＿ｆｒ，ｍｖｙ＿ｆｒ）とした場合に、下記式に従って、上記フレーム単位の動きベクトル情報を生成する、
ｍｖｘ＿ｆｒ＝（ｍｖｘ＿ｔ＋ｍｖｘ＿ｂ）／２
ｍｖｙ＿ｆｒ＝ｍｖｙ＿ｔ＋ｍｖｙ＿ｂ
請求項１に記載のデータ処理装置。
【請求項３】
上記受け取り手段は、上記マクロブロック毎のフィールド単位の動きベクトル情報を、上記フィールド符号化ストリームから抽出する、
請求項１に記載のデータ処理装置。
【請求項４】
符号化ストリームを変換するデータ処理方法において、
フィールドモードで符号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
上記受け取り工程において受け取られた上記マクロブロック毎のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を当該マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
上記動きベクトル変換工程において上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記マクロブロック毎のフィールド符号化ストリームをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、変換工程と、
を備える、
データ処理方法。
【請求項５】
符号化ストリームを変換するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトルとをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定するフレーム単位の動きベクトルを、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、変換手段と、
を備えた、
データ処理装置。
【請求項６】
上記動きベクトル変換手段は、マクロブロックに対するフレーム単位の動きベクトル情報を（ｍｖｘ＿ｆｒ，ｍｖｙ＿ｆｒ）とし、上記フィールド変換して得られる上記マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報をそれぞれ、（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ）及び（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）とした場合に、下記式に従って、上記フィールド単位の動きベクトル情報を生成する、
ｍｖｘ＿ｔ＝ｍｖｙ＿ｂ＝ｍｖｘ＿ｆｒ
ｍｖｙ＿ｔ＝ｍｖｙ＿ｂ＝（ｍｖｙ＿ｆｒ）／２
請求項５に記載のデータ処理装置。
【請求項７】
上記受け取り手段は、上記マクロブロック毎のフレーム単位の動きベクトル情報を、上記フレーム符号化ストリームから抽出する、
請求項６に記載のデータ処理装置。
【請求項８】
符号化ストリームを変換するデータ処理方法において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
上記受け取り工程において受け取られた上記マクロブロック毎に生成された上記マクロブロックの動きベクトルが規定するフレーム単位の動きベクトルを、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
上記動きベクトル変換工程において上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記マクロブロック毎のフレーム符号化ストリームをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、変換工程と、
を備える、
データ処理方法。
【請求項９】
符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
フィールドモードで符号化されたフィールド符号化ストリーム復号して得られる画像データと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の二次元方向の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、符号化手段と、
を備える、
データ処理装置。
【請求項１０】
符号化ストリームを復号して得られる画像データを符号化するデータ処理方法において、
フィールドモードで符号化されたフィールド符号化ストリーム復号して得られる画像データと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
上記受け取り工程において受け取られた上記フィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位のの動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
上記動きベクトル変換工程において上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記画像データをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、符号化工程と、
を備える、
データ処理方法。
【請求項１１】
符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリーム復号して得られる画像データと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定する、フレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定する、フレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフィールドモードで変換することにより、フィールドモードで符号化された上記フィールド符号化ストリームを生成する、符号化手段と、
を備える、
データ処理装置。
【請求項１２】
符号化ストリームを復号して得られる画像データを符号化するデータ処理方法において、
フレームモードで符号化されたフレーム符号化ストリーム復号して得られる画像データと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
上記受け取り工程において受け取られた上記マクロブロック毎のフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
上記動きベクトル変換工程において上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記画像データをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、符号化工程と、
を備える、データ処理方法。
【請求項１３】
符号化ストリームを復号するデータ処理装置において、
フィールドモードで復号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記フィールド符号化ストリームを復号して画像データを生成する復号手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトル情報をマクロブロック毎に生成する、動きベクトル変換手段と、
上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フレーム単位の動きベクトルとを伝送する、伝送手段と、
を備える、
データ処理装置。
【請求項１４】
符号化ストリームを復号するデータ処理方法において、
フィールドモードで復号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に駆られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの二次元方向の動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド符号化ストリームを復号して画像データを生成する復号工程と、
上記受け取り工程において受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトル情報をマクロブロック毎に生成する、動きベクトル変換工程と、
上記復号工程において生成された画像データと、上記動きベクトル変換工程において生成された上記フレーム単位の動きベクトルとを伝送する、伝送工程と、
を備える、
データ処理方法。
【請求項１５】
符号化ストリームを復号するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位の動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームを復号して画像データを生成する復号手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フィールド単位の動きベクトル情報を伝送する、伝送手段と、
を備える、
データ処理装置。
【請求項１６】
符号化ストリームを復号するデータ処理方法において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位の動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
上記受け取り工程において受け取られた上記マクロブロック毎のフレーム符号化ストリームを復号して画像データを生成する復号工程と、
上記受け取り工程において受け取られた上記マクロブロック毎のフレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
上記復号工程において生成された画像データと、上記動きベクトル変換工程において生成された上記フィールド単位の動きベクトル情報を伝送する、伝送工程と、
を備える、
データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの動きベクトルを決定するデータ処理装置およびその方法と符号化装置に関する。
【背景技術】
【０００２】
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。      
【０００３】
ＭＰＥＧ方式に続いて、さらなる高圧縮率を実現するＪＶＴ(Joint Video Team)と呼ばれる符号化方式が提案されている。
ＪＶＴ方式では、ＭＰＥＧと同様に、動き予測・補償処理において、動きベクトルを基にした動き予測・補償を行う。
ところで、ＪＶＴ方式の符号化装置では、ＭＰＥＧで符号化された画像データを復号した後に、ＪＶＴ方式で符号化する場合がある。
このような場合に、ＪＶＴの符号化装置の動き予測・補償では、例えば、上記復号によって得られた復号データの所定の参照画像データを間引いて１／４解像度の参照画像データを生成し、この１／４解像度の参照画像データ全体を探索範囲として第１の動きベクトルを生成する。そして、その第１の動きベクトルを基に、上記所定の参照画像データ内の探索範囲を決定し、当該決定した探索範囲内で再び動きベクトルの生成を行う。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来のＪＶＴ方式の符号化装置では、動きベクトルの生成に伴う処理量が多く、処理時間の短縮、並びに装置の小規模化の要請がある。
同様な問題は、ＪＶＴ以外の符号化装置についても同様に存在する。
【０００５】
本発明は上述した従来技術に鑑みて成され、動画像データを第１の符号化方法で符号化し、この符号化データを復号して得られた復号データを、第２の符号化方法で符号化する場合に、符号化効率を劣化させずに、動きベクトルの決定に伴う処理量を削減できるデータ処理装置、その方法および符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明によれば、符号化ストリームを変換するデータ処理装置において、
フィールドモードで符号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の二次元方向の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフィールド符号化ストリームをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、変換手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
【０００７】
本発明によれば、符号化ストリームを変換するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトルとをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定するフレーム単位の動きベクトルを、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、変換手段と、
を備えた、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
【０００８】
本発明によれば、符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
フィールドモードで符号化されたフィールド符号化ストリーム復号して得られる画像データと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いた演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、符号化手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
【０００９】
本発明によれば、符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリーム復号して得られる画像データと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定する、フレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定する、フレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフィールドモードで変換することにより、フィールドモードで符号化された上記フィールド符号化ストリームを生成する、符号化手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
【００１０】
本発明によれば、符号化ストリームを復号するデータ処理装置において、
フィールドモードで復号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記フィールド符号化ストリームを復号して画像データを生成する復号手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトル情報をマクロブロック毎に生成する、動きベクトル変換手段と、
上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フレーム単位の動きベクトルとを伝送する、伝送手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
【００１１】
本発明によれば、符号化ストリームを復号するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位の動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームを復号して画像データを生成する復号手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フィールド単位の動きベクトル情報を伝送する、伝送手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
【発明の効果】
【００１２】
本発明によれば、動画像データを第１の符号化方法で符号化された符号化データを復号して得られた復号データを、第２の符号化方法で符号化する場合に、符号化効率を劣化させずに、動きベクトルの決定に伴う処理量を削減できるデータ処理装置、その方法および符号化装置を提供できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態に係わるＪＶＴ方式の符号化装置について説明する。
＜本発明の実施形態＞
以下、図１〜図１２を参照して本発明の実施形態を説明する。
先ず、本発明の構成要素と本実施形態の構成要素との対応関係を説明する。
図２に示すＭＰＥＧ２復号回路５１が第１および第３の発明の復号手段に対応している。
また、図２に示すＭＶ変換回路５３および動き予測・補償回路５８が、第１の発明の動きベクトル生成手段、並びに第３の発明の動き予測手段に対応する。
また、図２に示す画面並べ替えバッファ２３および可逆符号化回路２７が、第３の発明の符号化手段に対応する。
また、画像データＳ１１が本発明の符号化データに対応し、画像データＳ５１が本発明の復号データに対応する。
また、動きベクトルＭＶ５１が本発明の第１の動きベクトルに対応し、動きベクトルＭＶが本発明の第２の動きベクトルに対応している。
【００１４】
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行う。
【００１５】
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替えバッファ２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、メモリ３１、レート制御回路３２、メモリ４５、デブロックフィルタ３７、イントラ予測回路４１、選択回路４４、ＭＰＥＧ２復号回路５１、ピクチャタイプバッファメモリ５２、ＭＶ変換回路５３および動き予測・補償回路５８を有する。
【００１６】
符号化装置２は、ＭＰＥＧ２復号回路５１において、ＭＥＰＧ２で符号化された画像データＳ１１を復号して画像データＳ５１を生成し、画像データＳ５１をＪＶＴで符号化する。
この場合に、ＭＰＥＧ２復号回路５１が、ＭＥＰＧ２の符号化において決定された各マクロブロックＭＢの動きベクトルＭＶ５１をＭＶ変換回路５３に出力する。
そして、ＭＶ変換回路５３において、動きベクトルＭＶ５１を変換して動きベクトルの探索範囲を規定する動きベクトルＭＶ５３を生成する。
動き予測・補償回路５８は、図３に示すように、画像データＳ２３内の処理対象のマクロブロックＭＢの動きベクトルＭＶを生成する場合に、参照画像データＲＥＦ内の動きベクトルＭＶ５３で規定される探索範囲ＳＲを探索して動きベクトルＭＶを生成する。
符号化装置２では、図４（Ａ），（Ｂ）に示すように、ＭＰＥＧ２復号回路５１から出力された画像データＳ５１の各ピクチャのＭＰＥＧ２符号化で用いられたピクチャタイプＰ，Ｂ，Ｉをそのまま用いて、ＪＶＴ符号化、すなわち動き予測・補償回路５８における動きベクトルＭＶの生成を行う。
なお、本実施形態において、Ｉは、Ｉピクチャ、すなわち、当該Ｉピクチャの情報だけから符号化され、フレーム間予測（インター予測符号化）を行わない画像データを示す。  また、Ｐは、Ｐピクチャ、すなわち、表示順が前（過去）のＩピクチャまたはＰピクチャを基に予測を行って符号化される画像データを示す。
Ｂは、表示順が前および後のＩピクチャおよびＰピクチャを基に双方向予測によって符号化される画像データを示す。
【００１７】
次に、ＭＰＥＧ２とＪＶＴとの符号化方式について説明する。
ＭＰＥＧ２およびＪＶＴの何れの場合でも、符号化装置に入力される画像データには、順次走査画像データと、飛び越し走査画像データとがあり、フィールドデータを単位とした符号化（フィールド符号化）と、フレームデータを単位とした符号化（フレーム符号化）とが選択できる。
ＭＰＥＧ２では、例えば、図５（Ａ）に示すように、１６画素×１６画素のデータで構成されるマクロブロックＭＢをフレーム符号化してもよいし、図５（Ｂ）に示すように、トップフィールドデータおよびボトムフィールドデータ毎に、１６画素×８画素のデータに分割してフィールド符号化してもよい。
また、ＪＶＴでは、図６（Ａ），（Ｂ）に示すようにピクチャ単位での符号化と、図７に示すようにマクロブロック単位での符号化とを選択できる。
ピクチャ単位での符号化としては、図６（Ａ）に示すフレーム符号化と、図６（Ｂ）に示すフィールド符号化とを選択できる。
また、マクロブロック単位での符号化としては、単数のマクロブロックを単位としてフレーム符号化またはフィールド符号化を行う場合と、図７に示すように２つのマクロブロックＭＢ（ＭＢペア）、すなわち１６画素×３２画素のデータを単位としてフレーム符号化またはフィールド符号化を行う場合とを選択できる。
【００１８】
また、ＭＰＥＧ２のマクロブロックＭＢの動きベクトルＭＶとしては、図８（Ａ）に示すように、フレーム符号化で得られた動きベクトル（ｍｖｘ＿ｆｒ，ｍｖｙ＿ｆｒ）と、図８（Ｂ）に示すように、フィールド符号化で得られたトップフィールドデータの動きベクトル（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ）およびボトムフィールドの動きベクトル（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）の何れか一方が存在する。
【００１９】
また、ＭＰＥＧ２のマクロブロックＭＢの動きベクトルＭＶとしては、フィールド符号化された場合には、図９（Ａ）に示すように、垂直方向で隣接するマクロブロックＭＢ１とＭＢ２とのそれぞれについて、トップフィールドおよびボトムフィールドの動きベクトルが含まれる。
一方、ＪＶＴにおいて、図７に示すマクロブロックペアを単位として符号化を行う場合に、図９（Ｂ）に示すように、一方のマクロブロックＭＢｔにはトップフィールドの動きベクトルのみが含まれ、他方のマクロブロックＭＢｂにはボトムフィールドの動きベクトルのみが含まれる。
【００２０】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号をデジタルの画像データに変換し、これを画面並べ替えバッファ２３に出力する。
画面並べ替えバッファ２３は、Ａ／Ｄ変換回路２２から入力した原画像の画像データＳ２２あるいはＭＰＥＧ２復号回路５１から入力した画像データＳ５１を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データＳ２３を演算回路２４、イントラ予測回路４１および動き予測・補償回路５８に出力する。
【００２１】
演算回路２４は、画像データＳ２３と、選択回路４４から入力した予測画像データＰＩとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００２２】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、選択データＳ４４がインター予測符号化を選択したことを示す場合に、動き予測・補償回路５８から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
また、可逆符号化回路２７は、選択データＳ４４がイントラ予測符号化を選択したことを示す場合に、イントラ予測回路４１から入力したイントラ予測モードＩＰＭをヘッダデータなどに格納する。
【００２３】
バッファ２８に格納された画像データは、変調等された後に送信される。
逆量子化回路２９は、画像データＳ２６を逆量子化した信号を生成し、これをデブロックフィルタ３７に出力する。
デブロックフィルタ３７は、画像データＳ２６のブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、メモリ４５に書き込む。
逆直交変換回路３０は、デブロックフィルタ３７から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データをメモリ３１に書き込む。
レート制御回路３２は、バッファ２３から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
【００２４】
イントラ予測回路４１は、例えばＪＶＴにより予め規定されたイントラ予測モードのそれぞれを基に、メモリ４５から読み出した画像データを構成する各マクロブロックＭＢにイントラ予測符号を施して予測画像を生成し、当該予測画像データと画像データＳ２３との差分ＤＩＦを検出する。
そして、イントラ予測回路４１は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードを特定し、当該特定したイントラ予測モードＩＰＭを可逆符号化回路２７に出力する。
また、イントラ予測回路４１は、上記特定したイントラ予測モードによる予測画像データＰＩと、上記差分ＤＩＦとを選択回路４４に出力する。
【００２５】
選択回路４４は、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路５８から入力した差分ＤＩＦとを比較する。
選択回路４４は、上記比較によりイントラ予測回路４１から入力した差分ＤＩＦの方が小さいと判断すると、イントラ予測回路４１から入力した予測画像データＰＩを選択して演算回路２４に出力する。
選択回路４４は、上記比較により動き予測・補償回路５８から入力した差分ＤＩＦの方が小さいと判断すると、動き予測・補償回路５８から入力した予測画像データＰＩを選択して演算回路２４に出力する。
また、選択回路４４は、イントラ予測回路４１からの予測画像データＰＩを選択した場合にはインター予測符号化を選択したことを示す選択データＳ４４を可逆符号化回路２７に出力し、動き予測・補償回路５８からの予測画像データＰＩを選択した場合にはイントラ予測符号化を選択したことを示す選択データＳ４４を可逆符号化回路２７に出力する。
【００２６】
ＭＰＥＧ２復号回路５１は、例えば、ＭＰＥＧ２で符号化された画像データＳ１１を入力し、画像データＳ１１をＭＰＥＧ２で復号して画像データＳ５１を生成し、これを画面並べ替えバッファ２３に出力する。
また、ＭＰＥＧ２復号回路５１は、画像データＳ１１のヘッダに含まれ各マクロブロックＭＢの動きベクトルＭＶ５１をＭＶ変換回路５３に出力する。
また、ＭＰＥＧ２復号回路５１は、画像データＳ１１のヘッダに含まれ各マクロブロックＭＢのピクチャの種類を示すピクチャタイプデータＰＩＣ＿Ｔを、ＭＶ変換回路５３に出力すると共に、ピクチャタイプバッファメモリ５２に書き込む。
また、ＭＰＥＧ２復号回路５１は、上記マクロブロックＭＢのＭＥＰＧ２による符号化が、イントラ符号化、インター符号化、インター符号化の場合にはその予測モード、フィール符号化、フレーム符号化の何れであるかを示す符号化タイプデータＥＮ＿ＴをＭＶ変換回路５３に出力する。
【００２７】
ピクチャタイプバッファメモリ５２に記憶されたピクチャタイプデータＰＩＣ＿Ｔは、選択回路４４および動き予測・補償回路５８によって読み出される。
【００２８】
ＭＶ変換回路５３は、ＭＰＥＧ２復号回路５１から入力した動きベクトルＭＶ５１を基に、動きベクトルＭＶ５３を生成し、これを動き予測・補償回路５８に出力する。
動きベクトルＭＶ５３は、図３を用いて説明したように、動き予測・補償回路５８においてＪＶＴ方式により動きベクトルＭＶを探索する場合に、参照画像データＲＥＦ内の探索範囲ＳＲを規定するために用いられる。
【００２９】
以下、ＭＶ変換回路５３における動きベクトルＭＶ５３の生成動作を説明する。
図１０および図１１は、ＭＶ変換回路５３における動きベクトルＭＶ５３の生成動作を説明するための図である。
ステップＳＴ１：
ＭＶ変換回路５３は、ＭＰＥＧ２復号回路５１から入力したピクチャタイプデータＰＩＣ＿Ｔを基に、ＭＰＥＧ２復号回路５１から入力した動きベクトルＭＶ５１に対応するマクロブロックＭＢのピクチャタイプを判断し、当該ピクチャタイプがＢまたはＰの場合には、ステップＳＴ２に進み、そうでない場合にはステップＳＴ１の処理を繰り返す。
ステップＳＴ２：
ＭＶ変換回路５３は、ＭＰＥＧ２復号回路５１から入力したピクチャタイプデータＰＩＣ＿Ｔおよび符号化タイプデータＥＮ＿Ｔを基に、「上記マクロブロックＭＢのピクチャタイプがＰで、且つ、イントラ符号化されたものである」という条件と、「上記マクロブロックＭＢのピクチャタイプがＢで、且つ、前方予測あるいは後方予測の片方のみの予測モードである」という条件の何れか一方の条件を満たすか否かを判断し、満たさないと判断するとステップＳＴ３に進み、満たすと判断するとステップＳＴ４に進む。
【００３０】
ステップＳＴ３：
ＭＶ変換回路５３は、動きベクトルＭＶ５３として零ベクトルを選択する。
ステップＳＴ４：
ＭＶ変換回路５３は、符号化タイプデータＥＮ＿Ｔを基に、動きベクトルＭＶ５１がフィールド符号化されて得られたものであるか否かを判断し、フィールド符号化されたものであると判断するとステップＳＴ５に進み、そうでない場合（フレーム符号化されたものである場合）にはステップＳＴ６に進む。
なお、動きベクトルＭＶ５１がマクロブロックＭＢをフィールド符号化して得られたものである場合には、動きベクトルＭＶ５１として、図８（Ｂ）に示すように、トップフィールドの動きベクトル（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ）と、ボトムフィールドの動きベクトル（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）とが存在する。
一方、動きベクトルＭＶ５１がマクロブロックＭＢをフレーム符号化して得られたものである場合には、動きベクトルＭＶ５１として、図８（Ａ）に示すように、フレームデータの動きベクトル（ｍｖｘ＿ｆｒ，ｍｖｙ＿ｆｒ）が存在する。
【００３１】
ステップＳＴ５：
ＭＶ変換回路５３は、上記マクロブロックＭＢの動きベクトルＭＶ５１が規定するトップフィールドの動きベクトル（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ）と、ボトムフィールドの動きベクトル（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）とを用いて、下記式（３）を基に、フレームの動きベクトル（ｍｖｘ＿ｆｒ，ｍｖｙ＿ｆｒ）を生成する。
【００３２】
［数３］
ｍｖｘ＿ｆｒ＝（ｍｖｘ＿ｔ＋ｍｖｘ＿ｂ）／２
ｍｖｙ＿ｆｒ＝ｍｖｙ＿ｔ＋ｍｖｙ＿ｂ
…（３）
【００３３】
ステップＳＴ６：
ＭＶ変換回路５３は、上記マクロブロックＭＢの動きベクトルＭＶ５１が規定するフレームの動きベクトル（ｍｖｘ＿ｆｒ，ｍｖｙ＿ｆｒ）を用いて、下記式（４）を基に、トップフィールドの動きベクトル（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ）と、ボトムフィールドの動きベクトル（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）とを生成する。
【００３４】
［数４］
ｍｖｘ＿ｔ＝ｍｖｙ＿ｂ＝ｍｖｘ＿ｆｒ
ｍｖｙ＿ｔ＝ｍｖｙ＿ｂ＝（ｍｖｙ＿ｆｒ）／２
…（４）
【００３５】
ステップＳＴ７：
ＭＶ変換回路５３は、ＪＶＴで規定されるマクロブロックペアに対応するＭＰＥＧ２の２つのマクロブロックＭＢのフィールドの動きベクトル（ｍｖｘ１＿ｔ，ｍｖｙ１＿ｔ），（ｍｖｘ１＿ｂ，ｍｖｙ１＿ｂ），（ｍｖｘ２＿ｔ，ｍｖｙ２＿ｔ），（ｍｖｘ２＿ｂ，ｍｖｙ２＿ｂ）を用いて、図７および図９を用いて説明したマクロブロックペアのフィールドデータを単位とした動き補償で探索範囲を規定するために用いられる動きベクトル（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ），（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）を下記式（５）を基に生成する。
【００３６】
［数５］
ｍｖｘ＿ｔ＝（ｍｖｘ１＿ｔ＋ｍｖｘ２＿ｔ）／２
ｍｖｙ＿ｔ＝（ｍｖｙ１＿ｔ＋ｍｖｙ２＿ｔ）／２
ｍｖｘ＿ｂ＝（ｍｖｘ１＿ｂ＋ｍｖｘ２＿ｂ）／２
ｍｖｙ＿ｂ＝（ｍｖｙ１＿ｂ＋ｍｖｙ２＿ｂ）／２
…（５）
【００３７】
ステップＳＴ８：
ＭＶ変換回路５３は、ステップＳＴ３，ＳＴ５，ＳＴ６，ＳＴ７で生成した動きベクトルを、動きベクトルＭＶ５３として動き予測・補償回路５８に出力する。
【００３８】
動き予測・補償回路５８は、画像データＳ２３を、フレームデータおよびフィールドデータを単位として、メモリ３１から読み出した参照画像データＲＥＦを基に動きベクトルＭＶを決定する。
すなわち、動き予測・補償回路５８は、動きベクトルＭＶと参照画像データＲＥＦとによって規定される予測画像データＰＩと、画像データＳ２３との差分ＤＩＦを最小にする動きベクトルＭＶを決定する。このとき、動き予測・補償回路５８は、参照画像データＲＥＦ内の動きベクトルＭＶ５３によって規定される探索範囲内で上記動きベクトルＭＶを探索して決定する。
動き予測・補償回路５８は、フレームデータを単位として動きベクトルＭＶを生成する場合に、画像データＳ２３のフィールドデータを単位として、メモリ３１から読み出した参照画像データＲＥＦ（フレームデータ）を基に動きベクトルＭＶを生成する。
すなわち、動き予測・補償回路５８は、図６（Ａ）に示すフレームデータを単位として、動きベクトルＭＶの決定、予測画像データＰＩおよび差分ＤＩＦを生成する。
動き予測・補償回路５８は、フィールドデータを単位として動きベクトルＭＶを生成する場合に、画像データＳ２３のフィールドデータを単位として、メモリ３１から読み出した参照画像データＲＥＦ（フィールドデータ）を基に動きベクトルＭＶを決定する。
すなわち、動き予測・補償回路５８は、図６（Ｂ）に示すトップフィールドデータおよびボトムフィールドデータの各々を単位として、動きベクトルＭＶの決定、予測画像データＰＩおよび差分ＤＩＦを生成する。
動き予測・補償回路５８は、予測画像データＰＩおよび差分ＤＩＦを選択回路４４に出力し、動きベクトルＭＶを可逆符号化回路２７に出力する。
なお、本実施形態において、動き予測・補償回路５８は、ＪＶＴで規定されたマルチプルリファレンスを使用せずに、Ｐピクチャについては１枚の参照画像データＲＥＦを用い、Ｂピクチャについて２枚の参照画像データＲＥＦを用いる。
【００３９】
以下、動き予測・補償回路５８の処理について詳細に説明する。
図１２は、動き予測・補償回路５８の処理を説明するためのフローチャートである。
ステップＳＴ２１：
動き予測・補償回路５８は、ピクチャタイプバッファメモリ５２から入力したピクチャタイプデータＰＩＣ＿Ｔを基に、画像データＳ２３内の処理対象のマクロブロックＭＢがＢまたはＰピクチャであるか否かを判断し、ＢまたはＰピクチャであると判断するとステップＳＴ２２に進み、そうでない場合にはステップＳＴ２１の処理を繰り返す。
【００４０】
ステップＳＴ２２：
動き予測・補償回路５８は、動きベクトルＭＶ５３として入力した動きベクトルのうち、フィールド符号化に対応する動きベクトルを選択する。
そして、動き予測・補償回路５８は、処理対象のマクロブロックＭＢのピクチャタイプに応じて選択した単数または複数の参照画像データＲＥＦ（フィールドデータ）内の探索範囲ＳＲを、上記選択した動きベクトルによって規定する。
そして、動き予測・補償回路５８は、処理対象のマクロブロックＭＢの動きベクトルＭＶを、フィールドデータ単位で、上記規定した参照画像データＲＥＦ内の探索範囲ＳＲを探索して生成する。
このとき、動き予測・補償回路５８は、動きベクトルＭＶと参照画像データＲＥＦとを基に予測画像データＰＩ、並びに参照画像データＲＥＦと予測画像データＰＩとの差分ＤＩＦとを生成する。
【００４１】
ステップＳＴ２３：
動き予測・補償回路５８は、動きベクトルＭＶ５３として入力した動きベクトルのうち、フレーム符号化に対応する動きベクトルを選択する。
そして、動き予測・補償回路５８は、処理対象のマクロブロックＭＢのピクチャタイプに応じて選択した単数または複数の参照画像データＲＥＦ（フレームデータ）内の探索範囲ＳＲを、上記選択した動きベクトルによって規定する。
そして、動き予測・補償回路５８は、処理対象のマクロブロックＭＢの動きベクトルＭＶを、フレームデータ単位で、上記規定した参照画像データＲＥＦ内の探索範囲ＳＲを探索して生成する。
動き予測・補償回路５８は、単数のマクロブロックＭＢを単位、並びに図７に示すＭＢペアを単位とする場合の各々について、動きベクトルＭＶを生成する。
このとき、動き予測・補償回路５８は、動きベクトルＭＶと参照画像データＲＥＦとを基に予測画像データＰＩ、並びに参照画像データＲＥＦと予測画像データＰＩとの差分ＤＩＦとを生成する。
動き予測・補償回路５８は、ステップＳＴ２２，ＳＴ２３の処理を、処理対象のピクチャ内の全てのマクロブロックＭＢについて行う。
【００４２】
ステップＳＴ２４：
動き予測・補償回路５８は、各ステップＳＴ２２およびＳＴ２３で生成された差分ＤＩＦを基に、フレーム符号化およいフィールド符号化のうち、処理対象のピクチャ内の全てのマクロブロックＭＢについての差分ＤＩＦの総和が最も少ない方を選択する。
また、動き予測・補償回路５８は、フレーム符号化を選択する場合に、マクロブロックＭＢとＭＢペアとの何れを単位とするかも選択する。
ステップＳＴ２５：
動き予測・補償回路５８は、ステップＳＴ５８で選択したフレーム符号化またはフィールド符号化に対応する動きベクトルＭＶを可逆符号化回路２７に出力し、それに対応する予測画像データＰＩおよび差分ＤＩＦを選択回路４４に出力する。
【００４３】
以下、図２に示す符号化装置２の全体動作を説明する。
〔第１の動作例〕
当該第１の動作例では、符号化されていない画像データＳ１０が符号化装置２に入力される場合を説明する。
符号化されていない画像データＳ１０が入力されると、画像データＳ１０がＡ／Ｄ変換回路２２において画像データＳ２２に変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替えバッファ２３において画像データＳ１０内のピクチャの並べ替えが行われ、それによって得られた画像データＳ２３が演算回路２４、イントラ予測回路４１、および動き予測・補償回路５８に出力される。
次に、演算回路２４が、画面並べ替えバッファ２３からの画像データＳ２３と選択回路４４からの予測画像データＰＩとの差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。
【００４４】
次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データＳ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、量子化された画像データＳ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆符号化回路２７が、画像データＳ２６に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データＳ２８を生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、バッファ２８から読み出した画像データＳ２８を基に、量子化回路２６における量子化レートを制御する。
【００４５】
また、逆量子化回路２９が、量子化回路２６から入力した画像データＳ２６を逆量子化し、逆量子化した変換係数をデブロックフィルタ３７に出力する。
デブロックフィルタ３７は、逆量子化回路２９から入力した画像データのブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、メモリ４５に書き込む。
逆直交変換回路３０は、デブロックフィルタ３７から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データをメモリ３１に書き込む。
【００４６】
そして、イントラ予測回路４１において、前述したように、イントラ予測符号化が行われ、その予測画像データＰＩと、差分ＤＩＦとが選択回路４４に出力される。
また、動き予測・補償回路５８において、動きベクトルＭＶの決定が行われる。
また、動き予測・補償回路５８において、予測画像データＰＩおよび差分ＤＩＦの生成が行われ、これらが選択回路４４に出力される。
そして、選択回路４４において、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路５８から入力した差分ＤＩＦとのうち小さい方の差分ＤＩＦに対応する予測画像データＰＩが演算回路２４に出力される。
【００４７】
〔第２の動作例〕
当該第２の動作例では、例えば、ＭＰＥＧ２で符号化された画像データＳ１１が符号化装置２に入力された場合を説明する。
ＭＰＥＧ２で符号化された画像データＳ１１が、ＭＰＥＧ２復号回路５１に入力される。
【００４８】
そして、ＭＰＥＧ２復号回路５１が、例えば、ＭＰＥＧ２で符号化された画像データＳ１１をＭＰＥＧ２で復号して画像データＳ５１を生成し、これを画面並べ替えバッファ２３に出力する。
また、ＭＰＥＧ２復号回路５１が、画像データＳ１１のヘッダに含まれ各マクロブロックＭＢの動きベクトルＭＶ５１をＭＶ変換回路５３に出力する。
また、ＭＰＥＧ２復号回路５１が、画像データＳ１１のヘッダに含まれ各マクロブロックＭＢのピクチャの種類を示すピクチャタイプデータＰＩＣ＿Ｔを、ＭＶ変換回路５３に出力すると共に、ピクチャタイプバッファメモリ５２に書き込む。
また、ＭＰＥＧ２復号回路５１が、上記マクロブロックＭＢのＭＥＰＧ２による符号化が、イントラ符号化、インター符号化、インター符号化の場合にはその予測モード、フィール符号化、フレーム符号化の何れであるかを示す符号化タイプデータＥＮ＿ＴをＭＶ変換回路５３に出力する。
【００４９】
そして、ＭＶ変換回路５３が、図１０および図１１を用いて説明した処理を行って動きベクトルＭＶ５１を変換して動きベクトルＭＶ５３を生成する。
そして、動き予測・補償回路５８が、動きベクトルＭＶ５３を基に図１２に示す処理を行う。
すなち、動き予測・補償回路５８は、画像データＳ２３内の処理対象のマクロブロックＭＢの動きベクトルＭＶを生成する場合に、参照画像データＲＥＦ内の動きベクトルＭＶ５３で規定される探索範囲ＳＲを探索して動きベクトルＭＶを生成する。
このとき、動き予測・補償回路５８は、図４（Ａ），（Ｂ）に示すように、ＭＰＥＧ２復号回路５１から出力された画像データＳ１１の各ピクチャのＭＰＥＧ２符号化で用いられたピクチャタイプＰ，Ｂ，Ｉをそのまま用いて、動きベクトルＭＶの生成を行う。
【００５０】
以上説明したように、符号化装置２では、ＭＰＥＧ２復号回路５１で得られた画像データＳ１１の動きベクトルＭＶ５１を基に動きベクトルＭＶ５３を生成し、動き予測・補償回路５８において、参照画像データＲＥＦ内の動きベクトルＭＶ５３で規定される探索範囲ＳＲを探索して動きベクトルＭＶを生成する。
そのため、符号化装置２によれば、従来のように、参照画像データＲＥＦを間引いて１／４解像度の参照画像データを生成し、その参照画像データ全体を探索範囲として動きベクトルＭＶを生成する場合に比べて、動き予測・補償回路５８の処理量を大幅に少なくでき、動きベクトルＭＶの生成時間の短縮、並びに回路の小規模化を図れる。
また、符号化装置２によれば、各ピクチャのピクチャタイプを、画像データＳ１１と画像データＳ２とで同じにし、図１０および図１１に示す処理を行って動きベクトルＭＶ５３を生成することで、適切な上記探索範囲を決定でき、高品質な動きベクトルＭＶを生成できる。その結果、従来通り、高い符号化効率を実現できる。
【００５１】
＜本発明の実施形態の変形例＞
上述した実施形態では、本発明の第１の符号化としてＭＰＥＧ２を例示し、本発明の第２の符号化としてＪＶＴを例示したが、本発明の第１の符号化および第２の符号化としてそれ以外の符号化を用いてもよい。
例えば、本発明の第２の符号化として、例えば、ＭＰＥＧ−４や、ＡＶＣ／Ｈ．２６４などの符号化を用いてもよい。
【００５２】
また、上述した実施形態では、ＭＶ変換回路５３が、図１０に示すステップＳＴ３で動きベクトルＭＶ５３として、零ベクトルを出力する場合を例示したが、例えば、画像データＳ１１内の対象となるマクロブロックＭＢの周辺のマクロブロックＭＢの動きベクトルＭＶ５１を、動きベクトルＭＶ５３として用いてもよい。
また、それ以外に、ＭＶ変換回路５３が、図１３に示すように、画像データＳ１１内の対象となるマクロブロックＭＢに対して、ラスタースキャンオーダで直前に位置するマクロブロックＭＢの動きベクトルＭＶ５１（ｍｖｚ，ｍｖｙ）を、動きベクトルＭＶ５３として用いてもよい。
【００５３】
また、ＭＶ変換回路５３が、処理対象のマクロブロックＭＢがＢピクチャであり、前方向予測モードおよび後方向予測モードの何れか一方のみを用いている場合に、他方の予測モードの動きベクトルＭＶ５３として零ベクトルを用いてもよい。それ以外に、この場合に、動き予測・補償回路５８が双方向予測を禁止してもよい。また、ＭＶ変換回路５３が、図１４に示すように、前方向予測モードの動きベクトルＭＶ５１、並びに画像データＳ１１に含まれるＴｅｍｐｏｒａｌ＿Ｒｅｆｅｒｅｎｃｅの情報を用いて、後方予測モードの動きベクトルＭＶ５３を「ＭＶ（ｂｗｄ）＝−（Ｔ1 ／Ｔ2 ）×ＭＶ（ｆｗｄ）」を基に生成してもよい。
【００５４】
また、ＭＶ変換回路５３が、図１１に示すステップＳＴ７の処理の代わりに、例えば、図９に示すマクロブロックＭＢ１，ＭＢ２のうち発生符号量の低い方を選択し、これをマクロブロックＭＢｚとすると、そのフィールドデータ単位の動きベクトルＭＶを（ｍｖｘｚ＿ｔ，ｍｖｙｚ＿ｔ）および（ｍｖｘｚ＿ｂ，ｍｖｙｚ＿ｂ）とすると、下記式（６）を基に、図７および図９を用いて説明したマクロブロックペアのフィールドデータを単位とした動き補償で探索範囲を規定するために用いられる動きベクトル（ｍｖｘ＿ｔ，ｍｖｙ＿ｔ），（ｍｖｘ＿ｂ，ｍｖｙ＿ｂ）を生成してもよい。
ここで、上記発生符号量は、画像データＳ１１内に含まれるＤＣＴ変換係数の情報量でもよいし、当該ＤＣＴ変換係数の情報量と動きベクトルＭＶ５１のヘッダ部の情報量との総和であってもよい。
【００５５】
［数６］
ｍｖｘ＿ｔ＝ｍｖｘｚ＿ｔ
ｍｖｙ＿ｔ＝ｍｖｙｚ＿ｔ
ｍｖｘ＿ｂ＝ｍｖｘｚ＿ｂ
ｍｖｙ＿ｂ＝ｍｖｙｚ＿ｂ
…（６）
【００５６】
また、上述した実施形態では、動き予測・補償回路５８において、ＪＶＴで規定されたマルチプルリファレンスを使用しない場合を例示したが、マルチプルリファレンスを用いてもよい。
この場合に、図１５に示すように、処理中のＰピクチャをＰ（ＣＵＲ）とし、第１の参照フレームをＰ（ＲＥＦ０）とし、第２の参照フレームをＰ（ＲＥＦ１）とする。また、Ｐ（ＲＥＦ０）の動きベクトルをＭＶ（ＲＥＦ０）とし、Ｐ（ＲＥＦ１）の動きベクトルをＭＶ（ＲＥＦ１）とする。
ところで、画像データＳ１１は、マルチプルリファレンスされていないので、例えば、動きベクトルＭＶ５１として、ＭＶ（ＲＥＦ０）は存在するが、Ｐ（ＲＥＦ１）が存在しない場合がある。
従って、ＭＶ変換回路５３は、例えば、動きベクトルＭＶ５１としてＭＰＥＧ２復号回路５１から入力した動きベクトルＭＶ（ＲＥＦ０）を用いて、下記式（７）を基に動きベクトルＭＶ（ＲＥＦ１）を生成する。
【００５７】
［数７］
ＭＶ（ＲＥＦ１）＝（Ｔ1 ／Ｔ0 ）×ＭＶ（ＲＥＦ０）
…（７）
【産業上の利用可能性】
【００５８】
本発明は、画像データを符号化する符号化システムに適用可能である。
【図面の簡単な説明】
【００５９】
【図１】図１は、本発明は、本発明の第１実施形態の通信システムの構成図である。
【図２】図２は、図１に示す符号化装置の機能ブロック図である。
【図３】図３は、図１に示す動き予測・補償回路における動きベクトルの探索方法を説明するための図である。
【図４】図４は、図１に示す符号化装置におけるピクチャタイプの決定方法を説明するための図である。
【図５】図５は、ＭＰＥＧ２の符号化方法を説明するための図である。
【図６】図６は、ＪＶＴの符号化方法を説明するための図である。
【図７】図７は、ＪＶＴのマクロブロックペアによる符号化方法を説明するための図である。
【図８】図８は、フレーム符号化およびフィールド符号化の動きベクトルを説明するための図である。
【図９】図９は、ＭＰＥＧ２とＪＶＴの場合の動きベクトルを比較するための図である。
【図１０】図１０は、図２に示すＭＶ変換回路における動きベクトルの生成動作を説明するための図である。
【図１１】図１１は、図２に示すＭＶ変換回路における動きベクトルの生成動作を説明するための図１０の続きの図である。
【図１２】図１２は、図２に示す動き予測・補償回路の処理を説明するためのフローチャートである。
【図１３】図１３は、図２に示す符号化装置のＭＶ変換回路におけるその他の処理を説明するための図である。
【図１４】図１４は、図２に示す符号化装置のＭＶ変換回路におけるその他の処理を説明するための図である。
【図１５】図１５は、図２に示す符号化装置のＭＶ変換回路におけるその他の処理を説明するための図である。
【符号の説明】
【００６０】
１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…メモリ、３２…レート制御回路、４１…イントラ予測回路、４４…選択回路、５１…ＭＰＥＧ２復号回路、５２…ピクチャタイプバッファメモリ、５３…ＭＶ変換回路
【図１】
0004470431.tif 000002
【図２】
0004470431.tif 000003
【図３】
0004470431.tif 000004
【図４】
0004470431.tif 000005
【図５】
0004470431.tif 000006
【図６】
0004470431.tif 000007
【図７】
0004470431.tif 000008
【図８】
0004470431.tif 000009
【図９】
0004470431.tif 000010
【図１０】
0004470431.tif 000011
【図１１】
0004470431.tif 000012
【図１２】
0004470431.tif 000013
【図１３】
0004470431.tif 000014
【図１４】
0004470431.tif 000015
【図１５】
0004470431.tif 000016