(57)【特許請求の範囲】
【請求項１】
予測方式および／または符号化モードをマクロブロック単位で切り替え可能な第一の符号化方式で符号化された動画像データを、予測方式および／または符号化モードをマクロブロックペア単位で切り替え可能な第二の符号化方式で符号化された動画像データに変換するトランスコード装置であって、
前記第一の符号化方式で符号化された動画像データを復号化して前記マクロブロックペア単位に相当する復号データを取得すると、当該復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定する判定手段と、
前記判定手段によって判定された組合せに基づいて、前記復号データを前記第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定し、前記判定手段によって判定された組合せが、フレーム予測方式とフィールド予測方式との組合せである場合には、フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換し、当該マクロブロックの動きベクトルをフィールド予測方式に適合する動きベクトルに変換する決定手段と、
前記決定手段によって決定された予測方式、動きベクトルおよび符号化モードに従って、前記復号データを前記第二の符号化方式で符号化する符号化手段と、
フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換することが前記決定手段によって決定された場合であり、かつ、動きベクトルが小数精度の場合に、フレーム予測方式によって予測される際の予測画像とフィールド予測方式によって予測される際の予測画像との誤差を算出する誤差算出手段と、
を備え、
前記符号化手段は、前記復号データを前記第二の符号化方式で符号化する際に、前記誤差算出手段によって算出された誤差を加算して符号化することを特徴とするトランスコード装置。
【請求項２】
前記決定手段は、前記判定手段によって判定された組合せが、インター符号化モードのフィールド予測方式とイントラ符号化モードとの組合せである場合には、フィールド予測方式を設定されていたマクロブロックの符号化モードをイントラ符号化モードに変換することを特徴とする請求項１に記載のトランスコード装置。
【請求項３】
予測方式および／または符号化モードをマクロブロック単位で切り替え可能な第一の符号化方式で符号化された動画像データを、予測方式および／または符号化モードをマクロブロックペア単位で切り替え可能な第二の符号化方式で符号化された動画像データに変換するトランスコード方法であって、
前記第一の符号化方式で符号化された動画像データを復号化して前記マクロブロックペア単位に相当する復号データを取得すると、当該復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定する判定工程と、
前記判定工程によって判定された組合せに基づいて、前記復号データを前記第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定し、前記判定工程によって判定された組合せが、フレーム予測方式とフィールド予測方式との組合せである場合には、フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換し、当該マクロブロックの動きベクトルをフィールド予測方式に適合する動きベクトルに変換する決定工程と、
前記決定工程によって決定された予測方式、動きベクトルおよび符号化モードに従って、前記復号データを前記第二の符号化方式で符号化する符号化工程と、
フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換することが前記決定工程によって決定された場合であり、かつ、動きベクトルが小数精度の場合に、フレーム予測方式によって予測される際の予測画像とフィールド予測方式によって予測される際の予測画像との誤差を算出する誤差算出工程と、
を含み、
前記符号化工程は、前記復号データを前記第二の符号化方式で符号化する際に、前記誤差算出工程によって算出された誤差を加算して符号化することを特徴とするトランスコード方法。
【請求項４】
予測方式および／または符号化モードをマクロブロック単位で切り替え可能な第一の符号化方式で符号化された動画像データを、予測方式および／または符号化モードをマクロブロックペア単位で切り替え可能な第二の符号化方式で符号化された動画像データに変換するトランスコード方法をコンピュータに実行させるトランスコードプログラムであって、
前記第一の符号化方式で符号化された動画像データを復号化して前記マクロブロックペア単位に相当する復号データを取得すると、当該復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定する判定手順と、
前記判定手順によって判定された組合せに基づいて、前記復号データを前記第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定し、前記判定手順によって判定された組合せが、フレーム予測方式とフィールド予測方式との組合せである場合には、フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換し、当該マクロブロックの動きベクトルをフィールド予測方式に適合する動きベクトルに変換する決定手順と、
前記決定手順によって決定された予測方式、動きベクトルおよび符号化モードに従って、前記復号データを前記第二の符号化方式で符号化する符号化手順と、
フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換することが前記決定手順によって決定された場合であり、かつ、動きベクトルが小数精度の場合に、フレーム予測方式によって予測される際の予測画像とフィールド予測方式によって予測される際の予測画像との誤差を算出する誤差算出手順と、
をコンピュータに実行させ、
前記符号化手順は、前記復号データを前記第二の符号化方式で符号化する際に、前記誤差算出手順によって算出された誤差を加算して符号化することを特徴とするトランスコードプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、トランスコード装置、トランスコード方法およびトランスコードプログラムに関する。
【背景技術】
【０００２】
一般に、動画像の情報量は非常に大きく、メディア蓄積やネットワーク伝送をそのままで行うことはコストが非常に高くなる。このため、動画像を、可逆もしくは非可逆方式で圧縮符号化する技術開発・標準化が従来から広く行われてきた。その代表例が、ＭＰＥＧ（Moving  Picture  Experts  Group）で標準化されたＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４である。
【０００３】
これらの標準では、フレーム間動き予測符号化を採用している。フレーム間動き予測符号化は、フレーム間で相関度が高い部分を検索し、両者の位置差分（動きベクトル）及び両者の画素値差分（予測誤差）を符号化するものである。一般に、動画像ではフレーム間の相関度が高いことから、画素値差分が元の画素値と比較して小さくなり、高い圧縮効率が実現できる。
【０００４】
また、これらの標準（ＭＰＥＧ−１を除く）では、動画像がインタレース形式の場合に対応したフレーム間動き予測符号化、具体的には、フレーム予測方式およびフィールド予測方式の動的選択を採用している。フレーム予測方式の場合、処理単位であるマクロブロック及び参照フレームは、共に、フレーム構造（一ライン毎に偶フィールドと奇フィールドとが交互に出現する）となる。一方、フィールド予測方式の場合は、処理単位であるマクロブロック及び参照フレームは、共に、フィールド構造（どちらか一方のフィールドのみ）となる。
【０００５】
ところで、近年、複数の動画像符号化方式の登場により、ある符号化方式で符号化された動画像を別の符号化方式に変換するトランスコード機能への要求が高まっている。具体的には、ＢＳデジタル放送や地上デジタル放送等で使用されているＭＰＥＧ−２を、より高圧縮化が可能なＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４へのトランスコードする機能等である。
【０００６】
かかるトランスコード機能を実現する方法としては、大別して、タンデム方式、オープンループ方式、及び両者の混合、の３通りがある。タンデム方式は、図１５のように、第一の符号化方式の復号化手段と、第二の符号化方式の符号化手段とがあり、両者の間は復号化動画像信号が伝送される。また、オープンループ方式は、図１６のように、第一の符号化方式の復号化手段と、第二の符号化方式の符号化手段とがあり、両者の間は動き予測誤差信号が伝送される。オープンループ方式は、第一の符号化手段の動き予測方法と第二の符号化手段の動き予測方法とが同一の場合に適用が限られる。
【０００７】
またタンデム方式とオープンループ方式との混合方式は、１／２精度動き補償時の丸め誤差や、再量子化に伴う誤差の累積を防止することを目的として、これら誤差をフレームバッファに蓄え、動き補償を行なって、第一の符号化方式の予測誤差信号に加算する（非特許文献１〜３、特許文献１を参照）。
【０００８】
【非特許文献１】H.Sun,  W.Kwok  and  J.W.Zdepski,  “Architectures  for  MPEG  Compressed  Bitstream  Scaling”,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  Vol.  6  (2),  pp.  191-199,  April  1996.
【非特許文献２】T.Qian,  J.Sun,  D.Li,  X.Yang,  and  J.Wang,  “Transform  Domain  Transcoding  From  MPEG-2  to  H.264  With  Interpolation  Drift-Error  Compensation”,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  Vol.  16  (4),  pp.  523-534,  April  2006
【非特許文献３】G.Shen,  Y.He,  W.Cao,  and  S.Li,  “MPEG-2  to  WMV  Transcoder  With  Adaptive  Error  Compensation  and  Dynamic  Switches”,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  Vol.  16  (11),  pp.  1460-1476,  November  2006
【特許文献１】特表2005-503695号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、上記した従来の技術では、ＭＰＥＧ−２からＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４へのトランスコードを、回路規模を削減して実現することができない、という課題があった。タンデム方式は、デコーダとエンコーダそのものが必要であり、回路規模が大きい。また、回路規模削減が可能なオープンループ方式や混合方式では、符号化方式の違いにより、そのまま適用することが出来ない。
【００１０】
なお、ＭＰＥＧ−２およびＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４について具体的に説明すると、インタレース動画像をフレーム単位で効率良く符号化するための方式として、ＭＰＥＧ−２は、フィールド予測方式およびフレーム予測方式を採用している。フィールド予測方式は、処理単位であるマクロブロック（輝度成分は縦１６×横１６画素）の中のトップフィールド成分（輝度成分は縦８×横１６画素）およびボトムフィールド成分（輝度成分は縦８×横１６画素）について、それぞれ別の動きベクトルを割り当て、参照フィールド画像との動き補償を行うものである。一方、フレーム予測方式は、マクロブロック全体について、１つの動きベクトルを割り当て、参照フレーム画像との動き補償を行うものである。図１７に、フィールド予測方式およびフレーム予測方式を示す。
【００１１】
ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４は、ＭＰＥＧ−２と同様に、フィールド予測方式およびフレーム予測方式を採用しているが、符号化効率を向上することを目的として、フィールド予測方式およびフレーム予測方式の切り替えを、フレーム内で上下に隣接するマクロブロックペアと呼ばれる２個のマクロブロック単位で行う。このマクロブロックペア単位でのフィールド予測方式およびフレーム予測方式の切り替えは、ＭＢＡＦＦ(Macroblock  Adaptive  Frame/Field)と呼ばれている。図１８にマクロブロックペアを示す。
【００１２】
このように、ＭＰＥＧ−２が、マクロブロック単位で予測方式の切り替えを行う一方で、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４は、マクロブロックペア単位で予測方式の切り替えを行うことから、従来技術においては、ＭＰＥＧ−２からＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４へのトランスコードを適切に行うことができない。
【００１３】
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、トランスコードを適切に行うことが可能なトランスコード装置、トランスコード方法およびトランスコードプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するため、開示の装置は、予測方式および／または符号化モードをマクロブロック単位で切り替え可能な第一の符号化方式で符号化された動画像データを、予測方式および／または符号化モードをマクロブロックペア単位で切り替え可能な第二の符号化方式で符号化された動画像データに変換するトランスコード装置であって、前記第一の符号化方式で符号化された動画像データを復号化して前記マクロブロックペア単位に相当する復号データを取得すると、当該復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定する判定手段と、前記判定手段によって判定された組合せに基づいて、前記復号データを前記第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定する決定手段と、前記決定手段によって決定された予測方式、動きベクトルおよび符号化モードに従って、前記復号データを前記第二の符号化方式で符号化する符号化手段と、を備えたことを要件とする。
【発明の効果】
【００１５】
開示の装置によれば、第一の符号化方式で符号化された動画像データを復号化してマクロブロックペア単位に相当する復号データを取得すると、復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定し、判定した組合せに基づいて、復号データを第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定し、決定した予測方式、動きベクトルおよび符号化モードに従って、復号データを第二の符号化方式で符号化するので、トランスコードを適切に行うことが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下に添付図面を参照して、本発明に係るトランスコード装置、トランスコード方法およびトランスコードプログラムの実施例を詳細に説明する。なお、以下では、実施例１に係るトランスコード装置の概要および特徴、実施例１に係るトランスコード装置の構成、実施例１に係るトランスコード装置による処理の手順、実施例１の効果を順に説明し、続いて、他の実施例を説明する。
【実施例１】
【００１７】
［実施例１に係るトランスコード装置の概要および特徴］
まず、図１を用いて、実施例１に係るトランスコード装置の概要および特徴を説明する。図１は、実施例１に係るトランスコード装置の概要および特徴を説明するための図である。
【００１８】
実施例１に係るトランスコード装置は、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データを、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化された動画像データに変換することを概要とし、トランスコードを適切に行う構成であることを主たる特徴とする。
【００１９】
主たる特徴について簡単に説明すると、実施例１に係るトランスコード装置は、まず、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データを復号化して、マクロブロックペア単位に相当する復号データを取得する（図１の（１）を参照）。
【００２０】
続いて、トランスコード装置は、復号データを構成するマクロブロック各々に設定されている予測方式および符号化モードの組合せを判定する（図１の（２）を参照）。例えば、図１に示す例では、一方のマクロブロックは、フィールド予測方式（インター符号化モード）であり、他方のマクロブロックは、フレーム予測方式（インター符号化モード）である。したがって、トランスコード装置は、フィールド予測方式とフレーム予測方式という組合せであると判定する。
【００２１】
次に、トランスコード装置は、判定した組合せに基づいて、復号データを第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際の予測方式、動きベクトルおよび符号化モードを決定する（図１の（３）を参照）。例えば、図１に示す例では、トランスコード装置が判定した組合せは、フィールド予測方式とフレーム予測方式という組合せであった。このような組合せの場合、トランスコード装置は、予測方式および動きベクトルを変換すべきであると判定し、フレーム予測方式のマクロブロックをフィールド予測方式のマクロブロックに変換するとともに、フレーム予測方式の動きベクトルをフィールド予測方式の動きベクトルに変換する（なお、図１に示す例では、符号化モードの変換は不要である）。
【００２２】
そして、トランスコード装置は、決定した予測方式、動きベクトルおよび符号化モードに従って、復号データを第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する（図１の（４）を参照）。
【００２３】
このように、実施例１に係るトランスコード装置は、マクロブロックペア単位に相当する復号データについて、予測方式等の組合せを判定し、予測方式等を必要に応じて変換した上で、第二の符号化方式で符号化するので、トランスコードを適切に行うことが可能になる。
【００２４】
［実施例１に係るトランスコード装置の構成］
次に、図２〜図１１を用いて、実施例１に係るトランスコード装置を説明する。図２は、実施例１に係るトランスコード装置の構成を示すブロック図であり、図３は、ＭＰＥＧ−２からＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４へのトランスコード時の予測方式の決定を説明するための図であり、図４は、ＭＰＥＧ−２からＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４へのトランスコード時の符号化モードの決定を説明するための図であり、図５は、ＭＶ・モード変更判定部を説明するための図であり、図６は、動きベクトル縦方向成分およびパリティの変換方法を説明するための図であり、図７は、縦方向の参照画素位置を説明するための図であり、図８は、動き補償部を説明するための図であり、図９は、内挿演算誤差を説明するための図であり、図１０は、内挿演算誤差補償を説明するための図であり、図１１は、動き補償部による第一の動き補償処理および第二の動き補償処理を説明するための図である。
【００２５】
図２に示すように、実施例１に係るトランスコード装置１は、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データを復号化する機能を有する各部として、可変長復号化部１０と、ＭＶ・モード変更判定部１１と、ラインバッファ１２と、逆量子化・逆ＤＣＴ部１３と、動き補償部１４と、加算部１５と、加算部１６と、フレームメモリ１７とを備える。
【００２６】
また、実施例１に係るトランスコード装置１は、動画像データを第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する機能を有する各部として、減算部２０と、ＤＣＴ・量子化部２１と、可変長符号化部２２と、逆量子化・逆ＤＣＴ部２３と、加算部２４と、ラインバッファ２５と、イントラ予測部２６とを備える。
【００２７】
可変長復号化部１０は、第一の符号化方式（ＭＰＥＧ−２）で可変長符号化された動画像データを復号する。具体的には、可変長復号化部１０は、第一の符号化方式（ＭＰＥＧ−２）で可変長符号化された動画像データを入力とし、マクロブロック単位で、量子化ＤＣＴ（離散コサイン変換：Discrete  Cosine  Transform）係数、予測方式、動きベクトルおよび符号化モードを可変長復号化する。また、可変長復号化部１０は、可変長復号化した量子化ＤＣＴ係数をラインバッファ１２に伝送し、予測方式、動きベクトルおよび符号化モードをＭＶ・モード変更判定部１１に伝送する。
【００２８】
ＭＶ・モード変更判定部１１は、動画像データを第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際の予測方式、動きベクトルおよび符号化モードを決定する。具体的には、ＭＶ・モード変更判定部１１は、可変長復号化部１０から伝送される予測方式、動きベクトルおよび符号化モードを入力とし、マクロブロックペア単位に相当する予測方式、動きベクトルおよび符号化モードを取得すると、予測方式および符号化モードの組合せを判定し、判定した組合せに基づいて、動画像データを符号化する際の予測方式および符号化モードを決定する。また、ＭＶ・モード変更判定部１１は、決定した予測方式および符号化モードに基づいて、動きベクトルを変換する必要があるか否かを判定し、動きベクトルを必要に応じて変換し、決定する。また、ＭＶ・モード変更判定部１１は、マクロブロックペアを構成するマクロブロック各々の処理に連動させるように、決定した予測方式、動きベクトルおよび符号化モードを、動き補償部１４、減算部２０、可変長符号化部２２、逆量子化・逆ＤＣＴ部２３、加算部２４、ラインバッファ２５、イントラ予測部２６に通知する。
【００２９】
ここで、ＭＶ・モード変更判定部１１による処理（予測方式および符号化モードを決定する処理）について、まず、図３〜図５を用いて詳細に説明する。例えば、ＭＶ・モード変更判定部１１は、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データについて、組合せが、図３の（Ａ）に示すように、共にフレーム予測方式（符号化モードはインター符号化モード）の組合せであると判定したり、図３の（Ｂ）に示すように、共にフィールド予測方式（符号化モードはインター符号化モード）の組合せであると判定する。これらの場合には、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際にも、そのまま、共にフレーム予測方式（符号化モードはインター符号化モード）の組合せ、もしくは、共にフィールド予測方式（符号化モードはインター符号化モード）の組合せを使用することができる。このため、ＭＶ・モード変更判定部１１は、可変長復号化部１０から伝送された予測方式、動きベクトルおよび符号化モードを、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際の予測方式、動きベクトルおよび符号化モードとして、そのまま決定する。
【００３０】
一方、例えば、ＭＶ・モード変更判定部１１は、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データについて、組合せが、図３の（Ｃ）に示すように、一方のマクロブロックがフレーム予測方式（符号化モードはインター符号化モード）であり、他方のマクロブロックがフィールド予測方式（符号化モードはインター符号化モード）であると判定する。この場合には、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際に、いずれかのマクロブロックの予測方式を、他方のマクロブロックの予測方式に合わせなければならない（図３において『？』と表現する）。
【００３１】
また、例えば、ＭＶ・モード変更判定部１１は、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データについて、組合せが、図４の（Ａ）に示すように、一方のマクロブロックがフレーム予測方式（符号化モードはインター符号化モード）であり、他方のマクロブロックがイントラ符号化モードであると判定する。この場合には、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データのイントラ符号化モードは、フレーム単位で処理されるものであり、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際にも、そのまま、一方のマクロブロックにフレーム予測方式（符号化モードはインター符号化モード）、他方のマクロブロックにイントラ符号化モードを使用することができる。このため、ＭＶ・モード変更判定部１１は、可変長復号化部１０から伝送された予測方式、動きベクトルおよび符号化モードを、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際の予測方式、動きベクトルおよび符号化モードとして、そのまま決定する。
【００３２】
また、例えば、ＭＶ・モード変更判定部１１は、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データについて、組合せが、図４の（Ｂ）に示すように、一方のマクロブロックがフィールド予測方式（符号化モードはインター符号化モード）であり、他方のマクロブロックがイントラ符号化モードであると判定する。この場合には、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データのイントラ符号化モードは、フレーム単位で処理されるものであり、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際に、いずれかのマクロブロックを、他方のマクロブロックに合わせなければならない（図４において『？』と表現する）。
【００３３】
こうして、ＭＶ・モード変更判定部１１は、図５に示す決定方法に基づいて、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際の予測方式、動きベクトルおよび符号化モードを決定する。
【００３４】
具体的には、ＭＶ・モード変更判定部１１は、図５の（２）および（４）に示すように、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データについて、組合せが、一方のマクロブロック（図５において『ＭＢ』）がフレーム予測方式（符号化モードはインター符号化モード）であり、他方のマクロブロックがフィールド予測方式（符号化モードはインター符号化モード）である場合には、フレーム予測方式のマクロブロックを、フィールド予測方式に変換すると決定する。なお、この時、ＭＶ・モード変更判定部１１は、動きベクトルを変換する必要があると判定する。
【００３５】
また、ＭＶ・モード変更判定部１１は、図５の（３）および（７）に示すように、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データについて、組合せが、一方のマクロブロックがフィールド予測方式（符号化モードはインター符号化モード）であり、他方のマクロブロックがイントラ符号化モードである場合には、フィールド予測方式のマクロブロックを、イントラ符号化モードに変換すると決定する。
【００３６】
また、ＭＶ・モード変更判定部１１は、図５の（１）、（５）〜（６）、（８）〜（９）に示すように、組合せがその他の組合せである場合には、可変長復号化部１０から伝送された予測方式、動きベクトルおよび符号化モードを、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際の予測方式、動きベクトルおよび符号化モードとして、そのまま決定する。
【００３７】
続いて、動きベクトルを変換する必要があると判定した場合のＭＶ・モード変更判定部１１による処理について、図６および図７を用いて詳細に説明する。動きベクトルを変換する必要がある場合とは、上記したように、図５の（２）および（４）に示す場合、すなわち、フレーム予測方式のマクロブロックを、フィールド予測方式に変換する場合のことである。
【００３８】
ＭＶ・モード変更判定部１１は、動きベクトルとして、図６の（１）に示すフレーム予測ベクトルを入力として受け付けている（ベクトルの単位は、１／２フレーム画素である）。また、ＭＶ・モード変更判定部１１は、入力として受け付けたフレーム予測ベクトルを、図６の（２）に示すトップフィールド予測ベクトルと、図６の（３）に示すボトムフィールド予測ベクトルとに変換する（ベクトルの単位は、１／２フィールド画素である）。また、ＭＶ・モード変更判定部１１は、動きベクトルの変換に伴い、参照フィールドのパリティも、必要に応じて変換する。ここで、参照フィールドのパリティとは、フィールド予測する際に参照するフィールド（参照フィールド）が、トップフィールドであるのか、ボトムフィールドであるのかを識別する情報である（図６の（４）および（５）を参照）。
【００３９】
具体的に説明すると、まず、ＭＶ・モード変更判定部１１は、フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合であっても、Ｘ方向の動きベクトルについては、変換を行う必要がない。したがって、図６の（６）に示すように、ＭＶ・モード変更判定部１１は、Ｘ方向のフレーム予測ベクトル（ＭＶＸ）を、Ｘ方向のトップフィールド予測ベクトル（ＭＶＸ＿Ｔｏｐ）と、Ｘ方向のボトムフィールド予測ベクトル（ＭＶＸ＿Ｂｏｔｔｏｍ）とに、そのまま代入する。
【００４０】
一方、ＭＶ・モード変更判定部１１は、フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合、Ｙ方向の動きベクトル（動きベクトルの縦方向成分）については、変換しなければならない。図６の（７）が、変換方法を示すものである。ここで、「ＭＶＹ％４」とは、Ｙ方向の動きベクトルを４で除算した余り（「０」、「１」、「２」、「３」）のことである。動きベクトルの単位が１／２フィールド画素であるので、動きベクトルは、−５１２〜＋５１２（５１２＝２＊１６＊１６）のパターンがあると考えられるが、４つのパターンについて検討しておけば十分である。動きベクトルの変換に伴うパリティの変換を考えた場合、図７に示すように、４パターンを検討しておけば十分であるからである。
【００４１】
なお、図７において、白塗りの丸に『ｔ０』〜『ｔ４』の数字が記載されているものが、トップフィールドの画素を示し、網掛けの丸に『ｂ０』〜『ｂ３』の数字が記載されているものが、ボトムフィールドの画素を示す。また、グレーの丸は、内挿された半画素を示す。また、左端の画素の列は、オリジナルの画素であり、右３列の画素の列は、参照される画素である。また、３列の内、左端の画素の列は、フレーム予測方式で参照される場合の画素を示し、右２列の画素の列は、フィールド予測方式で参照される場合の画素を示す。
【００４２】
まず、図７の（Ａ）を説明する。図７の（Ａ）は、Ｙ方向の動きベクトルを４で除算した余りが『０』のパターンである。オリジナルの画素における『ｔ０』について、フレーム予測方式の『ｔ０』を参照する場合は、フィールド予測方式においても、トップフィールドの『ｔ０』を参照すればよい。同様に、オリジナルの画素における『ｂ０』について、フレーム予測方式の『ｂ０』を参照する場合は、フィールド予測方式においても、ボトムフィールドの『ｂ０』を参照すればよい。このように、Ｙ方向の動きベクトルを４で除算した余りが『０』のパターンの場合、図６の（７）に示すように、トップフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｔｏｐ）は、『Ｔｏｐ』のままであり、ボトムフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｂｏｔｔｏｍ）は、『Ｂｏｔｔｏｍ』のままである。
【００４３】
また、図７の（Ａ）からは読み取れないが、トップフィールドの画素のみをＹ方向に寄せ集め、ボトムフィールドの画素のみをＹ方向に寄せ集めた状態を考えるとわかるように、Ｙ方向の動きベクトルは、原則として、変換前の動きベクトルの半分（（ＭＶＹ／４）＊２））に変換する必要がある。したがって、Ｙ方向の動きベクトルを４で除算した余りが『０』のパターンの場合、図６の（７）に示すように、Ｙ方向のトップフィールド予測ベクトル（ＭＶＹ＿Ｔｏｐ）は、「（ＭＶＹ／４）＊２」であり、Ｙ方向のボトムフィールド予測ベクトル（ＭＶＹ＿Ｂｏｔｔｏｍ）は、「（ＭＶＹ／４）＊２」である。なお、「ＭＶＹ／２」と表現せずに「（ＭＶＹ／４）＊２」と表現しているのは、ベクトルの単位が１／２フィールド画素であるためである。
【００４４】
次に、図７の（Ｃ）を説明する。図７の（Ｃ）は、Ｙ方向の動きベクトルを４で除算した余りが『２』のパターンである。オリジナルの画素における『ｔ０』について、フレーム予測方式の『ｂ０』を参照する場合は、フィールド予測方式においても、ボトムフィールドの『ｂ０』を参照しなければならない。同様に、オリジナルの画素における『ｂ０』について、フレーム予測方式の『ｔ１』を参照する場合は、フィールド予測方式においては、トップフィールドの『ｔ１』を参照しなければならない。このように、Ｙ方向の動きベクトルを４で除算した余りが『２』のパターンの場合、図６の（７）に示すように、トップフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｔｏｐ）は、『Ｂｏｔｔｏｍ』に変換され、ボトムフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｂｏｔｔｏｍ）は、『Ｔｏｐ』に変換される。
【００４５】
また、図７の（Ｃ）からは読み取れないが、トップフィールドの画素のみをＹ方向に寄せ集め、ボトムフィールドの画素のみをＹ方向に寄せ集めた状態を考えるとわかるように、Ｙ方向の動きベクトルは、原則として、変換前の動きベクトルの半分（（ＭＶＹ／４）＊２））に変換する必要がある。もっとも、Ｙ方向の動きベクトルを４で除算した余りが『２』のパターンの場合、図７の（Ｃ）に示すように、トップフィールドの画素『ｔ１』は、Ｙ方向に１画素分（２×１フィールドの半画素分）ずれていることがわかる。したがって、図６の（７）に示すように、Ｙ方向のトップフィールド予測ベクトル（ＭＶＹ＿Ｔｏｐ）は、「（ＭＶＹ／４）＊２」であり、Ｙ方向のボトムフィールド予測ベクトル（ＭＶＹ＿Ｂｏｔｔｏｍ）は、「（ＭＶＹ／４）＊２＋２」となるのである。
【００４６】
次に、図７の（Ｂ）を説明する。図７の（Ｂ）は、Ｙ方向の動きベクトルを４で除算した余りが『１』のパターンである。オリジナルの画素における『ｔ０』について、フレーム予測方式の半画素（『ｔ０』と『ｂ０』との平均）を参照する場合は、フィールド予測方式においては、トップフィールドの『ｔ０』を参照する。同様に、オリジナルの画素における『ｂ０』について、フレーム予測方式の半画素（『ｂ０』と『ｔ１』との平均）を参照する場合は、フィールド予測方式においては、ボトムフィールドの『ｂ０』を参照する。これらの理由は、フィールド予測方式における半画素値計算はフィールド単位での内挿演算になるため、フレーム予測方式時の半画素値計算と離反があり、そのままマッピングできないためである。このように、Ｙ方向の動きベクトルを４で除算した余りが『１』のパターンの場合、図６の（７）に示すように、トップフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｔｏｐ）は、『Ｔｏｐ』のままであり、ボトムフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｂｏｔｔｏｍ）は、『Ｂｏｔｔｏｍ』のままである。なお、Ｙ方向の動きベクトルを、変換前の動きベクトルの半分（（ＭＶＹ／４）＊２））に変換する必要がある点は、図７の（Ａ）のパターンと同様である。
【００４７】
次に、図７の（Ｄ）を説明する。図７の（Ｄ）は、Ｙ方向の動きベクトルを４で除算した余りが『３』のパターンである。オリジナルの画素における『ｔ０』について、フレーム予測方式の半画素（『ｂ０』と『ｔ１』との平均）を参照する場合は、フィールド予測方式においては、ボトムフィールドの『ｂ０』を参照する。同様に、オリジナルの画素における『ｂ０』について、フレーム予測方式の半画素（『ｔ１』と『ｂ１』との平均）を参照する場合は、フィールド予測方式においては、トップフィールドの『ｔ１』を参照する。このように、Ｙ方向の動きベクトルを４で除算した余りが『３』のパターンの場合、図６の（７）に示すように、トップフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｔｏｐ）は、『Ｂｏｔｔｏｍ』に変換され、ボトムフィールド予測ベクトルの参照フィールドのパリティ（Ｐａｒｉｔｙ＿Ｂｏｔｔｏｍ）は、『Ｔｏｐ』に変換される。なお、Ｙ方向の動きベクトルを、変換前の動きベクトルの半分（（ＭＶＹ／４）＊２）＋２）に変換する必要がある点は、図７の（Ｃ）のパターンと同様である。
【００４８】
ラインバッファ１２は、第一の符号化方式（ＭＰＥＧ−２）でＤＣＴ演算され量子化された動画像データの量子化ＤＣＴ係数を、１マクロブロックライン分保持する。具体的には、ラインバッファ１２は、可変長復号化部１０から伝送される量子化ＤＣＴ係数を入力とし、１マクロブロックライン分保持し、逆量子化・逆ＤＣＴ部１３に伝送する。
【００４９】
ここで、第一の符号化方式（ＭＰＥＧ−２）で動画像データを符号化する際の処理順序は、１マクロブロックラインを水平方向に処理した後に、下方向に隣接する１マクロブロックラインを水平方向に処理するものである。これに対し、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で動画像データを符号化する際の処理順序は、上下方向に隣接するマクロブロックペア単位で処理すべく、１マクロブロックを処理した後に、下方向に隣接する１マクロブロックを処理し、再び、上方向に隣接する１マクロブロックラインの内、水平方向に隣接する未処理の１マクロブロックを処理し、下方向に隣接する１マクロブロックを処理するというように、２マクロブロックラインにまたがってジグザグに処理するものである。このため、ラインバッファ１２は、１マクロブロックライン分の量子化ＤＣＴ係数を保持することで、逆量子化・逆ＤＣＴ部１３以降の処理を、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で動画像データを符号化する際の処理順序に適合させるものである。
【００５０】
逆量子化・逆ＤＣＴ部１３は、第一の符号化方式（ＭＰＥＧ−２）でＤＣＴ演算され量子化された動画像データの量子化ＤＣＴ係数を、逆量子化（ＩＱ：Inverse  Quantization）して逆ＤＣＴ演算を行う。具体的には、逆量子化・逆ＤＣＴ部１３は、ラインバッファ１２に伝送される量子化ＤＣＴ係数を入力とし、逆量子化して逆ＤＣＴ演算を行う。この結果、逆量子化・逆ＤＣＴ部１３は、量子化ＤＣＴ係数が、第一の符号化方式（ＭＰＥＧ−２）で符号化される際にイントラ符号化モードで符号化されたものである場合には、復号画素信号を取得し、インター符号化モードで符号化されたものである場合には、予測誤差信号を取得し、取得したこれらの信号を加算部１５および加算部１６に伝送する。
【００５１】
動き補償部１４は、第一の動き補償処理および第二の動き補償処理を行う。ここで、第一の動き補償処理とは、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データを第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際に必要となる予測信号を作成する処理や内挿演算誤差を補償する処理のことである。また、第二の動き補償処理とは、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データを使用して（動きベクトル変換前の動きベクトルを使用して）、第一の符号化方式（ＭＰＥＧ−２）による予測信号を作成する処理のことである。
【００５２】
具体的には、動き補償部１４は、第二の動き補償処理として、第一の符号化方式（ＭＰＥＧ−２）で符号化された、先に復号済みの参照フレームをフレームメモリ１７から伝送されることで入力し、また、復号中のフレームに関する動きベクトルをＭＶ・モード変更判定部１１から伝送されることで入力とし、先に復号済みの参照フレームと復号中のフレームに関する動きベクトルとを用いて、予測信号を作成する。そして、動き補償部１４は、第二の動き補償処理の結果を、加算部１６に伝送する。すると、加算部１６は、動き補償部１４から伝送される予測信号と、逆量子化・逆ＤＣＴ部１３から伝送される復号中のフレームに関する予測誤差信号とを用いて、復号中のフレームを作成し、フレームメモリ１７に伝送する。この復号中のフレームの復号結果は、動き補償部１４において、次に復号するフレームの予測信号を作成する処理に利用される。
【００５３】
また、動き補償部１４は、第一の動き補償処理として、第二の動き補償処理で作成された予測信号に、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際に必要となる内挿演算誤差の補償処理を必要に応じて行い、加算部１５に伝送する。すると、加算部１５は、動き補償部１４から伝送される内挿演算誤差の補償処理の処理結果と、逆量子化・逆ＤＣＴ部１３から伝送される予測誤差信号とを、減算部２０に伝送する。
【００５４】
ここで、内挿演算誤差の補償処理について説明する。一般に、ＭＰＥＧ−２における動きベクトルの精度は１／２であり、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４における動きベクトルの精度は１／４であるが、以下の説明では、動きベクトルの精度を１／２であるとする。小数画素精度の動きベクトルに対応する予測画素は、整数精度位置にある画素を使った内挿演算によって求める。例えば、半画素は、整数精度位置にある画素の平均として求められる。
【００５５】
ところで、フレーム予測動きベクトルの場合、内挿演算は、フレーム単位で行われる。一方、フィールド予測動きベクトルの場合、内挿演算は、フィールド単位で行われる。すると、フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合、この内挿演算の違いにより、第一の符号化方式による復号化で生成される予測画素と、トランスコードされた第二の符号化方式による復号化で生成される予測画素との間に離反が生じ、結果として、復号動画像に劣化が発生するおそれがある。この内挿演算誤差を解消すべく、フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合、動き補償部１４は、第一の動き補償処理として、内挿演算誤差の補償処理を行うものである。
【００５６】
図８〜図１０を用いて、内挿演算誤差の補償方法を詳しく説明する。図８の（１）に示す「Ｄ（ｘ，ｙ）」は、動き補償部１４における出力結果を意味する。また、図８の（２）に示す「Ｐ（ｘ，ｙ）」は、フレーム予測方式で予測された際の予測画像を意味する。なお、ｘおよびｙは、各々、０〜１５の値をとる（輝度成分の場合を示すが、色差成分も同様である）。また、図８の表に示すように、動き補償部１４は、Ｙ方向の動きベクトルを４で除算した余りが『１』のパターン、および、Ｙ方向の動きベクトルを４で除算した余りが『３』のパターンについてのみ、出力結果を出力する。すなわち、図７の（Ｂ）および（Ｄ）をみるとわかるように、内挿演算誤差が発生するのは、この２つのパターンに限られる。
【００５７】
図９を用いて、図８の表に示す式を説明すると、図９の（１）において、「Ｐ（ＭＰＥＧ−２）」は、第一の符号化方式（ＭＰＥＧ−２）による予測画像を意味し、「Ｐ（ＭＰＥＧ−４）」は、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）による予測画像を意味する。すなわち、図９の（１）は、第一の符号化方式（ＭＰＥＧ−２）による予測画像に、第一の符号化方式（ＭＰＥＧ−２）において発生する内挿演算誤差「ｄ」を足したものと、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）による予測画像に、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）において発生する内挿演算誤差「ｄ´」を足したものとが等しくなるように、補償しなければならないことを意味している。
【００５８】
図９の（２）は、図９の（１）を変形したものである。ここで、「（ｔ０＋ｂ０＋１）＞＞１」とは、画素『ｔ０』と画素『ｂ０』との平均を演算していることを示すものであり（シフト演算）、「＋１」は、丸めの方向を示すものである。こうして演算された値（ε）を、予測信号誤差に加算することで、内挿演算誤差を補償することができる（図１０の（Ａ）〜（Ｃ）を参照）。なお、図９の（２）は、オリジナルの画素『ｔ０』の予測誤差に適用されるものを例示したが、例えば、『ｂ０』に対しては、ε＝｛［ｂ０＋ｔ１＋１］＞＞１｝−ｂ０｝となる。
【００５９】
ところで、内挿演算誤差の補償処理を行う必要が無い場合、動き補償部１４は、すべて零の信号を加算部１５に伝送する。すると、加算部１５は、逆量子化・逆ＤＣＴ部１３から伝送される予測誤差信号を、そのまま減算部２０に伝送することになる。
【００６０】
もっとも、内挿演算誤差の補償処理とは別に、動き補償部１４は、フィールド予測方式のマクロブロックをイントラ符号化モードに変換する場合、第一の動き補償処理として、第一の符号化方式（ＭＰＥＧ−２）で符号化された予測信号を出力する。これは、加算部１５において、動き予測誤差である逆量子化・逆ＤＣＴ部１３の出力と加算して画像を再構成する必要があるためである。このため、動き補償部１４は、第一の符号化方式（ＭＰＥＧ−２）で符号化された予測信号を出力し、加算部１５に伝送する。すると、加算部１５は、動き補償部１４から伝送される予測信号と、逆量子化・逆ＤＣＴ部１３から伝送される予測誤差信号とを、減算部２０に伝送する。
【００６１】
このように、動き補償部１４は、第一の動き補償処理と第二の動き補償処理とを行い、図１１に示すように、処理結果を出力する。
【００６２】
加算部１５は、逆量子化・逆ＤＣＴ部１３の出力と、動き補償部１４の出力（第一補償処理の出力）とを加算する。具体的には、加算部１５は、逆量子化・逆ＤＣＴ部１３から伝送された信号が、復号画素信号である場合には（第一の符号化方式（ＭＰＥＧ−２）で符号化される際にイントラ符号化モードで符号化されたものである場合には）、動き補償部１４の出力である零の信号を加算して、減算部２０に伝送する。言い換えると、第一の符号化方式（ＭＰＥＧ−２）で符号化される際にイントラ符号化モードで符号化されたものである場合には、逆量子化・逆ＤＣＴ部１３の出力が、そのまま減算部２０に伝送される。
【００６３】
また、加算部１５は、逆量子化・逆ＤＣＴ部１３から伝送された信号が、予測誤差信号である場合であって（第一の符号化方式（ＭＰＥＧ−２）で符号化される際にインター符号化モードで符号化されたものである場合であって）、動き補償部１４から伝送された信号が、予測信号である場合には（フィールド予測方式のマクロブロックをイントラ符号化モードに変換する場合には）、これらを加算して、減算部２０に伝送する。また、加算部１５は、逆量子化・逆ＤＣＴ部１３から伝送された信号が、予測誤差信号である場合であって（第一の符号化方式（ＭＰＥＧ−２）で符号化される際にインター符号化モードで符号化されたものである場合であって）、動き補償部１４から伝送された信号が、内挿演算誤差の補償処理の処理結果である場合には（フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合には）、これらを加算して、減算部２０に伝送する。
【００６４】
加算部１６は、逆量子化・逆ＤＣＴ部１３の出力と、動き補償部１４の出力（第二補償処理の出力）とを加算する。具体的には、加算部１６は、逆量子化・逆ＤＣＴ部１３から伝送された信号が、復号画素信号である場合には（第一の符号化方式（ＭＰＥＧ−２）で符号化される際にイントラ符号化モードで符号化されたものである場合には）、動き補償部１４の出力である零の信号を加算して、フレームメモリ１７に伝送する。言い換えると、第一の符号化方式（ＭＰＥＧ−２）で符号化される際にイントラ符号化モードで符号化されたものである場合には、逆量子化・逆ＤＣＴ部１３の出力が、そのままフレームメモリ１７に伝送される。
【００６５】
また、加算部１６は、逆量子化・逆ＤＣＴ部１３から伝送された信号が、予測誤差信号である場合には（第一の符号化方式（ＭＰＥＧ−２）で符号化される際にインター符号化モードで符号化されたものである場合には）、動き補償部１４から伝送された予測信号を加算して、フレームメモリ１７に伝送する。
【００６６】
フレームメモリ１７は、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データの復号化結果（予測画像）を格納する。具体的には、フレームメモリ１７は、加算部１６から伝送された加算結果を格納し、動き補償部１４に、動き補償用のフレーム予測画素やフィールド予測画素を伝送する。
【００６７】
減算部２０は、ＭＶ・モード変更判定部１１から伝送される符号化モードがイントラ符号化モードの場合にのみ、加算部１５から伝送された復号画素信号（もしくは予測信号）と、イントラ予測部２６から伝送されたイントラ符号化モードの予測信号との減算を行い、ＤＣＴ・量子化部２１に伝送する。なお、かかる減算は、イントラ符号化モードにおいて、隣接マクロブロックの局所復号結果（加算部２４の出力）を予測値としてフレーム内予測を行うイントラ予測を行うものである。一方、減算部２０は、ＭＶ・モード変更判定部１１から伝送される符号化モードがインター符号化モードの場合には、加算部１５から伝送された予測誤差信号（もしくは予測誤差信号に内挿演算誤差の補償結果を加算したもの）を、そのままＤＣＴ・量子化部２１に伝送する。
【００６８】
ＤＣＴ・量子化部２１は、減算部１５から伝送された信号に対し、ＤＣＴ演算を行い、量子化を行う。具体的には、ＤＣＴ・量子化部２１は、減算部１５から伝送された復号画素信号や予測誤差信号などを入力とし、ＤＣＴ演算を行い、続いて、量子化を行い、量子化ＤＣＴ係数を取得する。また、ＤＣＴ・量子化部２１は、取得した量子化ＤＣＴ係数を、可変長符号化部２２および逆量子化・逆ＤＣＴ部２３に伝送する。
【００６９】
可変長符号化部２２は、動画像データを、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で可変長符号化する。具体的には、可変長符号化部２２は、ＤＣＴ・量子化部２１から伝送された量子化ＤＣＴ係数を入力とし、また、ＭＶ・モード変更判定部１１から伝送された予測方式、動きベクトルおよび符号化モードを入力として、可変長符号化し、出力する。
【００７０】
逆量子化・逆ＤＣＴ部２３は、ＭＶ・モード変更判定部１１から伝送される符号化モードがイントラ符号化モードの場合にのみ、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）でＤＣＴ演算され量子化された動画像データの量子化ＤＣＴ係数を、逆量子化して逆ＤＣＴ演算を行う。この結果、逆量子化・逆ＤＣＴ部２３は、予測誤差信号（量子化誤差を伴う）を取得し、加算部２４に伝送する。
【００７１】
加算部２４は、ＭＶ・モード変更判定部１１から伝送される符号化モードがイントラ符号化モードの場合にのみ、逆量子化・逆ＤＣＴ部２３の出力と、イントラ予測部２６の出力とを加算する。具体的には、加算部２４は、逆量子化・逆ＤＣＴ部２３から伝送される予測誤差信号（量子化誤差を伴う）を入力とし、また、イントラ予測部２６から伝送される予測信号を入力とし、これらを加算して、ラインバッファ２５に伝送する。
【００７２】
ラインバッファ２５は、ＭＶ・モード変更判定部１１から伝送される符号化モードがイントラ符号化モードの場合にのみ、加算部２４から伝送される復号画素信号を、２マクロブロックライン分蓄積する。
【００７３】
イントラ予測部２６は、ＭＶ・モード変更判定部１１から伝送される符号化モードがイントラ符号化モードの場合にのみ、ラインバッファ２５から伝送される復号処理済みマクロブロック画素（処理中のマクロブロック画素の上および左側に位置する復号処理済みマクロブロック画素）から予測画素を生成し、減算部２０に伝送する。
【００７４】
［実施例１に係るトランスコード装置による処理の手順］
続いて、図１２および図１３を用いて、実施例１に係るトランスコード装置による処理の手順を説明する。図１２は、実施例１に係るトランスコード装置（ＭＶ・モード変更判定部）による処理の手順を示すフローチャートであり、図１３は、実施例１に係るトランスコード装置（動き補償部）による処理の手順を示すフローチャートである。
【００７５】
［ＭＶ・モード変更判定部による処理の手順］
図１２に示すように、ＭＶ・モード変更判定部１１は、まず、マクロブロックペア単位に相当する予測方式、動きベクトルおよび符号化モードを、可変長復号化部１０から伝送されることで取得する（ステップＳ１０１）。
【００７６】
ＭＶ・モード変更判定部１１は、続いて、予測方式および符号化モードの組合せを判定し（ステップＳ１０２）、予測方式もしくは符号化モードを変換する必要があるか否かを判定する（ステップＳ１０３）。
【００７７】
予測方式もしくは符号化モードを変換する必要がない場合には（ステップＳ１０３否定）、ＭＶ・モード変更判定部１１は、可変長復号化部１０から伝送された予測方式、動きベクトルおよび符号化モードを、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化する際の予測方式、動きベクトルおよび符号化モードとして、そのまま決定し、出力する（ステップＳ１０４）。
【００７８】
予測方式もしくは符号化モードを変換する必要がある場合には（ステップＳ１０３肯定）、続いて、ＭＶ・モード変更判定部１１は、動きベクトルを変換する必要があるか否かを判定する（ステップＳ１０５）。
【００７９】
動きベクトルを変換する必要がない場合とは（ステップＳ１０５否定）、フィールド予測方式のマクロブロックをイントラ符号化モードに変換する場合であるので、ＭＶ・モード変更判定部１１は、可変長復号化部１０から伝送された符号化モードを変換し、変換前の符号化モードとともに出力する（ステップＳ１０６）。
【００８０】
一方、動きベクトルを変換する必要がある場合とは（ステップＳ１０５肯定）、フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合であるので、ＭＶ・モード変更判定部１１は、可変長復号化部１０から伝送された予測方式および動きベクトルを変換し、変換前の予測方式および動きベクトルとともに出力する（ステップＳ１０７）。
【００８１】
［動き補償部による処理の手順］
図１３に示すように、動き補償部１４は、まず、ＭＶ・モード変更判定部１１から、予測方式、動きベクトルおよび符号化モードを取得する（ステップＳ２０１）。
【００８２】
次に、動き補償部１４は、伝送された符号化モードが、変換前も変換後もイントラ符号化モードであるか否かを判定する（ステップＳ２０２）。
【００８３】
変換前も変換後もイントラ符号化モードである場合（ステップＳ２０２肯定）、動き補償部１４は、すべて零の信号を加算部１５および加算部１６に出力する（ステップＳ２０３）。
【００８４】
変換前か変換後のいずれか、もしくは双方がイントラ符号化モードではない場合（ステップＳ２０２否定）、次に、動き補償部１４は、フレームメモリ１７から予測画像を取得する（ステップＳ２０４）。
【００８５】
次に、動き補償部１４は、ＭＶ・モード変更判定部１１から伝送された動きベクトル（もしくは変換前の動きベクトル）と、フレームメモリ１７から伝送された予測画像とを用いて、第一の符号化方式（ＭＰＥＧ−２）による予測信号を生成する（ステップＳ２０５）。そして、動き補償部１４は、ステップＳ２０５において生成した予測信号を、加算部１６に出力する（ステップＳ２０６）。
【００８６】
続いて、動き補償部１４は、次に、ＭＶ・モード変更判定部１１から伝送された予測方式、動きベクトルおよび符号化モードに基づいて、フィールド予測方式のマクロブロックをイントラ符号化モードに変換する場合か否かを判定する（ステップＳ２０７）。
【００８７】
フィールド予測方式のマクロブロックをイントラ符号化モードに変換する場合である場合（ステップＳ２０７肯定）、動き補償部１４は、ステップＳ２０５において生成した予測信号を、加算部１５にも出力する（ステップＳ２０８）。
【００８８】
一方、フィールド予測方式のマクロブロックをイントラ符号化モードに変換する場合でない場合（ステップＳ２０７否定）、動き補償部１４は、次に、フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合か否かを判定する（ステップＳ２０９）。
【００８９】
フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合である場合（ステップＳ２０９肯定）、動き補償部１４は、内挿演算誤差の補償を計算し（ステップＳ２１０）、補償結果を加算部１５に出力する（ステップＳ２１１）。
【００９０】
一方、フレーム予測方式のマクロブロックをフィールド予測方式に変換する場合でない場合（ステップＳ２０９否定）、動き補償部１４は、すべて零の信号を加算部１５に出力する（ステップＳ２１２）。
【００９１】
［実施例１の効果］
上記してきたように、実施例１によれば、第一の符号化方式（ＭＰＥＧ−２）で符号化された動画像データを、第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）で符号化された動画像データに変換するトランスコード装置であって、第一の符号化方式で符号化された動画像データを復号化してマクロブロックペア単位に相当する復号データを取得すると、復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定し、判定した組合せに基づいて、復号データを第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定し、決定した予測方式、動きベクトルおよび符号化モードに従って、復号データを第二の符号化方式で符号化するので、トランスコードを適切に行うことが可能になる。
【００９２】
すなわち、従来の方式では、マクロブロック各々に設定されている予測方式および／または符号化モードの組合せによっては、第一の符号化方式（ＭＰＥＧ−２）から第二の符号化方式（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）への変換処理が適切に行われず、第二の符号化方式において一切動き補償が行われない結果、第二の符号化方式にトランスコードされた動画像データが復号された場合に大きな劣化が生じるおそれがある。これに対し、本発明の方式では、マクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定し、判定した組合せに基づいて適切な予測方式、動きベクトルおよび符号化モードを決定（必要に応じて変換）するので、第一の符号化方式から第二の符号化方式への変換処理が適切に行われ、第二の符号化方式にトランスコードされた動画像データが復号された場合の劣化を防ぐことが可能になる。
【００９３】
また、実施例１によれば、第二の符号化方式の符号化機能において、フレームメモリや、動き予測の機能、動き補償の機能を備える必要がないことから、従来のタンデム方式と比較して、回路規模を小さくすることが可能になる。
【００９４】
また、実施例１によれば、判定した組合せが、フレーム予測方式とフィールド予測方式との組合せである場合には、フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換し、マクロブロックの動きベクトルをフィールド予測方式に適合する動きベクトルに変換するので、フレーム予測方式とフィールド予測方式との組合せである場合に、トランスコードを適切に行うことが可能になる。
【００９５】
また、実施例１によれば、フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換することが決定された場合であり、かつ、動きベクトルが小数精度の場合に、フレーム予測方式によって予測される際の予測画像とフィールド予測方式によって予測される際の予測画像との誤差を算出し、復号データを第二の符号化方式で符号化する際に、算出した誤差を加算して符号化するので、内挿演算誤差を補償した上で、トランスコードを適切に行うことが可能になる。
【００９６】
また、実施例１によれば、判定した組合せが、インター符号化モードのフィールド予測方式とイントラ符号化モードとの組合せである場合には、フィールド予測方式を設定されていたマクロブロックの符号化モードをイントラ符号化モードに変換するので、インター符号化モードのフィールド予測方式とイントラ符号化モードとの組合せである場合に、トランスコードを適切に行うことが可能になる。
【実施例２】
【００９７】
［他の実施例］
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
【００９８】
［符号化方式］
実施例１においては、第一の符号化方式がＭＰＥＧ−２であり、第二の符号化方式がＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（ＭＰＥＧ−４  Ｐａｒｔ．１０（ＩＳＯ／ＩＥＣ  １４４９６−１０／ＩＴＵ−Ｔ  Ｈ．２６４）である場合を想定して説明してきたが、本発明はこれに限られるものではない。第一の符号化方式から第二の符号化方式へのトランスコードを行う際に、予測方式や符号化モードの変換が必要となる符号化方式であれば、例えば、ＭＰＥＧ−４  Ｐａｒｔ．２（ＩＳＯ／ＩＥＣ  １４４９６−２）など、その他の符号化方式にも適用できるものである。
【００９９】
［システム構成等］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順（例えば、図１２、１３など）、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【０１００】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１０１】
［コンピュータ］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、上記の実施例と同様の機能を有するトランスコードプログラムを実行するコンピュータの一例を説明する。図１４は、トランスコードプログラムを実行するコンピュータを示す図である。
【０１０２】
図１４に示すように、トランスコードプログラム（コンピュータ）３０は、キャッシュ３１、ＲＡＭ３２、ＨＤＤ３３、ＲＯＭ３４およびＣＰＵ３５をバス３６で接続して構成される。ここで、ＲＯＭ３４には、上記の実施例と同様の機能を発揮するトランスコードプログラム、つまり、図１４に示すように、可変長復号プログラム３４ａ、ＭＶ・モード変更判定プログラム３４ｂ、逆量子化・逆ＤＣＴプログラム３４ｃ、動き補償プログラム３４ｄ、加算プログラム３４ｅ、加算プログラム３４ｆ、減算プログラム３４ｇ、ＤＣＴ・量子化プログラム３４ｈ、可変長符号化プログラム３４ｉ、逆量子化・逆ＤＣＴプログラム３４ｊ、加算プログラム３４ｋ、イントラ予測プログラム３４ｌがあらかじめ記憶されている。また、キャッシュ３１には、ラインバッファ３１ａ、フレームメモリ３１ｂ、ラインバッファ３１ｃが備えられる。
【０１０３】
そして、ＣＰＵ３５は、これらのプログラム３４ａ〜３４ｌを読み出して実行することで、図１４に示すように、各プログラム３４ａ〜３４ｌは、可変長復号プロセス３５ａ、ＭＶ・モード変更判定プロセス３５ｂ、逆量子化・逆ＤＣＴプロセス３５ｃ、動き補償プロセス３５ｄ、加算プロセス３５ｅ、加算プロセス３５ｆ、減算プロセス３５ｇ、ＤＣＴ・量子化プロセス３５ｈ、可変長符号化プロセス３５ｉ、逆量子化・逆ＤＣＴプロセス３５ｊ、加算プロセス３５ｋ、イントラ予測プロセス３５ｌとなる。なお、各プロセス３５ａ〜３５ｌは、図２に示した、可変長復号化部１０、ＭＶ・モード変更判定部１１、逆量子化・逆ＤＣＴ部１３、動き補償部１４、加算部１５、加算部１６、減算部２０、ＤＣＴ・量子化部２１、可変長符号化部２２、逆量子化・逆ＤＣＴ部２３、加算部２４、イントラ予測部２６にそれぞれ対応する。
【０１０４】
ところで、上記した各プログラム３４ａ〜３４ｌについては、必ずしもＲＯＭ３４に記憶させておく必要はなく、例えば、コンピュータ３０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ３０の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３０に接続される「他のコンピュータ（またはサーバ）」に記憶させておき、コンピュータ３０がこれらからプログラムを読み出して実行するようにしてもよい。
【０１０５】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１０６】
（付記１）予測方式および／または符号化モードをマクロブロック単位で切り替え可能な第一の符号化方式で符号化された動画像データを、予測方式および／または符号化モードをマクロブロックペア単位で切り替え可能な第二の符号化方式で符号化された動画像データに変換するトランスコード装置であって、
前記第一の符号化方式で符号化された動画像データを復号化して前記マクロブロックペア単位に相当する復号データを取得すると、当該復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定する判定手段と、
前記判定手段によって判定された組合せに基づいて、前記復号データを前記第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定する決定手段と、
前記決定手段によって決定された予測方式、動きベクトルおよび符号化モードに従って、前記復号データを前記第二の符号化方式で符号化する符号化手段と、
を備えたことを特徴とするトランスコード装置。
【０１０７】
（付記２）前記決定手段は、前記判定手段によって判定された組合せが、フレーム予測方式とフィールド予測方式との組合せである場合には、フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換し、当該マクロブロックの動きベクトルをフィールド予測方式に適合する動きベクトルに変換することを特徴とする付記１に記載のトランスコード装置。
【０１０８】
（付記３）フレーム予測方式を設定されていたマクロブロックの予測方式をフィールド予測方式に変換することが前記決定手段によって決定された場合であり、かつ、動きベクトルが小数精度の場合に、フレーム予測方式によって予測される際の予測画像とフィールド予測方式によって予測される際の予測画像との誤差を算出する誤差算出手段をさらに備え、
前記符号化手段は、前記復号データを前記第二の符号化方式で符号化する際に、前記誤差算出手段によって算出された誤差を加算して符号化することを特徴とする付記２に記載のトランスコード装置。
【０１０９】
（付記４）前記決定手段は、前記判定手段によって判定された組合せが、インター符号化モードのフィールド予測方式とイントラ符号化モードとの組合せである場合には、フィールド予測方式を設定されていたマクロブロックの符号化モードをイントラ符号化モードに変換することを特徴とする付記１に記載のトランスコード装置。
【０１１０】
（付記５）予測方式および／または符号化モードをマクロブロック単位で切り替え可能な第一の符号化方式で符号化された動画像データを、予測方式および／または符号化モードをマクロブロックペア単位で切り替え可能な第二の符号化方式で符号化された動画像データに変換するトランスコード方法であって、
前記第一の符号化方式で符号化された動画像データを復号化して前記マクロブロックペア単位に相当する復号データを取得すると、当該復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定する判定工程と、
前記判定工程によって判定された組合せに基づいて、前記復号データを前記第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定する決定工程と、
前記決定工程によって決定された予測方式、動きベクトルおよび符号化モードに従って、前記復号データを前記第二の符号化方式で符号化する符号化工程と、
を含んだことを特徴とするトランスコード方法。
【０１１１】
（付記６）予測方式および／または符号化モードをマクロブロック単位で切り替え可能な第一の符号化方式で符号化された動画像データを、予測方式および／または符号化モードをマクロブロックペア単位で切り替え可能な第二の符号化方式で符号化された動画像データに変換するトランスコード方法をコンピュータに実行させるトランスコードプログラムであって、
前記第一の符号化方式で符号化された動画像データを復号化して前記マクロブロックペア単位に相当する復号データを取得すると、当該復号データを構成するマクロブロック各々に設定されている予測方式および／または符号化モードの組合せを判定する判定手順と、
前記判定手順によって判定された組合せに基づいて、前記復号データを前記第二の符号化方式で符号化する際の予測方式、動きベクトルおよび符号化モードを決定する決定手順と、
前記決定手順によって決定された予測方式、動きベクトルおよび符号化モードに従って、前記復号データを前記第二の符号化方式で符号化する符号化手順と、
をコンピュータに実行させることを特徴とするトランスコードプログラム。
【図面の簡単な説明】
【０１１２】
【図１】実施例１に係るトランスコード装置の概要および特徴を説明するための図である。
【図２】実施例１に係るトランスコード装置の構成を示すブロック図である。
【図３】ＭＰＥＧ−２からＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４へのトランスコード時の予測方式の決定を説明するための図である。
【図４】ＭＰＥＧ−２からＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４へのトランスコード時の符号化モードの決定を説明するための図である。
【図５】ＭＶ・モード変更判定部を説明するための図である。
【図６】動きベクトル縦方向成分およびパリティの変換方法を説明するための図である。
【図７】縦方向の参照画素位置を説明するための図である。
【図８】動き補償部を説明するための図である。
【図９】内挿演算誤差を説明するための図である。
【図１０】内挿演算誤差補償を説明するための図である。
【図１１】動き補償部による第一の動き補償処理および第二の動き補償処理を説明するための図である。
【図１２】実施例１に係るトランスコード装置（ＭＶ・モード変更判定部）による処理の手順を示すフローチャートである。
【図１３】実施例１に係るトランスコード装置（動き補償部）による処理の手順を示すフローチャートである。
【図１４】トランスコードプログラムを実行するコンピュータを示す図である。
【図１５】タンデム方式を説明するための図である。
【図１６】オープンループ方式を説明するための図である。
【図１７】ＭＰＥＧ−２におけるフレーム予測方式およびフィールド予測方式を説明するための図である。
【図１８】ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４におけるマクロブロックペアを説明するための図である。
【符号の説明】
【０１１３】
１  トランスコード装置
１０  可変長復号化部
１１  ＭＶ・モード変更判定部
１２  ラインバッファ
１３  逆量子化・逆ＤＣＴ部
１４  動き補償部
１５  加算部
１６  加算部
１７  フレームメモリ
２０  減算部
２１  ＤＣＴ・量子化部
２２  可変長符号化部
２３  逆量子化・逆ＤＣＴ部
２４  加算部
２５  ラインバッファ
２６  イントラ予測部
【図１】
0005003534.tif 000002
【図２】
0005003534.tif 000003
【図３】
0005003534.tif 000004
【図４】
0005003534.tif 000005
【図５】
0005003534.tif 000006
【図６】
0005003534.tif 000007
【図７】
0005003534.tif 000008
【図８】
0005003534.tif 000009
【図９】
0005003534.tif 000010
【図１０】
0005003534.tif 000011
【図１１】
0005003534.tif 000012
【図１２】
0005003534.tif 000013
【図１３】
0005003534.tif 000014
【図１４】
0005003534.tif 000015
【図１５】
0005003534.tif 000016
【図１６】
0005003534.tif 000017
【図１７】
0005003534.tif 000018
【図１８】
0005003534.tif 000019