(57)【要約】【課題】ある方式で符号化された圧縮符号化情報そのものまたはその一部のみを復号した情報を用いて高速かつ高精度に異なる方式で符号化された情報に変換することができる符号化動画像変換装置を提供すること。【解決手段】符号情報抽出部１１は、ＤＶフォーマットの量子化情報、量子化されたＤＣＴ係数、ＤＣＴ基底情報を出力する。逆量子化部１２は、量子化されたＤＣＴ係数をもとのＤＣＴ係数に逆量子化する。ＤＣＴ係数変換部１３は、全てのＤＣＴ係数をＭＰＥＧフォーマットと同じ符号化単位かつ同じサンプリングのＤＣＴ係数に変換する。このＤＣＴ係数は、量子化部１４および再符号化部１５を通してＤＣＴ係数をＭＰＥＧフォーマットの符号化情報へ変換される。【選択図】　　図１
2004120620.tif 000002
【特許請求の範囲】
【請求項１】
動画像が第１の符号化方式で変換符号化された圧縮符号化情報を入力とし、該圧縮符号化情報の変換符号化情報を直接利用することで前記第１の符号化方式とは異なる第２の符号化方式の符号化情報に変換して出力する符号化動画像変換変換装置において、
入力される圧縮符号化情報そのものまたはその一部のみを復号し必要な情報を抽出する符号情報抽出手段と、
前記符号情報抽出手段により抽出された情報から変換符号化情報を取得する逆量子化部と、
前記逆量子化部により取得された変換符号化情報を第２の符号化方式の変換符号化情報に変換する変換部と、
前記変換部により変換された変換符号化情報を前記第２の符号化方式で量子化する量子化部と、
前記量子化部により量子化された変換符号化情報を前記第２の符号化方式で再符号化する再符号化部とを具備したことを特徴とする符号化動画像変換装置。
【請求項２】
第１の符号化方式の圧縮符号化情報は、フレーム内符号化のみで圧縮されていることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項３】
第２の符号化方式の符号化情報は、その全てまたは一部がフレーム内符号化されていることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項４】
第１の符号化方式と第２の符号化方式とは、符号化情報の全てまたは一部において基底が異なっていることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項５】
第１の符号化方式と第２の符号化方式とは、符号化情報のサンプリングレートが異なっていることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項６】
前記符号情報抽出部は、入力される圧縮符号化情報から変換符号化の種類と量子化された変換符号化係数および量子化情報を抽出し、前記逆量子化部および再符号化部に出力することを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項７】
前記逆量子化部は、前記符号情報抽出部からの量子化された変換符号化係数および量子化情報を入力とし、逆量子化処理によって変換符号化係数を前記変換部へ出力することを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項８】
前記逆量子化部は、ある変換基底の変換符号化係数については完全に再構成せずに出力することを特徴とする請求項７に記載の符号化動画像変換装置。
【請求項９】
前記変換部は、変換符号化の種類と変換符号化係数を入力とし、第２の符号化方式で再利用できる形式の変換符号化係数に変換して前記量子化部へ出力することを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項１０】
前記変換部は、変換符号化の基底を変換する基底変換手段とサンプリングの構成を変換するサンプリング変換手段とを備えることを特徴とする請求項９に記載の符号化動画像変換装置。
【請求項１１】
前記基底変換手段は、変換符号化係数を復号せずに、前記第１および第２の符号化方式の変換符号化の基底を相互に変換することを特徴とする請求項１０に記載の符号化動画像変換装置。
【請求項１２】
前記基底変換手段は、前記第２の符号化方式で入力された変換符号化の基底の分布によって前記第２の符号化方式の構造を適宜選択することを特徴とする請求項１０に記載の符号化動画像変換装置。
【請求項１３】
前記基底変換手段は、前記第２の符号化方式の複数の変換符号化単位ごとに、前記第１の符号化方式の変換符号化の種類を統一する変換を行い、再利用できる変換符号化係数については何ら処理を施さない手段を含むことを特徴とする請求項１２に記載の符号化動画像変換装置。
【請求項１４】
前記基底変換手段は、前記第２の符号化方式で再利用できない構造に統一された場合の複数の変換符号化単位を、前記第２の符号化方式で利用できる構造に一括して変換する手段を含むことを特徴とする請求項１３に記載の符号化動画像変換装置。
【請求項１５】
前記基底変換手段は、基底変換テーブルと乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第１の符号化方式の変換符号化係数の１列ごとに前記基底変換テーブルの非０の要素を参照して第１の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第２の符号化方式の変換符号化係数を導出することを特徴とする請求項１３または１４に記載の符号化動画像変換装置。
【請求項１６】
前記基底変換テーブルは、復号とフィルタリング処理と再符号化のプロセスを予め計算して求められた数値が格納されたものであることを特徴とする請求項１５に記載の符号化動画像変換装置。
【請求項１７】
前記サンプリング変換手段は、水平方向にサンプリング変換する手段と垂直方向にサンプリング変換する手段とを備えることを特徴とする請求項１０に記載の符号化動画像変換装置。
【請求項１８】
前記サンプリング変換手段は、変換符号化係数を復号せずに、サンプリング構成を変換するためのサンプリング変換テーブルと加算器と乗算器からなる演算手段とからなり、前記第２の符号化方式のサンプリング構成を導出することを特徴とする請求項１７に記載の符号化動画像変換装置。
【請求項１９】
前記サンプリング変換テーブルは、復号とサンプリングの圧伸と再符号化のプロセスを予め計算して求められた数値を保持することを特徴とする請求項１８に記載の符号化動画像変換装置。
【請求項２０】
前記サンプリングの圧伸は、水平方向および垂直方向の変換時に伸長または収縮を任意に設定できることを特徴とする請求項１９に記載の符号化動画像変換装置。
【請求項２１】
前記サンプリング変換手段は、複数の変換符号化単位を一括して変換する手段を含むことを特徴とする請求項１７に記載の符号化動画像変換装置。
【請求項２２】
前記サンプリング変換手段は、前記第１の符号化方式の変換符号化の基底の分布によって第２の符号化方式の変換符号化の構造を適応的に選択することを特徴とする請求項１７に記載の符号化動画像変換装置。
【請求項２３】
前記サンプリング変換手段は、復号とサンプリング変換と再符号化のプロセスを予め計算して求められた数値が格納されたサンプリング変換テーブルと、乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第１の符号化方式の変換符号化係数の１列ごとに前記サンプリング変換テーブルの非０の要素を参照して第１の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第２の符号化方式の変換符号化係数を導出することを特徴とする請求項１７に記載の符号化動画像変換装置。
【請求項２４】
前記サンプリング変換手段は、前記サンプリング変換テーブルの部分集合の対称性を勘案して前記第１の符号化方式の変換符号化係数との乗算回数が軽減された演算順序で演算を行うことを特徴とする請求項２３に記載の符号化動画像変換装置。
【請求項２５】
前記量子化部は、第２の符号化方式で利用できる変換符号化係数を入力とし、前記第２の符号化方式により予め設定された符号化レートで量子化を行い、前記再符号化部に出力することを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項２６】
前記再符号化部は、量子化された変換符号化係数を入力とし、第２の符号化方式の形式で符号化して出力することを特徴とする請求項１に記載の符号化動画像変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化動画像変換装置に関し、特に、ある方式で変換符号化された圧縮符号化情報そのものまたはその一部のみを復号した情報を用いて、高速かつ高精度に、異なる方式の符号化情報に変換することができる符号化動画像変換装置に関するものである。
【０００２】
【従来の技術】
符号化方式変換として、例えば、ＤＶ（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ）フォーマットからＭＰＥＧフォーマットへの変換がある。符号化情報を方式変換する場合、ある方式で符号化された符号化情報を画素領域まで完全に復号してから異なる方式へ再符号化する方式があり、ＤＶフォーマットからＭＰＥＧフォーマットへの変換の場合、ＤＶフォーマットで変換符号化された圧縮符号化情報を一旦、完全に画素領域まで復号した後、改めて再符号化してＭＰＥＧフォーマットに変換する。
【０００３】
また、ある方式で変換符号化された圧縮符号化情報そのものまたはその一部のみを復号した情報を用いて異なる方式で符号化された情報に変換する方式も知られており、ＤＶフォーマットからＭＰＥＧフォーマットへの変換の場合、ＤＶフォーマットで変換符号化された圧縮符号化情報を可変長復号と逆量子化によってＤＣＴ係数まで部分的に復号し、復号されたＤＣＴ係数を基にＤＶフォーマットからＭＰＥＧフォーマットへの変換を行えばよい。
【０００４】
なお、ＤＶにおける圧縮符号化情報は、フレーム内符号化のみで圧縮されており、ＭＰＥＧにおける符号化情報は、その全てまたは一部がフレーム内符号化されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、圧縮符号化情報を完全に画素領域まで復号した後、改めて再符号化する方式では、演算量が膨大になり、処理速度が遅いという問題がある。
【０００６】
一方、圧縮符号化情報を再利用して変換を行う方式では、前記の問題は生じない。しかし、ＤＶフォーマットへのＤＣＴ変換では、ＭＰＥＧフォーマットとは異なる基底のＤＣＴ変換を使用する場合があるので、圧縮符号化情報そのものまたはその一部のみを復号した情報をそのまま再利用することができない。
【０００７】
さらに、ＤＶフォーマットとＭＰＥＧフォーマットとはサンプリングが異なる場合があり、両者間での相互変換の問題は解決されていない。ＤＶフォーマットとＭＰＥＧフォーマット間の変換に限らず、他の方式の符号化フォーマット間においても同様の問題が生じる。
【０００８】
本発明の目的は、前述した従来技術の問題点を解決し、ある方式で符号化された圧縮符号化情報そのものまたはその一部のみを復号した情報を用いて、高速かつ高精度に、異なる方式の符号化情報に変換することができる符号化動画像変換装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、動画像が第１の符号化方式で変換符号化された圧縮符号化情報を入力とし、該圧縮符号化情報の変換符号化情報を直接利用することで前記第１の符号化方式とは異なる第２の符号化方式の符号化情報に変換して出力する符号化動画像変換変換装置において、入力される圧縮符号化情報そのものまたはその一部のみを復号し必要な情報を抽出する符号情報抽出手段と、前記符号情報抽出手段により抽出された情報から変換符号化情報を取得する逆量子化部と、前記逆量子化部により取得された変換符号化情報を第２の符号化方式の変換符号化情報に変換する変換部と、前記変換部により変換された変換符号化情報を前記第２の符号化方式で量子化する量子化部と、前記量子化部により量子化された変換符号化情報を前記第２の符号化方式で再符号化する再符号化部とを具備した点に特徴がある。
【００１０】
また、本発明は、第１の符号化方式の圧縮符号化情報は、フレーム内符号化のみで圧縮されている点に特徴がある。
また、第２の符号化方式の符号化情報が、その全てまたは一部がフレーム内符号化されている点に特徴がある。
また、本発明は、第１の符号化方式と第２の符号化方式とが、符号化情報の全てまたは一部において基底が異なっている点に特徴がある。
また、本発明は、第１の符号化方式と第２の符号化方式とは、符号化情報のサンプリングレートが異なっている点に特徴がある。
【００１１】
また、本発明は、前記符号情報抽出部が、入力される圧縮符号化情報から変換符号化の種類と量子化された変換符号化係数および量子化情報を抽出し、前記逆量子化部および再符号化部に出力する点に特徴がある。
【００１２】
また、本発明は、前記逆量子化部が、前記符号情報抽出部からの量子化された変換符号化係数および量子化情報を入力とし、逆量子化処理によって変換符号化係数を前記変換部へ出力する点に特徴がある。
また、本発明は、前記逆量子化部が、ある変換基底の変換符号化係数については完全に再構成せずに出力する点に特徴がある。
【００１３】
また、本発明は、前記変換部が、変換符号化の種類と変換符号化係数を入力とし、第２の符号化方式で再利用できる形式の変換符号化係数に変換して前記量子化部へ出力する点に特徴がある。
また、本発明は、前記変換部が、変換符号化の基底を変換する基底変換手段とサンプリングの構成を変換するサンプリング変換手段とを備える点に特徴がある。
【００１４】
また、本発明は、前記基底変換手段が、変換符号化係数を復号せずに、前記第１および第２の符号化方式の変換符号化の基底を相互に変換する点に特徴がある。
また、本発明は、前記基底変換手段が、前記第２の符号化方式で入力された変換符号化の基底の分布によって前記第２の符号化方式の構造を適宜選択する点に特徴がある。
【００１５】
また、本発明は、前記基底変換手段が、前記第２の符号化方式の複数の変換符号化単位ごとに、前記第１の符号化方式の変換符号化の種類を統一する変換を行い、再利用できる変換符号化係数については何ら処理を施さない手段を含む点に特徴がある。
また、本発明は、前記基底変換手段が、前記第２の符号化方式で再利用できない構造に統一された場合の複数の変換符号化単位を、前記第２の符号化方式で利用できる構造に一括して変換する手段を含む点に特徴がある。
【００１６】
また、本発明は、前記基底変換手段が、基底変換テーブルと乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第１の符号化方式の変換符号化係数の１列ごとに前記基底変換テーブルの非０の要素を参照して第１の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第２の符号化方式の変換符号化係数を導出する点に特徴がある。
【００１７】
また、本発明は、前記基底変換テーブルが、復号とフィルタリング処理と再符号化のプロセスを予め計算して求められた数値が格納されたものである点に特徴がある。
【００１８】
また、本発明は、前記サンプリング変換手段が、水平方向にサンプリング変換する手段と垂直方向にサンプリング変換する手段とを備える点に特徴がある。
また、本発明は、前記サンプリング変換手段が、変換符号化係数を復号せずに、サンプリング構成を変換するためのサンプリング変換テーブルと加算器と乗算器からなる演算手段とからなり、前記第２の符号化方式のサンプリング構成を導出する点に特徴がある。
【００１９】
また、本発明は、前記サンプリング変換テーブルが、復号とサンプリングの圧伸と再符号化のプロセスを予め計算して求められた数値を保持する点に特徴がある。
また、本発明は、前記サンプリングの圧伸が、水平方向および垂直方向の変換時に伸長または収縮を任意に設定できる点に特徴がある。
【００２０】
また、本発明は、前記サンプリング変換手段が、複数の変換符号化単位を一括して変換する手段を含む点に特徴がある。
また、本発明は、前記サンプリング変換手段が、前記第１の符号化方式の変換符号化の基底の分布によって第２の符号化方式の変換符号化の構造を適応的に選択する点に特徴がある。
【００２１】
また、本発明は、前記サンプリング変換手段が、復号とサンプリング変換と再符号化のプロセスを予め計算して求められた数値が格納されたサンプリング変換テーブルと、乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第１の符号化方式の変換符号化係数の１列ごとに前記サンプリング変換テーブルの非０の要素を参照して第１の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第２の符号化方式の変換符号化係数を導出する点に特徴がある。
【００２２】
また、本発明は、前記サンプリング変換手段が、前記サンプリング変換テーブルの部分集合の対称性を勘案して前記第１の符号化方式の変換符号化係数との乗算回数が軽減された演算順序で演算を行う点に特徴がある。
【００２３】
また、本発明は、前記量子化部が、第２の符号化方式で利用できる変換符号化係数を入力とし、前記第２の符号化方式により予め設定された符号化レートで量子化を行い、前記再符号化部に出力する点に特徴がある。
【００２４】
さらに、本発明は、前記再符号化部が、量子化された変換符号化係数を入力とし、第２の符号化方式の形式で符号化して出力する点にも特徴がある。
【００２５】
本発明の特徴によれば、変換符号化によって圧縮符号化された動画像情報を直接的に利用することで変換符号化係数の基底変換およびサンプリング変換を高速に実現でき、符号化単位およびサンプリングが異なる符号化方式間での変換を高速に行うことができる。
【００２６】
また、マクロブロックにおける変換符号化の種類（符号化モード）の分布からフレーム構造とフィールド構造を選択して変換を行うことから、従来の変換方式と比較しても、適切な符号化方式を適応的に高速かつ効率的選択することができ、また、出力する符号化情報での画質を向上させることができる。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る符号化動画像変換装置の一実施形態のブロック構成図である。以下、ＤＶフォーマットの圧縮符号化情報をＭＰＥＧフォーマットの圧縮符号化情報に変換する例について説明する。もちろん、本発明は、ＤＶフォーマットとＭＰＥＧフォーマット間の変換に限定されるものではない。
【００２８】
同図において、符号情報抽出部１１は、入力されたＤＶフォーマットの圧縮符号化情報を部分的に復号し、量子化されているＤＣＴ係数、量子化情報およびＤＣＴ基底情報を出力する。逆量子化部１２は、量子化情報に基づき量子化されているＤＣＴ係数をもとのＤＣＴ係数に逆量子化する。このとき、２−４−８ＤＣＴ係数は、２つの４−８ＤＣＴ係数には分離しない。すなわち、完全には再構成しない。なお、「２−４−８ＤＣＴ係数」は、８×８画素ブロックのＤＣＴ係数が２つの４×８画素ブロックのＤＣＴ係数で構成されていることを表している。
【００２９】
ＤＣＴ係数変換部１３は、逆量子化されたＤＣＴ係数とＤＣＴ基底情報をもとに、全てのＤＣＴ係数を、ＭＰＥＧフォーマットと同じ符号化単位かつ同じサンプリングのＤＣＴ係数に変換する。量子化部１４は、ＤＣＴ係数変換部１３からのＤＣＴ係数を量子化し、再符号化部１５へ送出する。再符号化部１５は、量子化されたＤＣＴ係数をＭＰＥＧフォーマットの符号化情報へと変換する。
【００３０】
図２は、図１の符号化動画像変換装置における処理を示すフローチャートである。まず、ステップＳ２１で、入力されたＤＶフォーマットの圧縮符号化情報を部分的に復号し、量子化されているＤＣＴ係数、量子化情報およびＤＣＴ基底情報を出力する。次に、ステップＳ２２で、量子化情報に基づき量子化されているＤＣＴ係数をもとのＤＣＴ係数に逆量子化する。このとき、２−４−８ＤＣＴ係数は、２つの４−８ＤＣＴ係数に分離しない。
【００３１】
ステップＳ２３では、フレーム内で一定の規則に従ってシャッフリングされているＤＣＴ係数を、量子化情報とともにもとのフレーム内位置に再配置し、全てのＤＣＴ係数を、ＭＰＥＧフォーマットと同じ符号化単位かつ同じサンプリングのＤＣＴ係数に変換する。ステップＳ２４では、ステップＳ２３で得られたＤＣＴ係数を量子化する。最後に、ステップＳ２５では、量子化されたＤＣＴ係数をＭＰＥＧフォーマットの符号化情報へと変換する。
【００３２】
図３は、図２のステップＳ２３における輝度信号についてのＤＣＴ係数変換の処理を示すフローチャートである。本フローチャートは、マクロブロック内の２−４−８ＤＣＴ符号化モードの個数を調べるステップＳ３１、２−４−８ＤＣＴ係数→８−８ＤＣＴ係数変換を行うステップＳ３２、８−８ＤＣＴ係数→２−４−８ＤＣＴ係数変換を行うステップＳ３３、２−４−８ＤＣＴ係数→フィールド（ｆｉｅｌｄ）ＤＣＴ係数変換を行うステップＳ３４、および以上のステップＳ３１〜Ｓ３４を全てのマクロブロックについて繰り返し行うためのステップＳ３５、Ｓ３６、からなる。
【００３３】
まず、ステップＳ３１で、個々のマクロブロックに対し該マクロブロック内に含まれる４つのブロックについて２−４−８ＤＣＴ符号化モードであるか否かを調べ、その個数に従って処理を振り分ける。
【００３４】
２−４−８ＤＣＴ符号化モードの個数が０個の場合、マクロブロックの全てのＤＣＴ係数は８−８ＤＣＴ係数であり、これはＭＰＥＧフォーマットと同じ符号化単位であるので、そのままＭＰＥＧフォーマットのフレームＤＣＴ係数として再利用する。
【００３５】
２−４−８ＤＣＴ符号化モードの個数が１個または２個の場合、ステップＳ３２で、ＤＶフォーマットで格納されている２−４−８ＤＣＴ係数（２つの４−８ＤＣＴ係数の和と差）を８−８ＤＣＴ係数に変換する。なお、もともとが８−８ＤＣＴ係数である係数には何も処理を施さない。このようにマクロブロックの全ての２−４−８ＤＣＴ係数を８−８ＤＣＴ係数に変換した後、ＭＰＥＧフォーマットのフレームＤＣＴ係数として再利用する。
【００３６】
２−４−８ＤＣＴ符号化モードの個数が３個の場合、ステップＳ３３で、ＤＶフォーマットで格納されている８−８ＤＣＴ係数を２−４−８ＤＣＴ係数に変換する。なお、もともとが２−４−８ＤＣＴ係数である係数には何も処理を施さない。このようにマクロブロックの８−８ＤＣＴ係数を２−４−８ＤＣＴ係数に変換した後、さらに、ステップＳ３４で、マクロブロック内の４つのブロックの２−４−８ＤＣＴ係数について２−４−８ＤＣＴ係数→フィールド（ｆｉｅｌｄ）ＤＣＴ係数変換を行う。
【００３７】
２−４−８ＤＣＴ符号化モードの個数が４個の場合には、直接ステップＳ３４に進み、マクロブロック内の４つのブロックの２−４−８ＤＣＴ係数について２−４−８ＤＣＴ係数→フィールドＤＣＴ係数変換を行う。
【００３８】
ステップＳ３１、Ｓ３６により、全てのマクロブロックについて上記の処理を施した後、輝度信号についてのＤＣＴ係数変換の処理を終了し、後述する色差信号についてサンプリングを同じにするＤＣＴ係数変換処理に移る。
【００３９】
上記ステップＳ３２の２−４−８ＤＣＴ係数→８−８ＤＣＴ係数変換は、例えば、２−４−８ＤＣＴ係数Ｘを入力する入力手段と、図６に示す式（１）の行列Ａを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である８−８ＤＣＴ係数Ｙを出力する出力手段とで実現できる。
【００４０】
変換テーブルは、復号とフィルタリング処理と再符号化のプロセスを予め計算して求められた数値が格納されている基底変換テーブルといえる。後述の８−８ＤＣＴ係数→２−４−８ＤＣＴ係数変換や２−４−８ＤＣＴ係数→フィールドＤＣＴ係数変換で用いられる変換テーブルも同じように基底変換テーブルといえる。
【００４１】
すなわち、入力の２−４−８ＤＣＴ係数Ｘの１列ごとに上記変換テーブル（式（１）の行列Ａ）の非０の要素ａ［ｊ］［ｉ］を参照して２−４−８ＤＣＴ係数の要素ｘ［ｉ］［ｋ］との積ａ［ｊ］［ｉ］＊ｘ［ｉ］［ｋ］を乗算器で導出し、さらに加算器により下記式（２）を計算すればよい。
【００４２】
式（１）の行列Ａは、４−８ＤＣＴ係数分離行列αと４−４逆ＤＣＴ係数行列β４ｔ　を２つ組み合わせた行列γｔ　とデインタレース行列δと８−８ＤＣＴ係数行列β８　を乗算することにより得られる８×８行列である。なお、ｔは転置を表し、Ｉｎ　はｎ×ｎの単位行列を表す。以下の式でも同じである。
2004120620.tif 000003
【００４３】
上記ステップＳ３３の８−８ＤＣＴ係数→２−４−８ＤＣＴ係数変換は、例えば、８−８ＤＣＴ係数Ｗを入力する入力手段と、図７に示す式（３）の行列Ｂを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である２−４−８ＤＣＴ係数Ｚを出力する出力手段とで実現できる。
【００４４】
すなわち、入力の８−８ＤＣＴ係数Ｗの１列ごとに上記変換テーブル（式（３）の行列Ｂ）の非０の要素ｂ［ｊ］［ｉ］を参照して８−８ＤＣＴ係数の要素ｗ［ｉ］［ｋ］との積ｂ［ｊ］［ｉ］＊ｗ［ｉ］［ｋ］を乗算器で導出し、さらに加算器により下記式（４）を計算すればよい。
【００４５】
式（３）の行列Ｂは、８−８逆ＤＣＴ係数行列β８ｔ　とインタレース行列ζとを２つ組み合わせた行列γ　と４−８ＤＣＴ係数分離行列α　を乗算することにより得られる８×８行列である。
2004120620.tif 000004
【００４６】
上記ステップＳ３４の２−４−８ＤＣＴ係数→フィールドＤＣＴ係数変換は、例えば、４つの２−４−８ＤＣＴ係数Ｕｎ（ただし、０≦ｎ＜４）を入力する入力手段と、図８に示す式（５）の行列Ｃを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による４つの演算結果であるフィールドＤＣＴ係数Ｖｎ（ただし、０≦ｎ＜４）を出力する出力手段とで実現できる。
【００４７】
すなわち、入力の２−４−８ＤＣＴ係数Ｕｎの１列ごとに上記変換テーブル（式（５）の行列Ｃ）の非０の要素ｃ［ｊ］［ｉ］を参照して２−４−８ＤＣＴ係数の要素ｕ［ｉ］［ｋ］との積ｃ［ｊ］［ｉ］＊ｕ［ｉ］［ｋ］を乗算器で導出し、さらに加算器により下記式（６）を計算すればよい。なお、Ｄ（Ｄ′）の式において、Ｄの場合は正負符号の上側を採り、Ｄ′の場合は下側を採ることを示している。
【００４８】
式（５）の行列Ｃは、２つの４−８ＤＣＴ係数分離行列αと４−４逆ＤＣＴ係数行列β４ｔ　を４つ組み合わせた行列ηｔ　とデインタレース行列θと８−８ＤＣＴ係数行列β８　を２つ組み合わせた行列ιを乗算することにより得られる１６×１６行列である。
2004120620.tif 000005
【００４９】
２−４−８ＤＣＴ係数→フィールドＤＣＴ係数変換は、式（５）の行列Ｃの部分集合である行列Ｄを予め計算して求められた数値が格納された変換テーブルを用いても実現できる。この例を図４に示し、入力の２−４−８ＤＣＴ係数Ｕｉの１列ごとに演算手段の加減算器で、
ｕ［ｎ］［ｋ］＋ｕ［ｎ＋８］［ｋ］　および　ｕ［ｎ］［ｋ］−ｕ［ｎ＋８］［ｋ］（ただし、０≦ｎ＜８）
を導出し、さらに、加減算器で、
（ｕ［ｎ］［ｋ］＋ｕ［ｎ＋８］［ｋ］）＋（ｕ［ｎ＋４］［ｋ］＋ｕ［ｎ＋１２］［ｋ］）　および　（ｕ［ｎ］［ｋ］＋ｕ［ｎ＋８］［ｋ］）−（ｕ［ｎ＋４］［ｋ］＋ｕ［ｎ＋１２］［ｋ］）　および　（ｕ［ｎ］［ｋ］−ｕ［ｎ＋８］［ｋ］）＋（ｕ［ｎ＋４］［ｋ］−ｕ［ｎ＋１２］［ｋ］）
および　（ｕ［ｎ］［ｋ］−ｕ［ｎ＋８］［ｋ］）−（ｕ［ｎ＋４］［ｋ］−ｕ［ｎ＋１２］［ｋ］）　（ただし、０≦ｎ＜４）を導出して乗算器に供給する。乗算器は、上記変換テーブルの要素ｄとの乗算によってフィールドＤＣＴ係数の偶数番目の要素ｖを以下のように導出する。
ｖ［４ｎ］［ｋ］＝（（ｕ［２ｎ］［ｋ］＋ｕ［２ｎ＋８］［ｋ］）＋（ｕ［２ｎ＋４］［ｋ］＋ｕ［２ｎ＋１２］［ｋ］））＊ｄ［４ｎ］［２ｎ］
ｖ［４ｎ＋８］［ｋ］＝（（ｕ［２ｎ］［ｋ］＋ｕ［２ｎ＋８］［ｋ］）−（ｕ［２ｎ＋４］［ｋ］＋ｕ［２ｎ＋１２］［ｋ］））＊ｄ［４ｎ］［２ｎ］
ｖ［４ｎ＋２］［ｋ］＝（（ｕ［２ｎ＋１］［ｋ］−ｕ［２ｎ＋９］［ｋ］）＋（ｕ［２ｎ＋５］［ｋ］−ｕ［２ｎ＋１３］［ｋ］））＊ｄ［４ｎ＋２］［２ｎ＋１］
ｖ［４ｎ＋１０］［ｋ］＝（（ｕ［２ｎ＋１］［ｋ］−ｕ［２ｎ＋９］［ｋ］）−（ｕ［２ｎ＋５］［ｋ］−ｕ［２＋１３］［ｋ］））＊ｄ［４ｎ＋２］［２ｎ＋１］
（ただし、０≦ｎ＜２）
また、フィールドＤＣＴ係数の奇数番目の要素ｖは以下のようにして導出する。まず、上記変換テーブルの要素ｄ参照して、演算手段の乗算器で、
（（ｕ［２ｎ］［ｋ］−ｕ［２ｎ＋８］［ｋ］）＋（ｕ［２ｎ＋４］［ｋ］−ｕ［２ｎ＋１２］［ｋ］））＊ｄ［２ｍ＋１］［２ｎ］　および　（（ｕ［２ｎ＋１］［ｋ］＋ｕ［２ｎ＋９］［ｋ］）＋（ｕ［２ｎ＋５］［ｋ］＋ｕ［２ｎ＋１３］［ｋ］））＊ｄ［２ｍ＋１］［２ｎ＋１］　および　（（ｕ［２ｎ］［ｋ］−ｕ［２ｎ＋８］［ｋ］）−（ｕ［２ｎ＋４］［ｋ］−ｕ［２ｎ＋１２］［ｋ］））＊ｄ［２ｍ＋２］［２ｎ］　および　（（ｕ［２ｎ＋１］［ｋ］＋ｕ［２ｎ＋９］［ｋ］）−（ｕ［２ｎ＋５］［ｋ］＋ｕ［２ｎ＋１３］［ｋ］））＊ｄ［２ｍ＋１］［２ｎ＋１］　（ただし、０≦ｍ＜４、０≦ｎ＜２）を導出する。次に、これを加算器に供給して、
ｖ［２ｍ＋１］［ｋ］＝
（（ｕ［０］［ｋ］−ｕ［８］［ｋ］）＋（ｕ［４］［ｋ］−ｕ［１２］［ｋ］））＊ｄ［２ｍ＋１］［０］＋（（ｕ［１］［ｋ］＋ｕ［９］［ｋ］）＋（ｕ［５］［ｋ］＋ｕ［１３］［ｋ］））＊ｄ［２ｍ＋１］［１］＋（（ｕ［２］［ｋ］−ｕ［１０］［ｋ］）＋（ｕ［６］［ｋ］−ｕ［１４］［ｋ］））＊ｄ［２ｍ＋２］［２］＋（（ｕ［３］［ｋ］＋ｕ［１１］［ｋ］）＋（ｕ［７］［ｋ］＋ｕ［１５］［ｋ］））＊ｄ［２ｍ＋１］［３］
ｖ［２ｍ＋９］［ｋ］＝
（（ｕ［０］［ｋ］−ｕ［８］［ｋ］）−（ｕ［４］［ｋ］−ｕ［１２］［ｋ］））＊ｄ［２ｍ＋１］［０］＋（（ｕ［１］［ｋ］＋ｕ［９］［ｋ］）−（ｕ［５］［ｋ］＋ｕ［１３］［ｋ］））＊ｄ［２ｍ＋１］［１］＋（（ｕ［２］［ｋ］−ｕ［１０］［ｋ］）−（ｕ［６］［ｋ］−ｕ［１４］［ｋ］））＊ｄ［２ｍ＋２］［２］＋（（ｕ［３］［ｋ］＋ｕ［１１］［ｋ］）−（ｕ［７］［ｋ］＋ｕ［１５］［ｋ］））＊ｄ［２ｍ＋１］［３］
を導出する（ただし、０≦ｍ＜４）。なお、図４では、加算される要素を実線で示し、減算される要素を点線で示している。また、要素ｄの乗算部分については図示を省略している。
【００５０】
次に、色差信号についてサンプリングを同じにするＤＣＴ係数変換処理について説明する。色差信号のＤＣＴ係数に関しては、ＰＡＬ方式とＮＴＳＣ方式とで異なる処理を施す。ＰＡＬ方式では、ＤＶとＭＰＥＧとで同一のサンプリングを使用しているため、輝度信号と同様の処理を施す。
【００５１】
一方、ＮＴＳＣ方式では、ＤＶとＭＰＥＧとで異なるサンプリングを使用しているため、ＤＶが使用している４：１：１フォーマット（以下、このフォーマットの色差を４１１色差と称す。）をＭＰＥＧが使用している４：２：２フォーマット（以下、このフォーマットの色差を４２２色差と称す。）または４：２：０フォーマット（以下、このフォーマットの色差を４２０色差と称す。）に変換する。ただし、いずれの場合も、初めに４：２：２フォーマットに変換する。
【００５２】
サンプリングが異なる色差信号についてのＤＶフォーマットからＭＰＥＧフォーマットへのＤＣＴ係数の変換は、４１１色差ＤＣＴ係数Ｐを入力とする入力手段と、２−４−８ＤＣＴ係数→８−８ＤＣＴ係数変換部と、図９に示す式（７）の行列Ｅを予め計算して求められた数値が格納された変換テーブルと、図１０に示す式（８）の行列Ｆを予め計算して求められた数値が格納された変換テーブルと、図１１に示す式（９）の行列Ｇを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である４−２−２色差ＤＣＴ係数Ｑまたは４−２−０色差ＤＣＴ係数Ｒを出力する出力手段とで実現できる。
【００５３】
ここで用いられる変換テーブルは、復号とサンプリングの圧伸と再符号化のプロセスを予め計算して求められた数値が格納されているサンプリング変換テーブルといえ、その数値により水平方向および垂直方向への伸長または圧縮を任意に設定できる。
【００５４】
式（７）の行列Ｅは、８−８逆ＤＣＴ係数行列β８ｔ　を２つ組み合わせた行列ιｔ　と水平方向にアップサンプリングする行列κと８−８ＤＣＴ係数行列β８　を乗算することにより得られる８×１６行列である。
【００５５】
また、式（８）の行列Ｆは、８−８逆ＤＣＴ係数行列β８ｔ　を２つ組み合わせた行列ιｔ　とインタレース行列λと８−８ＤＣＴ係数行列β８　を２つ組み合わせた行列ιを乗算することにより得られる１６×１６行列である。
【００５６】
また、式（９）の行列Ｇは、８−８逆ＤＣＴ係数行列β８ｔ　を２つ組み合わせた行列ιｔ　と垂直方向にダウンサンプリングする行列μと８−８ＤＣＴ係数行列β８を２つ組み合わせた行列ιを乗算することにより得られる８×１６行列である。
【００５７】
図５は、サンプリングが異なる色差信号についてのＤＶフォーマットからＭＰＥＧフォーマットへのＤＣＴ係数の変換の処理を示すフローチャートであり、この処理は、図３の輝度信号についてのＤＣＴ係数変換処理に続いて行われる。
【００５８】
４１１色差ＤＣＴ係数Ｐは、４：２：２フォーマットのマクロブロックを構成する２ブロック単位で入力される。出力する４２２色差ＤＣＴ係数がフィールドＤＣＴ係数である場合は、入力された４１１色差ＤＣＴ係数を２−４−８ＤＣＴ係数→８−８ＤＣＴ係数変換することによって８−８ＤＣＴ係数に統一する。この処理は、ステップＳ５１のＤＣＴモード判別、ステップＳ５２の２−４−８ＤＣＴ係数→８−８ＤＣＴ係数変換で行われる。
【００５９】
次に、ＤＣＴの基底が統一された４１１色差ＤＣＴ係数を、ステップＳ５３で、４２２色差ＤＣＴ係数に変換する。この変換は、４１１色差ＤＣＴ係数を入力する入力手段と、図９に示す（７）式の行列Ｅを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である４２２ＤＣＴ係数を出力する出力手段とで実現できる。
【００６０】
すなわち、基底が統一された４１１色差ＤＣＴ係数Ｐの１列ごとに上記変換テーブル（式（７）の行列Ｅ）の非０の要素ｅ［ｉ］［ｋ］を参照して４１１色差ＤＣＴ係数の要素ｐ［ｊ］［ｉ］との積ｐ［ｊ］［ｉ］＊ｅ［ｉ］［ｋ］を乗算器で導出し、さらに加算器により下記（１０）式を計算すればよい。
2004120620.tif 000006
【００６１】
次に、ステップＳ５４で、出力が４２２色差ＤＣＴ係数であるか４２０ＤＣＴ係数であるかにより処理を振り分ける。出力が４２２色差ＤＣＴ係数であり、ステップＳ５６で、輝度信号がフィールドＤＣＴ係数で出力されていない判断された場合には、４２２色差ＤＣＴ係数をそのまま出力するが、輝度信号がすでにフィールドＤＣＴ係数で出力されていると判断された場合には、ステップＳ５７で、４２２色差ＤＣＴ係数をフレーム構造からフィールド構造へ変換する。
【００６２】
フレーム構造からフィールド構造への変換は、フレーム構造の４２２色差ＤＣＴ係数Ｑを入力する入力手段と、図１０に示す（８）式の行列Ｆを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果であるフィールド構造の４２２ＤＣＴ係数Ｒを出力する出力手段とで実現できる。
【００６３】
すなわち、４２２色差ＤＣＴ係数Ｑの１列ごとに上記変換テーブル（式（８）の行列Ｆ）の非０の要素ｆ［ｊ］［ｉ］を参照してフレーム構造の４２２色差ＤＣＴ係数の要素ｑ［ｉ］［ｋ］との積ｆ［ｊ］［ｉ］＊ｑ［ｉ］［ｋ］を乗算器で導出し、さらに加算器により下記（１１）式を計算すればよい。
2004120620.tif 000007
【００６４】
また、ステップＳ５４で、出力が４２０色差ＤＣＴ係数である判断された場合、ステップＳ５５で、４２２色差ＤＣＴ係数Ｑを４２０色差ＤＣＴ係数Ｓへ変換する。この変換は、４２２色差ＤＣＴ係数Ｑを入力する入力手段と、図１１に示す式（９）の行列Ｇを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である４２２ＤＣＴ係数Ｓを出力する出力手段とで実現できる。
【００６５】
すなわち、４２２色差ＤＣＴ係数を４：２：２フォーマットのマクロブロックを構成する２ブロック単位で入力し、４２２色差ＤＣＴ係数Ｑの１列ごとに上記変換テーブル（式（９）の行列Ｇ）の非０の要素ｇ［ｊ］［ｉ］を参照して４２２色差ＤＣＴ係数の要素ｑ［ｉ］［ｋ］との積ｇ［ｊ］［ｉ］＊ｑ［ｉ］［ｋ］を乗算器で導出し、さらに加算器により下記（１２）式を計算すればよい。なお、ステップＳ５８、Ｓ５９は、全てのマクロブロックに対し以上の処理を繰り返し行うためのものである。
2004120620.tif 000008
【００６６】
以上、実施形態について説明したが、本発明は、例えば、変換符号化方式の１つであるＤＶフォーマットからＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などへの高速変換を可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへの広い適用が可能である。
【００６７】
【発明の効果】
以上に詳細に説明したように、本発明によれば、変換符号化によって圧縮符号化された動画像情報を直接的に利用することで変換符号化係数の基底変換およびサンプリング変換を高速に実現することにより、従来の画素領域まで完全に復号する変換方式を比較して高速に変換することができる。
【００６８】
また、マクロブロックにおける変換符号化の種類（符号化モード）の分布からフレーム構造とフィールド構造を選択して変換を行うことから、符号化情報の一部を利用する従来の変換方式と比較しても、適切な符号化方式を高速かつ効率的選択することができ、また、出力する符号化情報での画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る符号化動画像変換装置の一実施形態のブロック構成図である。
【図２】図１における処理を示すフローチャートである。
【図３】輝度信号についてのＤＣＴ係数の変換処理のフローチャートである。
【図４】２４８／フィールド変換の説明図である。
【図５】サンプリングが異なる色差信号についてのＤＣＴ係数の変換処理のフローチャートである。
【図６】２４８／８８変換に用いられるテーブルの説明図である。
【図７】８８／２４８変換に用いられるテーブルの説明図である。
【図８】２４８／フィールド変換に用いられるテーブルの説明図である。
【図９】４１１／４２２変換に用いられるテーブルの説明図である。
【図１０】４２２フレーム／フィールド変換に用いられるテーブルの説明図である。
【図１１】４２２／４２０変換に用いられるテーブルの説明図である。
【符号の説明】
１１・・・符号情報抽出部、１２・・・逆量子化部、１３・・・ＤＣＴ係数変換部、１４・・・量子化部、１５・・・再符号化部
【図１】
2004120620.tif 000009
【図２】
2004120620.tif 000010
【図３】
2004120620.tif 000011
【図４】
2004120620.tif 000012
【図５】
2004120620.tif 000013
【図６】
2004120620.tif 000014
【図７】
2004120620.tif 000015
【図８】
2004120620.tif 000016
【図９】
2004120620.tif 000017
【図１０】
2004120620.tif 000018
【図１１】
2004120620.tif 000019