(57)【要約】  【課題】ある方式で符号化された符号化情報を復号して得られる変換符号化係数を用い、符号化方式と解像度が異なる符号化情報へ、変換符号化係数領域で高速かつ高精度に変換可能にすること。  【解決手段】符号化係数取得部１は、第１の符号化方式の符号化情報を復号して変換符号化係数を取得する。動き予測部２は、符号化係数取得部１で取得された変換符号化係数と参照変換符号化係数を用いて動き情報を生成する。予測誤差情報生成部３は、符号化係数取得部１で取得された変換符号化係数および動き予測部２で生成された動き情報を用いて変換符号化係数領域で動き補償を行って参照変換符号化係数を生成するとともに、予測誤差情報を生成する。基底変換部４は、予測誤差情報生成部３で生成された予測誤差情報の変換符号化の基底を変化させる。  【選択図】図１
2005136804.tif 000002
【特許請求の範囲】
【請求項１】
第１の符号化方式で符号化された符号化情報を前記第１の符号化方式とは異なる第２の符号化方式の符号化情報に変換するとともに、異なる解像度に変換して出力する符号化動画像変換装置において、
第１の符号化方式の符号化情報を復号して変換符号化係数を取得する符号化係数取得部と、
前記符号化係数取得部で取得された変換符号化係数と参照変換符号化係数に基づいて動き情報を生成する動き予測部と、
前記符号化係数取得部で取得された変換符号化係数および前記動き予測部で生成された動き情報を用いて変換符号化係数領域で動き補償を行って参照変換符号化係数を生成するとともに、予測誤差情報を生成する予測誤差情報生成部と、
前記予測誤差情報生成部で生成された予測誤差情報の変換符号化の基底を変化させる基底変換部とを備えたことを特徴とする符号化動画像変換装置。
【請求項２】
前記符号化係数取得部は、第１の符号化方式の符号化情報を部分的に復号して変換符号化係数の一部だけを取得し、低次の基底による変換符号化係数を出力することを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項３】
前記低次の基底は、前記第２の符号方式の基底とは異なることを特徴とする請求項２に記載の符号化動画像変換装置。
【請求項４】
前記動き予測部は、前記符号化係数取得部で取得された変換符号化係数および参照変換符号化係数からそれぞれ生成された縮小画像間において動き情報を探索することを特徴とする請求項１ないし３のいずれか２に記載の符号化動画像変換装置。
【請求項５】
前記動き予測部は、前記縮小画像に対して整数画素単位以上の高精度で動き情報を探索することを特徴とする請求項４に記載の符号化動画像変換装置。
【請求項６】
前記動き予測部は、変換符号化係数の特徴に応じて動き情報の探索の精度を異ならせることを特徴とする請求項４または５に記載の符号化動画変換装置。
【請求項７】
前記予測誤差情報生成部は、前記符号化係数取得部で取得された変換符号化係数と動き補償された変換符号化係数との差である予測誤差情報を求める減算器と、前記減算器からの予測誤差情報を量子化して量子化済み予測誤差情報を出力する量子化部と、前記量子化部からの量子化済み予測誤差情報を逆量子化する逆量子化部と、前記逆量子化部からの量子化誤差を含む予測誤差情報と動き補償された予測変換符号化係数とを加算して参照変換符号化係数を出力する加算器と、前記加算器からの参照変換符号化係数を格納するフレームメモリと、前記フレームメモリからの参照変換符号化係数と前記動き予測部で生成された動き情報に基づいて動き補償された予測変換符号化係数を求め、該予測変換符号化係数を前記減算器と加算器に出力する動き補償部とを備えることを特徴とする請求項１ないし６のいずれかに記載の符号化動画像変換装置。
【請求項８】
前記予測誤差情報生成部は、変換符号化係数の単位をまたがる領域から再構成した符号化変換係数を用いて動き補償を行うことを特徴とする請求項１ないし７のいずれかに記載の符号化動画像変換装置。
【請求項９】
前記予測誤差情報生成部は、複数の変換符号化係数単位を一括して処理して動き補償を行うことを特徴とする請求項１ないし８のいずれかに記載の符号化動画像変換装置。
【請求項１０】
前記予測誤差情報生成部は、動き補償テーブルと乗算器と加算器を備え、動き補償を行うに際して前記動き補償テーブルの要素と変換符号化係数との行列積を導出することを特徴とする請求項１ないし９のいずれかに記載の符号化動画像変換装置。
【請求項１１】
前記予測誤差情報生成部は、前記動き補償テーブルの部分集合の対称性を勘案して変換符号化係数との乗算回数を低減する演算順序で前記動き補償テーブルの要素と変換符号化係数との行列積を導出することを特徴とする請求項１０に記載の符号化動画像変換装置。
【請求項１２】
前記動き補償テーブルは、水平成分と垂直成分をそれぞれ個別に保持することを特徴とする請求項１０に記載の符号化動画像変換装置。
【請求項１３】
前記動き補償テーブルは、低次の基底による復号処理と動き情報が取り得る全てのシフト演算と前記第２の符号化方式の基底による符号化処理とを予め計算して求められた数値を保持することを特徴とする請求項１０に記載の符号化動画像変換装置。
【請求項１４】
前記基底変換部は、予測誤差情報における基底を前記第２の符号化方式の基底に変換することを特徴とする請求項１ないし１３のいずれかに記載の符号化動画像変換装置。
【請求項１５】
前記基底変換部は、基底変換テーブルと乗算器と加算器を備え、前記基底変換テーブルの要素と変換符号化係数との行列積を導出することを特徴とする請求項１ないし１４のいずれかに記載の符号化動画像変換装置。
【請求項１６】
前記基底変換テーブルは、低次の基底による復号処理と前記第２の符号化方式の基底による符号化処理とを予め計算して求められた数値を保持することを特徴とする請求項１５に記載の符号化動画像変換装置。
【請求項１７】
前記基底変換部は、前記基底変換テーブルの部分集合の対称性を勘案して変換符号化係数との乗算回数を低減する演算順序で前記基底変換テーブルの要素と変換符号化係数との行列積を導出することを特徴とする請求項１５に記載の符号化動画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化動画像変換装置に関し、特に、ある方式で変換符号化された符号化情報を復号して得られる変換符号化係数を用い、符号化方式と解像度が異なる符号化情報へ、高速かつ高精度に変換することができる符号化動画像変換装置に関するものである。
【背景技術】
【０００２】
従来、種々の動画像符号化方式が知られており、ある方式で符号化された情報を他の方式で共有するためには符号化変換が必要である。この符号化方式変換として、例えば、ＤＶ（Digital Video）フォーマットからＭＰＥＧフォーマットへの変換がある。
【０００３】
符号化情報の方式および解像度（大きさ）を変換する場合、ある方式で符号化された符号化情報を画素領域まで完全に復号してから異なる方式および解像度へ再符号化する手法（第１の手法）がある。ＤＶフォーマットからＭＰＥＧフォーマットへの変換の場合、ＤＶフォーマットで符号化された圧縮符号化情報を一旦、完全に画素領域まで復号した後、改めて再符号化してＭＰＥＧフォーマットに変換する。
【０００４】
また、ある方式で符号化された圧縮符号化情報そのものまたはその一部を復号した情報を用いて異なる方式および解像度で符号化された情報に変換する手法（第２の手法）も知られている。ＤＶフォーマットからＭＰＥＧフォーマットへの変換の場合、ＤＶフォーマットで符号化された圧縮符号化情報を可変長復号と逆量子化によってＤＣＴ係数まで部分的に復号し、復号されたＤＣＴ係数を基にＤＶフォーマットからＭＰＥＧフォーマットへ変換する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、圧縮符号化情報を完全に画素領域まで復号した後、改めて再符号化する第１の手法では、演算量が膨大になり、処理速度が遅いという課題がある。
【０００６】
第２の手法では、圧縮符号化情報やＤＣＴ係数を再利用してフォーマット変換および動き予測を行うが、動き補償は画素領域で行うため、第１の手法と同じ課題を抱える。さらに、ＤＶフォーマットへのＤＣＴ変換では、低次の基底のＤＣＴ係数で近似しているため画質の劣化が著しい。
【０００７】
本発明の目的は、前述した従来技術の課題を解決し、ある方式で符号化された符号化情報を復号して得られる変換符号化係数を用い、符号化方式と解像度が異なる符号化情報へ、変換符号化係数領域で高速かつ高精度に変換することができる符号化動画像変換装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記した課題を解決するために、本発明は、第１の符号化方式で符号化された符号化情報を前記第１の符号化方式とは異なる第２の符号化方式の符号化情報に変換するとともに、異なる解像度に変換して出力する符号化動画像変換装置において、第１の符号化方式の符号化情報を復号して変換符号化係数を取得する符号化係数取得部と、前記符号化係数取得部で取得された変換符号化係数と参照変換符号化係数に基づいて動き情報を生成する動き予測部と、前記符号化係数取得部で取得された変換符号化係数および前記動き予測部で生成された動き情報を用いて変換符号化係数領域で動き補償を行って参照変換符号化係数を生成するとともに、予測誤差情報を生成する予測誤差情報生成部と、前記予測誤差情報生成部で生成された予測誤差情報の変換符号化の基底を変化させる基底変換部とを備えたことを第１の特徴とする。
【０００９】
また、本発明は、前記符号化係数取得部が、第１の符号化方式の符号化情報を部分的に復号して変換符号化係数の一部だけを取得し、低次の基底による変換符号化係数を出力することを第２の特徴とする。また、本発明は、前記低次の基底が、前記第２の符号方式の基底と異なることを第３の特徴とする。
【００１０】
また、本発明は、前記動き予測部が、前記符号化係数取得部で取得された変換符号化係数および参照変換符号化係数からそれぞれ生成された縮小画像間において動き情報を探索することを第４の特徴とする。また、本発明は、前記動き予測部が、前記縮小画像に対して整数画素単位以上の高精度で動き情報を探索することを第５の特徴とする。また、本発明は、前記動き予測部が、変換符号化係数の特徴に応じて動き情報の探索の精度を異ならせることを第６の特徴とする。
【００１１】
また、本発明は、前記予測誤差情報生成部が、前記符号化係数取得部で取得された変換符号化係数と動き補償された変換符号化係数との差である予測誤差情報を求める減算器と、前記減算器からの予測誤差情報を量子化して量子化済み予測誤差情報を出力する量子化部と、前記量子化部からの量子化済み予測誤差情報を逆量子化する逆量子化部と、前記逆量子化部からの量子化誤差を含む予測誤差情報と動き補償された予測変換符号化係数とを加算して参照変換符号化係数を出力する加算器と、前記加算器からの参照変換符号化係数を格納するフレームメモリと、前記フレームメモリからの参照変換符号化係数と前記動き予測部で生成された動き情報に基づいて動き補償された予測変換符号化係数を求め、該予測変換符号化係数を前記減算器と加算器に出力する動き補償部とを備えることを第７の特徴とする。
【００１２】
また、本発明は、前記予測誤差情報生成部が、変換符号化係数の単位をまたがる領域から再構成した符号化変換係数を用いて動き補償を行うことを第８の特徴とする。また、本発明は、前記予測誤差情報生成部が、複数の変換符号化係数単位を一括して処理して動き補償を行うことを第９の特徴とする。
【００１３】
また、本発明は、前記予測誤差情報生成部が、動き補償テーブルと乗算器と加算器を備え、動き補償を行うに際して前記動き補償テーブルの要素と変換符号化係数との行列積を導出することを第１０の特徴とする。
【００１４】
また、本発明は、前記予測誤差情報生成部が、前記動き補償テーブルの部分集合の対称性を勘案して変換符号化係数との乗算回数を低減する演算順序で前記動き補償テーブルの要素と変換符号化係数との行列積を導出することを第１１の特徴とする。また、本発明は、前記動き補償テーブルが、水平成分と垂直成分をそれぞれ個別に保持することを第１２の特徴とする。
【００１５】
また、本発明は、前記動き補償テーブルが、低次の基底による復号処理と動き情報が取り得る全てのシフト演算と前記第２の符号化方式の基底による符号化処理とを予め計算して求められた数値を保持することを第１３の特徴とする。
【００１６】
また、本発明は、前記基底変換部が、予測誤差情報における基底を前記第２の符号化方式の基底に変換することを第１４の特徴とする。また、本発明は、前記基底変換部が、基底変換テーブルと乗算器と加算器を備え、前記基底変換テーブルの要素と変換符号化係数との行列積を導出することを第１５の特徴とする。
【００１７】
また、本発明は、前記基底変換テーブルが、低次の基底による復号処理と前記第２の符号化方式の基底による符号化処理とを予め計算して求められた数値を保持することを第１６の特徴とする。
【００１８】
また、本発明は、前記基底変換部が、前記基底変換テーブルの部分集合の対称性を勘案して変換符号化係数との乗算回数を低減する演算順序で前記基底変換テーブルの要素と変換符号化係数との行列積を導出することを第１７の特徴とする。
【発明の効果】
【００１９】
本発明では、符号化方式の変換と解像度変換を、計算量の多い逆変換を行うことなく、変換符号化係数領域で行う。これにより、変換符号化によって圧縮符号化された動画像情報を直接的に利用して変換符号化係数の基底変換までを高速に実現することができる。
【００２０】
また、縮小画像間での動き探索を用いた動き予測において高解像度かつ高精度の動き情報を推定することにより、出力サイズが異なっていても動き情報を高速かつ適切に決定することが可能になる。さらに、動き補償をも変換符号化領域で実現し、低次の変換符号化係数を利用し、動き予測や動き補償処理において定数行列などをテーブルなどとして保持することにより演算量を大幅に削減することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る符号化動画像変換装置の原理を示すブロック図である。まず、第１の符号化方式の符号化情報を符号化係数取得部１で復号して変換符号化係数を取得する。ここで取得する変換符号化係数は、復号そのままのものでも、例えば低次の基底で、出力すべき第２の符号化方式の基底とは異なるものでもよい。以後の変換処理は、取得された変換符号化を用いて変換符号化係数領域で行われる。
【００２２】
動き予測部２は、符号化係数取得部１で取得された変換符号化係数と後述の予測誤差情報生成部３で生成された参照変換符号化係数に基づいて動き情報を生成する。予測誤差情報生成部３は、符号化係数取得部１で取得された変換符号化係数および動き予測部２で生成された動き情報を用いて変換符号化係数領域で動き補償を行って参照変換符号化係数を生成するとともに、第２の符号化方式とは異なる基底の予測誤差情報を生成する。
【００２３】
基底変換部４は、予測誤差情報生成部３で生成された予測誤差情報の基底を変化させ、第２の符号化方式の符号化情報として出力する。
【００２４】
図２は、第１の符号化方式の符号化情報がＤＶフォーマットであり、第２の符号化方式の符号化情報がＭＰＥＧフォーマットである場合の、本発明の実施形態のブロック図である。もちろん、本発明は、ＤＶフォーマットとＭＰＥＧフォーマット間の変換に限定されるものではない。
【００２５】
図２において、符号化係数取得部２１は、入力されたＤＶフォーマットの圧縮符号化情報を部分的に復号して８×８ＤＣＴ係数の低域４×４成分を取得し、基底の違いを調整するための定数を乗じて減算器２２と第１の縮小画像生成部２８に出力する。
【００２６】
減算器２２は、符号化係数取得部２１で取得された１フレーム分の低域４×４ＤＣＴ係数と動き補償された１フレーム分の予測４×４ＤＣＴ係数の差を求め、１フレーム分の４×４ＤＣＴ係数の差分値である予測誤差情報を出力する。動き補償された１フレーム分の予測４×４ＤＣＴ係数は、後述の動き補償部２７から出力される。
【００２７】
量子化部２３は、減算器２２で得られた予測誤差情報を量子化し、量子化済み予測誤差情報（量子化済み低域４×４ＤＣＴ係数）を逆量子化部２４と基底変換部３１に出力する。逆量子化部２４は、量子化部２３で得られた量子化予測誤差情報を逆量子化し、量子化誤差を含んだ予測誤差情報を出力する。
【００２８】
加算器２５は、逆量子化部２４で得られた量子化誤差を含んだ予測誤差情報と動き補償された１フレーム分の予測４×４ＤＣＴ係数を加算し、１フレーム分の参照４×４ＤＣＴ係数を求め、フレームメモリ２６に出力する。ここで用いる動き補償された１フレーム分の予測４×４ＤＣＴ係数も後述の動き補償部２７から出力される。
【００２９】
フレームメモリ２６は、加算器２５で得られた１フレーム分の参照４×４ＤＣＴ係数を格納し、これを符号化する順序に応じて１フレーム分の参照４×４ＤＣＴ係数として動き補償部２７と第２の縮小画像生成部２９に出力する。
【００３０】
動き補償部２７は、フレームメモリ２６から得られた１フレーム分の参照４×４ＤＣＴ係数を動きベクトルを用いて４×４ＤＣＴ係数上で動き補償して前の１フレーム分の予測４×４ＤＣＴ係数を生成し、これを減算器２２と加算器２５に出力する。
【００３１】
第１の縮小画像生成部２８は、符号化係数取得部２１で取得された１フレーム分の低域４×４ＤＣＴ係数のうちの２×２ＤＣＴ係数を加減算のみからなる２×２ＩＤＣＴで処理して縮小画像を生成し、この縮小画像を動き予測部３０に出力する。
【００３２】
第２の縮小画像生成部２９は、フレームメモリ２６から得られた１フレーム分の低域４×４ＤＣＴ係数のうちの２×２ＤＣＴ係数を加減算のみからなる２×２ＩＤＣＴで処理して縮小画像を生成し、この縮小画像を動き予測部３０に出力する。
【００３３】
動き予測部３０は、第１の縮小画像生成部２８で得られた縮小画像と第２の縮小画像生成部２９で得られた縮小画像との間の動きベクトルを探索し、探索した動きベクトルを動き補償部２７に出力する。
【００３４】
動き予測部３０で、オーバサンプリングにより１／４pel精度まで動きベクトルの探索を行い、出力サイズにスケーリングした動きベクトルを出力するようにすれば、高解像度かつ高速に動きベクトルを得ることができる。また、ＤＣＴ係数のＡＣ成分や量子化情報に応じて動きベクトルの探索精度を異ならせることもできる。例えば、ＤＣＴ係数のＡＣ成分が多い場合、動きベクトルの精度低下による画質低下は目立たないので、その探索精度を低くすることにより計算量を低減させることができる。
【００３５】
基底変換部３１は、量子化部２３で得られた量子化済み予測誤差情報をＤＣＴ係数上でＭＰＥＧフォーマットの８×８ＤＣＴ係数に変換し、量子化済み８×８ＤＣＴ係数を可変長符号化部３２へ出力する。
【００３６】
可変長符号化部３２は、基底変換部３１で得られた量子化済み８×８ＤＣＴ係数と動き補償部３０で得られた動きベクトルを可変長符号化し、バッファ３３に出力する。
【００３７】
バッファ３３は、可変長符号化部３２で得られたＭＰＥＧフォーマットのデータを一時的に保持し、送出する。レート制御部３４は、バッファ３３に保持された符号量をもとに量子化パラメータを決定し、量子化部２３からの情報発生量を制御する。
【００３８】
次に、動き補償部１７における演算処理について説明する。動き補償する場合、１６組の４×４ＤＣＴ係数は、前フレームの２５組の４×４ＤＣＴ係数にまたがることがあるので、以下では、ＤＣＴ係数領域において動きベクトルと２５組の４×４ＤＣＴ係数から１６組の４×４ＤＣＴ係数を取得して動き補償する場合を例として説明する。
【００３９】
動きベクトルの水平成分，垂直成分ともに４の倍数である場合は、１つのブロックは前フレームの複数のブロックにまたがらないので、該当する場所のＤＣＴ係数を取得して処理を終了する。それ以外の場合、複数のブロックにまたがるのでＤＣＴ係数をそれらのブロックから取得して再構成する必要がある。
【００４０】
まず、動きベクトルの水平成分，垂直成分ともに４の倍数でない場合、動きベクトルが指す領域を含む２５組の４×４ＤＣＴ係数Ｘｍ，ｎを下記（１）式のように１つの２０×２０行列Ｐとして表す。
【００４１】
【数１】
2005136804.tif 000003
【００４２】
ここで、ベースバンドによる動き補償処理を行列形式で表現すると、動きベクトル（ｉ，ｊ）に対する８×８ＤＣＴ係数行列Ｑは下記（２）式で表される。
【００４３】
【数２】
2005136804.tif 000004
【００４４】
ここで、Ｔｎは、ｎ次のＤＣＴ変換行列（本例の場合、ｎ＝４）を表し、演算子ｔは、転置操作を表す。また、行列Ｗｊ，Ｈｉはそれぞれ、１６×１６要素を取得するために入力された動きベクトルに応じて変化する１６×２０行列、２０×１６行列であり、動きベクトルが整数画素単位の場合には下記（３），（４）式で表すことができる。
【００４５】
【数３】
2005136804.tif 000005
【００４６】
【数４】
2005136804.tif 000006
【００４７】
ここで、Ｅｎは、ｎ次の単位行列（本例の場合、ｎ＝４）を表す。また、０ｉ，０ｊはそれぞれ、１６×ｉの０行列、ｊ×１６の０行列を表す。つまり、１６×２０行列Ｈｉ内の１６×１６単位行列Ｅ１６は動きベクトルの水平成分の４による剰余で前後する。同じく、２０×１６行列Ｗｊ内の１６×１６単位行列Ｅ１６は動きベクトルの垂直成分の４による剰余で前後する。いずれも、剰余が０でない３通りを取り得るので、予め計算して保持しておくことができる。
【００４８】
また、動きベクトルが半画素単位の場合、行列Ｗｊ，Ｈｉはそれぞれ、下記（５），（６）式で表すことができる。
【００４９】
【数５】
2005136804.tif 000007
【００５０】
【数６】
2005136804.tif 000008
【００５１】
ここで、上記（５）式における０と１／２と１とからなる半画素生成行列は１６×２０行列であり、上記（６）式における０と１／２と１とからなる半画素生成行列は２０×１６行列である。いずれの場合でも、上記（２）式において入力ＤＣＴ係数行列Ｐ以外はすべて定数行列であるので、それらを予め計算して格納しておくことにより演算回数を削減することができる。
【００５２】
さらに、上記（２）式の定数行列の積を求めると、下記（７）式のように対称性が現れる。下記（７）式は、低次の基底による復号処理と動きベクトルが取り得るすべてのシフト演算（ＨｉあるいはＷｉ）とＭＰＥＧ（第２の符号化）方式の基底による符号化処理の組合せである。
【００５３】
【数７】
2005136804.tif 000009
【００５４】
ここで、Ａｉ，Ｂｉ，Ｃｊ，Ｄｊは４×４行列を表す。
【００５５】
上記（２）式に上記（７）式を適用すると、ＤＣＴ係数領域で動き補償されたＤＣＴ係数行列Ｑは、下記（８）式で表される。下記（８）式のＰの両側に掛かる〔  〕を動き補償テーブルとして予め保持させておけば、乗算器と加算器を使用して動き補償テーブルの要素とＤＣＴ係数との行列積を導出することにより、ＤＣＴ係数行列Ｑを計算することができる。
【００５６】
また、動きテーブルの部分集合の対称性を利用し、一度演算した結果を再度演算することなく利用し得る演算順序にすれば、計算の高速化を図ることができる。さらに、下記（８）式のＰの両側に掛かる〔  〕を別々に、すなわち水平成分と垂直成分をそれぞれ個別に動き補償テーブルに保持させるようにしてもよい。
【００５７】
【数８】
2005136804.tif 000010
【００５８】
上記（１）式を用い、上記（８）式を展開すると、下記（９）式が導出される。変換符号化係数を下記（９）式に従って一括処理することにより動き補償を行うことができる。ここで、α〜μは、下記（１０）〜（２１）式で表される。
【００５９】
【数９】
2005136804.tif 000011
【００６０】
【数１０】
2005136804.tif 000012
【００６１】
【数１１】
2005136804.tif 000013
【００６２】
【数１２】
2005136804.tif 000014
【００６３】
【数１３】
2005136804.tif 000015
【００６４】
【数１４】
2005136804.tif 000016
【００６５】
【数１５】
2005136804.tif 000017
【００６６】
【数１６】
2005136804.tif 000018
【００６７】
【数１７】
2005136804.tif 000019
【００６８】
【数１８】
2005136804.tif 000020
【００６９】
【数１９】
2005136804.tif 000021
【００７０】
【数２０】
2005136804.tif 000022
【００７１】
【数２１】
2005136804.tif 000023
【００７２】
上記（９）式の右辺括弧内の式は、共通する部分が多く、上記（１０）〜（２１）式を計算した結果を保持することで演算量を削減することができる。また、解像度変換行列はＡｉ，Ｂｉ，Ｃｊ，Ｄｊだけであるので、格納に必要なメモリ量を小さく抑えることが可能になる。
【００７３】
特に動きベクトルの成分が偶数の場合には、Ｂｉ＝ＨＡｉＨ、Ｄｊ＝ＨＣｊＨが成り立つので、さらなる高速化と省メモリ化が可能になる。ここで、Ｈは下記（２２）式で表される行列である。
【００７４】
【数２２】
2005136804.tif 000024
【００７５】
動きベクトルの水平成分，垂直成分のいずれか一方が４の倍数で、他方が４の倍数でない場合は、４の倍数の成分に係る処理を省略することが可能である。例えば、動きベクトルの水平成分が４の倍数の場合は入力ＤＣＴ係数行列Ｐを２０×１６行列に設定し、垂直成分が４の倍数の場合は入力ＤＣＴ係数行列Ｐを１６×２０行列に設定することにより演算量を削減することが可能になる。
【００７６】
次に、基底変換部２１における演算処理について説明する。以下では、４組の４×４ＤＣＴ係数を１組の８×８ＤＣＴ係数に基底変換する場合を例として説明する。
【００７７】
はじめに４組の４×４ＤＣＴ係数Ｘ，Ｙ，Ｚ，Ｗを下記（２３）式のように１つの８×８行列Ｕとして表す。
【００７８】
【数２３】
2005136804.tif 000025
【００７９】
ベースバンドによる基底変換処理を行列式で表現すると、基底変換された８×８ＤＣＴ係数行列Ｖは、下記（２４）式で表される。
【００８０】
【数２４】
2005136804.tif 000026
【００８１】
ここで、Ｔｎは、ｎ次のＤＣＴ変換行列を表し、演算子ｔは、転置操作を表す。入力ＤＣＴ係数行列Ｕ以外はすべて定数行列であるので、それらを予め計算して格納しておくことにおり演算回数を削減することができる。
【００８２】
また、上記（２４）式の定数行列の積は、下記（２５）式のように対称性が現れる。下記（２５）式は、低次の基底による復号処理とＭＰＥＧ（第２の符号化）方式の基底による符号化処理の組合せである。
【００８３】
【数２５】
2005136804.tif 000027
【００８４】
ここで、Ａ，Ｂは４×４行列を表し、単項演算子「′」は斜め格子状に正負符号を反転させる操作を表す。単項演算子「′」は下記（２６）式で表現することができる。
【００８５】
【数２６】
2005136804.tif 000028
【００８６】
ここで、Ｈは上記（２２）式で表される行列である。
【００８７】
上記（２４）式に上記（２５）式を適用すると、基底変換された８×８ＤＣＴ係数行列Ｖは、下記（２７）式で表される。下記（２７）式のＵの両側に掛かる〔  〕を基底変換テーブルとして予め保持させておけば、乗算器と加算器を使用して基底変換テーブルの要素とＤＣＴ係数との行列積を導出することにより、ＤＣＴ係数行列Ｖを計算することができる。また、基底変換テーブルの部分集合の対称性を利用し、一度演算した結果を再度演算することなく利用し得る演算順序にすれば、計算の高速化を図ることができる。
【００８８】
【数２７】
2005136804.tif 000029
【００８９】
上記（２７）式を展開すると、下記（２８）式が導出される。
【００９０】
【数２８】
2005136804.tif 000030
【００９１】
上記（２８）式の括弧内の式（例えば、（ＡＸ＋Ａ′Ｚ），（ＡＹ＋Ａ′Ｗ））は、それぞれ左右で等しいので、括弧内の式を計算した結果を保持することで演算量を削減することができる。また、解像度変換行列はＡ，Ｂだけであるので、格納に必要なメモリ量を小さく抑えることが可能になる。
【００９２】
さらに、上記（２８）式の右辺左上の４×４部分行列をωと置くと、下記（２９）式が得られる。
【００９３】
【数２９】
2005136804.tif 000031
【００９４】
上記（２９）式の前後から行列Ｈ（上記（２６）式）を掛け、下記（３１）式の関係を利用すると、単項演算子「′」が反転し、斜め格子状に正負が反転した下記（３０）式が得られる。ただし、ここでの式変形には、単位行列Ｅについての下記（３１）式を利用する。
【００９５】
【数３０】
2005136804.tif 000032
【００９６】
【数３１】
2005136804.tif 000033
【００９７】
上記（２９）式と上記（３０）式を加算すると、下記（３２）式が得られる。
【００９８】
【数３２】
2005136804.tif 000034
【００９９】
また、上記（３２）式に対して前から行列Ｈを掛け、上記（３１）式の関係を利用すると、下記（３３）式が得られる。
【０１００】
【数３３】
2005136804.tif 000035
【０１０１】
上記（３２）式と上記（３３）式を加算すると、下記（３４）式が得られる。
【０１０２】
【数３４】
2005136804.tif 000036
【０１０３】
上記（３４）式の左辺を展開し、右辺を（Ｘ＋Ｗ′＋ＨＺ＋ＹＨ）で統一すると、下記（３５）式が得られる。
【０１０４】
【数３５】
2005136804.tif 000037
【０１０５】
最後に上記（３５）式を因数分解すると、下記（３６），（３７）式が得られる。
【０１０６】
【数３６】
2005136804.tif 000038
【０１０７】
【数３７】
2005136804.tif 000039
【０１０８】
上記（３７）式の両側から掛かる（Ｅ＋Ｈ）は、下記（３８）式に示すようにランクが足りないため、逆行列が存在しない。従って、上記（３７）式において両辺に同じ（Ｅ＋Ｈ）が掛けられていても打ち消し合うことはできない。
【０１０９】
【数３８】
2005136804.tif 000040
【０１１０】
ここで、上記（３８）式の性質を考えると、（Ｅ＋Ｈ）を前から掛けた場合は掛けられた行列が２行目から１行おきに０になり、後ろから掛けた場合は掛けられた行列が２列目から１列おきに０になる。
【０１１１】
上記（３８）式の左辺のωは、両側から（Ｅ＋Ｈ）が掛けられているため、１行、１列ごとに０に置き換えられ、左上格子状要素だけが残る。右辺も同様に両側から（Ｅ＋Ｈ）が掛けられているため、左上格子状要素だけが残る。格子状に残った要素の左辺と右辺は一致する。つまり、左上格子状の位置でのみ求めるべき部分行列ω（上記（２９）式）に等しいので、Ａ（Ｘ＋Ｗ′＋ＨＺ＋ＹＨ）Ａｔの一致する位置だけを計算することで演算量を削減することが可能になる。
【０１１２】
一方、左上格子状要素以外の成分は、上記（２９）式と上記（３０）の加算および上記（３２）式と上記（３３）式の加算を、それぞれ減算に組み替えることで得られる下記（３９）〜（４１）式に従って計算することができる。
【０１１３】
【数３９】
2005136804.tif 000041
【０１１４】
【数４０】
2005136804.tif 000042
【０１１５】
【数４１】
2005136804.tif 000043
【０１１６】
以上から、求めるべき８×８ＤＣＴ係数の左上４×４要素にあたる部分行列ωを１つおきの要素ごとに異なる４つの変換式で求めることができる。この演算手法は、左右から掛ける行列（ＡまたはＢ）が異なるだけで、上記（２８）式の右上，左下，右下の残る３組の４×４部分行列にも当てはまる。さらに、部分行列の計算過程で共通する部分も多いため、その途中計算結果を保持することで総合的な演算量を削減することが可能になる。
【０１１７】
以上のことから、基底変換部３１で基底変換して８×８ＤＣＴ係数全体を求めるには、まず、入力された４組の４×４ＤＣＴ係数Ｘ，Ｙ，Ｚ，Ｗから下記（４２）式で示す和と差を求めて保持しておく。
【０１１８】
【数４２】
2005136804.tif 000044
【０１１９】
ここで、上記（４２）式では行列Ｈを掛けているが、行列Ｈを前から掛ける場合は掛かる行列の行の正負符号を反転し、行列Ｈを後ろから掛ける場合は掛かる行列の列の正負符号を反転するだけで対応できるので、乗算の実行は不要である。
【０１２０】
次に、下記（４３）式で示す和と差を求めて保持しておく。
【０１２１】
【数４３】
2005136804.tif 000045
【０１２２】
次に、下記（４４）式で行列積を計算する。この場合、０要素以外の１列おきにのみ要素を計算すればよい。ただし、最も上の行を１行目、最も左の列を１列目としたとき、任意の行列Ｘに対してＸ（Ｅ＋Ｈ）／２は、偶数列を０に置き換え、Ｘ（Ｅ−Ｈ）／２は、奇数列を０に置き換える処理に相当する。よって、括弧の中の乗算は省略可能であるので、予め計算した結果を解像度変換行列として保持しておく。
【０１２３】
【数４４】
2005136804.tif 000046
【０１２４】
最後に下記（４５）〜（４８）式で行列の積和を計算する。ただし、Ｖｊｉは、上記（２８）式の部分行列を表し、出力すべき基底変換された行列である。ここで、任意の行列Ｘに対して（Ｅ＋Ｈ）Ｘ／２は、偶数行を０に置き換え、（Ｅ−Ｈ）Ｘ／２は、奇数行を０に置き換える処理に相当する。よって、括弧の中の乗算は省略可能であるので、予め計算した結果を解像度変換行列として保持しておく。
【０１２５】
また、左辺の各行列積は、格子状にのみ有効な要素が存在するので、要素間の結合に足し算する必要はない。下記（４５）〜（４８）式における２項演算子「∪」は和集合を表し、各計算結果から必要な要素だけを取り纏めることで解像度変換を完了する。
【０１２６】
以上、実施形態について説明したが、本発明は、例えば、変換符号化方式の１つであるＤＶフォーマットからＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などへの高速変換を可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへの広い適用が可能である。
【図面の簡単な説明】
【０１２７】
【図１】本発明に係る符号化動画像変換装置の原理を示すブロック図である。
【図２】本発明の一実施形態を示すブロック図である。
【符号の説明】
【０１２８】
１，２１・・・符号化係数取得部、２，３０・・・動き予測部、３・・・予測誤差情報生成部、４，３１・・・基底変換部、２２・・・減算器、２３・・・量子化部、２４・・・逆量子化部、２５・・・加算器、２６・・・フレームメモリ、２７・・・動き補償部、２８，２９・・・縮小画像生成部、３２・・・可変長符号化部、３３・・・バッファ、３４・・・レート制御部
【図１】
2005136804.tif 000047
【図２】
2005136804.tif 000048