(57)【要約】  【課題】変換符号化によって圧縮された符号化情報そのものまたはその一部だけを復号した情報に対して、それが変換符号化の処理単位に満たない場合でも高効率に解像度変換を施すことを可能にする。  【解決手段】符号化情報抽出部２１は、第１の変換符号化動画像の符号化情報を取得する。この符号化情報を逆量子化部２２に通して行列演算部２３に入力する。行列演算部２３は符号化情報に対して解像度変換を施す。解像度変換された符号化情報を量子化部２６で量子化し、符号化情報出力部２７から第２の変換符号化動画像を出力する。行列演算部２３は、入力される符号化係数と変換行列生成部２５からの解像度変換行列を含む変換行列を用いて符号領域で解像度変換を行い、逆量子化部２２からの符号化係数が符号化変換の処理単位に不足する場合には情報生成部２４からの補填係数行列を補填して解像度変換を行う。  【選択図】図２
2006237814.tif 000002
【特許請求の範囲】
【請求項１】
変換符号化された情報に解像度変換を施す符号化動画像変換装置において、
変換符号化によって圧縮されたフレーム内符号化動画像の符号化情報を取得する符号化情報取得手段と、
前記符号化情報取得手段で取得された符号化情報を逆量子化して符号化係数を求める逆量子化手段と、
前記逆量子化手段で求められた符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求める演算手段と、
前記演算手段で求められた符号化係数を量子化して符号化情報を求める量子化手段と、
前記量子化手段で求められた符号化情報を出力する出力手段を具備し、
前記演算手段は、変換符号化の処理単位に満たない符号化係数に対しては補填係数行列を補填し、該補填係数行列と前記逆量子化手段で逆量子化された符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求めることを特徴とする符号化動画像変換装置。
【請求項２】
前記演算手段は、補填係数行列を符号領域上で補填することを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項３】
前記補填係数行列は、画素の連続性を保つように設定されることを特徴とする請求項２に記載の符号化動画像変換装置。
【請求項４】
前記補填係数行列は、末端の画素の繰り返しあるいは鏡像を利用することを特徴とする請求項３に記載の符号化動画像変換装置。
【請求項５】
前記補填係数行列は、前記逆量子化手段で求められた符号化係数の奇数列ベクトルの正負符号を反転することによって構成されたものであることを特徴とする請求項２に記載の符号化動画像変換装置。
【請求項６】
前記解像度変換行列による解像度変換は任意に設定されることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項７】
前記演算手段は、前記変換行列を分離して得られる行列を利用して行列演算を行うことを特徴とする請求項２に記載の符号化動画像変換装置。
【請求項８】
前記演算手段は、補填係数行列と解像度変換行列を含む変換行列とを統合して行列演算することを特徴とする請求項２に記載の符号化動画像変換装置。
【請求項９】
前記演算手段は、偶数列ベクトルだけを計算し奇数列ベクトルには０を設定することで行列演算を行うことを特徴とする請求項２に記載の符号化動画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化動画像変換装置に関し、特に、変換符号化を利用した情報そのものまたはその一部だけを復号した情報に対して解像度変換を施す際に情報発生量を抑えることができる符号化動画像変換装置に関する。
【背景技術】
【０００２】
符号化動画像変換方式として、DVフォーマットからMPEG-4フォーマットへ変換する方式が提案されている。中でもアフィン変換の一形態としての解像度変換を伴う符号化動画像変換方式は、画素領域（第１の手法）での変換方式と符号領域での変換方式（第２の手法）に分類できる。
【０００３】
第１の手法では、DVフォーマットで符号化された圧縮符号化情報を一旦、完全に画素領域まで復号し解像度変換を行った後、改めてMPEGフォーマットに再符号化する。また、第２の手法では、DVフォーマットで符号化された圧縮符号化情報を可変長復号と逆量子化によってDCT係数まで復号し、復号されたDCT係数を基にDVフォーマットからMPEGフォーマットへ変換する。特許文献１には、8×8単位で変換されているDCT係数から低域4×4成分を抽出し、DCT係数を直接利用して1/2に解像度変換する方式が提案されている。
【０００４】
第２の手法により変換符号化動画像の解像度を変換する場合、変換符号化の処理単位が確保できないことがある。具体的には、変換符号化方式としてDCTを用いるMPEG、JPEGあるいはDVの場合、変換処理単位は8×8画素で構成されている。CCIR601で規定されている720画素×480ラインを縦横1/2に縮小変換するとき、輝度成分に関しては360画素×240ラインとなるため8×8DCTを施すことが可能である。しかし、色差成分に注目するとMPEGやJPEGは4:2:0形式、DVは4:1:1形式を採用しているので、色差成分の解像度はそれぞれ、180画素×120ライン、90画素×240ラインとなる。いずれも8の倍数でないサイズで構成されているため、8×8DCTを施すことが不可能となる。
【０００５】
特許文献２には第１の手法を用いて変換処理単位に満たない情報を変換する方法が提案されている。これでは異なるブロックサイズに対して鏡像でパディングした画素を複数のDCT回路で変換する。
【特許文献１】特開２００１−１３６５２７号公報
【特許文献２】特開平６−４６３９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、すでに変換符号化されている動画像に対して、符号化係数を完全に画素領域まで復号し解像度変換を行った後、改めて再符号化する第１の手法を用いた場合、演算量が膨大になり、処理速度が遅いという課題がある。また、復号した膨大な非圧縮データを一時的に保持するための広大なデータ領域が必要なるという課題もある。
【０００７】
また、第２の手法では、DCT係数などの変換符号化係数そのものを使って解像度変換を実現するので高速に処理できる。しかし、画面の端部において符号化係数が変換符号化の処理単位に満たない場合についての解像度変換の手立ては考えられていない。
【０００８】
本発明の目的は、上記課題を課題を解決し、変換符号化によって圧縮された符号化情報そのものまたはその一部だけを復号した情報に対して、それが変換符号化の処理単位に満たない場合でも高効率に解像度変換を施すことができる符号化動画像変換装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、変換符号化された情報に解像度変換を施す符号化動画像変換装置において、変換符号化によって圧縮されたフレーム内符号化動画像の符号化情報を取得する符号化情報取得手段と、前記符号化情報取得手段で取得された符号化情報を逆量子化して符号化係数を求める逆量子化手段と、前記逆量子化手段で求められた符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求める演算手段と、前記演算手段で求められた符号化係数を量子化して符号化情報を求める量子化手段と、前記量子化手段で求められた符号化情報を出力する出力手段を具備し、前記演算手段は、変換符号化の処理単位に満たない符号化係数に対しては補填係数行列を補填し、該補填係数行列と前記逆量子化手段で逆量子化された符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求めることを基本的特徴としている。
【発明の効果】
【００１０】
本発明によれば、変換符号化によって符号化された情報を直接的に利用して符号化係数の解像度変換が実現されるので、完全に画素領域まで復号してから変換を行う方式に比較して高速に解像度変換を行うことが可能になる。また、符号化係数が解像度変換の変換符号化の処理単位に満たない場合、符号領域上で補填係数行列を補填することにより圧縮効率を高めることが可能となる。特に、入力の符号化係数を操作して鏡像を生成することにより、急激な画素変化を排除することができるだけでなく、無駄な符号化係数の発生を抑えることができるため、圧縮効率の高い解像度変換を実現できる。
【発明を実施するための最良の形態】
【００１１】
まず、ベースバンドによる解像度変換処理について説明する。図１は、ベースバンドによる解像度変換処理を示すブロック図であり、情報発生量を抑えるようにベースバンドで画素情報を補填しながらDCT係数を解像度変換する演算過程を示す。
【００１２】
第１の変換符号化動画像のDCT係数を可変長復号部(VLD)１１、逆量子化部(IQ)１２および逆DCT変換部(IDCT)１３に通して画素領域まで復号する。続いてDCTの処理単位に足りない画面末端部分では補填部１４(Padding)により末端画素を繰り返すように補填する。
【００１３】
その後、解像度変換部(Resize)１５で解像度変換し、解像度変換した画素情報をDCT変換部(DCT)１６で再びDCT係数に変換し、量子化部(Q)１７および可変長符号化部(VLC)１８を介して出力する。この解像度変換処理では、1組以上のDCT係数を入力とし、1組以上のDCT係数を出力する。
【００１４】
ここで、画面幅が360画素などの8の倍数であるが16の倍数でない場合に横1/2に縮小変換する場合を例にとって説明する。この場合、画面右端部分では縦に並ぶ2組だけのDCT係数が入力され、これを元に解像度変換された1組のDCT係数を出力することになる。
【００１５】
画面右端部分に対して入力される縦に並ぶ2組の8×8行列をX０，X１で表し、それに対して出力される1組の8×8行列をYで表すと、ベースバンドによる変換処理で出力される行列Yは、式(1)で表される。なお、行列X０，X１は、逆量子化されたDCT係数が配置された行列である。
【００１６】
【数１】
2006237814.tif 000003
【００１７】
ここで、Tｎはn×nDCT変換行列を表し、演算子tは転置操作を表す。つまりTｎｔはTｎの転置行列を表す。また、Eｎはn×n単位行列を示す。Rh，Rvはそれぞれ水平方向、垂直方向の解像度変換行列であり、この解像度変換行列により任意に縮小、拡大するアフィン変換を設定することができる。P０，P１はそれぞれ画面右端部分に対して、DCTの処理単位での不足分を満たすために補填される8×8の画素行列であり、その画素は任意の方法で生成される。
【００１８】
本発明は、変換符号化によって圧縮された符号化情報そのものまたはその一部だけを復号した情報に対して、それが符号化変換の処理単位に不足する場合でも高効率に解像度変換を施すことができるようにしたものであり、以下、図面を参照して本発明を説明する。
【００１９】
図２は、本発明に係る符号化動画像変換装置の実施形態を示すブロック図である。本実施形態の符号化動画像変換装置は、符号化情報抽出部２１、逆量子化部２２、行列演算部２３、情報生成部２４、変換行列生成部２５、量子化部２６、符号化情報出力部２７を備える。逆DCT変換部(IDCT)およびDCT変換部(DCT)は備えない。
【００２０】
符号化情報抽出部２１は、第１の変換符号化動画像の符号化情報を取得する。逆量子化部２２は、符号化情報抽出部２１で取得された符号化情報を逆量子化して行列演算部２３に入力する。行列演算部２３は符号化情報に対して符号領域で解像度変換を施す。量子化部２６は、解像度変換された符号化情報を量子化し、符号化情報出力部２７は、第２の変換符号化動画像を出力する。
【００２１】
行列演算部２３は、逆量子化部２２からの符号化係数と変換行列生成部２５からの解像度変換行列を含む変換行列を用いて符号領域で解像度変換を行い、逆量子化部２２からの符号化係数が符号化変換の処理単位に不足する場合にはさらに情報生成部２４からの補填係数行列を補填して解像度変換を行う。
【００２２】
まず、行列演算部２３における解像度変換を、符号領域で鏡像を生成して高効率かつ簡単な計算で可能とする手法について説明する。式(1)の行列P０，P１を全ての要素が０であるゼロ行列とすると、式(1)の右辺括弧内の16×16行列の左半分と右半分に不連続が生じる。この不連続によりDCT係数に無用な情報が発生し、圧縮効率の面で不利である。行列P０，P１が補填される部分は符号化変換の処理単位に満たない領域であって元々画面の表示領域外であるので任意の画素を設定しても問題はない。
【００２３】
そこで、行列P０，P１として、画面右端部分での不連続をなくすように設定することとする。不連続をなくすには一般的には終端の画素を繰り返したり、鏡像を利用することが有効である。例えば、鏡像を利用する場合には式(2)のように行列Pｉを設定すればよい。
【００２４】
【数２】
2006237814.tif 000004
【００２５】
ここで、F８は式(3)で示される8×8行列である。この8×8行列F８を右から掛けることで画素配置が水平方向に反転され、鏡像が生成される。
【００２６】
【数３】
2006237814.tif 000005
【００２７】
式(1)は、式(2)を使用すると、式(4)で表すことができる。
【００２８】
【数４】
2006237814.tif 000006
【００２９】
E８＝TｎｔTｎの関係を利用すると、式(4)は式(5)で表される。
【００３０】
【数５】
2006237814.tif 000007
【００３１】
ここで、T８F８T８ｔを行列H８とすると、行列H８は、式(6)で表され、XｉT８F８T８ｔの計算はXｉの奇数列を符号反転するだけで求めることができ、乗算を行う必要はない。したがって、式(5)によれば、符号化変換の処理単位に不足する符号化係数に対して、符号化係数の奇数列を符号反転した符号化係数を付加するだけで符号化変換に必要な符号化係数を補填することができる。つまり、符号領域で符号化係数を補填することができる。さらに、補填された符号化係数は元の符号化係数と鏡像関係にあるため、連結部は滑らかに接続されることになる。これにより、変換後の符号化係数に無用な高周波成分が発生されるのを抑止することができる。
【００３２】
【数６】
2006237814.tif 000008
【００３３】
次に、行列演算部２３における解像度変換の行列演算の際に変換行列を分離することにより高速化を図る手法について説明する。式(5)の右辺両端にある大括弧内は定数行列で構成されているので予め計算しておくことができる。例えば、隣接4点の平均による解像度変換では、式(9)を使ってそれぞれ式(7)、(8)で定義される行列Rh，Rvを設定する。
【００３４】
【数７】
2006237814.tif 000009
【００３５】
【数８】
2006237814.tif 000010
【００３６】
【数９】
2006237814.tif 000011
【００３７】
式(7)，(8)の解像度変換行列Rh，Rvを設定した場合、式(5)の右辺左端にある大括弧を計算した結果を変換行列Aと置くと、この変換行列Aは、式(10)で表される。また、式(5)の右辺右端にある大括弧を計算した結果は変換行列Aを転置した行列Aｔに等しく、式(11)で表される。
【００３８】
【数１０】
2006237814.tif 000012
【００３９】
【数１１】
2006237814.tif 000013
【００４０】
式(5)は、式(6)、(10)、(11)を使うと、式(12)で表すことができる。
【００４１】
【数１２】
2006237814.tif 000014
【００４２】
変換行列Aを式(13)に示すように8×8部分行列に分けて部分行列毎の性質に注目すると、部分行列A０，A１は斜め格子状に正負符号が異なるが、絶対値は一致する。ここでは8×8部分行列を表す。行列H８を使うと、部分行列A０，A１は式(14)の関係で表される。
【００４３】
【数１３】
2006237814.tif 000015
【００４４】
【数１４】
2006237814.tif 000016
【００４５】
部分行列A０，A１で一致する要素と正負が反転している要素に分離した行列A＋，A−をそれぞれ、式(15)，(16)のように定義する。ここで、ａｉｊは変換行列Aを構成するスカラーを表す。式(15)，(16)を使うと、部分行列A０，A１は、式(17)，(18)のように表すことができる。
【００４６】
【数１５】
2006237814.tif 000017
【００４７】
【数１６】
2006237814.tif 000018
【００４８】
【数１７】
2006237814.tif 000019
【００４９】
【数１８】
2006237814.tif 000020
【００５０】
式(14)を使うと、式(12)は式(19)に変形でき、さらに式(17)，(18)を使うと、式(20)に変形できる。式(20)では、補填係数行列と解像度変換行列とが統合されている。ただし、式変形にはE８＝H８２の関係を利用している。
【００５１】
【数１９】
2006237814.tif 000021
【００５２】
【数２０】
2006237814.tif 000022
【００５３】
変換行列Aを分離した行列A＋，A−には0要素数が大幅に増えているため、実質的な乗算数を減じることができる。さらに、式(20)の右辺において右から掛かるE８＋H８は、式(21)で示すように、奇数番目の列ベクトルが0であるため、任意の行列との積は偶数番目の列だけを計算すればよいので計算量が少ない。
【００５４】
【数２１】
2006237814.tif 000023
【００５５】
したがって、式(20)によれば、符号化変換の処理単位に不足する符号化係数において、鏡像補填による連続性保持により無用な高周波成分の発生を抑止できるだけでなく、出力する符号化係数の奇数番目の列ベクトルは常に0になることから情報発生量を大幅に抑えることができ、さらに行列演算部２３での行列演算の負担を軽減することができる。
【００５６】
以上では、変換符号化をDCTとし、解像度変換が4画素平均である場合を例に挙げて説明したが、本発明は、そのような例に限られるものではなく、変換符号化を行う種々の方式間での解像度変換に適用可能である。 
【００５７】
本発明は、ある符号化方式で変換符号化された情報を符号領域で解像度変換する際に符号化変換の処理単位に満たない場合においても高速、高精度かつ高圧縮率に変換することを可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへ広く適用することができる。
【図面の簡単な説明】
【００５８】
【図１】ベースバンドによる解像度変換処理を示すブロック図である。
【図２】本発明に係る符号化動画像変換装置における変換処理を示すブロック図である。
【符号の説明】
【００５９】
１１・・・可変長復号部(VLD)、１２，２２・・・逆量子化部(IQ)、１３・・・逆DCT変換部(IDCT)、１４・・・補填部１４(Padding)、１５・・・解像度変換部(Resize)、１６、２６・・・DCT変換部(DCT)、１７・・・量子化部(Q)、１８・・・可変長符号化部(VLC)、２１・・・符号化情報抽出部、２３・・・行列演算部、２４・・・情報生成部、２５・・・変換行列生成部、２７・・・符号化情報出力部
【図１】
2006237814.tif 000024
【図２】
2006237814.tif 000025