(57)【要約】  【課題】変換符号化を利用した情報そのものまたはその一部だけを復号した情報に対して、任意の解像度変換と符号化方式変換を高速かつ高精度に施すことを可能にする。  【解決手段】符号化情報抽出部２１は、変換符号化によって圧縮された動画像の符号化情報を取得する。行列演算部２３は、符号化情報抽出部２１で取得された符号化情報と統合変換行列との行列演算を実行し、変換された符号化情報を求める。符号化情報出力部２４は、行列演算部２３で求められた符号化情報を出力する。変換行列生成部２２は、変換符号化の基底に応じて個々の行列積を統合した変換行列を近似した近似変換行列と量子化行列とから統合変換行列を生成する。  【選択図】図２
2006191475.tif 000002
【特許請求の範囲】
【請求項１】
変換符号化された情報を異なる解像度に変換するとともに符号化方式を変換する符号化動画像変換装置において、
変換符号化によって圧縮された動画像の符号化情報を取得する符号化情報取得手段と、
前記符号化情報取得手段で取得された符号化情報と、変換符号化の基底に応じて個々の行列積を統合した変換行列を近似した近似変換行列と量子化行列とから生成された統合変換行列との行列演算を実行し、変換された符号化情報を求める演算手段と、
前記演算手段で求められた符号化情報を出力する出力手段を具備したことを特徴とする符号化動画像変換装置。
【請求項２】
前記符号化情報取得手段は、符号化情報として変換符号化係数の一部だけを取得することを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項３】
前記変換行列による解像度変換は任意に設定されることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項４】
前記変換行列は、行毎あるいは列毎に基準となる要素を１つ持つことを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項５】
前記基準となる要素は、量子化誤差が小さい低周波成分であることを特徴とする請求項４に記載の符号化動画像変換装置。
【請求項６】
前記変換行列に応じて近似方法が変えられていることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項７】
前記近似変換行列は、負荷の軽い演算で処理できるように表現されていることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項８】
前記近似変換行列は、前記変換行列におけるある要素の２のべき乗あるいは整数倍で近似されていることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項９】
前記近似変換行列は、前記基準となる要素で構成される対角行列を使って分離されることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項１０】
前記対角行列の複数が統合されていることを特徴とする請求項９に記載の符号化動画像変換装置。
【請求項１１】
前記統合された対角行列が量子化行列と統合されていることを特徴とする請求項１０に記載の符号化動画像変換装置。
【請求項１２】
前記近似変換行列は、変換符号化の基底や近似精度に応じて複数用意されることを特徴とする請求項１に記載の符号化動画像変換装置。
【請求項１３】
前記近似変換行列は、変換速度と画質のどちらを優先させるかの選択に従って切り替えられることを特徴とする請求項１２に記載の符号化動画像変換装置。
【請求項１４】
入力あるいは出力情報に従って前記複数の近似変換行列が切り替えられることを特徴とする請求項１２に記載の符号化動画像変換装置。
【請求項１５】
入力情報の量子化情報、変換符号化情報の値や配置、あるいは出力情報の量子化情報が切替の判断基準とされることを特徴とする請求項１４に記載の符号化動画像変換装置。
【請求項１６】
変換符号化において異なる基底が混在する場合、それぞれの基底に対する変換行列が合成されることを特徴とする請求項１２に記載の符号化動画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化動画像変換装置に関し、特に、変換符号化を利用した情報そのものまたはその一部だけを復号した情報に対して、任意の解像度変換と符号化方式変換を高速かつ高精度に施すことができる符号化動画像変換装置に関する。
【背景技術】
【０００２】
DV機器の普及とノンリニア編集環境の拡充により、DV(Digital Video)フォーマットで圧縮符号化された映像を取り扱う機会が増してきている。特に、DVデータはIEEE1394を経由することで直接PCに取り込むことができるので、高画質のまま編集できるという利点がある。
【０００３】
しかし、DVの高画質は、25Mbpsもの高い符号化ビットレートに支えられており、DVデータの蓄積や転送には大容量・高帯域の環境が求められる。例えば、4.7GBの容量を記録できるDVDのメディアですら25MbpsのDVデータは僅か25分しか記録できない。
【０００４】
一方、インターネットや携帯端末で広く利用されているMPEG-4は、数十kbps〜数Mbps程度の可変ビットレートで符号化されるので、DVのように固定ビットレートにするためのパディングビットを挿入する必要もなく、また、MPEGはDVと異なり、フレーム間の時間的相関を利用して符号化するため、高い圧縮率で高画質を実現できる。
【０００５】
したがって、低いビットレートで高画質を得るために、DVフォーマットからMPEG-4フォーマットへの効率的な変換方式の確立がブロードバンドやモバイル環境での映像伝送アプリケーションで重要な課題となっている。その他の種々の動画像符号化方式間においても、ある方式で変換符号化された情報を他の符号化方式の情報に変換することにより、情報の共有化を図ることができる。
【０００６】
解像度変換を伴う符号化方式変換技術は、画素領域での変換方式（第１の手法）と符号領域での変換方式（第２の手法）に分類できる。第１の手法では、ある方式で符号化された圧縮符号化情報を完全に画素領域まで復号し解像度変換を行った後、異なる方式の情報に変換する。DVフォーマットからMPEGフォーマットへの変換の場合、DVフォーマットで符号化された圧縮符号化情報を一旦、完全に画素領域まで復号し解像度変換を行った後、改めてMPEGフォーマットに再符号化する。
【０００７】
また、第２の手法では、ある方式で符号化された圧縮符号化情報そのものまたはその一部を復号した情報を用いて異なる方式および解像度の情報に変換する。DVフォーマットからMPEGフォーマットへの変換の場合、DVフォーマットで符号化された圧縮符号化情報を可変長復号と逆量子化によってDCT係数まで復号し、復号されたDCT係数を基にDVフォーマットからMPEGフォーマットへ変換する。特許文献１には、8×8単位で変換されているDCT係数から低域4×4成分を抽出し、DCT係数を直接利用して1/2に解像度変換する方式が提案されている。
【特許文献１】特開２００１−１３６５２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、圧縮符号化情報を完全に画素領域まで復号し解像度変換を行った後、改めて再符号化する第１の手法では、演算量が膨大になり、処理速度が遅いという課題がある。また、復号した膨大な非圧縮データを一時的に保持するための広大なデータ領域が必要なるという課題もある。
【０００９】
第２の手法では、DCT係数などの圧縮符号化情報そのものを使って解像度変換を実現するため、第１の手法より高速に処理できる。しかし、特許文献１に記載された方式のように、変換符号化に用いた直交基底と異なる直交基底で復号して変換した場合、画素領域まで復号して変換した場合と異なる画像が生じ、画質の劣化が著しいという課題がある。また、復号と解像度変換だけを統合しているため、出力するフォーマットへの変換符号化が必要になる上、解像度変換に自由度がないという課題もある。
【００１０】
本発明者らは、これまでにDVフォーマットからMPEG-4フォーマットへの変換などの変換を符号化領域で高速に実現する方式を提案した。この高速化の基本的な考えは、変換行列の局所的な対称性を利用し、重複する演算を排除するというものである。これでは、変換行列の共通部分を抽出する行列を定義し、必要な成分だけを演算することで高速化を実現しており、演算自体は画素領域まで復号して変換した場合と数学的に等価であるため、画質劣化のない変換が可能となっている。しかし、高速化の効果が限られ、さらに、DV特有の2×4×8DCT係数については、予めMPEGで用いられる8×8DCT係数へ変換する必要があるため、2×4×8DCT係数が増えると高速演算の効果が相殺される恐れがある。
【００１１】
本発明の目的は、上記課題を解決し、変換符号化を利用した情報そのものまたはその一部だけを復号した情報に対して、任意の解像度変換と符号化方式変換を高速かつ高精度に施すことができる符号化動画像変換装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明は、変換符号化された情報を異なる解像度に変換するとともに符号化方式を変換する符号化動画像変換装置において、変換符号化によって圧縮された動画像の符号化情報を取得する符号化情報取得手段と、前記符号化情報取得手段で取得された符号化情報と、変換符号化の基底に応じて個々の行列積を統合した変換行列を近似した近似変換行列と量子化行列とから生成された統合変換行列との行列演算を実行し、変換された符号化情報を求める演算手段と、前記演算手段で求められた符号化情報を出力する出力手段を具備したことを基本的特徴としている。
【発明の効果】
【００１３】
本発明では、変換符号化によって符号化された情報を直接的に利用して変換符号化係数の解像度変換および符号化方式変換を実現しているので、完全に画素領域まで復号してから変換を行う方式に比較して高速に変換することが可能である。また、変換処理を量子化処理と統合することにより乗算をなくすことができ、解像度変換および符号化方式変換を極めて高速にできる。また、本発明は、変換符号化に用いたのと同じ基底で復号することに相当するので、符号化情報を異なる基底で復号してから変換を行う方式と比較して出力される変換符号化係数のSNRを向上させることが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明を説明する。図１は、ベースバンドによる変換処理を示すブロック図であり、DVデータから抽出したDCT係数をベースバンドで解像度変換および符号化方式変換する演算過程を示す。DVデータのDCT係数を可変長復号部(VLD)１１、逆量子化部(IQ)１２および逆DCT変換部(IDCT)１３に通して画素領域まで復号する。続いて解像度変換部(Resize)１４で解像度変換を行い、DCT変換部(DCT)１５、量子化部(Q)１６および可変長符号化部(VLC)１７に通してMPEGデータを出力する。
【００１５】
この変換処理では、逆量子化された1組以上のDCT係数を入力とし、1組以上のDCT係数を出力する。ここで、4組の8×8DCT係数を入力とし、1組の8×8DCT係数を出力するものとし、入力を16×16行列Xで表し、出力を8×8行列Yで表すと、ベースバンドによる変換処理は、式(1)のように表される。
【００１６】
【数１】
2006191475.tif 000003
【００１７】
ここで、Tｎは、n×nDCT変換行列を表し、演算子ｔは、転置操作を表す。つまりTｎｔはTｎの転置行列を表す。また、Rh，Rvはそれぞれ水平方向、垂直方向の解像度変換行列であり、この解像度変換行列により任意に縮小、拡大する解像度変換を設定することができる。例えば、隣接4点の平均による1/2解像度変換の場合、式(4)を使った行列Rhａｖｅ，Rvａｖｅをそれぞれ式(2)、(3)のように設定し、これらを式(1)のRh，Rvとして用いればよい。
【００１８】
【数２】
2006191475.tif 000004
【００１９】
【数３】
2006191475.tif 000005
【００２０】
【数４】
2006191475.tif 000006
【００２１】
DVデータのようにインタレースで入力されるものでは、垂直方向の解像度変換行列Rvに式(3)の行列Rvａｖｅを設定すると、フィールドが平均されるので出力画像がぼやけてしまうことがある。これを防ぐには、解像度変換行列Rvに、式(6)を使った式(5)に示す間引き行列Rvｓｕｂを設定してフィールドドロップで縮小するようにすればよい。もちろん、プログレッシブなデータの場合には間引き行列Rvｓｕｂを設定する必要はない。また、その他、スケーリングやせん断、回転などの任意の変換の設定も可能であり、入出力のサイズも限定されず、任意である
【００２２】
【数５】
2006191475.tif 000007
【００２３】
【数６】
2006191475.tif 000008
【００２４】
解像度変換行列Rh，Rvを設定したとき、入出力のDCT係数行列X，Y以外は全て定数行列であるので、予め計算して格納しておくことで演算回数を削減できる。式(1)のX左側の定数行列の積である変換行列、右側の定数行列の積である変換行列をそれぞれA,Bと置き、解像度変換行列Rh，RvとしてRhａｖｅ，Rvｓｕｂを用いると、変換行列A,Bは式(7),(8)で表され、式(1)は式(9)で表される。
【００２５】
【数７】
2006191475.tif 000009
【００２６】
【数８】
2006191475.tif 000010
【００２７】
【数９】
2006191475.tif 000011
【００２８】
本発明では、変換行列A,Bを近似し、さらに量子化処理と統合することによって変換処理の高速化を可能にする。まず、変換行列A,Bの近似について説明する。DVフォーマットからMPEGフォーマットへの変換などではDCT係数の正確さは必ずしも重要でない。DCT係数は量子化処理を経て符号化されるため、DCT係数は量子化誤差を内包する。特にMPEG-4が想定する低ビットレートでは量子化が粗いため、量子化誤差が比較的大きい。したがって、量子化誤差を考慮するとDCT係数に厳密な精度は必ずしも必要ではなく、解像度変換を適用する際にDCT係数に多少の誤差を許容することができる。
【００２９】
そこで、まず、変換行列A,Bを近似して近似変換行列を生成する。この近似は、計算量が小さくなるように、例えば各変換行列についてある要素を基準として各要素を2のべき乗で表現することで行う。一般に量子化パラメータは高周波成分ほど粗く設定されるので、低周波成分にかかる要素を基準として2のべき乗で近似し、乗算をシフト演算で可能とすることにより計算量を削減できる。また、乗算を僅かな加算で表現できる場合にはシフト演算よりも加算の計算負荷が軽くなるので、このような場合には変換行列の要素を整数倍で近似することにより実質的に計算量を削減できる。一般的には、負荷の軽い演算で処理できるような表現で変換行列を近似する。
【００３０】
変換行列A,Bは、式(11),(13)を使って式(10),(12)で近似される。ここで、A＊,B＊は近似の基準となる要素からなる対角行列である。なお、diag( )は、( )内の要素が斜め方向に並び、他の要素の全て0である対角行列を意味する。変換行列Aは行毎に基準となる要素を1つ持ち、変換行列Bは列毎に基準となる要素を1つ持つ。この近似により、乗算演算より高速なシフトあるいは加算演算で処理可能なように変換行列A,Bの各要素を表現できる。
【００３１】
【数１０】
2006191475.tif 000012
【００３２】
【数１１】
2006191475.tif 000013
【００３３】
【数１２】
2006191475.tif 000014
【００３４】
【数１３】
2006191475.tif 000015
【００３５】
出力する8×8DCT係数の行列Y(式(9))は、式(15),(16)を使って式(14)のように書き直すことができる。
【００３６】
【数１４】
2006191475.tif 000016
【００３７】
【数１５】
2006191475.tif 000017
【００３８】
【数１６】
2006191475.tif 000018
【００３９】
次に、上記近似変換行列を用いた変換処理と量子化処理の統合について説明する。行列A＊およびB＊は、いずれも8次の正方行列で対角成分以外はすべて0の対角行列である。従って、もともと乗算数は少ないが、量子化と同じ操作である演算子を(×)で表し、対角行列の性質に注目すると、この演算子(×)を使って式(17)が成り立つ。
【００４０】
【数１７】
2006191475.tif 000019
【００４１】
ここで、演算子(×)は同位置の要素毎の乗算を表し、Iはすべての要素が1である8×8行列である。演算子(×)は結合則、可換則が成り立つので、量子化行列をQとすると、式(18)に示すように変換処理に量子化処理を統合することができる。ここで、行列〈X〉はシフト演算あるいは加算で計算することができ、行列A＊,B＊の唯一の乗算をMPEGの量子化処理と統合することができる。これによれば、量子化テーブルを置き換えることで解像度変換からすべての乗算をなくすことができるので変換処理の大幅な高速化を実現できる。
【００４２】
【数１８】
2006191475.tif 000020
【００４３】
図２は、本発明に係る符号化動画像変換装置の一実施形態を示すブロック図である。同図に示すように、本符号化動画像変換装置は、符号化情報抽出部２１、変換行列生成部２２、行列演算部２３、符号化情報出力部２４を備える。
【００４４】
符号化情報抽出部２１は、入力された符号化情報から量子化されている変換符号化情報を抽出し、行列演算部２３に出力する。変換行列生成部２２は、変換行列が近似された近似変換行列と量子化行列から統合変換行列を生成する。なお、変換行列と量子化行列は、解像度変換および符号化方式変換が決まれば全て定数行列となるので、統合変換行列の生成は変換処理に先だって予め行うことができ、符号化動画像変換装置とは別に行うこともできる。また、解像度変換は任意の縮小、拡大に設定することができる。
【００４５】
行列演算部２３は、変換行列生成部２２で生成された統合変換行列と符号化情報抽出部２１で抽出された変換符号化情報の行列演算を行い、符号化情報を出力する。符号化情報出力部２４は、行列演算部２３で得られた符号化情報を、出力する符号化動画像のフォーマットで可変長符号化し出力する。
【００４６】
以下に、変換行列A,Bを近似して計算量を削減する手法について具体的に説明する。ここでは、変換行列A,Bにおける部分行列A００,A″００,A１０,A″１０,B００,B０１,B′００,B′０１が図３に示される具体的数値を持つ場合を考える。また、4組の8×8DCT係数行列Xに対して式(19)のように、それぞれの8×8DCT係数に対して低域4×4部分行列以外(48要素)を0に設定して低域部分のみを利用するものとする。これは高周波成分を予め排除することに相当し、解像度変換処理に伴うリンギングを抑えるので画質向上に貢献するとともに、0要素数の増加により演算量の削減効果も期待できる。
【００４７】
【数１９】
2006191475.tif 000021
【００４８】
ここで、Xｉｊは入力された4組の8×8DCT係数行列Xの4×4部分行列を表す。式(7)と式(8)および式(19)を式(9)に適用すると、解像度変換および符号化変換されて出力される8×8DCT係数行列Yは、A[X]Bで近似される。この行列積A[X]Yを展開すると、行列Yの近似は式(21)を使って式(20)で求められる。
【００４９】
【数２０】
2006191475.tif 000022
【００５０】
【数２１】
2006191475.tif 000023
【００５１】
解像度変換行列が式(2)のように行列の幾何学的な中心に対して点対称であれば、変換行列Bには共通要素を持つ部分行列が現れる。式(8)において、Bｉｊはそれぞれ異なる4×4部分行列を表し、部分行列B′ｉｊは部分行列Bｉｊと斜め格子状に正負符号が異なるが、絶対値は一致する。そこで、部分行列B００とB′００で一致する要素と正負が反転している要素とに分離した行列B＋００とB−００をそれぞれ式(22),(23)のように定義する。
【００５２】
【数２２】
2006191475.tif 000024
【００５３】
【数２３】
2006191475.tif 000025
【００５４】
ここで、bｉｊは変換行列Bを構成するスカラーを表す。式(22),(23)を使うと、部分行列B００とB′００は、式(24),(25)のように表すことができる。なお、部分行列B０１とB′０１についても同じように分離することができる。
【００５５】
【数２４】
2006191475.tif 000026
【００５６】
【数２５】
2006191475.tif 000027
【００５７】
式(7)において、Aｉｊ,A″ｉｊは互いに異なる4×4部分行列を表す。ただし、解像度変換行列Rvｓｕｂは幾何学的な中心に対して点対称ではないので、変換行列Aに式(8)のような対称性は現れない。部分行列AｉｊとA″ｉｊには共通する要素もあるが、多くの要素は異なる。
【００５８】
このように、変換行列AｉｊとA″ｉｊには絶対値が異なる要素も存在するため、独自の要素を定義する。例えば、A００とA″００については、一致する要素、正負が反転している要素、A００独自の要素、A″００独自の要素に分離した行列A＋００,A−００,A†００,A‡００を式(26),(27),(28),(29)のように定義する。
【００５９】
【数２６】
2006191475.tif 000028
【００６０】
【数２７】
2006191475.tif 000029
【００６１】
【数２８】
2006191475.tif 000030
【００６２】
【数２９】
2006191475.tif 000031
【００６３】
ここで、aｉｊは変換行列Aを構成するスカラーを表す。このとき、変換行列A００、A″００は式(30),(31)のように表すことができる。
【００６４】
【数３０】
2006191475.tif 000032
【００６５】
【数３１】
2006191475.tif 000033
【００６６】
解像度変換行列Rh，Rvにそれぞれ平均行列Rhａｖｅ，間引き行列Rvｓｕｂを設定したとき、式(33)〜(36)、式(38)〜(41)を使って変換行列AおよびBを式(32),(37)で近似する。ここでは、近似による誤差を最小限に抑えるため、低周波成分の絶対値が小さい場合は絶対値が大きな成分を基準とし、乗算回数を削減するために、変換行列Aを行毎に2のべき乗で表現し、変換行列Bを列毎に2のべき乗で表現している。
【００６７】
【数３２】
2006191475.tif 000034
【００６８】
【数３３】
2006191475.tif 000035
【００６９】
【数３４】
2006191475.tif 000036
【００７０】
【数３５】
2006191475.tif 000037
【００７１】
【数３６】
2006191475.tif 000038
【００７２】
【数３７】
2006191475.tif 000039
【００７３】
【数３８】
2006191475.tif 000040
【００７４】
【数３９】
2006191475.tif 000041
【００７５】
【数４０】
2006191475.tif 000042
【００７６】
【数４１】
2006191475.tif 000043
【００７７】
ここで、A＊,B＊は式(42),(43)に示す近似の基準となる要素からなる対角行列である。なお、diag( )は、( )内の要素が斜め方向に並び、他の要素の全て0である対角行列を意味する。すなわち、変換行列Aは行毎に基準となる要素を1つ持ち、変換行列Bは列毎に基準となる要素を1つ持つ。式(42)のａ００,・・・,ａ７０は、変換行列Aにおける行毎の基準要素であり、式(43)のb００,・・・,b０７は、変換行列Bにおける列毎の基準要素である。ここでは、DCや低周波成分についての誤差が小さくなるように考慮されている。以上のようにして、対角行列A＊,B＊を使って変換行列A,Bを近似し、分離する。式(32)〜(43)に示されるように、変換行列AとBの近似方法は異なっている。もちろんこの近似方法は一例にすぎない。
【００７８】
【数４２】
2006191475.tif 000044
【００７９】
【数４３】
2006191475.tif 000045
【００８０】
出力する8×8DCT係数の近似行列〈Y〉は、式(32)〜(43),(45)〜(47)を使って式(44)のように書き直すことができる。
【００８１】
【数４４】
2006191475.tif 000046
【００８２】
【数４５】
2006191475.tif 000047
【００８３】
【数４６】
2006191475.tif 000048
【００８４】
【数４７】
2006191475.tif 000049
【００８５】
ここで、〈A（ｎ）ｉｊ〉は、シフト演算回数を削減するため、A（ｎ）ｉｊの第n行だけから構成される4×4部分行列である。第n行以外はすべて0で埋められる。また、〈B＋ｉｊ〉は、式(22)における0以外の要素を〈Bｉｊ〉から抽出して埋め、それ以外を0で埋めた4×4部分行列であり、〈B−ｉｊ〉は、式(23)における0以外の要素を〈Bｉｊ〉から抽出して埋め、それ以外を0で埋めた4×4部分行列である。
【００８６】
乗算は右辺の両端にある行列A＊およびB＊との行列積だけであるので、予め両端以外の行列積を先に計算し、両端の行列積の対象を小さくすると演算量は少なくなる。また、乗数A＊,B＊自体が疎行列であるので演算量は少ない。なお、両端以外の行列積では除算が必要なく、シフト演算と加算だけで実現できる。
【００８７】
次に、2×4×8DCT係数が入力された場合にも高速な解像度変換および符号化方式変換を可能にする手法について説明する。入力される4組のDCT係数から構成される行列XにDV特有の2×4×8DCT係数が混在する場合、予め8×8DCT係数への変換処理が必要になる。しかし、2×4×8DCT係数から8×8DCT係数への変換にも一定の計算量が必要となるため、4組とも2×4×8DCT係数の場合にはベースバンド変換よりも計算量が多くなる。
【００８８】
この場合には、予め2×4×8DCT係数を8組の4×8DCT係数に分離しておく。例えば、8組の入力を16×16行列Xで表し、出力を8×8行列Yで表すと、ベースバンドによる変換処理は式(48)のように表される。
【００８９】
【数４８】
2006191475.tif 000050
【００９０】
ここで、Tｎはn×nDCT変換行列を表し、TｎｔはTｎの転置行列を表す。また、Rh，Rvはそれぞれ水平方向、垂直方向の解像度変換行列であり、この解像度変換行列により任意に縮小、拡大するアフィン変換を設定することができる。例えば、水平方向2点の平均による1/2解像度変換の場合、行列Rhとして式(2)のような行列Rhａｖｅを設定する。一方、フィールドドロップによる垂直方向の解像度変換行列Rvには、2×4×8DCT係数がすでにフィールド単位に分離されているため、式(49)のような行列Rvｓｕｂを設定する。ここで、Eｎは、n×n単位行列を表す。
【００９１】
【数４９】
2006191475.tif 000051
【００９２】
このとき、入力行列Xの右から掛ける項は式(8)と同一であるので、入力行列Xの左から掛ける定数行列の積についてだけ考えると、この定数行列の積である変換行列Cは式(50)のように表される。変換行列Cにおける部分行列C００,C′００,C１０,C′１０の具体的数値を図３に示す。
【００９３】
【数５０】
2006191475.tif 000052
【００９４】
ここで、Cｉｊはそれぞれ異なる4×4部分行列を表し、部分行列C′ｉｊは部分行列Cｉｊと斜め格子状に正負符号が異なるが、絶対値は一致する。このとき、変換行列をAからCに置き換えるだけで上記と同じ手法を用いることができる。ただし、2×4×8DCTに対する変換行列Cは、8×8DCTに対する変換行列Aと異なり、共通要素が多く、部分行列単位で絶対値が一致する。変換行列Cは変換行列Bのように分離できるので、計算量は少なく高速に変換できる。
【００９５】
さらに、変換行列Cの部分行列C０１,C０３,C１１,C１３はすべて0行列であるので、入力行列Xの水平方向の高周波成分は自動的に取り除かれる。したがって、上記の手法に比べると、高周波成分を排除した式(19)の入力行列〈X〉を使ってもDCT係数の水平方向の成分は全く失われないので、より高画質が得られる。すなわち、DCT係数の低域4×4要素だけ入力することを考えると、2×4×8DCTを入力する場合は、8×8DCTを入力する場合より高速かつ高画質に変換できる。
【００９６】
DVのエンコーダに依存するが、2×4×8DCTは一般に数が多くない。入力された4組のDCTをすべて2×4×8DCTに変換するための負荷が大きくなる場合には、変換速度を優先させるか画質を優先させるかに従って8×8DCTと2×4×8DCTを使い分けるのがよい。
【００９７】
図４は、8×8DCTと2×4×8DCTの使い分け手法を示すフローチャートである。まず、VLDを通して入力されるDVデータの4組のDCT係数について2×4×8DCTの個数を調べ(S41)、2×4×8DCTの個数が0の場合、変換行列Aを利用した第１の変換を行い(S43)、1の場合にはその2×4×8DCTを8×8DCTに変換(S42)した後、第１の変換を行う(S43)。2×4×8DCTの個数が4の場合、変換行列Bを利用した第２の変換を行い(S44)、3の場合には残りの8×8DCTを2×4×;8DCTに変換(S45)した後、第２の変換を行う(S44)。また、2×4×8DCTの個数が2の場合、それらが横方向に並んでいるか否かを調べ(S46)、横方向に並んでいる場合には変換行列AとCのそれぞれ上半分と下半分を組み合わせた行列を利用した第３の変換を行い(S47)、そうでない場合には8×8DCTを2×4×8DCTに変換(S45)した後、第２の変換を行う(S44)。
【００９８】
このように、8×8DCTと2×4×8DCTが混在した場合は数が多い方に統一させる。2×4×8DCTが1組だけのときは8×8DCTに統一し、2×4×8DCTが3組のときは2×4×8DCTに統一する。2×4×8DCTが2組のときは高画質に変換できる2×4×8DCTで統一する。ただし、2組の2×4×8DCTが水平方向に並ぶときは統一させる必要はなく、変換行列AとCのそれぞれ上半分と下半分を組み合わせた行列を利用できる。第１〜第３の変換により変換されたDCT係数は、VLCを通してMPEGデータとして出力される。
【００９９】
以上、実施形態について説明したが、本発明は種々に変形可能である。例えば、上記具体例では、4組の8×8DCT係数行列Xに対して式(19)のように低域4×4部分行列以外(48要素)を0に設定した行列〈X〉を使用したが、それに加えて高域部分行列を使用することもできる。その場合、高域部分行列を使用した処理を低域部分行列を使用した処理と並列的に実行し、両者の処理結果を加算するようにすればよい。
【０１００】
例えば、式(51)のように高域4×4部分行列X１０,X３０,X１２,X３２以外を0に設定した行列〈X〉を用いる場合、出力される8×8DCT係数行列〈Y〉は、式(53)〜(55)を使って式(52)のように表される。なお、この場合には、A＊,B＊,〈A０１〉,〈A０３〉,〈A１１〉,〈A１３〉などを予め設定しておく。この設定は低域部分行列を使用した場合と同様にしてできる。
【０１０１】
【数５１】
2006191475.tif 000053
【０１０２】
【数５２】
2006191475.tif 000054
【０１０３】
【数５３】
2006191475.tif 000055
【０１０４】
【数５４】
2006191475.tif 000056
【０１０５】
【数５５】
2006191475.tif 000057
【０１０６】
以上のように、4組の8×8DCT係数行列Xの低域4×4部分行列を用い、さらにそれ以外の高域部分行列を適宜組み合わせて用いることにより、要求される画面全体や特定領域の画質を向上させることができる。高域部分行列を組み合わせて用いるかどうかの切り替えは、入力のDVの量子化情報やDCT係数の大小や配置あるいは出力情報の量子化情報に基づいてブロック単位で行うことができる。
【０１０７】
本発明は、ある符号化方式で変換符号化された情報を符号領域で解像度変換するとともに異なる符号化方式の情報へ高速かつ高精度に変換することを可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへ広く適用することができる。
【図面の簡単な説明】
【０１０８】
【図１】ベースバンドによる変換処理を示すブロック図である。
【図２】本発明に係る符号化動画像変換装置の一実施形態を示すブロック図である。
【図３】変換行列の具体的数値を示す図である。
【図４】8×8DCTと2×4×8DCTの使い分け手法を示すフローチャートである。
【符号の説明】
【０１０９】
１・・・可変長復号部(VLD)、２・・・逆量子化部(IQ)、３・・・逆DCT変換部(IDCT)、４・・・解像度変換部(Resize)、５・・・DCT変換部(DCT)、６・・・量子化部(Q)、７・・・可変長符号化部(VLC)、４１・・・符号化情報抽出部、４２・・・変換行列生成部、４３・・・行列演算部、４４・・・符号化情報出力部
【図１】
2006191475.tif 000058
【図２】
2006191475.tif 000059
【図３】
2006191475.tif 000060
【図４】
2006191475.tif 000061