FIT（情報科学技術フォーラム）2003

LJ-019

DV-MPEG 変換における係数を利用した解像度変換とサンプリング変換の統合
The integration of resize and sampling transformations using the DCT coefficientsfor DV-MPEG conversion
加藤 晴久 †
Haruhisa KATO

佐野 卓 ‡
Takashi SANO中島 康之 †
Yasuyuki NAKAJIMA
881.

DV(Digital Video) は入力や編集が容易であるが，25Mbps の固定レートであるため情報量が多く配信や蓄積が困難である．よって，DV より圧縮率の高い MPEG-2/-4 への変換が求められている．これまで筆者らは DV の符号化情報を利用した高速 ME 方式を提案し，MPEG の符号化処理を軽減する方式 [1] を提案したが，更に低ビット

323.

異なる基底を用いた従来の解像度変換法

従来の解像度変換法として，8x8DCT 係数の低域 nxn
成分を nxn の DCT 係数と見做し，n/8 サイズの画素を得る方式が提案されている．ベースバンド変換と比べ，8 次の IDCT が n 次の基底に置き換わり，同時に解像度も変換できるため，演算量が軽減できる．但し，DV から MPEGへの変換にはサンプリング変換が別途必要であり，最終的に DCT 係数を得るためには 8x8DCT も必要である．

4.

W )t(1)

ここで t は転置操作を表す．ベースバンドによる IDCT，色差変換，解像度変換，DCT をまとめて行列表現するとMPEG の色差成分 8x8DCT 係数 V は式 (2) で表される．

V = T (Nh (Mh ((St UT )Lw )Mw )Nw )T t
† (株)KDDI 研究所, KDDI R&D Labratories Inc.
‡ 東京理科大学, Tokyo University of ScienceStUT(2)StUTLw   8% $ (& )' #  16DCT8DCT8Pixel !
    " # Pixel
4:2:0



MhStUTLwMw

NhMhStUTLwMwNw

TNhMhStUTLwMwNwTt

図 1: 色差成分における 4:1:1->4:2:0 サンプリン
グ変換と 1/2 解像度変換

ここで，T は 8x8DCT 変換行列を表し，S は行列 T を対角に 4 つ並べた 32x32 行列を表す．また，Lw は 4:4:4 を得るための水平方向へ 4 倍する拡大行列，Mw , Mh は 4:2:0を得るための 1/2 倍の縮小行列，Nw , Nh は解像度変換行列を表す．DCT 変換行列 T は固定だが，行列 L, M, N は任意の補間または間引手段を設定することができる．入力の DCT 係数行列 U 以外はすべて定数行列なので，予め計算することで演算回数を削減できる．例えば，隣接 4点の平均による 1/2 縮小変換は行列 Nw , Nh を式 (3) のように設定する．
1

1
Nh = Nwt = 2

ベースバンドで DV(4:1:1) を MPEG(4:2:0) にサンプリング変換し，1/2 に解像度変換する処理を図 1に示す．
DV の色差成分において垂直方向 4 組の 8x8DCT 係数(X,Y, Z,W ) を式 (1) に示す 32x8 行列 U として表す．

ZU

Pixel
4:4:4       
 

16

4.1 ベースバンド変換の行列表現

Y

Pixel
4:1:18解像度変換と色差変換を統合する提案法

U = (XDCTRU

DV と MPEG におけるサンプリングの相違

NTSC の DV は色差信号を水平方向にだけ 1/4 に間引いた 4:1:1 フォーマットを使用する．一方，MPEG は色差信号を水平方向に 1/2 に間引いた 4:2:2 フォーマット，または 4:2:2 フォーマットを垂直方向に 1/2 に間引いた4:2:0 フォーマットを使用する．いずれもサンプリング方式が異なるため色差信号の変換が必要となる．

  

IDCTレート化を実現するためには低解像度への変換も必要となる．本稿では DV の符号化情報を利用したフォーマット変換と解像度変換を統合することで，圧縮データ上で高速に低解像度の MPEG へ変換する方式を検討する．

2.

32

序論



1
111







1
1

11

11 1
1 1(3)

1 1

4.2 変換の統合と高速演算手法
式 (2) において 4 倍の拡大 (Lw ) と 2 つの 1/2 倍の縮小 (Mw , Nw ) の積が単位行列 E になるように設定すること
で，行列 U の右から掛かる定数行列はすべて打ち消すことができる．さらに，行列 N の要素 ni, j に対して，式 (4)が成り立つとき，式 (2) の定数行列の積に対称性が現れる
ので，加算を優先することで乗算回数を削減できる．

ni, j = nx−i,y− j(0 ≤ i ≤ x, 0 ≤ j ≤ y)(4)

式 (3) の行列 Nw , Nh は式 (4) の条件を満たすので，式 (2)の行列 U の左から掛かる定数行列の積を行列 R と置くと
式 (5) に示す対称性が現れる．

261

FIT（情報科学技術フォーラム）2003

39.8

R = T Nh Mh S = ( ABHAH )

HBH

39.6

(5)

39.4

V = RUPSNR (dB)

ここで，A, B は 8x8 部分行列を表し，H は 8x8 単位行列を 1 行おきに正負を反転した行列を表す．色差変換と解像度変換の統合は式 (6) のように変換行列 R を掛けることで実現する．

39.2
39.0

 
 DCT  

38.8
38.6(6)38.4

4.2.1 変換行列 R の対称性を利用した演算量の削減
式 (1) と式 (5) を式 (6) に代入すると式 (7) が得られる．

38.2
02468101214bit rate (Mbps)

V = AX + BY + HBHZ + HAHW

(7)
図 2: Cb 成分における色差変換と解像度変換後の画質比較

さらに式 (7) の左から両辺に行列 H を掛け，式 (7) と加減算すると，式 (8) と式 (9) に纏められる．

(E + H)V = (E + H)A(X + HW ) + (E + H)B(Y + HZ)(8)(E − H)V = (E − H)A(X − HW ) + (E − H)B(Y − HZ)(9)
式 (8) と式 (9) 中の (E ± H) はランクが足らないため逆行列が存在しない．よって，両辺に同じ (E ± H) が掛けられていても打ち消しあうことはできない．ここで，(E ± H)の性質を考えると，左から掛けた場合は掛けられた行列が1 行おきに 0 になる．つまり式 (8) と式 (9) の右辺は 1 行おきに行列 V と等しいので，すべてを計算する必要はな
く，それぞれ一致する行だけを計算することで演算量を削減することができる．また，部分行列 A, B の偶数行目は絶対値が等しく，かつ 1 列おきに正負が反転しているので，式 (11) で行列 J を定義すると式 (10) が成立する．

(E + H)B = J(E + H)AJ
1
J=


−1
−11
1−1−1(10)(11)の差は見られなかった．両方式は代数的に同一であるた
め画質劣化は存在しない．一方，従来方式は提案方式に比べ画質が最大 0.31dB 劣化した (図 2)．複雑なシーンや高ビットレートほど PSNR の差が大きいことから，近似した DCT 基底による劣化だけではなく，高域成分の欠損も画質劣化に影響している．インターレースの DV は垂直方向に大きな DCT 係数が現れやすく，従来方式が用いる低域 4x4 成分では近似が不十分であると考えられる．

5.2 計算量の比較
式 (9),(12),(13) において，行列 H, J の各要素は 1 または-1 なので，行列 H, J と任意行列との積は正負符号の反転だけで乗算は必要ない．また，(E ± H), (E ± J) と任意行列の積も，対応する行を 0 に置き換えるだけで乗算は必要ない．提案法と従来法の演算量を比較すると表 1のようになる．但し，表には従来法におけるアップサンプル，ダウンサンプルの処理は含んでいない．従来法の演算量
は Chen による高速 DCT 変換法を元に算出した．提案方式は変換に従来方式の 4 倍の要素を用いるにも関わらず，提案方式に必要な演算量は低域だけを用いる従来方式とほぼ同程度に抑えられる．

1

表 1: 色差変換と解像度変換の演算量

次に，式 (8) の左から両辺に行列 J を掛け，式 (8) と加減算すると，式 (10) から式 (12) と式 (13) に纏められる．

変換を統合した提案法(E + J)(E + H)V = (E + J)(E + H)A((X + HW ) + J(Y + HZ))
4x4DCT を使う従来法(12)ベースバンド変換方法(E − J)(E + H)V = (E − J)(E + H)A((X + HW ) − J(Y + HZ))
(13)
(E ± J) との積も行ごとに 0 になるため，式 (12) からは行列 V の 0 行目と 4 行目が求まり，式 (13) からは 2 行目と6 行目が求まる．部分行列 A, B の対称性は偶数行目だけなので，行列 V の奇数行目については式 (9) から求める．

5.

シミュレーション結果と考察

5.1 画質の比較
DV を MPEG I-picture(M = N = 1,360x240,30fps,1min)に変換する実験は提案方式とベースバンド変換に PSNR

乗算回数

加算回数

432 ( 96.4%)
448 (100.0%)1280 (285.7%)

664 ( 98.8%)
672 (100.0%)2080 (309.5%)(回 / block)

6. 結論
DV-MPEG 変換における色差変換と解像度変換の統合を提案した．対称性を備える変換行列を導き，演算量を削減する方式を示した．提案方式はベースバンド変換と同一の画質を保ち，従来方式と同等の演算量を達成した．

参考文献[1] H.Kato et.al., “A fast motion estimation algorithm for
DV to MPEG-2 conversion”, ICCE, WAM10.6, 2002.

262