FIT2010（第 9 回情報科学技術フォーラム）I-015
画像局所性を考慮した領域ベース適応補間フィルタ
Region-Based Adaptive Interpolation Filter Exploiting Image Locality
松尾 翔平，坂東 幸浩，高村 誠之，如澤 裕尚

Shohei MATSUO, Yukihiro BANDOH, Seishi TAKAMURA and Hirohisa JOZAWA

1

はじめに加されたエッジ分割手法が選択された場合、Step 1 で小数画素精度の動き補償の性能改善のため、固定係数得られた MV が指し示す参照画像のエッジを計算する。

を用いた H.264/AVC の補間フィルタに対する改良とし対象ブロックに対して、Sobel フィルタを水平および垂て、画像に応じて最適な補間フィルタ係数を導出して適直方向にかけ、その両成分から方向を求め、これにより用する適応補間フィルタが提案されている。本稿では、ブロックを n 種類に分類し、領域番号を付与する。

従来の適応補間フィルタの問題点について言及し、そのStep 3: 領域分割後、各領域ごとに最適な水平方向の改善方法を提案する。

フィルタ係数を導出し、得られたフィルタ係数を用いて、領域ごとに水平方向の補間処理を行う。導出には、式 (1)2

従来補間フィルタとその問題点に示される予測誤差エネルギー関数 Eh を用い、予測誤

従来の適応補間フィルタ [1] はフレーム全体に対して最適なフィルタ係数を導出するため、画面全体が均一な性差エネルギーが最小化するように連立方程式を解いてフィルタ係数を求める。

質を有している場合は最適な手法と言えるが、画面が複数の特徴的な領域に分割される場合、各領域ごとにフィEh (αm,n ) =応補間フィルタ [2] を提案した。

Sx,y −(x,y)∈αm,nルタ係数を最適化することで、残差エネルギーをより削減できると考えられる。そこで、著者らは領域ベース適(∑∑)2
wci · Px̃+ci ,ỹ(1)ci

なお、αm,n は各領域を示しており、m は分割手法番号、n は領域番号を示す。S は原画像、P は復号済参照画像、上述の提案フィルタは、領域分割手法として動きベクトル (以下、MV) の成分や向きを利用する分割や空間

x および y はそれぞれ画像中の水平および垂直方向の座標を示す。また、x̃ = x + MVx − Lh /2 であり、MVx(左右/上下) 分割を用いていたが、画像の有するテクスは MV の水平方向成分、Lh /2 は位置調整のためのオフチャ情報を利用する分割方法は未検討であった。テクス

セット (Lh は水平方向フィルタ長) となる。wci は求めチャ情報の 1 つとして、本稿では画像中のエッジに着目るべき水平方向フィルタ係数群 ci (0 ≤ ci < Lh ) を示す。

した。これは、エッジが画像の構造や模様といった重要な性質を示す指標と考えられるためである。複雑な模様

Step 4: Step 3 と同様に、各領域ごとに最適な垂直方向のフィルタ係数を導出して、得られたフィルタ係数かを持つ物体と単純な模様の背景を有する画像の場合、物ら領域ごとに垂直方向の補間処理を行う。具体的には、体と背景で最適な補間フィルタ係数は異なると推測でき式 (2) に示される予測誤差エネルギー関数 Ev を最小化る。また、フレーム単位で最適な分割手法を選択する機するフィルタ係数を求める。

構も導入し、性能改善を試みる。

3Ev (αm,n ) =領域ベース適応補間フィルタ∑(x,y)∈αm,n()2∑
wcj · P̂x̃,ỹ+cj(2)
Sx,y −cj

フレーム単位で最適な領域分割手法を選択し、分割された領域単位で補間フィルタ係数を最適化する提案手法

なお、αm,n , m, n, S, x および y は Step 3 の定義と同のアルゴリズムを詳述する。

じである。P̂ は Step 3 で得られた水平方向補間処理画

Step 1: 動き補償のブロック単位で最適な MV を導出する。補間には、H.264/AVC の固定係数フィルタを用像を示す。また、x̃ = 4(x + MVx ) であり、MVx は丸めいる。

で表現され、MVy は MV の垂直成分、Lv /2 は調整のた

Step 2: 事前に定義された m 種類の分割手法の中から、めのオフセット (Lv は垂直方向フィルタ長) を示す。wcj

1 つを選択し、その分割手法に応じて、ブロック単位で領域番号 (1〜n) を付与する。例えば、本稿で新たに追られた MV の水平方向成分を示す。ỹ = y + MVy − Lv /2

は求めるべき垂直方向フィルタ係数群 cj (0 ≤ cj < Lv )を示す。

Step 5: 水平および垂直方向の補間処理が終わった画像
日本電信電話株式会社 NTT サイバースペース研究所に対して、再度動きベクトルの探索を行う。

277（第3分冊）

FIT2010（第 9 回情報科学技術フォーラム）分割番号表 1: 領域分割手法の定義
領域 1
領域 2

表 2: H.264/AVC に対する符号化利得 (BD-rate[4] [%])
解像度
従来 [1] Set 1
Set 2
Set 3

2560 × 1600

−4.70−4.94−5.05

−5.14

1

αx < MVx < βxotherwise

1920 × 1080

−5.53−6.03−6.27−6.342

αy < MVy < βyotherwise

1280 × 720

−5.47

−6.00

−6.03

−6.03

3

MV: 第 1/第 3 象限

otherwise

832 × 480

−3.76−4.05−4.16−4.14

4

MVx > 0otherwise

416 × 240

−3.63−3.59

−3.55

−3.54

5

MVy > 0otherwise

平均利得−4.61−4.92−5.02−5.04

6

画面左半分

画面右半分

7

画面上半分

画面下半分

ほとんどの画像で、提案手法による効率改善が確認で8

エッジが垂直エッジが水平きたが、最小の解像度においては従来手法が上回ってい0

分割なし (従来手法 [1] 相当)た。これは低解像ほど、領域分割時に発生する補間フィ

Step 6: 定義された領域分割手法を全て試行し、その中で最小のレート歪みコストを実現する分割手法番号を取得する。

ルタ係数の符号量、すなわち、オーバーヘッドが支配的

Step 7: 分割手法番号、各種フィルタ係数、MV、テクスチャ情報などの符号化を行い、次フレームに移行する。

分割手法の選択肢が増えたためと考えられる。になるためと考えられる。領域分割手法の数を増加させることで、ゲインの上昇が確認できた。これは、最適な領域分割手法を増やせば、効率はより向上すると考え

領域番号はブロックごとに付与されるが、復号済みのられるが、その分、計算処理量が増加する。符号化時間情報から導出可能であるため、符号化する必要はない。

に関して、H.264/AVC に対する従来手法の増加率は約

また、本提案手法は輝度信号だけでなく、色差信号にも同様に適用可能である。なお、本稿の評価実験では、1.35 倍であったのに対し、提案手法の増加率は約 2.43 倍(Set 1)、約 3.86 倍 (Set 2)、約 4.22 倍 (Set 3) となってLh = Lv = 6 とした。

いた。復号時間に関しては、従来手法の増加率は最大で評価実験

約 1.10 倍程度であったが、提案手法の増加率は最大で約

4

次世代映像符号化参照ソフトウェア KTA2.6r1[3] に提案手法を実装し、従来手法 [1] との比較を行った。標準化にて使用されている画像 18 種類を用い、各画像15 もしくは 30 枚のフレームを IPPP(先頭のみ I) 符号化した。量子化パラメータは QP(I)={22, 27, 32, 37}

1.30 倍程度であった。符号化性能と計算量に適した分割手法を設定することが可能となる。

まとめ5

本稿では、領域分割を行って領域ごとに補間フィルタ係数を最適化する適応補間フィルタについて検討した。

(QP(P)=QP(I)+1) の 4 点を採用した。本実験で用いた
領域分割手法を表 1 に示す。領域数は 2 で固定し、α および β は MV のヒストグラムから算出される閾値 (領域新しい領域分割手法を加え、その利得を示し、領域分割1 と 2 のブロック数がほぼ同等になるように決定される)である。分割手法 1 か 2 が選ばれた場合、α と β は別途する検討を行う予定である。

符号化する。
以上の条件により得られた実験結果を表 2 に示す。

H.264/AVC の 6 タップ固定フィルタを用いた場合に対する従来手法の符号化利得 BD-rate[4] を導出し、同様に提案手法による BD-rate を求め、それぞれの値を示した。

Set ごとに領域分割手法の数を変えており、Set 1 は 4 種(表 1 の 0, 6, 7, 8)、Set 2 は 8 種 (8 以外全て [2])、Set 3は 9 種 (表 1 全て) である。従来手法 [1] は、H.264/AVCに対して全画像平均で約 4.61[%] 改善していたが、提案
手法 Set 3 の場合、H.264/AVC に対して全画像平均で約 5.04[%] 改善していた。

手法数を変化させた場合の利得変動に関する考察も行った。今後は、効率的な領域分割手法の導入と高速化に関

参考文献[1] S. Wittmann et al., “Separable adaptive interpolation
ﬁlter for video coding,” in Proc. ICIP2008, Oct. 2008,
pp. 2500–2503.
[2] S. Matsuo et al., “Region-based adaptive interpolation
ﬁlter for motion compensation,” in Proc. IWAIT2010,
Jan. 2010.
[3] “KTA reference software ver. 2.6 revision 1,” http://iphome.hhi.de/suehring/tml/download/KTA/,
Nov. 2009.
[4] G. Bjøntegaard, “Calculation of average PSNR diﬀerences between RD-curves,” ITU-T SG16 Q.6 VCEG,
VCEG-M33, Apr. 2001.

278（第3分冊）