成蹊大学理工学研究報告
J. Fac. Sci. Tech., Seikei Univ.
Vol.44 No.２ (2007) pp.45-52（特別研究費に係る論文）

平面ディスプレイのための動き補償映像信号処理
杉山賢二*1, 相良直哉*2, 山田義之*3, 横山和彦*3, 小畑裕康*3

Motion Compensated Video Signal Processing for Flat Panel Display
Kenji SUGIYAMA, Naoya SAGARA, Yoshiyuki YAMADA, Obata HIROYASU
Abstract : Recently, flat panel display such as liquid crystal display becomes popular. In these display, new video
signal processing are required. De-interlacing which convert from interlaced scanning to progressive scanning isnecessary. Frame rate conversion is required to reduce a motion blur. In this paper improvement of these video
processing are discussed. About a de-interlacing, motion compensated inter-frame interpolation is effective. We
apply spatial direction adaptive method for motion compensated inter-frame interpolation. The processing forinter-frame interpolation is discussed, furthermore optimization of processing and effect of this processing areconsidered. In a frame rate conversion, motion compensated inter-frame interpolation is also used. However, itcauses block artifacts at edge of different motion objects. To avoid this problem, we discuss in the determination ofinterpolation mode which has different motion vector, we use inter-block smoothness to evaluate interpolation modes.
In examination, we use 60 frame per second (fps) progressive scanning picture as reference for the both conversion.
Interlaced scanning picture is used for de-interlacing and 30 fps picture is used for frame rate conversion. The
proposed conversion methods give better PSNR and subjective picture quality than the conventional method.
key words : de-interlacing, frame rate conversion, motion compensation, motion estimation, adaptive interpolation(Received September 28, 2007)
後の入力フィールドのみを用いる手法が有効なことを示

１ ．まえ がきしてきた。[4]-[6]
本報告では，この動き補償フィールド間・フィールド

映像ディスプレイにおいては，プラズマや液晶など平内適応補間へ空間方向適応処理を適用する方法を検討と面ディスプレイがブラウン管(CRT)に代わって普及してする。具体的な処理手法を提案し，フィールド内補間のきている。しかし，映像信号は CRT で表示されることをみならずフィールド間補間へも適用する。[7]

前提に作られており，平面ディスプレイで表示する際に一方，フレームレート変換では，動き補償を用いて前は，映像信号の変換処理が必要とされる。その必須技術

後の既存フレームから補間を行うのが基本となるが，補として，伝送用として一般的なインターレース走査からプログレッシブ走査への変換(デインターレース)がある。
また，Motion Blur(動きぼけ)を改善するため，１フレー間処理では符号化とは異なり対象フレーム画像が存在しないので動き推定が容易でなかった。[8]-[10]これに対し，我々は前後の複数フレームを用いた適応ムの時間を短くするフレームレート変換が使われつつあ補間手法を提案してきたが，動きが異なるオブジェクトる。
デインターレースでは，動き領域をフィールド内補間，静止領域をフィールド間補間とする動き適応型の処理がのエッジ部分などでブロック歪を生じ易かった。[11]-[13]本報告では，ブロック歪を軽減するため，動きベクトルの異なった補間モードの判定方法において，画像間マ用いられてきた。そこでフィールド間補間に動き補償をッチングのみならず，隣接ブロックとの画像連続性に付適用することで，動領域でもフィールド間補間が適用でいても評価する手法を検討する。[14]き，解像度が改善できる。[1]-[3]

処理実験はいずれも毎秒 60 フレームのプログレッシ

そこで，我々は順次走査への変換の済んだフレーム画ブ走査画像(60p)を元画像とし，インターレース走査像を参照画像として動き推定を行い，動き補償補間は前(60i)と毎秒 30 フレーム(30p)へ変換された画像を元に*1：理工学部 情報科学科教授 (sugiayma@st.seikei.ac.jp)：理工学部 情報科学科助手 (sagara@st.seikei.ac.jp)*3：工学研究科 電気電子専攻

戻す形で行う。元の画像と各変換で得た画像を比較して，*2客観評価尺度である PSNR と主観画質で評価する。

－45－

２ ．平面 ディ スプレ イ用 信号処 理の 概要となる。動き補償を適用する場合も，フィールド間補間への適用となり，フィールド内補間との適応処理はその2. 1まま使われる。

映像信号処理の全体構成

受信または再生された映像信号は，60i の信号形態で適応処理の構成を図３に示すが，補間画素 Pl は，フィディスプレイに供給される。平面ディスプレイは，適正ールド間補間 Pi とフィールド内補間 Pr から，動領域(フなインターレース走査での表示が困難なので，プログレィールド間補間が困難な領域)検出で得られる加算係数ッシブ走査(60p)に変換してから表示する必要がある。

kｍ(0-1)により次式で与えられる。

さらに，Motion Blur を改善するため，フレームレート

Pl (x, y, t) = km Pi (x, y, t) − (1− km )Pr (x, y, t)変換で 60p を 120p に変換する。このような処理の流れ

x , y, t ：画素の水平,垂直,時間位置を図１に示す。
これらの処理は，輝度信号と色差信号の両方についてIntra-fieldinterpolation行われるが，動き補償のための動き推定は，輝度信号にkついてのみ行われる。そして RGB 信号に変換されて表示

60i

De-interlacing

Output
60i

LPF
1-k

Frame Rate
Conversion

Inter-fieldinterpolation

120p

図３

RGB
Display
DriverMotion
detection

60i

デバイス(プラズマや液晶パネル)に供給される。
60p

(1)

Display
Device2. 3

デインターレース用の適応補間処理

表示フレームレートと動画像の見え方

ブラウン管の発光時間は非常に短いのに対し，液晶デ図１ィスプレイは基本的に常時発光であり，映像が画面上にディスプレイ用映像信号処理常時存在する。この結果，動いている画像を見た場合，
2. 2

視点が動きに追従していると，画面上で同じ位置に表示

デインターレース

デインターレースは，図２に示されるようにインターされている映像は，相対位置が移動することになる。こレース走査画像で間引かれて走査線を補間し，プログレれにより，１フレームの表示(発光)時間に比例してッシブ走査画像に変換するものである。

Motion Blur を生じる。この様子を図４に示す。
この問題を解決する方法としては，常時発光を止め発光時間を短くする方法と，フレームレートを上げ１フレームあたりの時間を短くする方法がある。前者は，平均輝度の低下となり望ましくない。後者の場合，60fps を120fps に変換すると時間蓄積は半分になり Motion Blurも半分になる。ただし，中間フレームの画像を動き補償

Interlaced Scanning (60i) Picture

して正確に形成する必要がある。

1/60sec.
輝度輝度

時間
Progressive Scanning (60p) Picture
図２

動き

デインターレース

デインターレースの補間処理は，特に簡易なものを除

60fps LCD

いてフィールド内補間とフィールド間補間の適応処理

図４－46－

120fps LCD

表示方法と動き画像の見え方

2. 4

フレームレート変換

Vertical

フレームレート変換は，実存フレームを動き補償して1/60sec

補間フレームを形成し，それを実存フレーム間に内挿することで実現できる。フレームレートを２倍にする場合

dyの例を図５に示すが，この場合，実在フレームの中間に補間フレームを形成する。以降この場合について検討する。
Existing Frame

Interpolated Frame(a) Inter-field
図６3. 3(b) Intra-field

フィールド間補間とフィールド内補間

方向適応フィールド内補間

空間方向適応補間の基本的な処理の様子を図７に示
図５す。フィールド内の局所形状から適切な補間方向を推定

フレームレート変換

し，その方向により上下走査線の使用画素を水平方向に移動する。補間画素 P i は移動 mx により次式で与えられ３ ．デイ ンタ ーレー スの 改良

る。
3. 1

動き補償フィールド間補間

Pr ( x, y, t ) =動き補償フィールド間補間処理の様子を図６(a)に示

Pi ( x + mx, y + 1, t ) + Pi ( x − mx, y −1, t )2(5)す。補間画素 Pi は，入来画素 P から次式で与えられる。

Pi ( x, y, t ) =P( x − dx, y − dy, t −1) + P ( x + dx, y + dy, t +1)
2

Input

Half pelInterpolated(2)Direction Vector

Interpolation

UpperLine

ただし，dx,dy は動きベクトル水平とフィールド基準の垂直成分である。dy=0,±1.0, ±2.0･･･と な る の で ，精Lower
Line

度 は 劣 る が ，前後するフィールドを加算することで動きベクトルのずれが相殺され，画像の位置ずれにはなら(a) Direction estimation

ない。この処理により，均一動き部分において，適正な図７補間を行うことができる。
3. 2(b) Adaptive interpolation

空間方向適応補間の基本処理

上下からの補間であるので，方向探索は，図７(a)のフィールド内補間

フィールド内補間処理の様子を図６(b)に示す。最も形で行うのが基本であるが，上下とも移動させると適切

基本的な補間は，上下走査線の平均であり，補間画素 Prな方向が求まらない。そこで，方向探索は，図８に示さは，次式で与えられる。

れるように片方を固定して行う。その場合のマッチング

Pl ( x, y, t ) =P ( x, y + 1, t ) + P ( x, y −1, t )2

演算は，次式となる。
(3)NSADl (x, y, mx) = ∑| P(x + m + mx, y +1) − P(x + m, y −1) | (6)m=−N

この処理はオーバサンプル処理であり，上下補間は周N

SADu (x, y, mx) = ∑| P(x + m, y +1) − P(x + m + mx, y −1) | (7)波数特性が良くない。そこで４～８タップのフィルタがm=−N用いられる。その場合の処理は次式のようになる。
NPl ( x, y, t ) = ∑ k (dy) P( x, y + dy, t )ただし，m はマッチングブロックの水平画素位置，Nはブロックサイズを決めるもので，2～4 とする。これに(4)dy = − Nより上下各画素に対応する補間方向が求まる。

この補間処理は，動きの影響なく補間可能であるが，最終的な方向(mx)は，補間対象画素の最も近くを通過基本的に解像度が低い。フィールド画像のエリアス成分するベクトルとする。ただし，エッジ部以外では不必要が除去されず，斜め線でギザギザが目立つ。に斜め補間としないため，垂直(mx=0)を優先する。

－47－

４ ．フレ ーム レート 変換 の改良
Upper Line

4. 1

実在フレーム基準の動き推定･動き補償補間

動画像符号化などで用いられる一般的な動き推定は，Lower Line

被符号化フレームのブロックを基準に，参照フレームを空間的に移動させる。フレーム補間でこれを用いた場合(b) Upper Fix Search(a) Lower Fix Searchの様子は図 10(a)で示され，順方向補間(過去が参照フレーム)Pf と，逆方向補間(未来が参照フレーム)Pb は次式で与えられる。

Upper Line

Lower Line(c) Direction Vectors

図８3. 4(d) Final Direction Vector

Pf (x, y,t − 0.5) = P(x + dx, y + dy,t)(9)

Pb (x, y,t − 0.5) = P(x + dx, y + dy,t −1)(10)

その際マッチング演算は，順方向差分 Df と逆方向差分Db から，次式で与えられる絶対値和 SAD で評価される。

空間方向適応補間の基本処理

方向適応フレーム間補間

動き補償フィールド間補間において，動きベクトルのDf (x, y, dx, dy) = P(x + 2dx, y + 2dy, t −1) − P(x, y, t)(11)

Db (x, y, dx, dy) = P(x + 2dx, y + 2dy, t) − P(x, y, t −1)(12)

N −1 M −1

SAD (x, y, dx, dy) = ∑∑ | D (x + m, y + n, dx, dy) |垂直成分が入来走査線位置と異なる場合，実際に補間で(13)

m=0 n=0

使われるのは入来走査線なので，実効的に主直方向補間

ただし，m,n はブロック内画素位置，M,N はブロックが行われることになる。この程度は 0.5 ライン分のときサイズである。この場合，実存フレームと補間フレーム最大で，フィールド内補間と等価になる。この様子を図

では時間が異なるので，実際の動きベクトルと異なった９に示す。

位置のベクトルを用いることになり，ベクトルの位置ず

従って，動き補償フィールド間補間においても，局所れが問題となる。

形状に従った空間方向適応補間が有効となる。この場合，補間画素 Pi は(2)式に mx が追加され，次式で与えられる。

Motion Vector

Motion Compensation

t-1
t-0.5t(a) Forward ME/MC

t-1
t-0.5t(b) Bi-directional ME/MC

P (x − dx − mx, y − dy, t − 1) + Pi (x + dx + mx, y + dy, t + 1)
Pi (x, y, t) = i2(8)動き推定は従来と同じであり，ブロック単位で決められた動きベクトルの空間移動量に対して，方向適応処理が画素単位で行われる。(6)(7)式の各入来画素は，異なったフィールドのものとなる。

TimeVerticalHorizontalmx

図 10 動き推定と動き補償補間

MV

4. 2

補間対象フレーム基準の動き推定･動き補償補間

一方，図 10(b)のように動きベクトルの基準位置を補間対象フレームとすると，ベクトルの位置ずれはなくなる。この場合，双方向補間 Pi は次式で与えられる。

mx(a) Temporal - Vertical

Pi (x, y, t − 0.5) =(b) Horizontal-VerticalP(x + dx, y + dy, t −1) + P (x − dx, y − dy, t)
2(14)

その際マッチング演算に用いる双方向差分 Di は次式

図９ フィールド間補間での空間方向適応補間で与えられる。

－48－

4. 5

Di (x, y, dx, dy) = P(x + dx, y + dy, t −1) − P(x − dx, y − dy, t) (15)

動きが異なるオブジェクトのエッジ部分などでは，動この場合，前後のフレームが参照となり空間的に移動き補償ブロックが大きいと適切に補間できないので，ブするので，本来の動きとは無関係な動き(誤ベクトル)をロックの分割が望まれる。しかし，小ブロックでは誤ベ検出しやすい。空間アクティブティで正規化することでクトルが生じやすいので，分割するブロックは最小限にある程度防ぐことができる。
4. 3

適応ブロック分割したい。
そこで，基本ブロックサイズで分割されるブロックを今回用いた補間方法選定する。検出基準は次のふたつのパラメータによるが，今回のフレームレート変換では，前後２フレームのみその様子を図 13 に示す。

を用い，補間は(14)式の双方向型を常時用いる。その際a）動きベクトルの周辺との距離の動きベクトルについてのみ(11)式の順方向，(12)式の対象ブロックと周辺のベクトルの距離 Di を次式で求め逆方向，(15)式の双方向のものの３種類を用いる。
(7)式の双方向探索は，誤ベクトルを生じやすいので，る。

片方向の動きベクトルを基準にした周辺再探索で行う。

D(i, j, k, l) = (dx(i + k, j + l) − dx(i, j))2 + (dy(i + k, j + l) − dy(i, j))2

その際，基準となる片方向の動きベクトルは，補間ブロックの中心の最も近くを通過する動きベクトルとする。

(17)
ただし，i,j はブロック番号 k,l は番号差である。自己ベこの様子を図 11 に示す。

クトルの大きさ D(i,j,0,0)(2.0 以下は 2.0 とする)で正規化された判定パラメータ Cd は次式で与えられる。
11∑∑ D(i, j, k , l )(18)

Cd (i, j ) = k =−1l =−18D(i, j,0,0)b）ブロック分散

オブジェクト境界を含むブロックは，空間アクティビティが高い。そこで空間アクティビティとしてブロック分散 A を次式により求め，これが所定値より高いブロッt-1t-0.5ta) Forward/Backward MV
図 114. 4

クを分割する。

t-1t-0.5tb) Bi-directional ReME

A( x, y) =片方向動きベクトルと双方向再探索

1 N −1 M −1{P(x + m, y + n) − Av (x, y)}2∑∑
MN n=0 m=0(19)1 N −1 M −1∑∑P(x + m, y + n)
MN n=0 m=0(20)Av (x, y) =補間モード判定の改善

符号化における予測モードは，各動き補償ブロックのSADmin で評価できるが，補間の場合は対象フレームが存在しないので，SADmin の信頼性が低い。そこで，補間画8素 Pl の隣接ブロックとの連続性を用いる。図 12 に示さ88れる上下左右のブロック差分 SHDl,SHDr,VDu,SVDb の合計が求められる。例として SHDl は次式で求められる。
N −1

SHDl ( x, y) = ∑| Pl ( x, y + n) − Pl ( x −1, y + n) |8Object(16)n=0

SHDlBackMV DistanceSHDr

図 13SVDu

Block Deviation
分割されるブロックの選定

分割された小ブロック(4x4 画素)での動き推定は，隣接ブロックの３ないし４ベクトルを候補とし，その近傍
SVDbについて再探索する。隣接が分割された小ブロックの場合は，そちらの動きベクトルを使う。なお，再探索範囲

図 12

ブロック連続性の検出は±0.5 画素とした。

－49－

５．変換処理実験

33.8
33.6

評価実験方法33.4

デインターレース及びフレームレート変換の評価処
理構成を図 14 に示す。フレームレート変換は本来 60p

PSNR[dB]

5. １

34.0

33.2
33.0
32.8から 120p への変換であるが，評価用 120p 画像は存在し32.6ないので，60p 画像を用いる。この場合，フレーム間距32.432.2

離が長くなり画像間相関が少なくなるので，実際より厳Intra
DA(4tap)DA(2-8tap)

32.00

しい評価となる。

20406080100frame

デインターレースの評価では，ライン間引きの前に垂直 LPF(低域通過フィルタ)を用いるが，インターレース

図 15

フィールド内補間画像(Crossing)の PSNR

図 16

Intra
Intra-DAフィールド内補間変換画像例(150x150 画素)

走査化として適切な処理となっている。比較は LPF された画像との間で行われる。
30p

Frame RateConversion

Frame Decimation

60pcompare
60p

60p
VerticalLPF60pcompare

LineDecimation

60i De-interlacing60p

図 14 変換処理評価系

4644

デインターレースの実験結果

補間処理実験は，フィールド内補間のみの場合と，適応処理の両方で行った。動き推定･補償は，8x4 画素ブロック，水平 0.5 画素精度，サーチレンジは垂直４ライン，

IntraMCMC-DA

42
PSNR[dB]

5. 240383634

水平 15 画素である。

32

通常のフィールド内補間(Intra)と，それに対して方300

向 適 応 を 適 用 し た 手 法 (Intra-DA) で 変 換 し た 場 合 の20406080frame

PSNR(ピーク値 255)を図 15 に，変換画像例を図 16 に示すに示す。画像は映像情報メディア学会の標準画像
図 17“Square”である。Intra に対して Intra-DA は，PSNR

適応補間(Church)の PSNRの改善はさほど大きくないが，エリアッシング(斜め線のギザギザ)が大幅に改善している。
動き補償フレーム間とフィールド内の適応補間(MC)と，そのフレーム間補間に方向適応を適用した手法(MC-DA)で変換した場合の PSNR を図 17 に，変換画像の例を図 18 に示すに示す。画像は“Volley”のズーミン
グシーンである。PSNR に改善は無く，画質的な改善も僅かである。これは，方向適応処理が，動きベクトルの誤差が多い場合にのみで有効となるためである。
MC
図 18－50－

MC-DA

適応補間変換画像例(150x150 画素)

100

5. 3

６．むすび

フレームレート変換の実験結果

フレームレート変換として 8x8MC(4x4MC)の従来手法，モード判定のみの改良(+mode)，ブロック分割を含む提平面ディスプレイで必要な映像処理について，デイン案処理(Proposal)で補間画像を作った。各処理での動きターレースとフレームレート変換の改良について検討し推定･動き補償処理パラメータを表１に示すが，基本事た。デインターレースでは，空間方向適応補間手法につ項は共通である。

いて検討し，動きベクトルによりフィールド間補間でも表１垂直補間の要素があることから，動き補償フィールド間動き推定動き補償パラメータ

PictureConventional

8x8MC+mode

Proposal

補間にも空間方向適応処理を導入し，そこでの具体的なBlock

8x8 (4x4)

8x88x8 / 4x4処理手法を提案した。

Accuracy

0.5 pixel

0.5 pixel

0.5pixel

フレームレート変換においては，動きベクトルの異なRange+/-15 pixel+/-15 pixel+/-15 pixel

った補間モードの判定方法で，画像間マッチングのみなMode

SAD

SAD+SH(V)DSAD+SH(V)Dらず，隣接ブロックとの画像連続性に付いても評価する手法を提案した。さらに，基本ブロックサイズで適正な補間画像が形成できないブロックを検出し，そのブロッ分割されるブロックの例を図 19 に黒で示す。画像

クについてのみブロック分割を行った。

“Square”は，少女が早く動いているが，概ね動きオブ処理実験は 60i/30p 画像から 60p 画像への変換で行い，ジェクトの境界部分が選択されている。
補間フレームの PSNR 値を図 20 に示す。4x4MC は誤ベ

デインターレースにおいて，空間方向適応補間はフレークトルから PSNR が低下する。他の３手法は，ほぼ同等とム内補間のみの場合は有効だが，フレーム間補間では効なる。図 21 に各処理を源画像(Original)と比較して示す。

果は僅かなことが分かった。フレームレート変換では画8x8MC で は 動 き 境界 部 分 で 大 き な 歪 を 生 じ て いる。

像連続性を考慮したモード判定手法で，誤補間が軽減さ8x8MC+Mode で大幅に改善し，Proposal でさらに改善してれ，主観画質が改善できることが分かった。

いる。
<参考文献>[1] 栗田,杉浦, “動き補償を用いたインターレース走査画像の順次走査変換法の検討,” 電子情報通信学会論文
誌(D-2), vol.78, No.1, pp40-49, Jan. 1995
[2] E. B. Bellers G. de Haan, “Advanced motion estimationand motion compensated deinterlacing,” SMPTE Journal,
vol.106, No.11, pp777-786, Nov. 1997
[3] G. de Haan, E. B. Bellers, “Deinterlacing-an overview,”
Proceeding of the IEEE, vol.86, No.9, pp1839-1857, Sep.
1998
図 19

[4] K. Sugiyama, H. Nakamura, “A Method of De-interlace

分割ブロック例(黒で表示)

with Motion Compensated Interpolation,” IEEE Trans. on

PSNR[dB]

39.5

Consumer Electronics, vol.45, No.3, pp611-616, Aug. 1999

39.0

[5] 杉山,山田, “双方向補間と巡回型補間を用いた動き補38.5

償順次走査変換,”映像情報メディア学会技術報告
Vol.30, No16, BCTS2006-36, pp25-28, 2006.2

38.0[6] K.Sugiyama, Y.Yamada, N.Sagara, “Improvement of Motion
8x8MC
4x4MC
8x8MC+Mode
Proposal

37.5
37.0

Compensated Inter-Field Interpolation Method for DeInterlacing,” IEEE Region 10 Conference (TENCON2006),
2.4-5, Nov. 2006

36.5
010

図 2020frame3040[7] 横山,山田,杉山, “動き補償順次走査変換への空間方向適

50

応補間の適用,”映像情報メディア学会技術報告 Vol.31,
No.13, BCTS2007-36, pp.1-4, 2007.2

補間画像(Square)の PSNR

[8] W. R. Sung, E. K. Kang and J. S. Choi ; “Adaptive－51－Interpolation” Proceedings of IEEE 2005 InternationalMotion Estimation Technique for Motion CompensatedConference on Consumer Electronics, No.2.4.5, Jan. 2005

Interframe Interpolation” IEEE Trans. on Consumer[12]杉山,青木,半谷:「フレームレート変換によるＬＣＤ受Electronics, Vol.45, No.3, pp.753-761, Aug. 1999
[9] D. W. Kim, J. T. Kim and I. H. Ra ; “A New Video

像画質の総合改善」, 映像情報メディア学会技術報告
Vol.29, No16, BCTS2005-49, pp1-4, 2005.2

Interpolation Technique Based on Motion Adaptive[13]K. Sugiyama, T. Aoki, and S. Hangai, “Motion

Subsampling” IEEE Trans. on Consumer Electronics,

Compensated Frame Rate Conversion Using Normarized

Vol.45, No.3, pp.782-787, Aug. 1999
[10]T. Ha, S. Lee and J. Kim ; “Motion Compensated Frame

Motion Estimation,” Proceedings of IEEE 2005 Workshop

Interpolation by new Block-based Motion Estimationon Signal Processing Systems (SIPS'05), FP21, Nov. 2005

Algorithm” IEEE Trans. on Consumer Electronics, Vol.50,[14]小畑,相良,杉山, “フレームレート変換における適応No.2, pp.752-759, May 2004

ブロック分割と補間モード判定の改善,”映像情報メデ ィ ア 学 会 技 術 報 告 Vol.31, No.13, BCTS2007-37,[11]K. Sugiyama, T. Aoki and S. Hangai ; “A Frame RateConversionUsing8x8MC

Fully

Motionpp.5-8, 2007.2

Compensated

8x8MC+mode
図 21

Proposal

補間画像(150x270 画素)－52－

Original