情報処理学会第71回全国大会

高フレームレート映像信号に対する

1E-2

時間方向ダウンサンプルフィルタリングの基礎検討
坂東幸浩 高村誠之 上倉一人 八島由幸
日本電信電話株式会社 NTT サイバースペース研究所
あらまし： 近年、撮像系のフレームレートの増加は目覚て、高フレームレート映像を入力してフィルタリングにしく、1000 Hz を超える高フレームレート映像が撮影可

より低フレームレート映像を得る場合、フィルタリング能となっている。しかし、現行ディスプレイに表示する設計の自由度が高まる。

場合、こうした高フレームレート映像は、フレームレー

そこで、本稿では、動き補償予測誤差を最小化するよ

トをダウンサンプリングする必要がある。本稿では、高うに、フィルタリング係数を設定する方法を提案する。

フレームレート映像信号に対する効率的なダウンサンプ

これは、シーケンス全体での動き補償予測誤差の最小化リング方法について検証する。提案するダウサンプリンを保証した方法であり、高フレームレート映像信号に対グ方法は、フレーム間予測誤差を最小化する観点からダして、ダウンサンプリング後の低フレームレート映像信ウンサンプリングフィルタを設計し、シーケンス全体で号の符号化効率を考慮した形で、低フレームレート映像の動き補償予測誤差の最小化を実現する方法である。平

信号を決定するフレームレート変換方法である。

均値フィルタと比べて、提案手法はフレーム間予測画像の PSNR を 0.16 [dB] 向上させることが確認できた。

12

適応ダウンサンプリング
フレーム間隔を δt として、時刻 t = jδt ( j = 0, 1, · · · ) のはじめにフレームにおける位置 x の画素値を f (x, t) (x = 0, · · · , X−

近年、撮像系のフレームレートの増加は目覚しく、10001) と表す。この画素信号 f (x, t) をダウンサンプリングにHz を超える高フレームレート映像が撮影可能となってより、フレーム数を 1/M に変換する場合を考える。ついる。一方、現行のディスプレイの上限は 120 Hz 程度で1
まり、フレームレートを δ1t から Mδへ変換する場合であtあり、映像の入力・出力システムのフレームレートの上る。なお、以下では簡単のため、一次元信号を例にとり

限は非対称である。1000 Hz 超の高フレームレート映像説明する。
タップ 長 2∆をスローモーション再生での観察等に用いる場合には、+ 1 の フィル タ 係 数 Wi=

こうした入出力システムにおけるフレームレートの非対(wi [−∆], · · · , wi [∆]) を 用 い た フィル タ リ ン グ に よ り

称性は問題にならない。一方、高速度カメラで撮影されダウンサンプリング後のフレームを得ることとする。

た映像を実時間再生で表示する場合には、フレームレーfˆ(x, iMδt , Wi ) =トのダウンサンプリングが必要となる。

∆i∑wi [ j] f (x, (iM + j)δt )j=−∆i

ダウンサンプリングの際、時間方向のフィルタリング∑∆i= 1 を満たすものとする。さらに、[1], [2], [3] が施される。従来の 30 Hz, 60 Hz のフレーム

なお、レートの映像の場合、複数フレームにまたがる時間軸方

フィルタ係数 Wi = (wi [−∆], · · · , wi [∆]) が取り得る係数

向のフィルタリングは、フィルタリング後のフレームに集合として、N 通りの係数 Ψ n = (ψn [−∆], · · · , ψn [∆]) (n =動きボケが発生するため、フィルタリングのための十分0, · · · , N − 1) を考える。以下では、Ψ̃ n = (Ψ0 , · · · , Ψ N−1 )j=−∆i wi [ j]なサンプル（即ち、フレーム）を確保することが困難でとおく。各フレームでは、この N 通りの中から適切なあった。例えば、60 Hz の映像信号をフィルタリングしてフィルタ係数を選択するものとする。

30 Hz の映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下では、フィルタリン

以下、フィルタ係数の選択方法について、詳述する。
信号 fˆ(x, iMδt , Wi ) に対して、サイズ S の区間 B[k] (k =グの対象となるフレームは 2 フレームに限定される。一0, 1, · · · , K − 1) に分割し、各区間 B[k] を単位として動方、高フレームレート映像の場合、フィルタ設計の自由き補償 (推定変位量 di = (di [0], · · · , di [K − 1]) を行った場度は拡張される。例えば、1000 Hz の映像信号から 62.5合、同区間内の動き補償後の予測誤差を次式とする。

Hz の映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下であっても、16 フレームをフィルタリングの対象とすることができる。したがっ3-29

σ2i (Wi , Wi−1 ) =K−1 ∑∑| fˆ(x, iMδt , Wi )k=0 x∈B[k]− fˆ(x − di [k], (i − 1)Mδt , Wi−1 )|2情報処理学会第71回全国大会
Wi , Wi−1 が与えられた場合、σ2i [Wi , Wi−1 ] を最小化する
ように推定変位量 d[k] (k = 0, 1, · · · , K − 1) を設定し、d[k, Wi , Wi−1 ] (k = 0, 1, · · · , K − 1) とおく。

Table 1: 予測画像の平均 PSNR[dB]（括弧内の数値は MSEの値）求めるべきは、次式を満たす J/M 組のフィルタ係数である。

(W0∗ , · · · , W ∗J/M−1 )=min argW ∗ ,··· ,W ∗
0

J/M−1

J/M−1∑

σ2i [Wi , Wi−1 ]平均値フィルタ

29.067 (80.61)

提案法 (N=16)

29.220 (77.82)

提案法 (N=64)

29.224 (77.75)

(1)

i=1

各Wi が Ψ̃ n に含まれる N 通りの候補から選択を行うた
め、J/M 組のフィルタ係数 (W0 , · · · , W J/M−1 ) の取り得る組み合わせは、N J/M 通りであり、この中から最適な組み合わせ (W ∗ , · · · , W J/M−1∗ ) を総当りで探索するのは、計0算量的に困難である。
そこで、σ2i [Wi , Wi−1 ] が直前フレームの結果に依存することに着目する。まず、Wi として取り得る全ての係数集合 Ψ̃ n に対して、最適なWi−1 , · · · , W0 を用いた場合∑の ii=1 σ2i [Wi , Wi−1 ] を S i (Wi ) として定義する。ここで、Figure 1: 実験に用いたシーケンス

σ2i [Wi , Wi−1 ] が直前フレームの結果のみに依存することして N = 16, 64 の 2 通りを設定した。この結果、提案手に着目すると、S i (Wi ) は S i−1 (Wi−1 ) を用いて、次式のよ法は、平均値フィルタに対して 0.16 [dB] の PSNR 向上

うに表わせる。

を実現していることが確認できる。

S i (Wi ) = min {σ2i [Wi , Wi−1 ] + S i−1 (Wi−1 )}
Wi−1

(2)

4

式 (2) の漸化関係を用いることで、式 (1) の最小化問題
は、次式のように表せる。

min S J/M−1 (W J/M−1 )W J/M−1

おわりに
本稿では、高フレームレート映像に対する適応的なダウンサンプリング方法を提案した。実験を通して、単一(3)の平均値フィルタと比較して、0.16 [dB] の PSNR 向上が確認できた。

上記のように定式化することで、式 (1) と等価な最適化を O(N 2 ) の計算量で算出することが可能となる。

3

参考文献[1] J. Ohm, “Advances in Scalable Video Coding”, Pro-実験

ceedings of the IEEE, Vol. 93, No. 1, pp. 42–56, 2005

フレーム間引きの基準となる映像は、高速度カメラ[2] A. Golwelkar and J. Woods, “Motion-Compensatedで撮影した RGB カラー映像であり、フレームレートは

Temporal Filtering and Motion Vector Coding Using

1000[フレーム/秒]、総フレーム数は 480[フレーム]、解Biorthogonal Filters” IEEE Trans. on CSVT, Vol. 17,

像度は 640 × 480[画素] である。また、映像素材はミニNo. 4, pp. 417–428, 2007

カートの走行シーンである。なお、動き補償時のブロックサイズは 16×16[画素] とした。また、フレーム間予測[3] H. Schwarz, D. Marpe, and T. Wiegand, “Hierarchicalは片方向予測とし、参照フレームは直前フレームとした。

B Pictures” , Joint Video Team, Doc. JVT-P014, Poznan

動き推定アルゴリズムしては、SSD 最小化に基づく全探(Poland), July 2005.

索を行った。

M = 32、∆ = 1 とた場合の予測画像の PSNR の比較結果を表 1 に示す。ここで、カッコ内は平均二乗誤差の値である。平均値フィルタは、フィルタ係数を (1/3, 1/3, 1/3)としたフィルタである。提案手法については、N の値と“A study of temporal down-sample filtering for high frame-ratevideo”,
Yukihiro Bandoh, Seishi Takamura, Kazuto Kamikura, andYoshiyuki Yashima,
NTT Cyber Space Laboratories, NTT Corporation

3-30