FIT2008（第7回情報科学技術フォーラム）I-089

時空間 Wavelet Shrinkage による高精細動画像の雑音除去法の検討
Noise Reduction of High Resolution Image Sequences by Using Wavelet Shrinkage in
Temporal-Spatial Domain.
松尾 康孝†
西田 幸博†
合志 清一†
Yasutaka Matsuo Yukihiro Nishida Seiichi Gohshi
2.2

１． まえがきスーパーハイビジョン（SHV）のような高精細動画像は，撮像素子 1 画素あたりの受光面積が小さく，撮影条件により信号対雑音比が低下する．不要な雑音成分は，主観画質の劣化や符号化効率の低下を招く．本稿では，プリフィルタによる雑音除去法の検討を行う．
静 止 画 像 の 雑 音 除 去 法 と し て ， Median Filter ， Total
Variation，Wavelet Shrinkage[1]等の非線形処理を利用する方法が知られている．Wavelet Shrinkage は，信号を離散Wavelet 分解（DWT）して求めた DWT 展開係数を，閾値関数（Threshold Function）により信号レベルを 0 に向けて減衰させてから Wavelet 再構成（IDWT）を行う非線形な方法である．この方法を用いると，信号が特定の DWT 展開係数に集中し，信号の展開係数の絶対値が雑音の展開係数の絶対値より大きい場合，ほぼ原信号の特徴を損なわずに雑音除去を行う事ができる．
動画像の雑音除去法としては，動き補償とフィルタ処理による時空間フィルタが検討されている[2],[3]．しかしこ
れらの方法は，特に信号対雑音比が低い場合は動き検出精度が低くなるため，雑音除去性能も低下する．
本稿では，Wavelet Shrinkage 法を時間軸方向に拡張し，時間低周波領域における高い時間軸信号相関を利用して，時間高周波・空間高周波領域における雑音を効果的に除去する時空間 Wavelet Shrinkage による雑音除去法を検討する．

２． 提案方法
原画像を s ( x, y , t ) ，雑音成分を n( x, y , t ) とし，雑音を含 む 撮 像 画 像 F ( x, y , t ) を F ( x , y , t ) = s ( x, y , t ) + n ( x , y , t )とする．ここで， n( x, y, t ) は SHV カメラ[4]内部で発生する熱雑音であるため，白色性およびガウス性を持つ．すな
わち， n は生起確率が正規分布に従い，かつ全周波数帯でほぼ等しいエネルギー分布を持ち，時間および空間方向の相 関 が 低 い ． こ の た め ， 雑 音 レ ベ ル 以 上 の 閾 値を持つ
Shrinkage 関数を用いて除去可能である．

時間－空間 Shrinkage 処理

2.1 で求めた各 DWT 展開係数に対し，Shrinkage 処理を行う．
図 1 に， F の 3 次元スペクトル，動物体のフレーム間水平・垂直移動速度 ( xv , yv ) ∈ mv におけるスペクトル平面，および時間－空間 DWT 展開領域を示す．以下，図 1 を基に， L1T と H T1 に対する処理方法について説明する．

2.2.1 L1T 処理
L1T HH S1 , L1T LH S1 , L1T HL1S は， xv ≤ 1, yv ≤ 1 の s 成分のうち，水平および垂直最高周波数 µ max ,ν max に対し µ max / 2,ν max / 2
1
1以上の時間低周波・空間高周波成分， LT LLS は上記成分および xv > 1, yv > 1 における µ max / 2,ν max / 2 未満の時間低周波・空間低空間周波数成分であり， s の時間軸相関は n に比べて非常に高い．故に， F の DWT 展開係数の s と n の絶対値差は， F の s と n の絶対値差より大きくなる．この11111111性 質 に 基 づ き ， LT LLS ， LT LH S ， LT HLS ， LT HH S はSoft-threshold 法[5]により閾値関数を設定し Shrinkage 処理を行う．閾値関数は，同じ SHV カメラで暗部を撮影した
動画像 N ( x, y, t ) の時間－空間 DWT 各展開係数の最大値をnN (∗) とし，DWT に用いた Wavelet 係数長を wl として(1)式のように設定する．ここで， sgn(i ) は i の符号を返す関数である．

Th(i, n N (*)) = sgn(i ) ⋅ max(0, | i | − n N (*) ⋅ wi )(1)

2.2.2 H T1 処理
H T1 HH S1 ， H T1 LH S1 ， H T1 HL1S は， xv ≤ 2, yv ≤ 2 の s 成分のうち， µ S / 2,ν S / 2 以上の時間高周波・空間高周波成分であり，各方向エッジ成分の微小移動成分以外は，熱雑音や撮像時の微小なカメラブレ等と考えられる．

2.1 時間－空間 Wavelet 分解
F ( x, y, t ) の ∀x, y について時間軸方向に 1 次元 1 階
DWT を行い，時間低周波成分 L1T と時間高周波成分 H T1 を得る．次に LnT と H Tn の空間方向に 2 次元 1 階 DWT を行い，
時間－空間 DWT 展開係数 L1T LL1S ， L1T LH S1 ， L1T HL1S ，
L1T HH S1 ，および H T1 LL1S ， H T1 LH S1 ， H T1 HL1S ， H T1 HH S1 を得る．

† 日本放送協会 放送技術研究所
NHK Science & Technical Research Laboratories.

図 1 3 次元スペクトルと時間－空間 DWT 領域
Figure 1 3-D Spectrum and Temporal-Spatial DWT Domain.

389（第3分冊）

FIT2008（第7回情報科学技術フォーラム）そこで，エッジ成分以外の雑音成分を効果的に除去するため，| H T1 HH S1 ( x, y ) | の ∀x, y について閾値 DTh で 2 値化した画像
B ( x, y ) を作成し， B( x, y ) の ∀x, y の周辺 3×3 領域の画素値の合計 B3×3 ( x, y ) が θ 以下ならば | H T1 HH S1 ( x, y ) | が孤立点雑音であるとみなし | H T1 HH S1 ( x, y ) |= 0 とする．そして，(1)式のSoft-Threshold 法により閾値関数を設定し，Shrinkage 処理を行う． | H T1 LH S1 | ， | H T1 HL1S | についても同様に処理を行う．
なお， nN (*) は同じ SHV カメラで暗部を撮影した動画像
N ( x, y, t ) の時間 DWT 各展開係数の中央値とする．
H T1 LL1S は， xv > 2, yv > 2 の s 成分で µ S 2 ,ν S 2 未満の時間高周波・空間低周波成分であり，前景と背景のテクスチャが大きく異なる移動領域と考えられ， s の時間軸相関は低い．特に， s の動領域の輝度が低く，動領域と背景の輝度差が大きい場合， F の DWT 展開係数の s と n の絶対値差は小さい．この領域を閾値関数により Shrinkage 処理すると，動領域と背景の境界近傍にアーティファクトが発生しやすい．そこで， H T1 LL1S では | H T1 LL1S ( x, y ) | の ∀x, y について閾値 DTh で 2 値化した画像 B ( x, y ) を作成し， B ( x, y )の周辺画素を含む 3×3 領域の画素値合計 B3×3 ( x, y ) が θ LL 以
下であれば | H T1 LL1S ( x, y ) |= 0 とする．
以上，2.1 から 2.3 の処理を行った後，空間方向に 2 次
元 1 階離散 IDWT し，時間軸方向に 1 次元 1 階 IDWT を行い，雑音除去画像を得る．

３． 評

Whales1

Times1Times2

Whales2(a) Whales Jump(b) Times Square
図 2 SHV 画像

Figure 2 Super Hi-Vision Sequences.

(a) Original(b) Proposed(c) Original(d) Proposed
図 3 原画像と提案法による雑音除去画像
Figure 3 Original and Noise Reduced Images by the ProposedMethod.

価

図 2 に示す SHV 画像の G1 信号[4]について，計算機シミュレーションにより A～C の 3 手法で雑音除去を行う．
A. 提案法
B. 空間方向 Wavelet Shrinkage
C. 3×3 Median Filter
シミュレーションパラメータは， F が 8bit 階調信号，θ = 3 ， θ LL = 4 ， DTh = 8 ．Wavelet は，将来のハードウェア化も視野に入れ，整数ロスレス変換可能な Le Gall 5/3
Wavelet を時空間方向に使用する．これより， wl = 3 ．また B の空間方向 Wavelet Shrinkage では，空間方向のみのWavelet 展開係数について Soft-Threshold 法により閾値関数を設定し，Shrinkage 処理を行う．閾値関数は，同じ SHVカメラで暗部撮影をした動画像 N ( x, y, t ) の空間 DWT 各展開係数の中央値を nN (∗) とし，(1)式のように設定する．
評価は，ノイズを含む原画像に対して A～C の各手法で雑音除去処理した画像の総合画質について，主観評価試験を行った．主観評価試験は，24 インチ CRT モニタ(SONYBVM-F24)を用い，図 2 に示す SHV 画像を水平 1,920 画素×垂直 1,080 ラインに切り抜いた 4 画像に対して行った．
図 3 に，原画像に対する A. 提案法のノイズ除去の様子を拡大して示す．図 3(a),(b)よりエッジのような高い空間周波数成分のボケが少なく，図 3(c),(d)より特に前景が低輝度の場合に目立つ撮像時の雑音が除去されていることが分かる．
また，原画像と A. 提案法画像の総合画質について，評価者 6 名により一対比較法(5 段階:+2:良い,+1:やや良い,0:同じ:-1:やや悪い,-2:悪い)で評価し，A は原画像に対して，全4 画像で有意差を持って優れていた．次に，図 4 に A～Cの総合画質について，専門家 6 名により一対比較法(5 段階:同上記)で評価した結果を示す．同図は右側ほど値が高く，※印は方式間に有意差が有る事を示す．図 4 より，A は B，C に対して，4 画像中 3 画像で有意差を持って優れていた．

※ : 5% Significance Level.

図 4 主観評価結果（ヤードスティック算出結果）
Figure 4 Evaluation Results of Image Quality.

４． まとめ
時空間処理による高精細動画像の雑音除去法の検討を行った．そして，動画像の 3 次元スペクトルを考慮し，時間－空間方向に Wavelet Shrinkage を用いる高精細動画像の雑音除去法を提案した．主観評価実験により提案方式により雑音除去した画像の総合画質を評価し，良好な結果を得た．

５． 参考文献[1] D. L. Donoho, “De-noising by soft-thresholding,” IEEETransactions on Information Theory, vol.41, no.3, pp.613-627,
1995.
[2] J. Kim and W. Woods, “Spatio-temporal adaptive 3-D
Kalman filter for video,” IEEE Transactions on Image
Processing, vol.6, no.3, pp.414-424, 1997.
[3] M. K. Ozkan, A. T. Erdem, M. I. Sezan, and A. M. Tekalp,“Efficient multiframe wiener restoration of blurred and noisy
image sequences,” IEEE Transactions on Image Processing,vol.1, no.10, pp.453-476, 1992.
[4] H. Shimamoto et al., “An 8k x 4k Ultrahigh-Definition Color
Video Camera with 8M-Pixel CMOS Imager,” SMPTE Motion
Imaging Journal, vol. 114, no.7-8, pp.260-268, 2005.
[5] G. Chang, B. Yu, and M. Vetterli, “Adaptive wavelet
thresholding for image denoising and compression,” IEEE
Transactions on Image Processing, vol.9, no.9, pp.1532-1546,
2000.

390
（第3分冊）