1-Q-10
時間周波数領域におけるグリッド間の整合性に基づくクリッピングの除去∗☆三浦晋, 宮部滋樹, 山田武志, 牧野昭二 (筑波大),
中島弘史 (工学院大), 中臺一博 (HRI)
はじめに1.5信号を高品質で録音するためには、入力ゲインを適切に設定して量子化ノイズを減らすべきである。しかし、入力ゲインが高すぎる場合は録音した信号の振幅レベルが限界を超えてひずんでしまうことがある。信号の振幅が、録音機器で扱える振幅の範囲を超えたとき、限界のレベル以上の値は限界のレベルの値で切り揃えられてしまい、波形は Fig. 1 のように変形してしまう。この現象はクリッピングと呼ばれ、音質の劣化だけでなく、音声認識、音源分離、方向推定などの性能を低下させる原因の一つとなっている。
クリッピングされた信号は原信号の情報を失っているため、完全な修復は非常に困難である。しかしながら、修復対象とする信号から得られる事前知識を用いて原信号の振幅をある程度推定することは可能である。対象信号の事前知識を用いる従来手法として、
対象信号が帯域制限されている場合にオーバーサンプリングの性質を利用して修復する方法 [1]、音声信号を対象とした修復方法 [2][3]、統計的な仮定を用いる方法 [4] などが提案されている。対象信号の事前知識を用いずにクリッピング修復を行うことはさらに難しい問題となる。クリッピングの前後区間の波形代入を用いたいくつかの試みがなされているが [5]、元々存在しなかった高周波ノイズが新たに発生してしまうといった問題が確認されている。本研究ではこれらのノイズを防ぎつつ修復を行うため、時間周波数領域でのグリッド間の整合性を考慮して修復を行う手法を提案し、従来手法との性能比較を行う。

2

従来手法

2.1 RVP を用いたクリッピング修復 [5][6]
我々はこれまでに RVP(逐次ベクトル射影法)[7] を用いたクリッピング修復手法を提案した。RVP とは、対象とする信号と相関が高い基底信号を一定の本数選択し、基底信号の線形和によって修復信号を表現する。全ての基底を用いないことにより、対象とする信号から不要な基底信号が除かれることをねらいとしている。基底信号としてフーリエ基底を用い、RVPの相関の計算にクリッピングしていない部分のみを用いることにより、クリッピングしていない部分においてスパースな表現で近似された信号が得られる。このようにして得られた近似信号を、クリッピング部分に延長することにより、クリッピングしていない部分との整合性を保った推定信号が得られる。この手法ではクリッピング部分を検出して、その直前と直後の一定区間を用いて修復を行なう。修復性能は SNR にして 2 dB 程度回復させられるが、高周波数域に新たなノイズが重畳してしまうという課題がある。

∗1
Normalized amplitude

10.5
0-0.5
-1-1.52030405060Sample

Fig. 1

An example of clipped signal.

2.2 Adler らの手法 [8]Adler らの手法 [8] は、クリッピングしていない部分の相関を用いた RVP と等価な基底表現と、基底信号の振幅に関する拘束条件を用いたクリッピング修復法で、上述の手法と同時期に発表されている。RVPを用いたクリッピング修復との相違点は以下の 2 点である。クリッピングの位置によらず、フレーム長が固定のフレーム分析を行っている点、クリッピング部分の修復波形の振幅に適切な上限と下限を設定している点である。性能評価実験では、様々な音声・楽音・クリッピングレベルに対して SNR にして 4–5 dB 程度の改善が得られることが示されている。

3

提案手法

3.1 提案手法のアプローチ
従来法では時間領域での整合性のみを考慮していたため、周波数領域での整合性が保たれていなかった。
これにより新たな雑音が重畳しているのではないかと仮定される。提案手法では従来法で考慮されていなかった周波数領域での整合性について考慮することにより性能の向上を図る。
分析対象として時間領域での波形でなく、スペクトログラムを扱うことで実現を試みる。また、本手法でも従来法と同様にクリッピングしている部分をスパースな表現により近似するが、ここで用いるフーリエ基底を選択する際に、以下のような基準を設けることで周波数領域での整合性を考慮した修復を試みる。
基準 1 クリッピングされているサンプル数が多いフレームほど修復の程度を大きくする。
基準 2 クリッピングによる影響が大きい高周波数帯域ほど修復の程度を大きくする。

Restoration of clipped acoustic signal based on the consistency among time-frequency grids, Shin Miura,
Shigeki Miyabe, Takeshi Yamada, Shoji Makino(University of Tsukuba), Hirofumi Nakajima(KogakuinUniversity), Kazuhiro Nakadai(HRI)

日本音響学会講演論文集- 843 -2012年3月

基準 3 クリッピングによって発生するノイズに多く含まれる高周波成分の基底信号の使用を抑える。

3.2 周波数領域へのマッピング
対象信号のスペクトログラムを扱うため、対象信号を周波数領域へマッピングする。周波数領域へのマッピングは短時間フーリエ変換 (STFT) により行う。入力信号 y(t) を STFT をした後、絶対値をとることで得られたスペクトログラムを N 行 K 列の行列
F (n, k) とする。ここで、N は F (n, k) の総フレーム数、K は F (n, k) の周波数ビン数である。また、本手法では対象信号のスペクトログラムのうち N フレームずつを用いて分析対象区間とする。ここで、以降の処理の簡略化の為にスペクトログラムをベクトル化しておく。ここで得られたスペクトログラムを F (n, k)とすると、ベクトル化されたスペクトログラム f はfM[f1 , · · · , fM ]T[F (1, 0), · · · , F (N, 0),
F (1, 1), · · · , F (N, 1), · · · ,F (1, K − 1), · · · , F (N, K − 1)]T= NK==(1)(2)となる。

3.3 スペクトログラム推定アルゴリズム
推定スペクトログラムは RVP を用いて選択された基底信号の線形和で得られる。基底信号の選択順は、3.1 節での基準を考慮したペナルティJi を用いて決定する。xi を正規形の二次元フーリエ基底、f を対象ス
ペクトログラムとすると、Ji は以下の式で表される。

3.4 基底信号の設計
式 (3) で用いられている基底信号 xi には、時間・周波数間で連続で整合のとれた信号を推定するため、2 次元コサイン基底を加工したものを用いる。基準 3を満たすため、低域に大きなパワーをもつよう適当に設定したパラメタ d を用いて、(1 − k/K)d でコサイン基底を重みづけたものを基底信号として用いる。
基底信号 xi は以下の式であらわされる。
Txi = [x1 , · · · , xM ][= Xi (0, 0), · · · , Xi (N − 1, 0),
Xi (0, 1), · · · , Xi (N − 1, 1), · · · ,]TXi (0, K − 1), · · · , Xi (N − 1, K − 1)
(8)
())
()
(dvn
K−k+1

sin 2π uk
KK sin 2π N

()
K

0 ≤ u < 2 ,0 ≤ v < K2
( K−k+1 )d)()(
sin 2π uk
cos 2π vn

KKN
()


N
0≤u< K2 , 2 ≤v <NXuK+v (n, k) = ( k+1 )d()( vn )
cos 2π uk
KK sin 2π N
()

KN


2 ≤ u < K, 0 ≤ v < 2()()()
 k+1 d cos 2π uk cos 2π vn
KKN

()
K
N
2 ≤ u < K, 2 ≤ v < N(9)3.5 各重みの計算
3.1 節での 3 つの基準を考慮するために設定した重みについて説明する。

3.5.1 誤差重み式 (3) の第一項は対象スペクトログラムと推定スペ
ここで、W は f の各要素の基底表現による誤差を重クトログラムの二乗誤差を表しており、ここでの誤差みづける対角行列、hi は基底重みを表す。これらに重み W は、3.1 節の基準 1 と 2 の役割を果たす。誤ついては後述する。λ は誤差重みと基底重みのどちら差重みはクリッピング重み wc と帯域重み wf によっを重視するかを調整するパラメータである。また、係て求められる。まず、基準 1 を表す重みであるクリッ数 ai は以下の偏微分
ピング重み wc について説明する。この重みの n 番目の要素はn フレーム目におけるクリッピングされて∂Ji= −2(W f )T (W xi ) + 2ai ||W xi ||2 + 2λhi 2 ai (4) いない時間の割合を表す。値が小さいほどクリッピン∂ai
グによる影響が大きいフレームとされる。クリッピンを 0 とおくことにより、
グ重みベクトル wc と、その各要素を以下の式で定義する。
(W f )T (W xi )(5)ai =||W xi ||2 + λh2i
wc = [wc (1), wc (2), · · · , wc (N )]T (10)Lc (n)と得られ、これを式 (3) に代入することで(11)
wc (n) = 1 −L((W f )T (W xi ))2
Ji = −(6)
ここで、n はフレーム番号、N は総フレーム数、L は||W xi ||2 + λh2i
フレームの時間長、Lc (n) は n フレーム目におけるクが得られる。このペナルティJi の値が小さいものほリッピングを受けている時間である。
ど基底信号として選択されやすい。そして、得られた
次に、基準 2 を表す重みである帯域重みについて式 (6) を最小化する xi を選択する。この際、f は以説明する。この重みの k 番目の要素は k 番目の周波下の式で更新される。
数ビンの信頼度を表している。クリッピングにより高周波数域が劣化しやすいため、高周波数域での信頼f ← f − am xm(7)度が低くなるように設定する。帯域重みベクトル wfは以下の計算式で表現した。
ここで、m は選択された基底信号のインデックスである。以上の演算を選択された基底信号の本数が上限にwf = [wf (0), wf (1), · · · , wf (K − 1)]T (12)達するまで繰り返す。全ての基底信号を選択し終えた∑
1
後、選択された基底信号と係数の線形和 fˆ =ai xi
wf (k) =(13)ikをもって推定波形とする。
Ji = ||W f − W xi ai ||2 + λ|hi ai |2

日本音響学会講演論文集(3)- 844 -

2012年3月

ここで、k は周波数ビン番号である。これは自然な音として聴くことができるような性質を持つピンクノイズのスペクトル構造に準拠したものである。そして、誤差重み w と誤差重み行列 W は N 行 K 列の行列 W 0 を用いて以下のように得られる。

W0w

h ==

[h1 , · · · , hM ][wf (K), wf (K − 1), · · · , wf (1),wf (K), wf (K − 1), · · · , wf (1), · · · ,wf (K), wf (K − 1), · · · , wf (1)]T

(17)

後処理

入力信号はクリッピングの影響により原信号よりもパワーが小さく観測されるため、入力信号より推定された推定スペクトログラムもまたパワーが小さく推定されてしまう。この影響を緩和する後処理として、クリッピングによるパワーの減少を前もって見積もり、それを補償するよう推定信号を増幅する。
クリッピングして観測されるサンプルの、クリッピングの影響を受けない本来の平均振幅を前もって p として見積もると、分析範囲のパワー補償ゲイン P は以下のように与えられる。
∑ ′ 2y (t)P = ∑(18)y(t)2{pif y(t) is clippedy ′ (t) =(19)y(t) otherwise
ここで y(t) はクリッピングを受けて観測される入力信号を表す。RVP により推定された振幅スペクトログラムを Y とすると、パワーを保証された振幅スペクトログラム Ŷ は以下のように求められる。
√Ŷ = P Y
(20)
パワーを補償された振幅スペクトログラム Ŷ を時間領域に変換して修復波形とする。

5修復実験

512 点
1/2
ハニング窓
0.1, 0.2, 0.3, 0.4, 0.5
100 本
1024
4
0.5
0, 2

ベルとは、信号をクリッピングする際の振幅の上限である。尚、各信号は最大振幅が 1 になるように正規化されている。

5.1 評価に用いたデータ
本評価実験では音声 20 種類と楽曲 5 種類のデータを用いた。音源は 2008 Signal Separation Evaluation
Campaign のものを使用した。音源のサンプリング周
波数は音声音楽共に 16 kHz、量子化ビット数は 16 である。
5.2 評価尺度
評価尺度は SNR を用いた。SNR は次式で表され、値が大きいほど音質が良いことを表す。
SN R(dB) = 10 log

Σy(t)2Σ(y(t) − ŷ(t))2(21)ここで、y(t) はクリッピング前の信号、fˆ(t) は修復後の信号である。どちらもクリッピング区間のみを切り出している。

5.3 実験結果・考察
Adler らの手法との音声信号についての SNR 比較
を Fig. 2 と Fig. 3 に示す。また、本手法適用後の波形の例を Fig. 4 に、スペクトログラムの例を Fig. 5に示す。Fig. 2 と Fig. 3 より、音源の種類やクリッピングレベルにより差はあるものの、従来手法よりも平均的な修復性能が向上していることが分かる。また、
Fig. 5 より、周波数領域で見てもクリッピングによるノイズがある程度除去されていることが分かる。

6まとめ

本研究では、RVP での基底信号選択時に各種重みを用いたペナルティ関数を用いることで周波数領域でのグリッド間の整合性を考慮し修復を行うクリッピング修復アルゴリズムを提案した。修復実験の結果、SNR 改善量において従来法を上回る性能が確認された。

参考文献

提案手法の性能を評価するために、クリッピングを起こした信号の修復実験を行った。意図的にクリッピングした音声信号や楽曲信号をいくつか用意し、修復を施す前後での差異を比較することで評価を行った。
各パラメータは手動により設定した。それぞれの値
は Table. 2 の通りである。ここでのクリッピングレ

日本音響学会講演論文集

Parameters

FFT 点数オーバーラップ
窓関数
クリッピングレベル
基底信号選択本数
λN
pd= wf wc(14)= [W0 (1, 0), · · · , W0 (N, 0),W0 (1, 1), · · · , W0 (N, 1), · · · ,W0 (1, K − 1), · · · , W0 (N, K − 1)]T(15)W = diag(wc wTf )(16)

3.5.2 基底重み式 (3) の第二項は使用する基底信号の重み付き二乗ノルムを表しており、これに乗ずる基底重み hi は基準 3 の役割を果たす。高周波数の基底信号でペナルティJi の値が大きくなるように、高周波数ビンでは値が高くなるように設定した。hi は wf を用いて以下の式で表される

4

Table 1

[1] J. S. Abel and J. O. Smith, “Restoring a clippedsignal,” Proc. ICASSP, pp.1745–1748, 1991.
[2] A. Janssen, R. Veldhuis, and L. Vries, “Adaptive interpolation of discrete-time signals thatcan be modeled as autoregressive processes,”- 845 -2012年3月

25SNR(dB)

201510Clipped5

Proposed method
Method by Adler

00.1

0.2

0.3
Clipping level

0.4

0.5

Fig. 2 SNR performance of the proposed method(speech).

Fig. 5nal.

25

SNR(dB)

20IEEE Trans. Acoust., Speech and Signal Process., vol. 34, no. 2, pp. 317–330, 1986.

15[3] A. Dahimene, M. Noureddine, and A. Azrar, “Asimple algorithm for the restoration of clipped
speech signal,” Informatica, vol. 32, pp. 183–188,
2008.

10Clipped
5

Proposed method
Method by Adler

00.1

0.2

0.3
Clipping level0.40.5

Fig. 3 SNR performance of the proposed method(music).

[4] S. J. Godsill, P. J. Wolfe, and W. N. W. Fong,“Statistical model-based approaches to audio
restoration and analysis,” J. of New Music Research, vol. 30, no. 4, 2001.
[5] 三浦晋, 中島弘史, 牧野昭二, 山田武志, 中臺一博,“クリップした音響信号の修復,” 日本音響学会春季研究発表会, pp. 941-944, Mar. 2011.
[6] S. Miura, H. Nakajima, S. Miyabe, S. Makino,
T. Yamada, K. Nakadai, “Restoration of clippedaudio signal using recursive vector projection,”
Proc. TENCON, pp. 787–790, 2011.

original
restoredclipped

0.3[7] Hirofumi Nakajima, Mikio Tohyama, andMasashi Tanaka, ”A recurcive algorithm for digital filters to reduce the number of multipliers,”
Proc. of inter・noise 96, pp. 2801-2804, 1996

0.2

amplitude

An example of spectrogram of restored sig-0.1[8] A. Adler, V. Emiya, M. G. Jafari, M. Elad,R. Gribonval, and M. D. Plumbley, “A constrained matching pursuit approach to audio declipping,” Proc. ICASSP, pp. 329–332,2011.

0-0.1
-0.2
-0.3
4.025

4.03

4.035

4.04sample

Fig. 4

4.045

4.05

4.055
x 104An example of waveform of restored signal.

日本音響学会講演論文集[9] ITU-T Rec. P.862, “Perceptual evaluation ofspeech quality (PESQ）: An objective method
for end-to-end speech quality assessment of
narrowband telephone networks and speech
codecs,” 2001.

- 846 -

2012年3月