情報処理学会研究報告
IPSJ SIG Technical Report

音響符号化のための周波数解像度の伸縮されたスペクトル包絡の表現法
杉浦 亮介1,a)

鎌本 優2,b)

原田 登2,c)

亀岡 弘和2,d)

守谷 健弘2,e)

概要：本稿では, 非負値疎行列を用いた周波数軸伸縮により周波数解像度を伸縮させることで, 効率よく周波数スペクトル包絡を表現するためのモデルを提案する. このモデルは予め伸縮のための行列を設計しておくことにより, 包絡の解像度を任意に伸縮させることができ, 周波数領域での音声音響符号化において入力信号の情報の偏りに合わせて包絡を表現し, 符号化器の品質を向上させることが期待できる. ここではその一端としてメル対数的な解像度の伸縮を実際の符号化器に取り入れ, 低ビットレート・低遅延の符号化器において品質が改善されることを主観評価実験の結果により示す.
キーワード：音響符号化, 信号処理, 周波数伸縮, 非負値疎行列, TCX

1. はじめに
音声符号化の技術は長年に渡って多くの研究がなされ,音声通信の根底を支えてきた. これまでの音声通信用の符号化方式は比較的狭い帯域を扱い, 主に音声信号に特化し大きく影響を与える. 本稿では, 非負値疎行列を用い, 低演算量で包絡の解像度を伸縮することにより, TCX にとって効率のよいスペクトル包絡の表現を行うことを考える.

2. 周波数領域符号化におけるスペクトル包絡て設計されてきた. しかし, 携帯電話やインターネット電本研究は, USAC でも採用されている修正離散コサイン

話 (VoIP) 等による音声通信が当たり前になった昨今にお変換 (MDCT) を用いた TCX [3] をベースに議論を行う.

いては, より快適なコミュニケーションの実現のため, 広帯TCX の処理の概略を図 1 で示す. この方式ではスペクト域な信号を対象とし, 音声以外の信号も高品質に圧縮できルの包絡を表す線形予測係数, 及びスペクトルをその包絡る方式が求められている.

で割って得られる残差スペクトルを量子化し, 符号化する.

音声と音響に対応した符号化方式の標準規格としては,線形予測係数は, 量子化や内挿に対して頑健な線スペクト

3GPP Extended Adaptive Multi-Rate Wideband (AMR-ル対 (LSP) に変換してベクトル量子化し, 残差は周波数ビWB+) や MPEG-D Uniﬁed Speech and Audio Coding

ン毎にスカラー量子化後, エントロピー符号化し圧縮する.

(USAC) [1], [2] が知られている. これらはいずれも入

ここで, スペクトル包絡の情報は大きく二つの役割を果

力が音声なら時間領域, 音声以外なら周波数領域といったたす. まず一つ目は残差スペクトルの量子化の際に生じるように, 符号化を行う領域を使い分けている. 本研究は, 主誤差の分配である. 信号の残差スペクトルを計算する際,に携帯電話での使用を想定し, AMR-WB+や USAC より包絡に聴覚的な重み付けを行うことで量子化誤差を調節すも低遅延な条件下での高品質な音声音響統合符号化方式をることができる. 通常, スペクトル包絡は線形予測係数を最終目標とする. 本稿ではその一端として, 周波数領域で{an } を用いての符号化である Transform Coded eXitation (TCX) に焦

Hk = 1/|1 +∑点を当て, 品質改善のための提案を行う.

TCX では信号スペクトルの包絡情報が符号化の効率に
2a)b)c)d)e)

東京大学大学院情報理工学系研究科
NTT コミュニケーション科学基礎研究所
sugiura@hil.t.u-tokyo.ac.jp
kamamoto.yutaka@lab.ntt.co.jp
harada.noboru@lab.ntt.co.jp
kameoka.hirokazu@lab.ntt.co.jp
moriya.takehiro@lab.ntt.co.jp

c 1959 Information Processing Society of Japan⃝

2πk(1)nと表されるが, この包絡の代わりに Hk を重み付けにより平滑化した

1an e−j N n |, (0 ≤ k ≤ N − 1)H̃k = 1/|1 +∑an γ n e−j N n |, (0 < γ < 1)
2πk(2)nを除算に用いて残差を得る. この残差をスカラー量子化す
ると, スペクトルの量子化歪みはおよそ H̃k /Hk に比例し,スペクトルのピークでは歪が小さく, その周辺の周波数で1

情報処理学会研究報告
IPSJ SIG Technical Report

図 1

TCX のフローチャート

は歪みが大きくなるように歪みの分配がなされる. 上記の

図 2

提案手法のフローチャート

γ として 0.92 を使うと, おおよそ人間の聴覚におけるマスキング効果を考慮した誤差配分になることが実験的に知ら設計した行列により近似的にパワースペクトルを伸縮し,れており, 様々な符号化方式でこの値が用いられている.

フーリエ変換したものを信号の擬似的な自己相関関数とし二つ目の役割は残差のエントロピー符号化におけるパて, 線形予測分析により線形予測係数を得る. 得られた係ラメータ調節である. 残差スペクトルの包絡は Hk /H̃k で数に対して式 (1) を適用すると伸縮周波数軸上で一様な解表すことができ, この包絡と残差の値には相関が見られる.

像度を持つ包絡が求まる. したがって, 逆伸縮の行列演算

例えばエントロピー符号化としてライス符号 [4] を用いるを行い元の周波数軸に戻すことで, 周波数解像度の伸縮さ場合, この包絡の対数に比例した値を各ビンのライスパラれた包絡が得られる. この手法は線形予測分析により推定メータとすれば符号化の効率を上げることができる.

を行うので, 係数は陽に求まり, 必ず安定であることが保証できる.

3. 提案手法
3.1 周波数軸伸縮を用いた包絡の解像度伸縮
上記のような誤差分配やパラメータ調節はスペクトル包

3.2 非負値疎行列による周波数伸縮の近似
上述した周波数伸縮の近似行列の設計の際には, 次の三絡が元のスペクトルの構造を正しく表現していることを前つの要素について考慮する. まず, 伸縮操作の演算量を抑え提としたものであり, 包絡が適切に表現されていない時にるため, 伸縮行列は疎なものでなければならない. また, 伸は逆効果となり得る. 一般的に, 線形予測分析で得られる縮後のスペクトルもパワースペクトルでなければならない

包絡はおおよそ (信号の点数)/(線形予測次数) の解像度でことから, 伸縮行列の要素は全て正とするべきである. そ元のスペクトル表現することから, 包絡の次数を上げるこして, 伸縮・逆伸縮における無矛盾性を保つ必要がある. そとにより包絡の精度自体は上昇させることが可能であるが,もそも, 離散信号における周波数伸縮は不可逆的な操作でその分伝送すべき情報が増えてしまい必ずしも符号化効率あり, 単純に sinc 補間を使用した場合, 意図せぬ変形がおの改善には寄与しない. そこで本稿では, 自然音のエネルこる可能性がある. 以上のことを踏まえ, 周波数伸縮とそギーの偏りに着目し, 同次数でより効率よく情報を抽出すの逆伸縮を近似する行列を予め最適に設計しておくことをることを考える. 高圧縮の符号化においては多くの場合, 量考える. 線形予測分析から求まる包絡は, その自乗値と元子化の過程で大半の帯域の情報がなくなり, もともとエネのパワースペクトルとの板倉斎藤距離が最小となるものでルギーの偏っていた帯域の情報が主にエントロピー符号化あることから [8] , 行列の最適化においても同様に目的関の対象となる. この事実から, 解像度に偏りを持たせた包数として板倉斎藤距離を用いる. 周波数伸縮行列 W に関絡モデルを基にスペクトル包絡の情報を抽出することによしては,∑(り, 符号化器の効率が上がり得ると考えられる.
解像度の伸縮された包絡のモデルとしては, 今井らの Meli,j∑YijYij− log ∑−1WXWikkj
ik Xkjkk)(3)

Log Spectrum Approximation (MLSA) フィルタ [5] が代を目的関数とし, 行列 W について非負値疎行列という条表的である. このモデルは, 包絡がメル対数周波数軸で均件下で最小化する. ただし, X はトレーニングデータのパ一な分解能になるような近似がなされており, 時間領域符

ワースペクトル, Y は sinc 補間によって厳密に周波数伸縮号化への応用も検討されている [6], [7]. ただし, このモデを行ったパワースペクトルであり, 目的関数は W X の Y

ルでは係数の推定のためにフレームごとの反復計算が必要からの板倉斎藤距離を示す.

となり, 包絡の計算にも演算量がかかる上, 伸縮の自由度も小さい.
より低演算量で自由な解像度の伸縮を行うため, 本稿では周波数軸の伸縮と逆伸縮を近似する行列による包絡のモデルを提案する. 提案手法の概要を図 2 に示す. まず, 予め

c 1959 Information Processing Society of Japan⃝

この最適化問題は解析的に解けないことから, 補助関数法 [9] による反復計算を用いて最適解を求める. まず, この目的関数の W に関する項のみについて考え,()∑∑∑Yij∑+log
Wik Xkj ≡ L(W ) (4)k Wik Xkj
i,ji,jk2

情報処理学会研究報告
IPSJ SIG Technical Reportを最小化することを考える. 関数 f (x) = x1 は x > 0 におという更新式が求まる. 逆変換の行列 U も同様に, U W X

いて凸であるので Jensen の不等式
11∑
= ∑(5)W
Xλ(Wik kjik Xkj /λijk )kk ijk()∑∑λijk≤
λijk ≥ 0,λijk = 1
Wik Xkj /λijkの X からの板倉斎藤距離最小化を考えることで更新式がkk求められる.
上記で得られる更新式は, 行列の各要素と正数の積の形で表される. したがって, 行列 W, U の要素は初期値が正数であれば必ず正数となり, 零であれば更新後も零である. こが成り立つ. また, 対数関数の凹性から()∑∑
Wik Xkjlog
Wik Xkj ≤ log ϕij + k, (ϕij > 0)ϕijのことから, 初期値の非零要素数を少なくし全て正数とす(6)

Y の伸縮を変えることで伸縮行列を自由に設計することもkが導かれる. この二式を用いて, 上記の目的関数の W に関ることにより, 伸縮行列が非負値疎行列であるという条件下で最適化することができる. また, トレーニングデータできる.

する項の上界を次の補助関数により定める.

L(W ) ≤∑∑

λ2ijk
(7)
Wik Xkji,jk∑)∑(
Wik Xkj+≡ G(W )
log ϕij + kϕiji,jYij

ただし等号成立は

3.3 解像度伸縮包絡に対する聴覚重み付け提案手法で得られた包絡を実際の TCX で使用する場合,先述のとおり式 (2) の聴覚重み付けによる平滑化を行う必要がある. しかし, 提案手法によって得られた線形予測係数を単純に式 (2) に適用すると, 伸縮周波数軸上のスペクトル包絡を, 線形周波数軸上の包絡として平滑化したもの∑Wik Xkj, ϕij =Wik Xkj
λijk = ∑k Wik Xkj(8)となり, 本来の周波数軸での平滑化とは結果が異なる. 実
験的に有効性が知られている H̃k /Hk に従う量子化歪みのkの時である. 式 (7) は凸であるので, λ, ϕ を固定すると上分配を行うためには, その伸縮にあわせた方法で包絡を平記の補助関数 G(W ) は W に関する停留点を求めることに滑化する必要がある. そこで, 周波数ビン毎に次のようなより最小化できる. よって,∂G(W )|W =W̃∂Wmn(∑=Ymj λ2mjn /Xnj −補正を γ にかける.

j

伸縮周波数軸と線形周波数軸において, ナイキスト周波

12W̃mn√∑⇐⇒ W̃mn =)+∑ Xnj
jϕmj

2j Ymj λmjn /Xnj

∑j Xnj /ϕmj

数までの区間にそれぞれ等間隔に N 点の離散周波数があ=0ると考える. そして, 式 (2) の k を伸縮周波数軸上での離散周波数のインデックスとし, f (k) を, k 番目の対数周波数が線形周波数軸において何番目に相当するかを表すもの(9)により, この W̃ が補助関数 G(W ) を最小化する. そしてW̃ と式 (8) により λ, ϕ を更新し, 再び式 (7) を最小化する.とする. ただし, f (0) = 0 とする. 伸縮された包絡の平滑化の際, 提案手法で得られたパラメタ系列 {an } を用いて,∑H̃0 = 1/|1 +an γ n |これを繰り返すことにより目的関数は単調に減少し, W̃ は局所解に近づく. この反復は次のように更新式にまとめられる.

H̃k = 1/|1 +∑nan γf (k)k n−j 2πkN ne|, (1 ≤ k ≤ N − 1)n(13)l 回目の反復で得られる W̃ を W (l) とすると, それにより更新される λ, ϕ はそれぞれ

∑ (l)
W Xkj
, ϕij =Wik Xkj
λijk = ∑ ik (l)kk Wik Xkj

通常の包絡の平滑化に相当する操作を近似する.

(l)(10)となり, これと式 (9) により補助関数 G(W ) を最小化する

W (l+1) を求めると,v(∑)2u∑(l)2(l)uYmj Wmn Xnj /Wmk Xkj
ujk(l+1)
Wmn=t(11)∑∑(l)j Xnj /k Wmk Xkjが得られ,vu∑
2u j Ymk Xnj /Ŷmj
(l+1)
(l) t
Wmn = Wmn
, Ŷ = W (l) X (12)
∑X/
Ŷ
njmj
jc 1959 Information Processing Society of Japan⃝のように γ に伸縮の度合いに応じた補正をかけることで,また, 上記の f (k) は逆伸縮行列 U を使うことで,
f (0)0..
 ≃ U  .. (14).
 . f (N − 1)

N −1としても同様の効果が得られる.

4. 実験と結果
4.1 メル対数伸縮における比較
最適化により得られた伸縮の近似行列による解像度伸縮の効果を評価するため, メル対数周波数軸への伸縮を用いた時の包絡の比較を次のように行った. まず, 前節の最適3

情報処理学会研究報告
IPSJ SIG Technical Report

図 4
図 3

各帯域での包絡の線形予測分析からの改善量 (板倉斎藤距離基準) の平均と標準偏差. 縦軸が 0 より大きい所は, 線形予測分包絡の比較. 緑点線が MDCT による実数スペクトル, 赤破線

析の包絡よりもスペクトルからの距離が近いことを意味する.

が提案手法, 青実線が線形予測分析による包絡.

RWC 研究用音楽データベースのポピュラー音楽及びクラシッ
ク計 15 曲からそれぞれランダムに 30 秒を切り取り使用. サンプリング周波数 16 kHz, 1 フレームあたり 320 点のスペク化により各行の非零要素数が最大 7 つであるようなメル対トル, 包絡の次数は 16 次. MLSA フィルタは Speech Signal

数伸縮行列とその逆伸縮行列を設計した. そして, 音響信Processing Toolkit [10] のものを使用.

号の各フレームに対して, 最適化した伸縮行列または厳密な sinc 補間による伸縮を用いた二種類の解像度伸縮包絡,及び MLSA フィルタによる包絡を求め, パワースペクトルとの板倉斎藤距離を計算した.
図 3 はある 1 フレームで線形予測分析と最適化した伸縮行列を用いた包絡を並べたものである. 低域において提案手法の包絡の解像度が向上していることが確認できる. また, 定量的な評価として, 各手法による包絡が通常の線形予測分析による包絡と比べ各帯域において精度がどれだけ変化するかを比較した結果を図 4 に示す. 各手法の包絡はいずれも対数的に周波数解像度を伸縮していることから, 通常の線形予測分析と比べ低域での精度が上がり, その分高

図 5 提案手法の包絡を式 (2) で平滑化した場合. 青破線が平滑化

域での精度が下がっている. 最適化した行列と厳密な sinc前, 赤実線が平滑化後, 次数は 16.

補間との比較では, いずれも低域での精度向上は同等であるが, 最適化した方では sinc 補間よりも高域での伸縮・逆伸縮における無矛盾性が保たれていることがわかる. そして, 提案手法は MLSA フィルタとほぼ同等な性能を示した.

4.2 聴覚重み付け比較
続いて, 聴覚重み付けによる包絡の平滑化に関しても比較を行った. 通常, 線形予測分析で得られた包絡を式 (2) によって重み付けした際には, 包絡のピークが急峻なほど大きく平滑化され, なだらかなものはあまり変化しない. しかし, 前節と同様の解像度伸縮をした包絡にこの単純な平滑化を行った結果, 図 5 のように低域において通常よりもピークの形が大きく残ってしまった. これは式 (2) の操作がメル対数周波数軸上で行われてしまうことに起因する.
一方, 式 (13) を用いた場合, 図 6 のように軸の伸縮に合わ

図 6

提案手法の包絡を式 (13) で平滑化した場合. 青破線が平滑化前, 赤実線が平滑化後, 次数は 16.

4.3 音質の主観評価せて平滑化された包絡が得られた. 周波数毎に γ に補正を最後に TCX をベースとした符号化器を作成し, 上の実かけることにより, 線形周波数軸上でのピークの急峻さに験で使用したメル対数伸縮行列による解像度伸縮を導入しあわせて平滑化されることが確認できた.て, ITU-R BS.1534-1 MUltiple Stimuli with Hidden Ref-c 1959 Information Processing Society of Japan⃝

4情報処理学会研究報告
IPSJ SIG Technical Report

5. おわりに
本稿では, 周波数伸縮とそれに対する逆伸縮を近似する非負値疎行列を用いた包絡モデルを提案した. 提案手法を用いることで, 解像度の伸縮された包絡を形成することができ, メル対数的に伸縮した場合は MLSA フィルタとほぼ同等な精度となることを確かめた. また, 周波数伸縮を使用する際には, その伸縮の度合いに応じて聴覚重み付けの仕方に修正を加える必要があることを指摘した. そして, 音(a) MUSHRA スコア. 左から順に包絡の解像度伸縮有りの TCX,無しの TCX, AMR-WB+.

質の主観評価実験により, 解像度伸縮が実際に符号化器の品質を向上させ得ることを統計的に示した. 今回の実験ではメル対数周波数軸への伸縮のみを使用したが, 符号化対象の信号に合わせた適切な伸縮を探索する方法を考えることが今後の課題である.

謝辞
本研究は JSPS 科研費 26730100 の助成を受けたものです。
参考文献(b) 周波数伸縮を用いたことによる点数の増加量.
図 7 主観評価実験の結果. エラーバーは 95 ％信頼区間, *は 5 ％有意水準で有意差があったことを示す.

erence and Anchor (MUSHRA) による音質の主観評価実験を行った. 作成した TCX はサンプリング周波数 16 kHzにおいてフレーム長が 320 点 (20 ms), アルゴリズム遅延が 40 ms であり, AMR-WB+の遅延 72 ms よりも低く設計した. 楽曲は RWC 音楽データベースの異なるジャンルの 6 曲から 10 秒を切り取り, モノラル化し, 16 kHz にダウンサンプリングした後 16 kbps で圧縮した.

7 名の被験者にそれぞれ楽曲について参照音と包絡の解像度伸縮有り・無しの TCX, 及び参照方式として AMR-WB+の計 3 方式によってそれぞれ圧縮した音, そしてアンカーとして 3.5 kHz に帯域制限した音を提示し, どれだけ参照音に近い音であるか 100 点満点で評価を行った.
図 7(a) は各圧縮方式についての評価結果である. 作成したコーデックと AMR-WB+は, それぞれ曲調による得手不得手があるがほぼ同等の評価が得られた. また, 解像度

[1]
[2]

3GPP TS 26.290 version 11.0.0 Release 11, 3GPP, 2012.
M. Neuendorf, et al., ”MPEG Uniﬁed Speech and Audio
Coding - The ISO/MPEG Standard for High-Eﬃciency
Audio Coding of All Content Types”, AES 132nd Convention, Budapest, HU, Apr. 2012.
[3] G. Fuchs, et al., ”MDCT-Based Coder for Highly Adaptive Speech and Audio Coding,” EUSIPCO., IEEE,pp.1264-1268, 2009.
[4] R. Rice and J. Plaunt, ”Adaptive Variable-Length Codingfor Eﬃcient Compression of Spacecraft Television Data,”
Transaction on Communication Technology, IEEE, Vol.
COM-19, No.6, Dec., 1971.
[5] 今井 聖, et al, ”音声合成のためのメル対数スペクトル近似(MLSA) フィルタ,” 電子通信学会論文誌 ’83/2, Vol.J66-A,No.2, pp.122-129, 1983.
[6] K. Koshida, et al., ”Eﬃcient Encoding of Mel-GeneralizedCepstrum for CELP Coders,” ICASSP-97., IEEE, Vol.2,pp.1355-1358, 1997.
[7] K. Koshida, et al., ”A Wideband CELP Speech Coder at
16 kbit/s Based on Mel-Generalized Cepstral Analysis,”
ICASP-98, IEEE, Vol. 1, pp.161-164, 1998.
[8] 板倉文忠, ”統計的手法による音声分析合成に関する研究,”
博士論文, 名古屋大学大学院工学研究科, 1972.
[9] 亀岡 弘和, et al., スペクトル制御エンベロープによる混合
音中の周期および非周期成分の選択的イコライザ, 情報処
理学会研究報告, vol. 2006-MUS-66, pp.77-84, Aug. 2006.
[10] http://sp-tk.sourceforge.net/ (’13 年 1 月現在).

伸縮包絡を導入したことによる点数の増加を図 7(b) で示
す. 曲調によって効果の程度は異なるが, 6 曲全てにおいて解像度伸縮有りは無しに比べて同等以上の評価が得られ, 3曲においては有意水準 5 ％で有意差が見られた. この結果
は, 多くの自然音においてエネルギーの偏りが低域に見られることに起因し, エネルギーの偏りに合わせて包絡の解像度にも偏りを持たせることで情報抽出の効率が上げられることを示唆する.

c 1959 Information Processing Society of Japan⃝5