パワースペクトル上の無限オーダー畳込み型室内伝達モデルに基づく
実時間セミブラインド音声強調∗○前澤1

陽 (ヤマハ株式会社) 奥乃

はじめに

セミブラインド音声強調技術– ある機器から発せられる既知の音源（以下「自己発話」）と，分析の対象とする音源（「目的音声」）の混合音から，自己発話を抑圧すること–は，多くの信号処理技術の実用化に際して重要な技術である．たとえば，セミブラインド音
声強調技術を音声認識に活用すると，ロボットへの組み込んだ際に，ロボットの動作音に対する頑健性を実現したり [1]，音声合成エンジンの発話途中に，「割り込んで」音声認識ができるようになる [2]．また，音楽情報処理（MIR）においても，ある機器から発せられる伴奏音に対して，ユーザが奏でる音響信号が上乗せされる場合，ユーザの演奏音を分析するためには，セミブラインド音声強調は有益だと考えられる．
このようなユースは，カラオケをはじめとする自動伴奏技術には必要不可欠であろう．本研究は，音楽情報処理の実時間応用に際して，実用的なセミブラインド音声強調の実現を目的とする．
実時間 MIR タスクにおける，セミブラインド音声強調技術の実用化に際しては，三点の要件を満たすことが望ましい．一点目は，単一のマイクロフォンで動作することである．というのも，近年タブレット端末を始めとする携帯端末が普及し，「かさばらない」ことが，より重要になると想定されるためである．この場合，一つの観測音から，目的音と自己発話の二つを推定することは，劣決定問題となる．そのため，劣決定でないことを要求する，独立成分分析に基づく手法 [1, 3, 4] は使えない．そのため，モノラル音源の振幅スペクトログラムを，音源と観測スペクトルの非負値重みづけ和として表わすといったアプローチ [5]が有効になる．
二点目は，幅広い残響時間下で動作することである．なぜならば，音楽音響信号は，ドライなスタジオからコンサートホールといった，幅広い残響環境で再生されるためである．特に，残響時間に関連する次数を予め設定しないことが望ましい．次数を事前に決定することの障害は，音源分離などの枠組みで特に指摘されている [6]．特に，ノンパラメトリックベイズに基づくモデル化は，実質的な次数を，観測データに基づいて動的に変化させる方法として，信号の分解 [6] や残響抑圧 [7] の枠組みで提案されている．
三点目は，実時間で動作することである．二点目の要求を満たすためには，ベイズ推定をできることが∗博（京都大学）望ましいが，逐次的にベイズ推定を行う方法は自明ではなかった．しかし，近年，ベイズ推定の方法論の一つである変分ベイズ法を，自然勾配法として見なすことにより，一部の問題で，逐次的な推論方法が確
立 [8] されている．本稿では，この理論的枠組みをセミブラインド音源分離に活用する．
これら三点の要求を踏まえ，本稿では，単一の入力チャンネルで動作し，室内音響系に対する長さを明示的に与える必要のないことを特徴とした，実時間セミブラインドモノラル音声強調手法を提案する．

2定式化

本手法は，単一のマイクロフォンで観測された，観測音の振幅スペクトログラムを，室内音響系に畳み込まれた自己発話と，目的音声の混合としてモデル化する．まず，周波数ビン f ，時間インデックス t に対して，観測音の振幅スペクトログラムを yf,t ，ソースの振幅スペクトログラムを sf,t ，自己発話の振幅スペクトログラムを xf,t とする．また，自己発話の伝達系における，インパルス応答の振幅スペクトログラムを hf,i (0 ≤ i ≤ I) とする．また，目的音のゲインを g0 ，hf,i の各 i で共有されるゲインを gi+1 とする．本来このゲイン変数は s や h に吸収できるので冗長にも見えるが，後述する確率モデルで重要な役割を果たす．hf,i には，マイク，スピーカー，部屋の初期反射といった，スペクトルを f 軸に色付けするような要素が，部屋の長期残響によって i 方向に減衰するような形をしている．
ここで，s, x, h の独立性と，振幅の加法性を仮定し，更に，自己発話 x が，hf,i に時間方向に畳み込まれたものが，y で観測されたと仮定する．すると，次のような観測モデルを考えることができる：

yf,t = g0 sf,t +I∑

gi+1 hf,i xf,t−i(1)i=0

このような観測モデルを元に，適当な統計モデルを構築し，統計モデルの事後分布を求めることを考える．事後分布が求まれば，事後分布の統計を取ることにより，あらゆる情報を得ることが出来る．たとえば，目的音を復元する際には，s の期待値を取ればよい．確率モデルの設計にあたっては，序文で説明した要件を満たすことが望ましい．特に，残響時間に対するロバストネスや，音楽音響信号を対象といった事柄は，適切な統計モデルの設計により，実現される．

Semiblind Source Emphasis based on an inﬁnite convolutive model of room acoustics.
by Akira MAEZAWA (Yamaha Corporation) and Hiroshi G. OKUNO (Kyoto University)

本手法における要求の一つに，残響時間に対するロバストネスを確保することがある．しかし，本手法の観測モデルにおいて，残響時間は，次数 I として陽に表わされ，その最適値は，残響時間によって適切な値が異なる．残響時間に対して，ロバストネスを確保するためには，次数が，観測音 y の特性に適応するような形が望ましい．
このような機能を実現するため，g には，縮退するような性質を持たせたい．つまり，観測音を，雑音成分と，過去の自己発話に h を重みづけた物の線形結合で説明する際に，必要最小限の変数で説明したいのである．そこで，g の事前分布として，ガンマ過程 [6, 9] を考える．まず，L 個の確率変数 θl を，θl ∼ Gamma(α/L, αc) から生成することを考える．
この過程は，L が増えるにつれ，形状パラメータ αと逆スケールパラメータ αc を持つガンマ過程に近づく．このようなガンマ過程から生成された点のうち，無視できない値 ϵ > 0 を持つサンプルの数は，ほぼ確実に有限である．特に，L が α に対して十分大きければ，θl のうち，無視できない値を持つものは，Lよりもはるかに少ない．よって，g のうち多くは無視できる値をとり，データを説明するのに効いてくる変数に対応する gi の値のみが無視できない値になることが期待される．
y は，Poisson 分布に従って生成されるとする：()∑
y|x, s, h ∼ Pois
gi+1 xf,t−i hf,i + sf,t g0(2)
i(s)

(h)
Mf,t,i |x, h ∼ Pois (xf,t−i hf,i gi+1 )log p(y, x, g, s, h) =(3)(4)

推論の便宜上，h と s は，Poisson 分布の共役事前分布であるガンマ分布を設定する．ある密度関数 p(x|θ)
に対する共役事前分布 p(θ) とは，事後分布 p(θ|x) が，事前分布 p(θ) と同じ関数形であるような分布のことである．g の事前分布は，残響時間に対するロバストネスを要求するため，ガンマ過程の近似に従うようにする．
)((5)
gi |α(g) , c(g) ∼ Gam α(g) /I, α(g) c(g))((6)
hf,i |a(h) , b(h) ∼ Gam a(h) , b(h))((7)
sf,t |a(s) , b(s) ∼ Gam a(s) , b(s)]∑ [ (s)(s)af,t log sf,t − bf,t hf,tf,t] ∑[]∑[+a(h) log hf,i − b(h) hf,i +α(g) /I log gi − α(g) c(g) gi
if,i+∑[f,i,t+](h)(h)
Mf,t,i log (gi+1 xf,t−i hf,i ) − gi+1 Xf,t−i hf,i − Γ(Mf,t,i )]∑ [ (s)(s)Mf,t log (g0 sf,t ) − g0 sf,t − Γ(Mf,t ) (8)f,t

こ の 目 的 関 数 は ，最 適 化 が 困 難 で あ る が ，q が∏∏∏f,t q(sf,t ) の形で近似できると
f,i q(hf,i )i q(gi )すると，解析的な最適化が可能となる．この様な近似は，言い換えると，事後分布と事前分布が，同じ関数形をしていると仮定している．すると，変分ベイズは，次の目的関数を最大化することに等しい：

J(Θ) =

Poisson 分布は再生性を有しているため，観測モデルで仮定した，振幅の加法性と係数の独立性への相性がよい．再生性とは，y1 ∼ Pois (x1 ) と，y2 ∼ Pois (x2 )となるような，独立な確率変数 y1 と y2 が与えられる
とき，y1 + y2 ∼ Pois (x1 + x2 ) となるような性質を指す．再生性により，補助変数 M (s) と M (h) を導入∑(h)(s)し，Mf,t + i Mf,t,i = Yf,t と制約することにより，次のような等価なモデルを考えることができる：
Mf,t |s ∼ Pois (sf,t g0 )これらを踏まえた上で，変分ベイズ法に基づく事後分布推定方法を導出する．まずは準備のため，オフライン推論手法について述べる．
変 分 ベ イ ズ 法 と は ，近 似 さ れ た 事 後 分 布q を 求 め る 方 法 で あ り，目 的 関 数 J(Θ)=⟨log p(X, Θ)⟩q(Θ) + Hq(Θ) を 最 大 化 さ せ る こ とに基づく．ここで，⟨f (x, y)⟩p(y) は，確率密度 p(y)の下で f (x, y) の期待値を評価することを意味し，ま∫た，Hq(Θ) = − q(Θ) log q(Θ)dΘ であり，エントロピーを指す．対数同時分布 log p(y, x, g, s, h) は，定数項を無視すると，次のように与えられる：∑Hq(gi ) +i∑
f,iHq(hf,i ) +∑Hq(sf,t )f,t+ ⟨log p(y, x, g, s, h)⟩q(g,s,h)(9)

このように，q における変数間の独立性を仮定すると，
J(Θ) は，個々の変数に対して最適化を行うことができる．具体的には，ある変数 θi ∈ Θ を最適化する際は，⟨log p(X, Θ)⟩q(¬θi ) + Hq(θi ) を最大化させればよい．ここで，¬θi とは，Θ に含まれる θi 以外の変数という意味である．対数同時分布 log p(X, Θ) の期待値は，期待値を取る分布が，指数族であり，観測尤度の共役事前分布である場合，解析的に求まる．本手法
は，この要件を満たすため，期待値は簡単に求まる．
なお，紙面の制約上，ここでは，この目的関数の最大化方法については省略する．
目的音を復元する際には，目的音の STFT して，振幅として目的音の期待値 ⟨sf,t ⟩，位相として観測音STFT のものを用意し，信号を復元すればよい．

2.1

実時間推定

式 9 の最適化は実時間では行えない．というのも，
g や h の事後分布は，全ての観測に依存し，s の事後分布は g と h の期待値に依存するため，逐次的な推論が不可能だからである．しかし，変分ベイズを，自然勾配法と捉えることにより [10]，このような場面でも，逐次推定が可能な，変分ベイズ推定手法が確立されている [8]．そこで，このアイディアを，本手法の実時間変分ベイズ推論へ応用することを考える．
まず，時刻 0 からデータ長 T の間で一様に分布する確率変数 τ ∼ Uniform(0, T ) を導入し，次のような目的関数 Jτ を定義する：(b) 式 10 の期待値を，自然勾配法により最適化する．これは，次のように事後分布を更新することに相当する．
 (h)
 (h)
 (h)
ãf,iãf,iāf,ib̃(h)
b̃(h)
b̄(h)
 f,i   
 (g) := (1−ρt )  f,i+ρt  f,i (13)
ãi 
ã(g)ā(g)
ii(g)(g)(g)b̃ib̃ib̄i)∑(α(g)Hq(gi ) +⟨log gi ⟩ − α(g) c(g) ⟨gi ⟩Ii)∑(+Hq(hf,i ) + a(h) ⟨log hf,i ⟩ − b(h) ⟨hf,i ⟩Jτ (Θ) =f,i+T[(s)max(h,s)

M:,τ

(s)

(s)

Hq(sτ ) + Mf,τ ⟨log g0 sf,τ ⟩ − ⟨g0 sf,τ ⟩,a:,τ ,b:,τ)∑ ( (h)Mf,τ,i ⟨log(gi+1 hf,i xf,τ −i )⟩ − gi+1 xτ −i ⟨hf,i ⟩isubject to Yτ =∑](h)(h)(s)Mf,τ,i + Mf,τ(10)i

この目的関数は，J(Θ) に対して，(1) 全ての観測データが，時刻 τ の観測値であると仮定し，(2) sf,t ，M (s) ，M (h) を先に最適化する，という変更を加えているものである．ここで重要なのは，max⟨Jτ (Θ)⟩τ =max J(Θ) となることである．つまり，⟨Jτ ⟩ を最適化することは，変分ベイズ推定を行っていることになる．
そこで，⟨Jτ (Θ)⟩τ を最適化することを考える．τ を一様に分布させるためには，t = 0 から t = T までの全てのステップを評価すればよい．ここで，パラメー
タ Θ が，時刻 t のみに依存する Ψ(t) と，時刻に依存しない Λ の二つで構成されていると考える．すると，各ステップにおいて Jt (Θ) を Ψ(t) に対して最適化し，目的関数を自然勾配法を用いて Λ に対して最適化す
れば，⟨Jτ (Θ)⟩τ を，オンラインで最適化できる．また，サンプルを増やせば増やすほど，目的関数の最適値は，オフライン推論のそれに近づいていく．
これらを踏まえると，実時間での変分ベイズ推定は次のような逐次的アルゴリズムとして与えられる：(h)(h)(g)

1. 初期化：ãf,i (0) = a(h) ，b̃f,i (0) = b(h) ，ãi (0) =(g)α(g) /I ，b̃i (0) = α(g) c(g) とする．
2. t = 1 · · · T の間，次の処理を行う(a) 式 10 の max 演算を，時刻 t で評価する．具
体的には，以下 2 つの処理を，Φ が収束するまで行う．まず，
exp⟨log(g s )⟩i=00 f,tΦf,i ∝(11)xf,t−i exp⟨log(gi+1 hf,i )⟩ i > 0∑とする．ただし， i Φi = yf,t になるよう正規化する．次に，st の事後分布を次のように更新する：()
q(sf,t ) = Gam a(s) +Φf,0 , b(s) +⟨g0 ⟩(12)

(14)
(15)

ただし，ρt ∈ (0, 1) は，勾配法のステップ−r係数である．(t + t0 ) , r = [0.5, 1) という形であると，収束が保証される．また，

(s)

(s)

+ af,τ ⟨log sf,τ ⟩ − bf,τ ⟨sf,τ ⟩+()(h)(h)
q(hf,i ) = Gam ãf,i (t), b̃f,i (t))((g)(g)q(gi ) = Gam ãi (t), b̃i (t)āf,i (t) = a(h) + T Φf,i(16)(h)
b̄f,i (t) = b(h) + T ⟨gi+1 ⟩Xf,t−i(17)(g)āi (t) = α(g) /I + T∑

Φf,i(18)f(g)b̄i (t) = α(g) c(g) + T∑⟨hf,i ⟩Xf,t−i(19)fである．

3

評価

本手法の有効性を確認するため，音源分離の評価項
目 BSS EVAL[11] のうち，Signal-to-Distortion Ratio(SDR) と Signal-to-Interference Ratio (SIR) の，セミブラインド音声強調適用前後での変化量 ∆SDR と∆SIR を評価する．SDR は信号歪みを表し，目的音がどれだけ歪められているかを表す．また，SIR は，自己発話の除去度合いを表す．
目的音として，男性の文章朗読音 30 秒とギターのコード演奏音 30 秒を用意した．また，自己発話としては，楽曲自動伴奏用途を想定し，ギターコード演奏に加え，ソウル音楽とピアノ三重奏を 30 秒ずつ用意した．室内音響系として，RWCP 実環境データベース [12] に収録された，インパルス応答 3 種類 (E2A=“Dry,” JR1=“Tatami,” OFC= “Conf. Room” ) と，Pori Concert hall のインパルス応答 [13](s1 p1 o=“Hall”) を用意した．なお，全ての波形は 44.1kHz でサンプリングされた．全ての波形に対して，フレーム長 4096 サンプル，ホップ長 1024 サンプル，ハミング窓で，振幅スペクトログラムを計算し，Y の平均値が 50 になるよう正規化し，X も同じ係数で正規化した．パラメータは，特に他に指定がない限り
a(s) = b(s) = a(h) = b(h) = α(g) = c(g) = 1，I = 10とした．以下，目的音対自己発話の S/N 比が −5dBの結果を示す．ちなみに，S/N に応じて，評価値の差はあるものの，大まかな傾向は変わらない．
まずは，本手法における I を，有限としてモデル化した場合 (p(gi ) = δ(gi − 1) とする) と，提案手法のFig. 1 無限と有限次数モデルにおける，次数 I に対する ∆SIR の，インパルス応答別の比較．“Fin.” は有限次数，“Inf.” は無限次数．

Fig. 34a(s) に対する ∆SDR と ∆SIR．

まとめ

本稿では，変分ベイズ法に基づく実時間セミブラインド音源分離タスクのベイズ推定手法を提案した．
筆者の知る限り，NMF や畳込 NMF のオンラインベ
イズ推定を定式化・評価したのは本稿が初めてである．残響のパラメータは，ガンマ過程を応用することにより，事前に設定する次数に対して，ロバストネスを実現した．今後は，本手法を，音楽情報処理タスクなどに応用したい．

Fig. 2 無限と有限次数モデルにおける，次数 I に対する ∆SDR の，インパルス応答別の比較．“Fin.” は有限次数，“Inf.” は無限次数．
ように無限として扱った場合の近似としてモデル化した場合の評価値を比較する．∆SIR の結果を図 1 に，∆SDR の結果を図 2 に図示する．これらから，無限次数は，有限次数と比べ ∆SIR が低く，∆SDR が高くなることが多いことが分かる．つまり，無限次数にすることにより，音を過剰に削られにくくなるということを表している．なお，ガンマ過程を導入しても，評価値に I に対する依存性があるのは，I を増やすことにより，g の縮退効果が，過剰に効きすぎてくるためだと考えられる．特に，xf,t と xf,t−i は，i が小さければ強い相関を持つ．そのため，信号モデルや，統計モデルで仮定している独立性が満たされず，モデルと現実の乖離が目立つために，I への依存性が起こると考えられる．
また，オンライン推論と，オフライン推論での，∆SDR と ∆SIR を比較したものを，図 3 に示す．この図から，オンライン推論は，a(s) が小さいと，音を過剰に削りすぎる傾向があり，a(s) > 0.3 辺りからは，両者とも似た挙動を示すようになることが分かる．
なお，本手法のオンラインアルゴリズムは，Apple iPad2 上で実時間動作することが，確認された（Fs=8kHz）．

参考文献[1] J. Even, et al. Semi-blind suppression of internal
noise for hands-free robot spoken dialog system. InIROS, pp. 658–663, October 2009.
[2] R. Takeda, et al. Barge-in-able robot audition basedon ICA and missing feature theory under semi-blindsituation. In IROS, pp. 1718–1723, 2008.
[3] 澤田紘志ほか. セミブラインド音源分離を用いたロボッ
ト音声対話システムのための内雑音抑圧手法. 音講論,
2-4-18, pp. 655–658, 2009.
[4] M. Babaie-Zadeh, et al. Semi-Blind Approaches
for Source Separation and Independent component
Analysis. In ESANN, pp. 301–312, 2006.
[5] 池澤浩気ほか. 非定常雑音・時変残響環境下でのパワースペクトログラム領域セミブラインド音声強調. 信学
総大, A-4-5, p. 72.
[6] M. Hoﬀman, et al. Bayesian Nonparametric Matrix
Factorization for Recorded Music. In ICML, pp.
439–446, 2010.
[7] 前澤陽. 無限オーダーの残響フィルタを持つ残響抑圧信号のベイズ推定手法. 音講論, March 2012.
[8] M. Hoﬀman, et al. Online learning for latent dirichlet allocation. In NIPS, pp. 856–864. 2010.
[9] J. F. C. Kingman. Poisson Processes. 1992.
[10] M. Sato. Online Model Selection Based on the Variational Bayes. Neural Computation, Vol. 13, No. 7,pp. 1649–1681, July 2001.
[11] E. Vincent, et al. Performance measurement inblind audio source separation. TASLP, Vol. 14,
No. 4, pp. 1462–1469, 2006.
[12] 比屋根一雄ほか. RWCP 実環境音声・音響データベー
ス. 信学総大, p. 257, 1999.
[13] J. Merimaa, et al. Concert Hall Impulse Responses - Pori, Finland: Reference. Retrieved
from http://www.acoustics.hut.ﬁ/projects/poririrs
on 1/27/2013, 2005.