情報処理学会研究報告
IPSJ SIG Technical Report

time-varying nature is an important factor to characterize the diversity of each
instrument; moreover, in many cases we do not know in advance the number ofsources. Conventional decompositions generally fail to cope with these issues
as they suffer from the difficulties of automatically determining the numberof sources and automatically grouping spectra into single events. We address
both these problems by developing a Bayesian nonparametric fusion of NMF
and hidden Markov model (HMM).

スペクトログラムのベイジアンノンパラメトリックモデリングに基づく音楽信号の解析
中 野
中

村

友 彦†1

允

裕†1
亀 岡
小 野

ルルー ジョナトン †2
弘 和†2
順 貴†1
嵯峨山

1. は じ め に
多重音の中から楽器音 1 音 1 音の音程や音色, 発音時刻を特定する技術は, 音楽信号処理

茂 樹†1

分野における中心的な課題の一つであり総じて多重音解析と呼ばれる. 多重音解析は音楽信
号の自動採譜や楽器音分離, 音楽加工への応用が期待される極めて重要な技術であり, その

本報告では, 音楽信号のような多重音を解析するための手法として, Bayesian nonparametrics に基づく音響信号スペクトログラムのモデル化方法を提案し, その構成法と推論について議論する. 近年, 非負値行列分解に代表されるようなスパース表現
基づく音楽信号のモデル化が盛んに研究されている. その中で解決すべき二つの問題が注目を集めている. 一つ目は楽器音が時間変化する多様なスペクトルを持つ点であり, もう一点は観測信号中に含まれる音源の数が一般的には未知なことである. さらに, 楽器音の多様なスペクトルは音源数の推定を困難にし, また逆に音源数が未知であることによって一音一音がどの程度多様なスペクトルを持つか推定することを困難にしている. 本報告では, これら二つの課題を同時に解消するために, 信号の重畳を表す
非負値行列分解型のスパース表現と時系列パターンを表現する隠れマルコフモデルを
Bayesian nonparametrics 上で融合させたスペクトログラムモデルを提案する.

確立へ向け多くの研究が行われてきている. 従来, さまざまな観点から多重音解析の試みがなされてきたが, 特に近年ではスパース表現の考え方を利用して音楽信号をスペクトログラ
ムの領域でモデル化しようとする研究が注目を集めている.
スパース表現に基づく音楽信号の取り扱いにおいて, 代表的な手法として非負値行列分解(NMF: Nonnegative matrix factorization) が挙げられる1) . NMF に基づく音楽信号解析
は一般に, 音楽信号のスペクトログラムを非負値行列に見立て, それを低ランクの非負値行列の積に分解することによって行われる. これはスペクトログラムを少数の頻出のスペクト
ルパターンとその音量変化によって近似しようとするものである. 音楽信号においては各楽
器音は曲中で繰り返し演奏されることが多いため, 頻出のスペクトルパターンは自ずと各楽器音の平均的なスペクトルとして表出することが期待される.

Bayesian nonparametric spectrogram modelingfor music signal analysis

NMF による音楽信号の解析は非常に活発に研究されているが, 二つの大きな問題が解決すべき課題として挙げられてきた. 一つ目は, 楽器音が本来もつ時間変化するスペクトルをどのように表現するかということである2)–4) . 例えばピアノの場合, 発音からアタック, ディ

Masahiro Nakano,†1 Jonathan Le Roux ,†2
Hirokazu Kameoka,†2 Tomohiko Nakamura,†1
Nobutaka Ono†1 and Shigeki Sagayama†1

ケイ, サステイン, リリースといった音色変化を経て消音すると一般的に捉えられている. また, 歌声や弦楽器は, ヴィブラートのように基本周波数を変化させることで演奏に表情付けを行っている. このように楽器音の時間変化する音色は音楽に彩りを与える重要な要素であThis paper presents a Bayesian nonparametric latent source discovery method
for music signal analysis. Recently, the use of latent variable decompositions,especially nonnegative matrix factorization (NMF), has been a very active areaof research. These methods are facing two, mutually dependent, problems:
first, instrument sounds often exhibit time-varying spectra, and grasping this

†1 東京大学情報理工学系研究科
Graduate School of Information Science and Technology, The University of Tokyo†2 日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporation1c 2011 Information Processing Society of Japan°

情報処理学会研究報告
IPSJ SIG Technical Report

るが, 通常の NMF に基づく音楽信号のモデル化においては楽器音は定常な一つのスペクト尤推定問題と等価であることが知られている8) :ルにより表されるという仮定が置かれており本来の多様な音色変化を表現出来ていない. もYω,t ∼ δ Yω,t −³

う一つの問題は, 入力信号中に含まれる楽器音の数が事前に分からない点にある5),6) . NMF

X´Cω,t,d,Cω,t,d ∼ Poisson(Hω,d Ud,t ).

(1)dは入力の行列を低ランクで近似しようとするものであるが, そのランクは分解の結果に重大さらに基底とアクティベーションに対する事前分布を導入し, ベイズ推定によりモデルを推論な影響を及ぼす. 分解された一つ一つの要素を楽器一音ごとに対応させるためには適切なラする枠組みも広く研究されてきている. 例えば, Poisson 分布の共役事前分布である Gamma

ンク数の設定が必要であり, そのようなランク数を入力信号毎に見つけるのは容易ではない.

分布を用いて, Hω,d ∼ Gamma(aH , bH ), Ud,t ∼ Gamma(aU , bU ) とするのが最も標準的

さらに, 以上の二つの問題は相互に依存しあうことで扱いをより難しくしている. 楽器音

な Bayesian NMF である9) . Euclidean distance 規準や Itakura-Saito divergence 規準のBayesian NMF に対する研究も報告されている6),10) .

の非定常なスペクトルは適切な楽器音数の推定を困難にし, また, 未知の楽器音数が多様な

従来, NMF を用いて観測データを分解する際, そのコンポーネントの数 D は事前に与えスペクトルを一楽器音に割り当てることを難しくしている. そこで本研究では, この二つのる必要があった. しかし, 適切なコンポーネント数 D を事前に知っている状況は稀であり,問題を同時に解消するようなスペクトログラムのモデル化手法を提案する.

人手によるチューニングやモデル選択手法に頼る場合が多かった. このように様々な入力信2. 非負値行列分解型のスパース表現に基づくスペクトログラムのモデル化号に対してそれぞれに適切なモデルの複雑度 D をチューニングしなければいけない問題に対し, 次に述べる Bayesian nonparametrics を用いた NMF の拡張が提案されている6),10) .

2.1 Nonnegative matrix factorization (NMF)

2.2 Bayesian nonparametric NMF

NMF に基づく音響信号解析は一般に, 振幅スペクトログラムもしくはパワースペクトログ≥0,Ω×T

ラム Y = (Yω,t )Ω×T ∈ R

NMF におけるコンポーネント数 D の決定はモデルの複雑度を決める上で重要な役割を(ただし, ω = 1, ···, Ω は周波数インデックス, t = 1, ···, Tとアクティベーション

果たしている. 例えば, ピアノの C, E, G の 3 音高から構成された楽曲に NMF を適用す

U = (Ud,t )D×T ∈ R≥0,D×T の積で表現できるという仮定に基づいている. これはすなわる場合を考えてみる. NMF に基づくスパース表現は多重音のスペクトログラムを頻出の基

ち, Yω,t ≈Hω,d Ud,t , のように観測スペクトログラム Y を D 個の頻出の基底スペクト

底スペクトルパターンによって表現しようとするモデルであるから, この場合 D = 3 とし

ル hd = [H1,d , · · ·, HΩ,d ] とそれぞれの音量変化を表すアクティベーションで近似しようとて NMF を適用することで, 3 つの基底スペクトルはそれぞれ C, E, G 各音の平均的な楽器

していることに相当する. 各基底スペクトル hd とアクティベーション Ud,t のペアをコン

音スペクトルに対応することが期待される. しかし, この場合の D = 3 のように, 楽曲の構

ポーネントと呼ぶことが多い.

成要素の数が事前に分かっている状況は稀であり, 観測信号から適切なコンポーネント数 D≥0,Ω×Dは時間インデックスを表す) が基底 H = (Hω,d )Ω×D ∈ R

Pdを自動的に推定出来るような枠組みが NMF に求められてきた.

NMF は一般的に観測データとモデルの間の何らかの距離尺度を用いて目的関数を設計し,それを最小化する制約付きの最適化問題として定式化される. この距離尺度の選び方は重要では, 適切なコンポーネント数とは何であるのかを具体例を通してもう少し考えてみたい.

であり従来さまざまな研究が行われてきている. よく用いられる尺度としては, Euclidean

先ほどのピアノ 3 音高の楽曲の例において, もし録音中にわずかにノイズが混入してしまっ

distance，一般化 Kullback-Leibler divergence や Itakura-Saito divergence などが挙げらていた場合はどうなるであろうか. 例えば定常なスペクトルを持つ白色ノイズが楽曲の一部れるが, 最近ではこれらを含むより広いクラスの β-divergence が用いられることも多い .

に 0dB で混入してしまっていたとする. この場合は, 楽曲スペクトログラムを構成する頻

本稿では距離尺度の選び方は中心的な話題ではないため, 音源分離において性能が良いと報出スペクトルパターンはピアノ 3 音高の平均的なスペクトルに加え, ノイズな定常なスペク

告されている振幅スペクトログラムに対する一般化 Kullback-Leibler (KL) divergence をトルとなるはずであり, D = 4 を選択するのが妥当と思われる. では, このノイズが-100dB

7)だった場合はどうであろうか. このノイズはすでに無視できる程度であり, D = 3 とするの

7)

用いた状況に限定して議論する . ただし, 提案手法は距離尺度の選び方に依存したものでが適切かもしれない. では, -10dB であった場合はどうなるのか. このときは D = 3 とすべはなく軽微な修正によって他の尺度を用いることが可能である.

きか D = 4 とすべきか実際に適用してみないと分からないかもしれない.

さらに, 一般化 Kullback-Leibler (KL) divergence 規準の NMF は次のようなモデルの最2

c 2011 Information Processing Society of Japan°

情報処理学会研究報告
IPSJ SIG Technical Report

この例のように, さまざまな多重音の混在した複雑な音楽信号において, コンポーネント

3. スペクトルの状態遷移に基づく楽器音スペクトログラムのモデル化

数を “10 個” や “20 個” のように決め打ちにするモデル化には限界があることが分かる. そ
こで Bayesian nonparametrics に基づく NMF の拡張が注目されている. ここでは, その一

3.1 Hidden Markov model (HMM)

つである Gamma process NMF (GaP-NMF)6) を中心に議論する.

GaP-NMF は観測データを説明する上で必要な分の適切なコンポーネントを与えてくれ

ピアノとノイズの例のように各コンポーネント全体のゲイン (音量に相当) はモデルの複る. しかし, 我々の期待は一つのコンポーネントが楽器音 1 音に対応してくれることであり,雑度を決める上で重要な役割を果たしていた. GaP-NMF は, 従来の Bayesian NMF に対その意味においては GaP-NMF は必ずしも期待通りの振る舞いをしてくれるとは限らない.

して各コンポーネントに対するゲインの概念を導入し, その一連のゲインの生成が Gamma

その主たる要因となるのが楽器音の持つ時間変化するスペクトルである. 例えば, ヴァイオprocess により行われると考えたものである. ここでは直観的な理解を与えたい. 楽曲全体

リンのビブラートに GaP-NMF を適用した場合を考えてみる. ビブラートの中には多様なのゲイン Ξ は仮想的な時間 τ に伴って増えていくと考えることが出来る. （τ は楽曲に流音色が繰り返し登場し, それを説明するためにはいくつかのアクティブなコンポーネントをれる時間 t とは別なものであることに注意して頂きたい. 例えば楽曲製作過程において流れ割り当てる必要があると予想出来る. 実用的には, そのように分断されてしまったいくつかる時間だと解釈して頂き, 作曲の過程において音数やパート数が増えていき楽曲全体のゲイのコンポーネントも, 一つのヴァイオリンの 1 音であるとして扱いたい場合の方が多いが,ンが徐々に増えていく様子を想像すると分かりやすい. ）時間 τ に伴って単調に増加してい一度分断されてしまったものを一つにまとめるのは容易なことではない.

く確率変数 Ξτ のモデル化として次のような Gamma process11) を考えることが出来る:
00

そこでこのような問題を解消するための方法として, 基底スペクトルに状態遷移モデルを(2)導入した NMF の拡張が提案されてきている3) . 状態の概念を持った基底スペクトルとし

ただし, η, λ は非負の実数である. ここで, 時刻 (d − 1)/D から d/D のゲインの増分て H = {(Hω,1 )Ω×K , . . . , (Hω,D )Ω×K } を導入し, Z = (Zd,t )D×T ∈ N を用いて時刻 t にθd = Ξd/D − Ξ(d−1)/D を d 番目のコンポーネントのゲインとして割り当てることにする.

d 番目のコンポーネントにてアクティブな状態のインデックスを Zd,t で表すことにすると,

Ξ0 = 0 ,Ξτ 0 − Ξτ ∼ Gamma(η(τ − τ ), ηλ) (∀0 ≤ τ < τ ) .

(k)

(k)

GaP-NMF に状態遷移スペクトルを取り入れたモデルは

GaP-NMF は上述のような各コンポーネントの音量に相当するゲイン „ = {θ1 , θd , . . . }(k)を導入して次のように表現される:Hω,d ∼ Gamma(aH , bH )Ud,t | Wd,t ∼ Gamma(aU , aU Wd,t )Yω,t = δ Yω,t −Wd,t | Ud,t−1 ∼ Gamma(aU , aU Ud,t−1 )θd ∼ Gamma(η/D, ηλ)Zd,t | Zd,t−1 , (πd,k )∞k=1 ∼ ı d,Zd,t−1

Yω,t ∼ δ Yω,t −

³

X

´

Cω,t,d, Cω,t,d ∼ Poisson(θd Hω,d Ud,t ) , θd ∼ Gamma(η/D, ηλ) .

d

D を無限に増大させていくと, „ が shape パラメータ η, inverse-scale パラメータ ηλ の6),11)

Gamma process に従って生成されたと見なすことが出来る

(k)

¡

P

³

d

(Z

)

Cω,t,dd,tCω,t,d | (Hω,d )KUd,t
k=1 , Ud,t , Zd,t ∼ Poisson θd Hω,d

.

¢

´

(3)

GaP-NMF の重要な性質は, 適切なコンポーネント数 D を見つける必要はなく, 十分に大のように表現することが出来る. 補助変数 W は音量 U の変化が時間的になめらかになる

きな D を与えておけばよい点にある. GaP-NMF を観測データに適用すると, データを説ような意図で導入している4),12) . E[Ud,t ] = 1/Wd,t , E[Wd,t ] = 1/Ud,t−1 となる事前分布と明するのに重大な影響を持つコンポーネントには大きな θd が割り当てられ, 影響の小さいして機能していることに注意して頂きたい. この時間連続性の扱いは他にもさまざまな候補

コンポーネントには小さな θd が割り当てられることが期待される. 上述のピアノ 3 音高とが考えられる.

ノイズの例であれば, D = 50 に設定した GaP-NMF でも D = 100 に設定した GaP-NMF

ここで状態数 K の扱いについて考えたい. ピアノの場合の音色の変化は少数のスペクトであっても, 主にアクティブになるコンポーネントは 3 つであり, 他のコンポーネントは小ルであると考えられる. 一方, ヴァイオリンのビブラートのように多様な音色変化を持つ楽さな θd によって抑圧されるはずである. これは D = 3 や D = 4 のように期待した分解の器音の場合は多数のスペクトルが出現すると考えられる. したがって, 状態数に関するモデために適切なコンポーネント数を見つけなければならない通常の NMF にはない重要な性

ルの複雑度においても Bayesian nonparametrics の導入が有効であると考えられる.

質である.

3

c 2011 Information Processing Society of Japan°

情報処理学会研究報告
IPSJ SIG Technical Report

3.2 Bayesian nonparametric HMM

˛ ∼ GEM(α0 ) と表されることがよくある.

前述の状態遷移スペクトルを導入した GaP-NMF において, 一つのコンポーネントに

The Chinese restaurant process

着目したい. モデル選択の考え方においては, K を色々な値で固定した上で状態遷移確率

Dirichlet process は Polya の壺と呼ばれる観点から捉えることも出来る16) . 先ほどのk K
(ı d,k )K
k=1 やスペクトルの状態 (hd )k=1 を推定し, その中で何らかの規準で一つを選ぶことがk K
標準的である. それに対しここでは, K や (ı d,k )K
k=1 , (hd )k=1 のあらゆる可能性に対し, 背

stick-breaking construction では Dirichlet process から生成された確率測度 G を陽に扱ったが, ここでは G を参照せず（つまり G は周辺化によって消去されている）G から生成さ後に確率分布があると考え, それらを同時に推定することを考える. つまり K = 1, 2, . . . あ

れた確率変数 ϑ1 , ϑ2 , . . . に注目する. G が与えられた時, 変数 ϑ1 , ϑ2 , . . . は互いに独立なた

りとあらゆる可能性に対する事前分布が必要になる. HMM に対して Hierarchical Dirichlet

め交換可能であることに注意して頂きたい. つまり, 以降で扱うデータの生成過程において,

process がこのようなことを可能にすることが知られている13) . まず, 準備として Dirichlet

その生成の順番は重要ではないということである. ϑ1 , . . . , ϑi−1 が与えられた時, G を周辺

process14) について簡単な説明を与える.

化して消去することによって, ϑi は3.2.1 Dirichlet process

ϑi | ϑ1 , . . . , ϑi−1 , α0 , G0 ∼可測空間 (Θ, B) 上の確率測度 G0 と正の実数 α0 に対する Dirichlet process を DP(α0 , G0 )

i−1
X
l=1

1
1
δϑ +
G0 ,
i − 1 + α0 li − 1 + α0(7)と与えられることが知られている. ここで, 各変数 ϑk を色のついた玉だと見なすと, 式 (7)と表すことにする. Dirichlet process はこの可測空間上の確率測度 G に対する確率分布では以下のような Polya の壺からのデータの生成過程を表していることが簡単に確認できる.

あり, 標本空間 Θ の任意の有限の分割 (A1 , A2 . . . Ar ) に対して,(4)

今, ある玉の入った壺から一つずつ玉を取り出し記録しながら一つずつ玉を追加している状が成り立つとして定義される14) . 以下では, Dirichlet process DP(α0 , G0 ) が与えられた時,況を想像して頂きたい. ここではより分かりやすくするため, 初めに壺の中には α0 個の黒

この Dirichlet process から生成された確率測度 G を, G ∼ DP(α0 , G0 ) と表すことにする.

玉が入っていたと考えることにする. (α0 は正の実数であればよいので, “α0 個” という表

Dirichlet process が提案されて以降, さまざまな構成法が与えられてきた. どのような構成

現は適切ではないことに注意して頂きたい. しかし簡単のため, ここでは仮に “1 個” などの法を用いるかは, モデル化や推論における戦略に大きく関わっている. 本稿では, 実用的にように考えると煩雑さがなく分かりやすい) i 回目の試行では, 次のようなルールで玉の記

よく用いられる 2 つの構成法を紹介する.

録と追加を行っていく: 壺の中から一つの玉を取り出し, 黒玉以外だった場合, それを ϑi と(G(A1 ), . . . G(Ar )) ∼ Dirichlet(α0 G0 (A1 ), . . . α0 G0 (Ar )) .

The stick-breaking construction

して記録し, 取り出した玉を元に戻して同色の玉を一つ追加する. もし取り出した玉が黒玉

Dirichlet process から生成された確率測度の構成法の一つとして, 棒を次々に折っていくだった場合, 取り出した黒玉を元に戻し, 壺の中に入っている玉とは別の新しい色の玉を一様子に準えた stick-breaking construction が知られている15) . G ∼ DP(α0 , G0 ) によってつ追加し, それを ϑi として記録する. Polya の壺による解釈から分かる重要な性質は, 今ま∞生成された確率測度 G は, 独立な確率変数 (βk0 )∞k=1 , (φk )k=1 :0
βk | α0 , G0 ∼ Beta(1, α0 ) , φk | α0 , G0 ∼ G0

での取り出された回数の多い色玉ほど取り出されやすくなり, 逆にあまり取り出されたこと

を用いて,

G=

∞
X

Y
0

のない色玉は取り出されにくくなっていくことである.

(5)

ここで, G から生成された ϑ1 , . . . , ϑi−1 の中に K 種類の色 φ1 , . . . , φK が含まれていたと

k−1

βk δφk ,k=1

β k = βk

(1 − βl0 )すると式 (7) は次のように書き直すことが出来る:

(6)

l=1

ϑi | ϑ1 , . . . , ϑi−1 , α0 , G0 ∼と表すことが出来ることが知られている. δφ は Dirac 測度を表している. 重要なのは

˛ = (βk0 )∞k=1 についてほとんど確実に

P∞

K
X
k=1

mk
1
δφ +
G0 .
i − 1 + α0 ki − 1 + α0(8)βk = 1 が成り立つ点である. つまり ˛ は正のただし, mk は ϑ1 , . . . , ϑi−1 のうち φk に一致するものの個数を表している. 式 (8) は Chinese

整数 k = 1, 2, . . . 上の無限次元多項分布とみなせ, したがって, Dirichlet process は無限混

restaurant process と呼ばれる隠喩で説明される13) . 今, 限りない数のテーブルを持った中合モデルの構成に用いることが出来ることを意味している. 簡単のために ˛ の生成過程を

国料理店を考えているとする. それぞれの ϑi はこの中国料理店を訪れた客を表し, φk は

k=14

c 2011 Information Processing Society of Japan°

情報処理学会研究報告
IPSJ SIG Technical Report

テーブルを表している. 客は一つのテーブルを選んで座る. 式 (8) は客 ϑi がテーブル φk に理店、テーブルをまたいで同一の料理が別のテーブルにのっていても構わないとする.

座る確率はテーブル φk に座っている客の人数 mk に比例し, まだ誰も座っていない新しい

まず, G0 ∼ DP (γ, F ) によって, 無限個のアトム φ1 , φ2 , . . . が用意されていく部分を考え

テーブル φK+1 に座る確率が α0 に比例することを表している.

ていく. アトム φ1 , φ2 , . . . は全料理店の共有のメニューだと捉えればよい. ここで, それぞ3.2.2 Hierarchical Dirichlet process HMM

れの料理店のそれぞれのテーブルに料理が割り当てていく様子を考える. 上述の通り, テー

ここでは無限状態を持つ隠れマルコフモデル infinite HMM について議論する. 最も広く用

ブルの上の料理を決めるのは最初にそのテーブルに座った客である. つまり, 客が座って初いられているものとして Hierarchical Dirichlet process を用いた Bayesian nonparametric

めてテーブルの上の料理が決まっていくことに注意して頂きたい. j 番目の料理店の g 番目

13)

. 通常の HMM と同様に考えると, 隠れ状態の系列 ϑ1 , . . . , ϑT にのテーブルの上にのっている料理を ψj,g と表すことにする. 今, ちょうど j 番目の料理店の関して, 各 ϑt (t = 1, . . . T ) は無限個のアトム φ1 , φ2 , . . . の中の一つを選んでいると捉えれ

g 番目のテーブルに客が座り料理が決まるところだとしよう. すでに料理のおかれたテーブばよい. では, どのようにして隠れ状態の系列を生成していくのかを見ていきたい. 今, ϑt

ルには φ1 , . . . , φK が割り当てられているとする. G0 を周辺化して消去すると, j 番目の料に k 番目のアトム φk が割り当てられたとしよう. このとき ϑt+1 は, k 番目のアトム φk か

理店の g 番目のテーブルの料理 ψj,g の生成の様子は Chinese restaurant process と同様に

ら次の状態への遷移を司る確率分布 Gk によって,表すことが出来る. つまり, ψj,g としては その料理が今までに使われた回数に比例して選ばHMM が知られている

ϑt+1 ∼ Gk =

∞
X

βj φj

れやすくなり, γ に比例して新しい料理が選ばれる:

(9)

j=1
0

ψj,g | ψ1,1 , ψ1,2 , . . . , ψ2,1 , . . . , ψj,g−1 ∼として生成されると考えればよい. 同様に ϑt0 に k 番目のアトム φk0 が割り当てられた際

K
X
k=1

には, ϑt0 +1 を

ϑt0 +1 ∼ Gk0 =

∞
X

m·,k
γ
δψk + PF . (11)
m
+
γ
m
·,k
·,k + γkkP

ただし, mj,k は j 番目の料理店で料理 φk が使われている回数とし, m·,k =

βj φj

(10)

P

j

mj,k とする. 料理を選ぶにあたって, その料理が今までに何回選ばれてきたのかを参照する際には料

j=1

理店の垣根を越えてフランチャイズ全体を見ていることに注意して頂きたい.

から生成すると考えればよい. 以上から, infinite HMM を表現するためには, それぞれが同

次に Gk (k = 1, 2, . . . ) に基づいて料理店において客がテーブルに座っていく様子を考えじアトム φ1 , φ2 , . . . を共有するような無限次元多項分布 G1 , G2 , . . . を用意すればよいことていく. k 番目の料理店に訪れた i 番目の客が選ぶ料理を ϑk,i と表すことにする. では, jが分かる. このような G1 , G2 , . . . を表現するのに Hierarchical Dirichlet process を用いる

番目の料理店に i 番目の客が来た際にどのように料理を選ぶかを考えていこう. Gj を周辺ことが出来る. まず G0 ∼ DP (γ, F ) によって, 無限個のアトム φ1 , φ2 , . . . を用意する. そ化して消去すると, Chinese restaurant process に基づいて, 新しく来た客がつくテーブル

して, この G0 を base measure にし, 各 Gk (k = 1, 2, . . . ) を Gk ∼ DP (α, G0 ) から生成すは, そこに座っている人数に比例して選ばれやすくなり, α に比例して新しいテーブルが選

る. G0 はアトム φ1 , φ2 , . . . にしかアクティブになっていないため, これを base measure とばれる. 客がテーブルを選ぶ際に, そのテーブルにのった料理を気にしていないことに注意した Dirichlet process から生成される確率測度も φ1 , φ2 , . . . でしかアクティブにならない.

して頂きたい. したがって, ϑk,i の生成は次のように表現することが出来る:

このように Dirichlet process の階層化によって無限次元多項分布 G1 , G2 , . . . のアトムを共mj,·

有させることが出来, 無限状態をもつ HMM を表現することが出来る.

ϑj,i | ϑj,1 , . . . , ϑj,i−1 ∼Hierarchical Dirichlet process の構成法もさまざまな方法が提案されている. Dirichlet

ただし, mj,· =process に対する Chinese restaurant process と同様に, Hierarchical Dirichlet process の

P
k

X
g=1

α
nj,g
δψ +
G0
i − 1 + α j,g
i−1+α

(12)

mj,k とする.

Chinese restaurant franchise の重要な点は, テーブルを介して 2 つの階層の Dirichlet

表現にも Chinese restaurant frachise と呼ばれる隠喩を用いた方法がある13) . フランチャprocess が結びついていることにある. テーブルの上の料理を決める際には, 各料理がどのイズとなっている中国料理店たちがあり, そこでは共通のメニューが共有されている. 各料

程度テーブルの上におかれているかに注目し, 客がどのようにテーブルに座っているかを気理店の各テーブルには最初に座った客によって注文された一つの料理が割り当てられる. 料

5c 2011 Information Processing Society of Japan°

情報処理学会研究報告
IPSJ SIG Technical Reportにしていない. また, 客が料理を選ぶ際には, 各テーブルにどれくらいの人が座っているか選択する. ここで, ςd,j,i は j 番目の料理店の i 番目のテーブルの料理のインデックスを表しに注目し, テーブルにどんな料理をのっているのかを気にしていない. この性質が後述のモているとしよう. 各 ςd,j,i は ςd,j,i ∼ ˛ d (˛ d ∼ GEM(γ)) によって生成されたと考えること

デルの構成法の際に重要になってくる.

が出来る. 以上をまとめると(k)

Hω,d ∼ Gamma(aH , bH )4. Infinite factorial hidden Markov model

Ud,t | Wd,t ∼ Gamma(aU , aU Wd,t )Wd,t | Ud,t−1 ∼ Gamma(aU , aU Ud,t−1 )θd ∼ Gamma(η/D, ηλ)4.1 提案モデルの構成法

Yω,t ∼ δ Yω,t −˛ d ∼ GEM(γ)

提案手法は, 前述の状態遷移スペクトルを持つ GaP-NMF に対し, さらに HDP-HMM

ı d,j ∼ GEM(α)ςd,j,i ∼ ˛ dηd,j,t ∼ ı d,j

Zd,t = ςd,Zd,t−1 ,ηd,Zt−1 ,t¡に基づく状態遷移スペクトルへの生成モデルを導入したものである. 我々はこのモデルをInfinite factorial infinite hidden Markov model (iFiHMM) と呼んでいる. ここでは推論した Dirichlet process から生成すればよい. ここで, 各 Gk のアトムに対する重み ı d,k の分推論があり, 特に大規模なデータを扱う推論においては変分推論が好まれる傾向にある.
提案手法では観測データとして音響信号のスペクトログラムを扱うため, 入力信号が短時間

ネントにおいて, インデックス k の状態からインデックス k 0 への状態への遷移確率に相当であったとしても非常に多くのパラメータを持ち得る. そこで, 本稿では変分推論に基づくしている. 各コンポーネントを以上のように構成し, GaP-NMF と同様の重ね合わせで観測

2 つの提案モデルの構成法についてそれぞれのパラメータ推定法について述べる.

スペクトログラムが生成されていると考えると, 提案モデルは以下のように書き表せる:

¡

P

d

Cω,t,d

¢4.2.1 BnNMF-HDPHMM
変分推論の基本的な考えは, 真の事後分布を計算上扱いやすい別の分布で近似することに基づいている. 近似に用いる分布としては, 推定したいパラメータをそれぞれ独立と仮定

˛ d ∼ GEM(γ)

し, パラメータごとに分解された分布を設定するのが一般的である. しかし, 推定したいパ

Zd,t | Zd,t−1 , (πd,k )∞k=1 ∼ ı d,Zd,t−1

ı d,k | ˛ d ∼ DP(α, ˛ d )

³

(k)

(Z

)

d,t
Cω,t,d | (Hω,d )∞Ud,tk=1 , Ud,t , Zd,t ∼ Poisson θd Hω,d´を用いた手法が多く提案されている13),17),18) . 一方で, ベイズ推定の強力な手法としては変みに着目すると, ı d,k ∼ DP(α, ˛ d ) とすることで表現できる. πd,k,k0 は d 番目のコンポー

Yω,t ∼ δ Yω,t −)HDP-HMM に関連したモデルのベイズ推定法として, 従来マルコフ連鎖モンテカルロ法(k)θd ∼ Gamma(η/D, ηλ)(Z

4.2 提案手法のパラメータ推定

より生成する: ˛ d ∼ GEM(γ), Hω,d ∼ Gamma(aH , bH ). 各 Gk は G0 を base measure とWd,t | Ud,t−1 ∼ Gamma(aU , aU Ud,t−1 )³と表すことが出来る. この構成法を BnNMF-CRFHMM と呼ぶ.

基づく構成法を与える. 各コンポーネントについて, G0 を Stick-breaking construction にUd,t | Wd,t ∼ Gamma(aU , aU Wd,t )¢(k)

まず一つ目として, GaP-NMF と Hierarchical Dirichlet process の最も標準的な融合に(k)C
d ω,t,dd,tUd,tCω,t,d | (Hω,d )∞k=1 , Ud,t , Zd,t ∼ Poisson θd Hω,d

における戦略も考慮した二つの iFiHMM の構成法について議論する.

Hω,d ∼ Gamma(aH , bH )P

ラメータの中には非常に強力な結びつきを持ったものもあり, 時に推定の精度を低下させる´.

原因にもなりえる. BnNMF-HDPHMM において, ı d は Z d に非常に大きな影響を与えてこの構成法を BnNMF-HDPHMM と呼ぶ.

おり, 独立だと仮定するのが躊躇われる. そこで近年, 変分推論において, 他のパラメータに

次にもう一つの構成法として, Hierarchical Dirichlet process の表現に Chinese restau-

強い影響を与えているものを周辺化して消去してしまう手法が提案されている. 特に, HDP

rant franchise を用いた方法を提案する. これは次節で説明するように推論の上で扱いに関連したモデルにおいてもこの周辺化変分推論は有効に働くことが報告されている20) . そ

やすい構成法となっている22) .

こで, BnNMF-HDPHMM に対しては, この周辺化変分推論を適用する.

目しよう.

では d 番目のフランチャイズ（コンポーネント）に注

t − 1 番目の客が Zd,t−1 番目の料理（スペクトルの状態）を選んだとする.

このとき, t 番目の客は Zd,t−1 番目の料理店に行くことを強いられる.

まず提案モデルから ı を消去すると, Z, α, ˛ に関してYnY Γ(αβd,k + nd,j,k ) oΓ(α)
p(Z | α, ˛) =Γ(α + nd,j,· )Γ(αβd,k )t 番目の客は

ηd,Zd,t−1 ,t ∼ ı d,Zd,t−1 (ı d,Zd,t−1 ∼ GEM(α)) に従って, ηd,Zd,t−1 ,t 番目のテーブルを

d,j

6

(13)

k

c 2011 Information Processing Society of Japan°

情報処理学会研究報告
IPSJ SIG Technical Reportが得られる. しかし, このままでは式 (4.2.1) に含まれる Gamma 関数がパラメータ推定のFrequency [kHz]消し, かつ補助変数を周辺化して消去した時に式 (4.2.1) と等価になるようにパラメータを拡張する技巧が提案されている19) . 新たに自然数 (sd,j,k )D×K×K (1 ≤ sd,j,k ≤ nd,j,k ) を追のように拡張出来る. ただし,

Yn
¡d,j
¢
·
·

Γ(α)
Γ(α + nd,j,· )k¶nd,j,k(αβd,k )sd,j,k
sd,j,k

0

2

4

2

0

6

0

2

Time [s]o(a) 入力スペクトログラムについて周辺化すると, 式 (4.2.1) と等価になり元のモデルに戻ることに注意して頂きたい.
以上から変分推論は, 入力信号のスペクトログラム Y が与えられた時に事後分布

4

2

0

p(C, „, H, U , Z, ˛, s|α, η, λ, a, b) を変分事後分布 q(C)q(„)q(H)q(U )q(Z)q(˛)q(s|Z) に

0

2

4

6

Time [s]

2

0

0

2

4

6

Time [s](c) 推定されたヴァイオリン (E)よって近似することによって実行される. ここでは, 他を固定し一つの q(·) を繰り返し最適

6(b) 推定されたピアノ (C)4は第一種スターリング数とする. ここで, (sd,j,k )D×K×K

4
Time [s]Frequency [kHz]p(Z, s | α, ˛) =

2

0

Yµ

Frequency [kHz]

加すると, 式 (4.2.1) は

4
Frequency [kHz]4

上で取り扱いが難しくなってしまう. そこで, 新たに補助変数を追加して Gamma 関数を解(d) 推定されたフルート (G)図 1 入力スペクトログラム (a) と通常の NMF により推定されたモデル Hω,d Ud,t (b), (c), (d).

化していくことによって一つの局所解を得ることにした. スペースの都合上, 各反復における更新則は省略するが, 従来の HDP に対する周辺化変分推論と同様にいくつかの期待値にに発音することで入力信号とした. 振幅スペクトログラムは短時間フーリエ変換 (サンプリ

関しては直接計算することが困難になるため, テーラー展開に基づく近似を行った19) .

ング周波数 16kHz，フレーム長 64ms，フレームシフト 32ms，Hanning 窓) により計算し4.2.2 BnNMF-CRFHMM

た. 簡単な比較のため, 標準的な NMF(D = 3) を適用した場合の結果を図 1 に示した. モ

最後に提案モデルのもう一つの構成法であった BnNMF-CRFHMM の変分推論について

デルとしてはピアノのアタック音やヴァイオリンのビブラートが表現出来ていないことが確述べる. この構成法の最大の特徴は, 各パラメータについて尤度関数と事前分布の間に共役認出来る. 無限モデルの打ち切りを D = 10, K = 30 とし α = γ = 1, aH = bH = 0.001,

性が成り立っていることである22) . BnNMF-HDPHMM においては, ˛ d においてこのよう

aU = 1, η = 0.1, λ = ΩT /Pω,tYω,t として提案手法 (BnNMF-HDPHMM) を適用した結な共役性が成り立っていないため, ˛ d の事後分布の推定が容易ではない. このような問題に果を図 2 に示す. 提案手法では, 楽器音数やどのような楽器が演奏されているかを事前に与対し, 点推定を盛り込むことで推論を行う手法もある21) . 本稿の周辺化変分推論においてはえることなく, 観測データを適切なコンポーネントで説明し, 主要なコンポーネントが楽器

パラメータの周辺化と補助変数の追加によってこの問題を回避している.

1 音と対応していることが確認出来る.

BnNMF-CRFHMM はこのようなパラメータの共役性を保持したことによって, 変分推

6. お わ り に論の更新則が非常に簡単に導出できる. スペースの都合上詳細は省略するが, 期待値の計算も含め閉形式での更新則が導き出せる.

5. 実

本報告では, 音楽音響信号のモデル化として Infinite factorial infinite hidden Markov

model を提案した. 簡単な実験で, 提案手法は入力信号にどんな楽器が含まれているか, 楽験

器音数がいくつ含まれているかを事前に与えることなく信号をアクティブないくつかのコン
ポーネントに分解し, その一つ一つを楽器 1 音に対応させることが出来ることを確認した.

提案手法によるスペクトログラムのモデル化は音楽信号の音源分離や音楽加工への応用が可能である. スペースの都合上, 本稿では提案手法の効果が分かりやすい音源分離の一例を

音楽信号のモデル化の次の展開として, アクティベーションの背後に潜む楽譜を陽に扱うこ示す. ピアノ (C), ヴァイオリン (E), フルート (G) の異なる 4 つの音長の MIDI 信号を用とが考えられる. 今後は提案手法を元に音楽らしさを導入した音楽信号のモデル化への拡張

意し, はじめに 1 音ごとに演奏し, 次に 2 音ずつの組み合わせを演奏し, 最後に 3 音を同時を進めていきたい.

7

c 2011 Information Processing Society of Japan°

情報処理学会研究報告
IPSJ SIG Technical Report

2

0

0

2

4

2

0

6

4
Frequency [kHz]4
Frequency [kHz]Frequency [kHz]

4

0

2

4

2

4

6

5
10

0

2

4

Time [s]2(b) 推定されたヴァイオリン (E)

図 2 推定されたモデル:

文(Z)
E[θd Hω,dd,t Ud,t ] (上), q(Zd,t = k) (下).

4

6

6

10

20
0

2

Time [s](a) 推定されたピアノ (C)参 考0Time [s]State #

5

0

0

6

Time [s]State #

State #

Time [s]246Time [s](c) 推定されたフルート (G)この 3 つが主にアクティブになり, 残りのコンポーネントは合わせて 109.2dB であった.

11) J. F. C. Kingman, “Poisson processes,” Oxford University Press, 1993.
12) A.T.Cemgil and O.Dikmen, “Conjugate gamma markov random fields for modelling nonstationary sources,” in Proc. ICA, 2007.
13) Y. Teh, M. Jordan, M. Beal and D. Blei, “Hierarchical Dirichlet processes,” in Proc. NIPS,
2004.
14) T.Ferguson, “A Bayesian Analysis of Some Nonparametric Problems,” Annals of Statistics,
1973.
15) J.Sethuraman, “A Constructive Definition of Dirichlet Priors,” Statistica Sinica, 1994.
16) D.Blackwell and J.MacQueen, “Ferguson Distributions via Pólya Urn Schemes,” Annals of
Statistics, 1973.
17) J. V. Gael, Y. Saatci, Y. W. Teh and Z. Ghahramani, “Beam sampling for the infinite hidden
Markov model,” in Proc. ICML, 2008.
18) E. B. Fox, E. B. Sudderth, M. I. Jordan and A. S. Willsky, “An HDP-HMM for systems withstate persistence,” in Proc. ICML, 2008.
19) Y. W. Teh, K. Kurihara and M. Welling, “Collapsed Variational Inference for HDP,” in Proc.
NIPS, 2008.
20) K.Yoshii and M.Goto, “Infinite Latent Harmonic Allocation: A Nonparametric Bayesian Approach to Multipitch Analysis,” in Proc. ISMIR, 2010.
21) P.Liang, S.Petrov, M.I.Jordan and D.Klein, “The infinite PCFG using hierarchical Dirichlet
processes,” in Proc. EMNLP/CoNLL, 2007.
22) C. Wang, J. Paisley and D. M. Blei, “Online Variational Inference for the Hierarchical Dirichlet
Process,” in Proc. AISTATS, 2011.

献1) D.D. Lee and H.S. Seung, “Learning the parts of objects by non-negative matrix factorization,”
Nature, pp. 788–791, Oct. 1999.
2) R.Hennequin, R.Badeau and B.David, “NMF with time-frequency activations to model non
stationary audio events,” IEEE Trans. on Audio, Speech, and Language Process., 2010.
3) A. Ozerov, C. Févotte, and M. Charbit, “Factorial scaled hidden Markov model for polyphonicaudio representation and source separation,” in Proc. WASPAA, 2009.
4) M. Nakano, J. Le Roux, H. Kameoka, N. Ono and S. Sagayama, “Infinite-state spectrum model
for music signal analysis,” in Proc. ICASSP, May 2011.
5) V. Y. F. Tan and C. Févotte, “Automatic relevance determination in nonnegative matrix
factorization,” in Proc. SPARS, 2009.
6) M. Hoffman, D. Blei, and P. Cook, “Bayesian nonparametric matrix factorization for recorded
music,” in Proc. ICML, 2010.
7) D.FitzGerald, M.Cranitch and E.Coyle, “On the use of the Beta Divergence for Musical Source
Separation,” in Proc. ISSC, 2009.
8) T.Virtanen, A.T.Cemgil, and S.J.Godsill, “Bayesian Extensions to Non-negative Matrix Factorisation for Audio Signal Modelling,” in Proc. ICASSP, 2008.
9) A.T.Cemgil, “Bayesian inference in non-negative matrix factorisation models,” in Universityof Cambridge, 2008.
10) M. N. Schmidt and M. Mørup, “Infinite non-negative matrix factorization,” in Proc. EUSIPCO, 2010.

8

c 2011 Information Processing Society of Japan°