月4 2013 冬学期 [4830-1032]

第6回

音声音響信号処理（非負値行列因子分解）

亀岡弘和
東京大学大学院情報理工学系研究科
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所

講義内容（キーワード）
信号処理、符号化、標準化の実用システム例の紹介
情報通信の基本（誤り検出、訂正符号、変調、IP）
符号化技術の基本（量子化、予測、変換、圧縮）
音声分析・合成・認識・強調、音楽信号処理
統計的信号処理の基礎（スペクトル、ガウス過程、最尤推定）
ガウス性確率変数の基本性質
時間周波数分析（短時間フーリエ変換、ウェーブレット変換）
ウィナーフィルタとカルマンフィルタ
音声生成過程のモデル（ソースフィルタ理論と藤崎モデル）
自己回帰モデルと線形予測分析
独立成分分析によるブラインド音源分離
非負値行列因子分解によるスペクトログラムの分解表現
スペクトル間擬距離最適化アルゴリズム（EMアルゴリズム、補助関数法）

講義スケジュール
10/ 7
守谷先生担当10/15 (火) 守谷先生担当
10/21
守谷先生担当10/28（休講）
11/ 5 (火) 線形予測分析と自己回帰モデル
11/11
時間周波数解析
11/18
（休講）
11/25
非負値行列因子分解
12/ 2
12/ 9
12/16
吉井和佳 氏 (産業技術総合研究所)
1/15 (水)1/20
戸田智基 准教授 (奈良先端科学技術大学院大学)

成績評価
レポート課題
本講義に関連する論文を１つ選び、発表資料形式（パワーポイント等）にまとめて学期末に提出してください。提出先は最終講義にてお知らせします。
 「どの程度本質を理解しているか」「要点が分かりやすく記述されているか」「なぜその論文を重要と考えたか」を評価の規準にして採点します。
 毎回の講義後にその回の講義に関連する論文を１つ挙げる
予定です。それらの中から選んでも良いですし、自分で自由に探してきてもOKです。
講義の感想 レポートとともに講義に対する感想文も一緒に提出して下さい。
※講義資料は講義用ホームページにアップしていく予定。
音声音響信号処理問題の多くは逆問題
音響信号処理
ブラインド音源分離
 残響除去・・・
音声情報処理 音素特徴抽出
 音声認識 音声合成器の学習 イントネーション解析
音楽情報処理 多重音解析 自動採譜・・・
Log-frequency

本日は晴天なりTime

逆問題へのアプローチ

原因

順
逆

（例） • 音源信号＆混合過程• 発話内容• 楽譜＆演奏表情

結果

Log-frequency

逆問題： 『「結果」からその「原因」を推定する問題』→混合信号→音素特徴系列→音楽音響信号

多くは数理的に不良設定
 ・・・のはずなのに人間には難なく出来ていることばかり！
なぜ？

原因 θ について「常識的／経験的／物理的にこうでろう」ということが推定のヒントになっている

Time

生成モデルアプローチ
「原因の
原因」

① 尤度関数の仮定


観測データ
なプロセス

を生成する確率的
をモデル化
「原因」

② 事前分布の仮定


生成モデルのパラメータ θ の生成プロセスをモデル化③ 推論（逆問題）


データ Y から θ と α を推論
最尤推定量
MMSE推定量

物理的制約
/経験則

「結果」
生成モデル
（順問題）

，MAP推定量，ベイズ事後分布

生成過程

本日の話題非負値行列因子分解
データ行列を基底行列と係数行列の積に分解する
多変量解析手法の一つ
 非負制約を置く所がポイント
 スパース性という概念と密接に関係
 画像処理分野で登場した技術
 顔画像データから目・鼻・口などの特徴的パーツを抽出することが目的 近年，モノラル音源分離の手法としても注目 スペクトログラムをデータ行列と見なして，行列の積に分解
 ICASSP2011（音響信号処理分野で最大規模の国際会議）
では21セッション中に33件もの関連発表が！
 国内でも徐々に関連研究が盛んになりつつある多重音解析

楽譜
F0

生成

frequency

モノラル多重音信号を個々の音源成分に分解する問題
音楽スペクトログラム

推論
time

time

多重音解析の難しさ
J.S.Bach: Ricercare a 6 aus “Das Musikalische Opfer” BWV1079

flute

strings

King Friedrich’s Theme

生成モデル化の方針

Frequency

 「行列積」としてのスペクトログラム

time生成モデル化の方針
 「行列積」としてのスペクトログラム
各音源のスペクトル

Frequency

各音源の「アクティベーション」

time生成モデル化の方針

Frequency 行列分解（逆問題）は多重音解析に相当解を絞り込むための手がかり：

H と U の非負性
20

40

60

80

time

100

120

目次
1. 非負値行列因子分解（NMF）– 何に使えるのか（音響信号処理を題材として）– どのような性質があるのか– どのように求めるのか– 統計モデルとしての解釈

2. 複素NMF [Kameoka2008]– NMFによるスペクトログラム分解法が根源的に抱える問題点– これを解決する新モデル

3. NMFの改良・拡張モデル– スパースNMF, NMFD, NMF2D, ソースフィルタNMF,
アクティベーションの連続性規準入りNMF,
ハーモニックNMF, 板倉齋藤距離規準NMF,
複素NMF, 状態遷移NMF,
ノンパラメトリックベイズNMF, etc…

目次
1. 非負値行列因子分解（NMF）– 何に使えるのか（音響信号処理を題材として）– どのような性質があるのか– どのように求めるのか– 統計モデルとしての解釈

2. 複素NMF [Kameoka2008]– NMFによるスペクトログラム分解法が根源的に抱える問題点– これを解決する新モデル

3. NMFの改良・拡張モデル– スパースNMF, NMFD, NMF2D, ソースフィルタNMF,
アクティベーションの連続性規準入りNMF,
ハーモニックNMF, 板倉齋藤距離規準NMF,
複素NMF, 状態遷移NMF,
ノンパラメトリックベイズNMF, etc…

非負値行列因子分解 (NonnegativeMatrixFactorization) とは

非負値行列を２つの非負値行列の積で表現行列因子分解の応用場面


ブラインド信号分離(Blind Signal Separation)



次元圧縮

NMFが生まれた背景
画像処理分野で生まれた技術 [Lee1999]
顔画像から顔パーツを抽出するのが目的 概念自体は９０年代前半に登場 [Paatero1994]


音のスペクトルを画像と見なして適用（後述）音声分離・自動採譜等[Smaragdis2003]以降極めて多数…

効率的な反復アルゴリズム[Lee2000]

なぜ非負値なのか？その意図は？
データ行列の非負性


実世界には非負値データが多い（例） パワースペクトル，画素値，度数，基底行列の非負性「非負値データの構成要素もまた非負値データであるべき(でないと物理的に意味をなさない！)」という考え方（例）負の値をもったパワースペクトルなんて解釈のしようがない
係数行列の非負性
構成要素の混ざり方は「足し算」のみ
 係数行列をスパースに誘導  基底の情報量をアップ
係数行列の非負性について
係数が負の値を取っても良い場合

係数が負の値を取ってはならない場合

スパース
スパース性

統計的独立性NMFの幾何学的イメージ

二乗誤差規準のNMF

データ数

基底数

と
が
張る「凸錐」

共起成分のグルーピング効果

低ランク近似問題：
少ない基底でデータを良く表現したい H をどうした方が「節約的」？

NMFで音声スペクトログラムを分解してみる
周波数→

音響信号
短時間フーリエ変換（時間周波数分解）

音声スペクトログラム：時刻 に周波数 の成分がどれほど含まれているか

各基底のアクティビティ

絶対値をとる時刻→

周波数→

基底スペクトル

低ランクスペクトログラム

基底数10
基底数30

頻出するスペクトル
パーツが獲得される
時刻→

何に使えるのか？（1/5）
自動採譜 [P. Smaragdis et al., 2003]
J.S. Bach: Fuge #16 in G minor

何に使えるのか？（2/5）
教師ありモノラル音源分離 [P. Smaragdis et al., 2007 ]音声（学習データ）
混合信号（テストデータ）

チャイム（学習データ）

固定

何に使えるのか？（3/5）
音の「超解像」

低サンプリングレートの信号[P. Smaragdis & B. Raj, 2007 ]高サンプリングレート信号の学習データ（固定）
高周波帯域が復元された信号何に使えるのか？（4/5）
ブラインド残響除去 [H. Kameoka et al., 2008]

Frequency

非負値行列「逆畳み込み」Time

残響除去音声非負値行列逆畳み込み
によって求まった実際の H

Frequency



Time

Time

Time

何に使えるのか？（5/5）
 エコーキャンセラ[戸上&川口 2009]

 音響符号化[Nikunen & Virtanen 2010]

 ブラインド音源分離 (NMFの多チャンネル拡張)[Ozerov et al. 2010], [Kitano et al. 2010], [Takeda et al. 2011],[Sawada et al. 2011], [Sawada et al. 2012] フォルマントトラッキング[Durrieu et al. 2011] 音素特徴量抽出[Hurmalainen et al. 2011]

NMF の基本問題
個の観測データ(非負値ベクトル)個の非負値基底ベクトルの非負結合で
どの観測データも良く表現できる基底セットを求めたいとの乖離度を表す規準

どうやって求めるのか
NMFにおける代表的な最適化規準
二乗誤差
 Iダイバージェンス（一般化KLダイバージェンス）押さえておくべき基本原理
補助関数法
 凸不等式（Jensenの不等式）
二乗誤差と I ダイバージェンス•：のからの近さの度合い
二乗誤差

I ダイバージェンス

板倉齋藤距離NMFにおける代表的な最適化規準

二乗誤差

なんとかしたい部分

Iダイバージェンス（一般化KLダイバージェンス）

なんとかしたい部分

いずれものとき ０ になる

押さえておくべき基本原理（1/2）
補助関数法
を満たす




反復アルゴリズム[1]を補助関数と定義
補助関数

目的関数

[2]
[1]


収束性
[2]

目的関数を直接最小化するのが難しいなら、
とりあえずその上限関数を作ってみよう！

押さえておくべき基本原理（2/2）
Jensenの不等式


：凸関数



例えば，
の場合：

右辺
左辺

Frobeniusノルム規準のNMFアルゴリズム• 目的関数• 下線部に対してJensenの不等式を立ててみる

適用• 補助関数が完成

またはごとの二次関数の和になっている

Frobeniusノルム規準のNMFアルゴリズム• 補助関数が完成したらあとはステップ１とステップ２を導出すればOK!

[1]

[2]

代
入

Iダイバージェンス規準のNMFアルゴリズム• 目的関数• 下線部に対してJensenの不等式を立ててみる

適用• 補助関数が完成

Iダイバージェンス規準のNMFアルゴリズム• 補助関数が完成したらあとはステップ１とステップ２を導出すればOK!

[1]

[2]

代
入

統計モデルとしての解釈

NMFは以下を仮定した最尤推定問題と等価


Frobeniusノルム規準
正規分布

Iダイバージェンス規準
Poisson分布

Break連続聴効果（聴覚補完）

連続聴効果（聴覚補完）板倉齋藤距離規準NMF [Févotte 2008]
観測信号をガウス性信号の重ね合わせとしてモデル化
各要素信号のパワースペクトログラムがRank-1構造をもつと仮定
ここでのとは複素スペクトル成分（複素数値）であることに注意。
との独立性を仮定板倉斎藤距離規準のNMFアルゴリズム [Kameoka 2006]• 目的関数• 逆数関数は凸関数 ⇒ Jensenの不等式

適用• 対数関数は凹関数 ⇒ この場合はどうしたら？？
右辺
適用

NMFアルゴリズムの（できるだけ）一般化
βダイバージェンス [S. Eguchi & Y. Kano, 2001]

Bregmanダイバージェンスにおいてと置いたもの例) 二乗誤差，Iダイバージェンス，板倉齋藤距離•••NMFアルゴリズム： βダイバージェンス最小化[M. Nakano et al., 2010]

目的関数

補助関数の設計方針


凸不等式



接線不等式

凸/凹

凸/凹
凸関数

凹関数

凸関数項の上限を凸不等式，凹関数項の上限を接線不等式を使って設計し，補助関数を構成 [H. Kameoka et al., 2006]

NMFアルゴリズム： βダイバージェンス最小化[M. Nakano et al., 2010]

補助関数

凸
凹
凸
凹

（例）

のケース：

ただし，

NMFアルゴリズム： βダイバージェンス最小化[M. Nakano et al., 2010]

補助関数 （例）のケース：

NMFの規準別の比較
二乗誤差規準8
Frequency (kHz)

観測スペクトログラム

0

Time

Frequency (kHz)

8

0

Time

NMFの規準別の比較
 I ダイバージェンス規準
8Frequency (kHz)

観測スペクトログラム

0

Time

Frequency (kHz)

8

0

Time

NMFの規準別の比較
 板倉斎藤距離規準
8Frequency (kHz)

観測スペクトログラム

0

Time

Frequency (kHz)

8

0

Time

目次
1. 非負値行列因子分解（NMF）– 何に使えるのか（音響信号処理を題材として）– どのような性質があるのか– どのように求めるのか– 統計モデルとしての解釈

2. 複素NMF [Kameoka2008]– NMFによるスペクトログラム分解法が根源的に抱える問題点– これを解決する新モデル

3. NMFの改良・拡張モデル– スパースNMF, NMFD, NMF2D, ソースフィルタNMF,
アクティベーションの連続性規準入りNMF,
ハーモニックNMF, 板倉齋藤距離規準NMF,
複素NMF, 状態遷移NMF,
ノンパラメトリックベイズNMF, etc…

目次
1. 非負値行列因子分解（NMF）– 何に使えるのか（音響信号処理を題材として）– どのような性質があるのか– どのように求めるのか– 統計モデルとしての解釈

2. 複素NMF [Kameoka2008]– NMFによるスペクトログラム分解法が根源的に抱える問題点– これを解決する新モデル

3. NMFの改良・拡張モデル– スパースNMF, NMFD, NMF2D, ソースフィルタNMF,
アクティベーションの連続性規準入りNMF,
ハーモニックNMF, 板倉齋藤距離規準NMF,
複素NMF, 状態遷移NMF,
ノンパラメトリックベイズNMF, etc…

NMFによるスペクトログラム分解法の根源的な問題点
観測振幅スペクトルを振幅スペクトルパーツの和でモデル化

振幅スペクトルの加法性を仮定した不正確なモデル
振幅スペクトルは本当は非加法的 （加法的なのは波形！）
 モデル自体に誤差を含んでいる

位相情報の放棄推定したモデルが波形に対応しない
 波形領域で実現される多くの信号処理法と組み合せられない

NMFモデルが仮定される世界

周波数成分の含有率の情報

振幅スペク
トルの世界
位相を捨てるため元に戻せない！

波形の世界(豊富な情報)
複素スペクトルの世界

広い
応用展開

振幅スペクトルの非加法性について
音響信号
短時間フーリエ変換
・・・線形な変換（時間周波数分解）

（波形同士
は加法的）
（もちろん加法的）絶対値をとる・・・非線形な変換：時刻 に周波数 の成分がどれほど含まれているか（振幅スペクトル同士は非加法的）NMFモデル？

振幅スペクトル新モデル「複素NMF」 [H. Kameoka 2008]

観測振幅
スペクトログラム行列Y

何種類かの音からなると仮定

rank1行列（ある特定音のみの
振幅スペクトログラム）

加法性が
成り立つ！

複素NMFの考え方
周波数

周波数

従来のNMFの捉え方

観測複素スペクトログラム非rank1複素行列

行列Y（ある特定音のみの複素スペクトログラム）

時間

音１の振幅スペクトルパーツ

音１がいつ鳴っているかを表すアクティビティ

要素の絶対値をとると“rank1”

位相スペクトログラム新モデル「複素NMF」 [H. Kameoka 2008]

観測振幅
スペクトログラム行列Y

何種類かの音からなると仮定

rank1行列（ある特定音のみの
振幅スペクトログラム）

加法性が
成り立つ！

複素NMFの考え方
周波数

周波数

従来のNMFの捉え方

観測複素スペクトログラム非rank1複素行列

行列Y（ある特定音のみの複素スペクトログラム）

時間

音１の振幅スペクトルパーツ

音１がいつ鳴っているかを表すアクティビティ

要素の絶対値をとると“rank1”

位相スペクトログラム複素NMFモデル

複素スペクトログラムをモデル化
行列積の形にならない！

複素NMFアルゴリズム [H. Kameoka 2008]

定義
複素スペクトログラム
 振幅スペクトル基底
 位相スペクトログラム
 ゲイン


音響信号モデル最適化問題スパース正則化項

複素NMFアルゴリズム [H. Kameoka 2008]

補助関数法を満たす任意の定数

subject to複素NMFアルゴリズム [H. Kameoka 2008]

補助関数法を満たす任意の定数

subject toStep 1)

Step 2)

NMFと等価となる条件 [H. Kameoka 2008] 複素NMF ⊃ NMF
Step 1)[条件1]
を初期設定する

Step 2)には
Step1, Step2に対して不動点になっている[条件2]
Step 3)を実行を満たす任意の定数

Lee & Seungの二乗誤差規準のNMFアルゴリズム[Lee & Seung, 2000]と等価!

複素NMFによる音声と音楽の混合信号の分離
混合信号（音声+音楽）

音声パーツ

抽出音声信号

音楽パーツ

「ソ」以外は音量オフ

「ソ」だけ音量オフ

一部の基底関数に対してのみスペクトル
伸縮変形を施し、混合信号を再構成（スペクトル伸縮はピッチトランスポーズに相当。例えばトランスポーズ「－１」は、半音下げという意味。）

目次
1. 非負値行列因子分解（NMF）– 何に使えるのか（音響信号処理を題材として）– どのような性質があるのか– どのように求めるのか– 統計モデルとしての解釈

2. 複素NMF [Kameoka2008]– NMFによるスペクトログラム分解法が根源的に抱える問題点– これを解決する新モデル

3. NMFの改良・拡張モデル– スパースNMF, NMFD, NMF2D, ソースフィルタNMF,
アクティベーションの連続性規準入りNMF,
ハーモニックNMF, 板倉齋藤距離規準NMF,
複素NMF, 状態遷移NMF,
ノンパラメトリックベイズNMF, etc…

目次
1. 非負値行列因子分解（NMF）– 何に使えるのか（音響信号処理を題材として）– どのような性質があるのか– どのように求めるのか– 統計モデルとしての解釈

2. 複素NMF [Kameoka2008]– NMFによるスペクトログラム分解法が根源的に抱える問題点– これを解決する新モデル

3. NMFの改良・拡張モデル– スパースNMF, NMFD, NMF2D, ソースフィルタNMF,
アクティベーションの連続性規準入りNMF,
ハーモニックNMF, 板倉齋藤距離規準NMF,
複素NMF, 状態遷移NMF,
ノンパラメトリックベイズNMF, etc…

NMFの改良・拡張モデル
2003
Smaragdis

2004

2005

2006

2007

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

Smaragdis

Hoyer

2005

2006

2007

2008

2009

2010

スパースNMF [Hoyer2004]
 アクティベーションを強制的にスパース化

スパース性尺度（1のときスパース，0のとき非スパース）

P. O. Hoyer, “Non-negative matrix factorization with sparseness constraints,” J. Mach. Learning Res., vol. 5,
pp. 1457–1469, 2004.

NMFの改良・拡張モデル
2003

2004

Smaragdis

Hoyer

2005

2006

2007

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

Smaragdis

Smaragdis

Hoyer

2005

2006

2007

2008

2009

2010

Nonnegative Matrix Factor Deconvolution [Smaragdis2004]
 スペクトログラム素片パーツを時間方向に畳み込んで楽音スペクトログラムを表現
オンセット

オンセット
Frequency

スペクトログラム素片

スペクトログラム
素片パーツ
time
P. Smaragdis, “Non-negative matrix factor deconvolution; extraction of multiple sound sources frommonophonic inputs,” in Proc. ICA2004, pp. 494–499, 2004.

NMFの改良・拡張モデル
2003

2004

Smaragdis

Smaragdis

Hoyer

2005

2006

2007

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

Smaragdis

Smaragdis
Dhillon
Hoyer

2006

2007

2008

2009

2010

Bregmanダイバージェンス規準NMF [Dhillon2005]
Bregmanダイバージェンス [L.M. Bregman, 1967]（

は任意の微分可能な凸関数）と が近いほど小さい ：二乗誤差誤差
 ：I ダイバージェンス
 ：板倉齋藤距離
1.

を満たすクラス （はこのタイプ）Uの更新式も同様に解析的に求まる2.

を満たすクラス （はこのタイプ）

I.S. Dhillon and S. Sra, “Generalized nonnegative matrix approximations with Bregman divergences ,” Proc.
NIPS 2005, pp. 283-290, 2005.

NMFの改良・拡張モデル
2003

2004

2005

Smaragdis

Smaragdis
Dhillon
Hoyer

2006

2007

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

Smaragdis

Smaragdis
DhillonHoyer
Schmidt

2007

2008

2009

2010

Nonnegative Matrix Factor 2D Deconvolution [Schmidt2006]
楽音の調波構造が対数周波数軸上でシフト不変であると仮定（ピッチが変わっても倍音パワー比は不変という仮定）
スペクトログラムパーツの対数周波数-時間平面での２次元畳み込みで楽音スペクトログラムを表現

f0

log frequency

f0

log frequency

M. N. Schmidt andM.Mørup, “Nonnegative matrix factor 2-D deconvolution for blind single channel source
separation,” in Proc. ICA2006, pp. 700-707, 2006.

NMFの改良・拡張モデル
2003

2004

2005

2006

Smaragdis

Smaragdis
DhillonHoyer
Schmidt

2007

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

Smaragdis
DhillonHoyer

Kompass
Schmidt

2008

2009

2010

βダイバージェンス規準NMF [Kompass2007]
 βダイバージェンス[Eguchi2001]を局所最小化するアルゴリズム

： 板倉齋藤距離： I ダイバージェンス： 二乗誤差の場合しか収束性が保証されない
R. Kompass, “A generalized divergence measure for nonnegative matrix factorization,” Neural Computation,
19(3), pp. 780–791, 2007.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

Smaragdis
DhillonHoyer

Kompass
Schmidt

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

Smaragdis
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

2008

2009

2010

アクティベーションの連続性規準入りNMF [Virtanen2007]
 楽器音のパワーエンベロープは滑らかという仮定
Source 1

Source 2

そこで，アクティベーションの連続性規準を導入・・・
Mixed signal

NMF component 1

NMF
音源のストリームが分断されてしまっている！

別音源のストリームが混入してしまっている！

• アクティベーションが滑らかなほど小さい値をとるコスト関数• この項を含めて最適化を行う
ことで，左図のようなことが起こりにくくなる

T. Virtanen, “Monaural sound source separation by nonnegative matrix factorization with temporalcontinuity and sparseness criteria,” IEEE Trans. on Audio, Speech and Language Processing, vol. 15, no. 3,
pp. 1066–1074, 2007.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

Smaragdis
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis
Raczynski
Smaragdis
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

2008

2009

2010

ハーモニックNMF [Raczynski2007]
 調波構造形の基底スペクトル アクティベーションの無相関規準

基本周波数・高調波周波数以外の成分を0に初期設定

音名に対応する分だけ基底スペクトルを用意

Stanislaw Andrzej Raczynski, Nobutaka Ono, Shigeki Sagayama, “Multipitch analisys with Harmonic
Nonnegative Matrix Approximation,” Proc. of ISMIR, pp.381-386, 2007.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis
Raczynski
Smaragdis
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

2008

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

2008

Smaragdis
Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

2009

2010

ハーモニックNMF [Vincent2008]
 調波構造形の基底スペクトル
スペクトル包絡が異なる同一ピッチの基底スペクトルのサブセット

これらの重ね合わせでさまざまなスペクトル包絡形状を表現
E. Vincent, N. Bertin, and R. Badeau, “Harmonic and inharmonic nonnegative matrix factorization for
polyphonic pitch transcription,” in Proc. ICASSP’08, pp. 109-112 , 2008

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

2008

Smaragdis
Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

2008

Smaragdis
Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

Cemgil2009

2010

ベイジアンNMF [Cemgil2008]
 Iダイバージェンス規準NMFを生成モデルの観点から解釈

A.T. Cemgil, “Bayesian inference for nonnegative matrix factorization models,” Technical Report CUED/FINFENG/TR.609, University of Cambridge, 2008.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

2008

Smaragdis
Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

Cemgil20092010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

2008

Smaragdis
Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

CemgilFévotte

2009

2010

板倉齋藤距離規準NMF [Févotte2008]
観測信号をガウス性信号の重ね合わせとしてモデル化
パワースペクトル密度がNMF型の構造をもつと仮定
ここでのとは複素スペクトル成分（複素数値）であることに注意。
との独立性を仮定

C. Févotte, N. Bertin, and J.-L. Durrieu, “Nonnegative matrix factorization with the Itakura-Saito
divergence. With application to music analysis,” Neural Computation, vol. 21, no. 3, Mar. 2009,

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

2008

Smaragdis
Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

CemgilFévotte

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008
Kameoka

Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

CemgilFévotte

2009

2010

複素NMF [Kameoka2008]
 パワースペクトルも振幅スペクトルも本来は非加法的
 複素スペクトル領域モデルでNMFと同様のスペクトルパーツ獲得機能が実現できないか？

(STFT)

要素信号の複素スペクトログラムの振幅成分が“rank1”構造をもつように混合信号をモデル化(magnitude)

NMFにおけるモデルが厳密には不適切であることを示している

ここでのとも複素スペクトル
成分（複素数値）であることに注意。

亀岡, 小野, 柏野, 嵯峨山, “複素NMF: 新しいスパース信号分解表現と基底系学習アルゴリズム,” 日本音響学会2008年秋季研究発表会講演論文集, 2-8-13, pp. 657-660, 2008.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008
Kameoka

Raczynski
Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

CemgilFévotte

2009

2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008

2009

Kameoka
Raczynski

Smaragdis

Vincent
Dhillon

Virtanen

Hoyer

Kompass
Schmidt

Kameoka
CemgilFévotte2010

ソースフィルタモデルに基づくNMF [Kameoka 2009]



番目の基底スペクトルを番目のソーススペクトルと番目の全極フィルタの積で表現

frequency
20

従来NMF：

40

60

80

ソースフィルタNMF：

Hirokazu Kameoka, Kunio Kashino, "Composite Autoregressive System for Sparse Source-Filter
Representation of Speech," In Proc. 2009 IEEE International Symposium on Circuits and Systems(ISCAS2009), pp. 2477-2480, May 2009.

100

120

MusicFactorizer [Kameoka2009]
音楽信号は限られた種類の音価の音だけで構成される→NMFのアクティベーションもまたパーツベースド表現ができる？
アクティベーションをエンベロープパーツの畳み込み混合でモデル化
エンベロープパーツのアクティベーション（ノートのオンセットに対応）「畳み込み混合」

アクティベーションもいくつかのパーツだけで構成されている？

亀岡, ルルー, 大石, 柏野, "Music Factorizer: 音楽音響信号をノート単位で編集できるインタフェース," 情報処理学会研究報告, 2009-MUS-81-9, Jul. 2009.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008

2009

Kameoka
Raczynski

Smaragdis

Virtanen
DhillonVincent
Virtanen

Hoyer

Kompass
Schmidt

Kameoka
CemgilFévotte2010

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008

2009

2010

Kameoka
Raczynski

Smaragdis

Virtanen
DhillonHoyer
Schmidt

Vincent

MysoreVirtanen

Ozerov

Kompass

Kameoka
CemgilFévotteNakano状態遷移NMF [Ozerov2009,Nakano2010,Mysore2010]
周波数

NMF：スペクトログラムをrank1行列の和に分解していることに相当
観測振幅
スペクトログラム

行列Y

H

U

rank1行列（ある特定音のみの
振幅スペクトログラム）

rank1行列（ある特定音のみの
振幅スペクトログラム）

時間

楽音のスペクトログラムは実際にはrank1にならない（ピアノ音にattack/decay/sustainなどの複数状態があるように，
通常，楽音スペクトルの形は発音中に多様に時間変化する）

各楽音スペクトログラムをrank1行列でモデル化する代わりに非負値を出力する隠れマルコフモデル（HMM）でモデル化→Factorial HMM [Ghahramani1997]と同形のモデルになる• A. Ozerov, C. Févotte, M. Charbit, “Factorial scaled hidden Markov model for polyphonic audio
representation and source separation,” in Proc. WASPAA'09, 2009.
• 中野, 北野, ルルー, 亀岡, 小野, 嵯峨山, "可変基底NMFに基づく音楽音響信号の解析," 情報処理学会
研究報告, 2010-MUS-84-10, Feb. 2010.
• G. J. Mysore, P. Smaragdis, B. Raj, “Non-negative hidden Markov modeling of audio with application tosource separation,” in Proc. LVA/ICA'2010. pp.140-148, 2010.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008

2009

2010

Kameoka
Raczynski

Smaragdis

Virtanen
DhillonHoyer
Schmidt

Vincent

MysoreVirtanen

Ozerov

Kompass

Kameoka
CemgilFévotteNakanoNMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008

2009

2010

Kameoka
Raczynski

Smaragdis

Virtanen
DhillonHoyer
Schmidt

Vincent

MysoreVirtanen

Ozerov

Kompass

Kameoka
CemgilNakanoFévotteNakanoβダイバージェンス規準NMF [Nakano2010]すべてのβで収束性が保証された乗法更新アルゴリズム

凸/凹

補助関数の設計方針
Jensen不等式
接線不等式

凸/凹
凸関数

凹関数

凸関数項の上限を凸不等式，凹関数項の上限を接線不等式を使って設計し，補助関数を設計[Kameoka2006]
M. Nakano, H. Kameoka, J. Le Roux, Y. Kitano, N. Ono, S. Sagayama, “Convergence-guaranteed multiplicativealgorithms for non-negative matrix factorization with beta-divergence,” In Proc. MLSP 2010, in CD-ROM,2010.

NMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008

2009

2010

Kameoka
Raczynski

Smaragdis

Virtanen
DhillonHoyer
Schmidt

Vincent

MysoreVirtanen

Ozerov

Kompass

Kameoka
CemgilNakanoFévotteNakanoNMFの改良・拡張モデル
2003

2004

2005

2006

2007

Smaragdis

2008

2009

2010

Kameoka
Raczynski

Smaragdis

Virtanen
DhillonHoyer
Schmidt

HoffmanVincent

MysoreVirtanen

Ozerov

Kompass

KameokaNakanoCemgilNakanoFévotteNakanoベイズノンパラメトリックNMF [Hoffman2011, Nakano2011]
NMFにおける基底数をデータから推論できるようにしたい
Infinite NMF [Schmidt2010]
 Gamma Process (GaP)-NMF [Hoffman2011] スペクトログラムの生成モデルが大きいほど急峻になる

ここがポイント！
→FévotteのIS-NMF方式
の意味
をスパースにする＝不要なコンポーネントはできるだけ使わない

状態遷移NMFにおけるコンポーネント数と状態数をデータから推論できるようにしたい Infinite Factorial infinite Hidden Markov Model(iFiHMM) [Nakano2011]

まとめ
1. 非負値行列因子分解（NMF）– 何に使えるのか（音響信号処理を題材として）– どのような性質があるのか– どのように求めるのか– 統計モデルとしての解釈

2. 複素NMF [Kameoka2008]– NMFによるスペクトログラム分解法が根源的に抱える問題点– これを解決する新モデル

3. NMFの改良・拡張モデル– スパースNMF, NMFD, NMF2D, ソースフィルタNMF,
アクティベーションの連続性規準入りNMF,
ハーモニックNMF, 板倉齋藤距離規準NMF,
複素NMF, 状態遷移NMF,
ノンパラメトリックベイズNMF, etc…

参考文献
[1] D. D. Lee and H. S. Seung, “Learning the parts of objects with nonnegative matrix
factorization,” Nature, vol. 401, pp. 788–791, 1999.
[2] P. Paatero and U. Tapper, “Positive matrix factorization: A non-negative factor model with
optimal utilization of error estimates of data values,” Environmetrics 5: 111–126, 1994.
[3] P. Smaragdis and J. C. Brown, “Non-negative matrix factorization for music transcription,”
Proc. WASPAA 2003, pp. 177–180, 2003.
[4] D. D. Lee and H. S. Seung, “Algorithms for nonnegative matrix factorization,” in Adv. NIPS
2000, pp. 556–562, 2000.
[5] P. Smaragdis, B. Raj and M.V. Shashanka, “Supervised and semi-supervised separation ofsounds from single-channel mixtures," in Proc. ICA 2007, pp. 414-421, 2007.
[6] P. Smaragdis and B. Raj, ”Example-driven bandwidth expansion,” in Proc. WASPAA 2007,
pp. 135-138, 2007.
[7] P. O. Hoyer, “Non-negative matrix factorization with sparseness constraints,” J. Mach.
Learning Res., vol. 5, pp. 1457–1469, 2004.
[8] P. Smaragdis, “Non-negative matrix factor deconvolution; extraction of multiple soundsources from monophonic inputs,” in Proc. ICA 2004, pp. 494–499, 2004.
[9] L. M. Bregman, “The relaxation method of finding the common points of convex sets and its
application to the solution of problems in convex programming,” USSR Computational
Mathematics and Mathematical Physics 7: pp. 200–217, 1967.

参考文献[10] M. N. Schmidt and M. Mørup, “Nonnegative matrix factor 2-D deconvolution for blind
single channel source separation,” in Proc. ICA 2006, pp. 700-707, 2006.
[11] T. Virtanen and A. Klapuri, “Analysis of polyphonic audio using source-filter model and nonnegative matrix factorization,” in Adv. NIPS 2006, 2006.
[12] S. Eguchi and Y. Kano, “Robustifying maximum likelihood estimation,” Technical report,
Institute of Statistical Mathematics, Research Memo. 802, 2001.
[13] R. Kompass, “A generalized divergence measure for nonnegative matrix factorization,”
Neural Computation, vol. 19, no. 3, pp. 780–791, 2007.
[14] T. Virtanen, “Monaural sound source separation by nonnegative matrix factorization withtemporal continuity and sparseness criteria,” IEEE Trans. on Audio, Speech and Language
Processing, vol. 15, no. 3, pp. 1066–1074, 2007.
[15] S. A. Raczynski, N. Ono and S. Sagayama, “Multipitch analisys with harmonic nonnegative
matrix approximation,” in Proc. of ISMIR 2007, pp.381-386, 2007.
[16] E. Vincent, N. Bertin and R. Badeau, “Harmonic and inharmonic nonnegative matrix
factorization for polyphonic pitch transcription,” in Proc. ICASSP 2008, pp. 109-112 , 2008.
[17] A. T. Cemgil, “Bayesian inference for nonnegative matrix factorization models,” Technical
Report CUED/F-INFENG/TR.609, University of Cambridge, 2008.
[18] C. Févotte, N. Bertin and J.-L. Durrieu, “Nonnegative matrix factorization with the ItakuraSaito divergence. With application to music analysis,” Neural Computation, vol. 21, no. 3,
pp. 793-830, 2009.
[19] 亀岡, 小野, 柏野, 嵯峨山, “複素NMF: 新しいスパース信号分解表現と基底系学習アルゴリズム,”日本音響学会2008年秋季研究発表会講演論文集, 2-8-13, pp. 657-660, 2008.

レポート課題の対象論文
 A. T. Cemgil, “Bayesian inference for nonnegative matrix

factorization models,” Technical Report CUED/F-INFENG/TR.609,
University of Cambridge, 2008.
 C. Févotte, N. Bertin and J.-L. Durrieu, “Nonnegative matrix
factorization with the Itakura-Saito divergence. With application
to music analysis,” Neural Computation, vol. 21, no. 3, pp. 793830, 2009.