東京大学工学部 4年生 夏学期 [03501130]

応用音響学
第7回 (5/27)
( / )
亀岡弘和
東京大学大学院情報理工学系研究科
システム情報学専攻
kameoka@hil.t.u-tokyo.ac.jp

講義スケジュール
前半（亀岡担当）
 4/08: 第1回
第 4/15: 第2回
 4/22: 第3回
 4/29: 休日
 5/01(木): 第4回
 5/06: 休日
 5/13: 第5回
 5/20: 第6回
 5/27: 第7回後半（牧野担当）
 6/03: 第8回
第 6/10: 第9回
 6/17: 第10回
 6/24: 第11回
第
 7/01: 第12回
 7/08: 第13回
 7/15: 第14回

 7/22: 学期末試験

講義資料と成績評価
講義資料
http://hil.t.u-tokyo.ac.jp/~kameoka/aa/成績評価
 出席点
 学期末試験

本日の話題非負値行列因子分解
データ行列を基底行列と係数行列の積に分解する
多変量解析手法の一つ
 非負制約を置く所がポイント
非負制約を置く所イ ト
 画像処理分野で登場した技術
 顔画像データから目・鼻・口などの特徴的パーツを抽出することが目的 近年，モノラル音源分離の手法としても注目
近年 モノラル音源分離の手法としても注目 スペクトログラムをデータ行列と見なして，行列の積に分解参考資料
A. Cichocki, R. Zdunek, A. Huy Phan, S. Amari, Non-negative Matrix andTensor Factorizations: Applications to Exploratory Multi-way Data Analysis
and Blind Source Separation, John Wiley & Sons, 2009.
 亀岡弘和,亀岡弘和 "非負値行列因子分解
非負値行列因子分解," 計測と制御,
計測と制御 Vol.
Vol 5151, NoNo. 9
9, pp
pp. 835
835844, Sep. 2012.
Frequency「行列の積」としてのスペクトログラム

time「行列の積」としてのスペクトログラム
各基底の「アクティベーション」
各基底の アクティション」

Frequency「基底スペクトル」

timeFrequency「行列の積」としてのスペクトログラムtime本日の話題非負値行列因子分解（NMF）
何に使えるのか（音響信号処理を題材として）
 どのような性質があるのか どのように求めるのか
 統計モデルとしての解釈非負値行列因子分解 (NonnegativeMatrixFactorization) とは
非負値行列を２つの非負値行列の積で表現行列因子分解の応用場面


ブラインド信号分離(Blind Signal Separation)

次元圧縮

NMFが生まれた背景
画像処理分野で生まれた技術 [Lee1999]
 顔画像から顔パーツを抽出するのが目的 概念自体は９０年代前半に登場 [Paatero1994]
音のスペクトルを画像と見なして適用（後述）音声分離・自動採譜等
音声 離 自動採譜等[Smaragdis2003]以降極めて多数…

効率的な反復アルゴリズム[Lee2000]

なぜ非負値なのか？その意図は？
データ行列の非負性


実世界には非負値データが多い（例） パワースペクトル，画素値，度数，基底行列の非負性「非負値データの構成要素もまた非負値データであるべき(でないと物理的に意味をなさない！)」
あるべき な と物理的 意味をなさな ！という考え方（例）負の値をもったパワースペクトルなんて解釈のしようがない
係数行列の非負性
構成要素の混ざり方は「足し算」のみ
 係数行列をスパースに誘導
係数を誘導  基底の情報量をアップ
基底 情報量をプ係数行列の非負性について
係数が負の値を取っても良い場合

係数が負の値を取ってはならない場合

スパース
スパース性

統計的独立性NMFの幾何学的イメージ

二乗誤差規準のNMF

データ数

基底数とが張る「凸錐」
張る「凸錐共起成分のグルーピング効果

低ランク近似問題：
少ない基底でデータ少な
基底 デ タを良く表現したい H をどうした方が「節約的」？

NMFで音声スペクトログラムを分解してみる
周波波数→音響信号
短時間フーリエ変換（時間周波数分解）

音声スペクトログラム：時刻 に周波数 の成分がどれほど含まれているか

各基底ののアククティビティ
ィ

絶対値をとる
時刻→周波数→→基底スペクトル

低ランクスペクトログラム

基底数10
基底数30

頻出するスペクトル
頻
すパーツが獲得される
時刻→

何に使えるのか？（1/5）
自動採譜 [P. Smaragdis et al., 2003]
J.S. Bach: Fuge #16 in G minor

何に使えるのか？（2/5）
教師ありモノラル音源分離 [P. Smaragdis et al., 2007 ]音声（学習データ）
混合信号（テストデータ）
混合信号（テストデ タ）チャイム（学習データ）

固定

何に使えるのか？（3/5）
音の「超解像」

低サンプリングレートの信号[P. Smaragdis & B. Raj, 2007 ]高サンプリングレ ト信号の学習デ タ
高サンプリングレート信号の学習データ（固定）
高周波帯域が復元された信号何に使えるのか？（4/5）
ブラインド残響除去 [H. Kameoka et al., 2008]
非負値行列「逆畳み込み」
250

200

200
Frequency
y bin #

Frequency
y bin #

Frequency

250

150

100

150

1005050206080100

Frame #
Time

120140160

180

200

4020

406080100

Frame #
Time

120140160

180

Time

250

残響除去音声200
Frequency bin #非負値行列逆畳み込み
によって求まった実際の H

20

Frequenccy

40150100506080100

Frame #
Time120140160180200

何に使えるのか？（5/5）
 エコーキャンセラ[戸上&川口 2009]

 音響符号化[Nikunen & Virtanen 2010]

 ブラインド音源分離 (NMFの多チャンネル拡張)[Ozerov et al. 2010], [Kitano et al. 2010], [Takeda et al. 2011],[Sawada et al. 2011], [Sawada et al. 2012] フォルマントトラッキング[[Durrieu et al. 2011]]

 音素特徴量抽出[[Hurmalainenlet al.l 2011]]

NMF の基本問題
個の観測データ(非負値ベクトル)個の非負値基底ベクトルの非負結合でどの観測データも良く表現できる基底セットを求めたいとの乖離度を表す規準

どうやって求めるのか
NMFにおける代表的な最適化規準
二乗誤差
 Iダイバージェンス（一般化KLダイバージェンス）
押さえておくべき基本原理
補助関数法
 凸不等式（Jensenの不等式）

二乗誤差と I ダイバージェンス•：のからの近さの度合い
二乗誤差

I ダイバージェンス

板倉齋藤距離NMFにおける代表的な最適化規準

二乗誤差

なんとかしたい部分

Iダイバ
Iダイバージェンス（一般化KLダイバージェンス）
ジェンス（ 般化KLダイバ ジェンス）

なんとかしたい部分

いずれものとき ０ になる押さえておくべき基本原理（1/2）
補助関数法
を満たす




反復アルゴリズムを補助関数と定義
補助関数

目的関数

[1]
[2]
[1]


収束性
[2]

目的関数を直接最小化するのが難しいなら、とりあえずその上限関数を作ってみよう！

押さえておくべき基本原理（2/2）
Jensenの不等式


：凸関数



例えば例えば，の場合：

右辺左辺

Frobeniusノルム規準のNMFアルゴリズム• 目的関数• 下線部に対してJensenの不等式を立ててみる
線部 対等式を立適用• 補助関数が完成またはごとの二次関数の和になっている

Frobeniusノルム規準のNMFアルゴリズム• 補助関数が完成したらあとはステップ１とステップ２を導出すを導出すればOK!

[1]

[2]

代入

Iダイバージェンス規準のNMFアルゴリズム• 目的関数• 下線部に対してJensenの不等式を立ててみる
線部 対等式を立適用• 補助関数が完成

Iダイバージェンス規準のNMFアルゴリズム• 補助関数が完成したらあとはステップ１とステップ２を導出す
を導出すればOK!

[1]

[2]

代
入

統計モデルとしての解釈

NMFは以下を仮定した最尤推定問題と等価

F b i ノルム規準
Frobeniusノルム規準
正規分布

Iダイバージェンス規準
Poisson分布

板倉齋藤距離規準NMF [Févotte 2008]
観測信号をガウス性信号の重ね合わせとしてモデル化
各要素信号のパワースペクトログラムがRank-1構造をもつと仮定
ここでのとは複素スペクトル成分（複素数値）であることに注意。
であることに注意との独立性を仮定

板倉斎藤距離規準のNMFアルゴリズム [Kameoka 2006]• 目的関数• 逆数関数は凸関数 ⇒ Jensenの不等式
Jの不等式

適用

• 対数関数は凹関数 ⇒ この場合はどうしたら？？
右辺
適用

NMFの規準別の比較
二乗誤差規準
8
FFrequencyy (kHz)

観測スペクトログラム
観測ス
クトログラム0Time

Frequenncy (kHz)

80TimeNMFの規準別の比較
 I ダイバージェンス規準
8
FFrequencyy (kHz)

観測スペクトログラム
観測ス
クトログラム0Time

Frequenncy (kHz)

80TimeNMFの規準別の比較
 板倉斎藤距離規準
8FFrequencyy (kHz)

観測スペクトログラム
観測ス
クトログラム0Time

Frequenncy (kHz)

80Time

本日の講義のまとめ非負値行列因子分解（NMF）
何に使えるのか（音響信号処理を題材として）
 どのような性質があるのか どのように求めるのか
 統計モデルとしての解釈