第６０回人工知能セミナー「データ生成モデルを活用するデータマイニング技術」

スパース表現に基づく音響信号のモデル化と分析

亀岡弘和
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所
kameoka@cs.brl.ntt.co.jp
講演者紹介 ： 2002年東京大学工学部計数工学科卒業
2004年同大学大学院情報理工学系研究科修士課程修了
2007年同大学大学院情報理工学系研究科博士課程修了
同年日本電信電話株式会社に入社
現在ＮＴＴコミュニケーション科学基礎研究所
音声や音楽を対象とした音響信号処理の研究に従事
日本音響学会，情報処理学会，電子情報通信学会，IEEE各会員

目次
1.スパース表現による音響信号処理の基本コンセプト
2.非負値行列因子分解(NMF)の応用例と基礎
3.複素NMF [H. Kameoka et al., 2008]
振幅スペクトルの基底関数によって構成される複素スペクトルモデル

4.複合自己回帰系 [H. Kameoka & K. Kashino, 2009]
音声生成モデル(“ソースフィルタモデル”)におけるソースとフィルタがそれぞれ少数の基底関数により構成される音声信号の統計モデル

講演概要
実世界の音源から生成される音響信号は一見すると多様な波形として観測されるが，例えば，人の声には/a/や/i/等といった音素単位の要素があり，ピアノの演奏には音階単位の要素があるように，ある空間や量に着目すると限られた数の基本要素だけで構成されていると見ることができる． 本講演では，事前には未知な信号の基本要素を自律的に学習するアプローチにより，このような仮定をもとに分析を行う音響信号処理の枠組を解説する。その上で，複素NMFと複合自己回帰分析法と呼ぶ上記の考え方をベースとした2つの信号解析法の原理と応用例を紹介する．

スパース表現

基底関数
Dictionary

基底関数

1.データを2.

がスパース (少数を除きほとんどが0)の形のモデルで表現

低ランクモデル

複雑なデータセットを少ない基底で表現
データ数

基底数

基底のスパース正則化学習

データに混在する独立な情報を抽出スパース表現による音響信号処理
実世界音響信号処理
観測信号から現象を説明することが目的
 いかに実世界音響信号の構成音をうまくモデル化できるか

メッセージ伝達媒体としての音
実世界音響信号
離散的なシンボル情報を波形で表現し伝達 音声 Î 音素単位 (/a/, /i/, /u/, ... )
...
音源A
音源B
 音楽 Î 音階単位 (ド,レ,ミ,ファ, ...)
 各シンボルがどういう波形で表現されるかは音源に固有（すなわち未知）

音源の仮定とモデル化

要素A

要素B

...

(仮定)
音源信号は限られた種類のシンボル単位に相当する未知の独立成分から成る

少ない基底関数のスパースな重畳背景
非負値行列因子分解 (Nonnegative Matrix Factorization; NMF)


画像処理分野で生まれた技術[D.D. Lee & H.S. Seung, 1999]



音のスペクトログラムを画像と見なして適用
Æ音声分離・自動採譜等[P. Smaragdis et al., 2003]
以降極めて多数…

効率的な反復アルゴリズム[D.D. Lee & H.S. Seung, 2000]

4

NMFによる振幅スペクトログラムの分解表現
周波数→音響信号
短時間フーリエ変換（時間周波数分解）

振幅スペクトログラム

規則性が！
絶対値をとる周波数→非負値行列因子分解 (NMF)

時刻→各基底のアクティビティ：時刻 に周波数 の成分がどれほど含まれているか

振幅スペクトル基底

低ランクスペクトログラム

繰り返し生起する
振幅スペクトルパターンが表出
時刻→

NMFの音響信号処理応用事例1
自動採譜 [P. Smaragdis et al., 2003]
J.S. Bach: Fuge #16 in G minor

NMFの音響信号処理応用事例2
教師ありモノラル音源分離 [P. Smaragdis et al., 2007 ]音声（学習データ）
混合信号（テストデータ）

チャイム（学習データ）

固定

NMFの音響信号処理応用事例3
音の「超解像」

低サンプリングレートの信号[P. Smaragdis & B. Raj, 2007 ]高サンプリングレート信号の学習データ（固定）
高周波帯域が復元された信号

NMF [D.D. Lee & H.S. Seung, 1999] の基礎
個の観測データ(非負値ベクトル)個の非負値基底ベクトルの非負結合でどの観測データも良く表現できる基底セットを求めたい

Îのとき，各基底ベクトルはいくつかの観測データで共起するパターン（パーツと呼ぶ）を表現するよう誘導される

NMFが想定する状況
データはすべて非負値
 高々
種類のパーツだけですべての観測データは構成されている
 パーツの和で観測データをモデル化
NMFアルゴリズム： 近さを測る
準備1. Bregmanダイバージェンス [L.M. Bregman, 1967]
は任意の微分可能な凸関数と が近いほど小さい
ただし距離の公理は満たさない(対称性が成り立たない)例) 二乗誤差，Iダイバージェンス，板倉齋藤距離NMFアルゴリズム： Bregmanダイバージェンス最小化[I.S. Dhillon & S. Sra, 2005]

補助関数法 [J. de Leeuw, 1994]
を満たす



反復アルゴリズムを補助関数と定義
補助関数

目的関数

[1]
[2]
[1]

収束性
[2]

NMFアルゴリズム： Bregmanダイバージェンス最小化[I.S. Dhillon & S. Sra, 2005]タイプ1目的関数
凸関数

Bregmanダイバージェンス

補助関数
 Jensenの不等式

凸関数

NMFアルゴリズム： Bregmanダイバージェンス最小化[I.S. Dhillon & S. Sra, 2005]

Step1)

Step2)

を解きたい …が…一般のでは解けない…

NMFアルゴリズム： Bregmanダイバージェンス最小化[I.S. Dhillon & S. Sra, 2005]のクラスを制限

はこのタイプならば，非負値から非負値へ更新具体的に代入してみると．．．

二乗誤差(Frobeniusノルム)規準のNMF更新公式

NMFアルゴリズム： Bregmanダイバージェンス最小化[I.S. Dhillon & S. Sra, 2005]のクラスを制限
はこのタイプNMFアルゴリズム： Bregmanダイバージェンス最小化
タイプ2

一般の に対する公式はまだ知られていない
Îそれぞれの についての更新公式は個別に提案されている：: [D.D. Lee & H.S. Seung, 2000]: [D.D. Lee & H.S. Seung, 2000]: [H. Kameoka et al., 2006][C. Févotte et al., 2008]

Bregmanダイバージェンスと対応する距離尺度
観測値[I.S. Dhillon & S. Sra, 2005]

二乗誤差

二乗誤差

Iダイバージェンス

双対Iダイバージェンス

板倉斎藤距離双対板倉斎藤距離Bregmanダイバージェンスと対応する尤度関数
観測値

Gauss分布Gauss分布Poisson分布

Gamma分布

指数分布

逆Gamma分布

NMFアルゴリズム： 近さを測る
準備2. βダイバージェンス [S. Eguchi & Y. Kano, 2001]
Bregmanダイバージェンス
同様，距離の公理を満たさない(対称性が成り立たない)例) 二乗誤差，Iダイバージェンス，板倉齋藤距離NMFアルゴリズム： βダイバージェンス最小化[M. Nakano et al., 2010]

補助関数法 [J. de Leeuw, 1994]
を満たす



反復アルゴリズムを補助関数と定義
補助関数目的関数

[1]
[2]


[1]

収束性
[2]

NMFアルゴリズム： βダイバージェンス最小化[M. Nakano et al., 2010]

目的関数

補助関数の設計方針
凸不等式



接線不等式

凸/凹凸/凹凸関数

凹関数

凸関数項の上限を凸不等式，凹関数項の上限を接線不等式を使って設計し，補助関数を構成 [H. Kameoka et al., 2006]

NMFアルゴリズム： βダイバージェンス最小化[M. Nakano et al., 2010]

補助関数
凸凹
凸凹（例）のケース：

ただし，NMFアルゴリズム： βダイバージェンス最小化
補助関数 （例）のケース：[M. Nakano et al., 2010]

NMF と Sparse coding [B.A. Olshausen, 1996] との関係
個の観測データ(実数値ベクトル)
すべての観測データが 個の実数値基底ベクトル”スパース”な線形結合で表される基底セットを求めたい exactなreconstruction

のNMFでは副次効果的にスパースになっていたのに対し，sparse codingではスパース性コストにより強制的にスパース化

approximation

勾配法等
スパース性コスト [B.A. Olshausen, 1996][G. Harpur, 2000]
 Lpノルム
尖度

NMF と pLSA [T. Hofmann, 1999] との関係
Aspectモデル
word(probabilistic Latent Semantic Analysis)

latent classdocument

ドキュメント に含まれる単語 の総数:
Î最尤推定によるAspectモデルの”フィッティング”


対数尤度を最大化するの推定とのIダイバージェンス
最小化と同じ意味

複素NMFNMFによる振幅スペクトログラムの分解表現の問題点
観測振幅スペクトルを振幅スペクトルパーツの和でモデル化

振幅スペクトルの加法性を仮定した不正確なモデル
振幅スペクトルは本当は非加法的 （加法的なのは波形！）
Î モデル自体に誤差を含んでいる

位相情報の放棄推定したモデルが波形に対応しない
 波形領域で実現される多くの信号処理法と組み合せられない

NMFモデルが仮定される世界周波数成分の含有率の情報

振幅スペク
トルの世界
位相を捨てるため元に戻せない！

波形の世界(豊富な情報)
複素スペクトルの世界

広い
応用展開

振幅スペクトルの非加法性について
音響信号
短時間フーリエ変換（時間周波数分解）（波形同士は加法的）・・・線形な変換（もちろん加法的）絶対値をとる・・・非線形な変換：時刻 に周波数 の成分がどれほど含まれているか（振幅スペクトル同士は非加法的）NMFモデル？

振幅スペクトル新モデル「複素NMF」の提案

観測振幅スペクトログラム

行列Y

rank1行列（ある特定音のみの振幅スペクトログラム）

時間

音１の振幅スペクトルパーツ加法性が成り立つ！

複素NMFの考え方

何種類かの音からなると仮定
周波数周波数

従来のNMFの捉え方

観測複素スペクトログラム

非rank1複素行列

行列Y（ある特定音のみの複素スペクトログラム）

これが疎になる
ようにパラメータを推定したい

音１がいつ鳴っているかを表すアクティビティ

要素の絶対値をとると“rank1”

位相スペクトログラム

複素NMFモデル

複素スペクトログラムをモデル化
行列積の形にならない！
（新しいクラスのスパース表現モデル）

複素NMFアルゴリズム
定義複素スペクトログラム
 振幅スペクトル基底
 位相スペクトログラム
 ゲイン

音響信号モデル

最適化問題
一般化正規分布

スパース正則化項

複素NMFアルゴリズム
補助関数法を満たす任意の定数

subject to
回目の反復計算後のパラメータ値:
Step 1)

Step 2)は増加しない！

NMFと等価となる条件 複素NMFはNMFを包含
Step 1)[条件1]を初期設定する

Step 2)にはStep1, Step2に対して不動点になっている[条件2]
Step 3)を実行を満たす任意の定数

Lee & Seungの二乗誤差規準のNMFアルゴリズム[Lee & Seung, 2000]と等価!

複素NMFによる音声と音楽の混合信号の分離混合信号（音声+音楽）

Frequency bin #音声パーツ

抽出音声信号
2502001501005050100150200250

Frame #

300350400450

音楽パーツ

複合自己回帰系

目的: ブラインド音声強調のための音声モデリング
音源分離/残響除去・・・室内伝達系と音声信号が未知
Î音声信号らしさの規準(モデル)をうまく仮定することが重要(例) 非ガウス性 Æ 独立成分分析に基づくブラインド音源分離

観測モデルの例 (マイクロホン数: M, 音源数: M) [T. Yoshioka et al., 2008]
観測信号の時間周波数成分

残響除去フィルタ
( : 周波数, : 時刻)
瞬時混合信号

分離行列

音源成分

統計モデル


仮定:の定義 Î 尤度関数と音源分離&残響除去:

は独立の最尤/MAP推定

音声生成モデル（ソースフィルタモデル）
自己回帰系による短時間フレーム 内の信号モデル

声帯による駆動源に対応
定常Gauss過程

声道特性(音素)に対応
次の全極型モデル

白色性
framewise自己回帰系

フィル フレームごとに別個タ の全極モデル

入力
パワースペクトル密度(PSD)

白色性を仮定(パワースペクトル密度が平坦)
実際は違う！

複合自己回帰系
全フレームで高々J種類の全極モデルを仮定
パワースペクトル密度自体がパラメータ
全フレームで高々I種類のパワースペクトル密度

複合自己回帰系による音声信号
全極型フィルタ

駆動源信号のモデル化

アクティベーション
個の要素信号

Gauss雑音スパース化

要素信号スペクトルの確率密度関数
PSD

PSD

Gauss雑音

要素信号
PSD

全極型フィルタ

駆動源特性

・駆動信号スペクトル :・声道フィルタ通過後 :・アクティベート後 :ここで，，とすると

音声信号スペクトルの確率密度関数
要素信号との和を音声信号はと考えるのとき独立するlogをとって少し式操作するとと音声信号の統計モデルの板倉斎藤距離になる
但し，アクティベーションのスパースネスを保障する事前確率（逆ガンマ分布）EMアルゴリズムによる最適化

M番目の話者の音声パワースペクトル密度推定値(Step 1: 音源分離)

を固定(Step 3: 音声パラメータ推定)(Step 2: 残響除去)

を固定を固定をEMアルゴリズムにより行う！

Step 3の詳細
Q関数

E-stepM-step[駆動源特性][ゲイン][自己回帰係数]板倉齋藤距離規準のNMFと等価となる条件
Step3は音源 ごとのパラメータ最適化ステップより
以下では は省略
板倉齋藤距離:の下ではとなり複合自己回帰系におけるパワースペクトル密度モデルはNMFモデルと等価

このとき，HとUのEMアルゴリズムの更新則が板倉齋藤距離規準のNMF [C. Févotte et al., 2008] の更新則と等価となる。

残響環境下ブラインド音源分離実験
実験結果
・混合条件
Src#1
Src#2

Mic#1

Mic#2

Mic#3

Mic#4

－0.59
＋0.59

－0.32
＋0.32

－0.14＋0.14＋0.57－0.57

単位: [dB]・Src#1の分離性能 : SIR (Signal-to-Interference ratio)
SIR

提案法

従来法＋18.6 dB＋17.2 dB

・Src#2の残響除去性能: DRR (Direct-to-Reverberate ratio)
DRR

提案法

従来法

＋13.5 dB

＋12.6 dB

まとめ (1/2)
実世界音響信号処理へのアプローチ
実世界音響信号が何個かの統計的に独立な音源信号によって構成されると仮定するのと同様に，各音源信号もまた何らかの離散的なシンボル情報に対応した何個かの独立成分によって構成される，と仮定
実世界音響信号

実世界音響信号を階層的に独立な成分に分解したモデルで簡潔に記述し，現象をモデルパラメータ最適化の視点から推論

音源A

音源B

...

要素A

要素B

...

まとめ (2/2)
スパース表現（NMF）の考え方をヒントにした新しい音響信号モデルを提案
低ランク表現
通常のNMFモデル：

1. 複素NMF

複素スペクトログラム

 NMFによる振幅スペクトログラム分解

表現の特長を継承した複素スペクログラムの分解表現

2. 複合自己回帰系
 音声のソースフィルタモデルをバックボーンとした音声版のスパース表現モデルパワースペクトログラム

参考文献[1] 亀岡, 小野, 柏野, 嵯峨山, “複素NMF: 新しいスパース信号分解表現と基底系学習アルゴリズム,” 日本音響学会2008年秋季研究発表会講演論文集, 2-8-13, pp. 657-660,2008.
[2] 亀岡, 柏野, “複合自己回帰系に基づく音響信号の生成モデル,” 日本音響学会2009年
春季研究発表会講演論文集, 2-9-8, pp. 671-674, 2009.
[3] D. D. Lee and H. S. Seung, “Learning the parts of objects with nonnegative matrix
factorization,” Nature, vol. 401, pp. 788–791, 1999.
[4] P. Smaragdis and J.C. Brown, “Non-negative matrix factorization for musictranscription,” Proc. WASPAA 2003, pp. 177–180, 2003.
[5] D.D. Lee and H.S. Seung, “Algorithms for nonnegative matrix factorization,” Proc.
NIPS 2000, pp. 556–562, 2000.
[6] P. Smaragdis, B. Raj, M.V. Shashanka, “Supervised and semi-supervised
separation of sounds from single-channel mixtures," Proc. 7th International
Conference on Independent Component Analysis and Signal Separation, 2007.
[7] P. Smaragdis and B. Raj, ”Example-driven bandwidth expansion,” Proc. WASPAA
2007, in CD-ROM, 2007.
[8] L.M. Bregman, “The relaxation method of finding the common points of convex
sets and its application to the solution of problems in convex programming,”
USSR Computational Mathematics and Mathematical Physics 7: pp. 200–217, 1967.

[9] I.S. Dhillon and S. Sra, “Generalized nonnegative matrix approximations
with Bregman divergences ,” Proc. NIPS 2005, pp. 283-290, 2005.

参考文献[10] J. de Leeuw. Block-relaxation methods in statistics. In H.H. Bock, W. Lenski, andM.M. Richter, editors, Information Systems and Data Analysis, Berlin, 1994. Springer
Verlag.
[11] 亀岡, 後藤, 嵯峨山, “スペクトル制御エンベロープによる混合音中の周期および非周期成分の選択的イコライザ,” 情処研報, 2006-MUS-66-13, pp. 77-84, 2006.
[12] C. Févotte, N. Bertin and J.-L. Durrieu, “Nonnegative matrix factorization
with the Itakura-Saito divergence with application to music analysis,”
Technical Report TELECOM ParisTech 2008D006, 2008.
[13] S. Eguchi and Y. Kano, “Robustifying maximum likelihood estimation,” Technicalreport, Institute of Statistical Mathematics, Research Memo. 802, 2001.
[14]中野, 北野, ルルー, 亀岡, 小野, 嵯峨山, “可変基底NMFに基づく音楽音響信号の解析,” 情処研報, 2010-MUS-84-10, 2010.
[15] B.A. Olshausen, and D.J. Field, “Emergence of simple-cell receptive field properties
by learning a sparse code for natural images,” Nature, vol. 381, pp. 607–609, 1996.
[16] G. Harpur, R. Prager, “Experiments with low-entropy neural networks,” in R.
Baddeley, P. Hancock, P. Földiák (eds.) Information Theory and the Brain,
Cambridge University Press, pp. 84-100, 2000.
[17] T. Hofmann, “Probabilistic latent semantic analysis,” Proc. UAI , pp. 289-296, 1999.
[18] T. Yoshioka, T. Nakatani and M. Miyoshi, “An integrated method for blindseparation and dereverberation of convolutive audio mixtures,” Proc. EUSIPCO2008, in CD-ROM, 2008.