部分空間法研究会 2010
【チュートリアル】

独立成分分析入門
～音の分離を題材として～[2010年7月26日]
NTT コミュニケーション科学基礎研究所

澤田 宏
1

スケジュール
1.

独立成分分析について
 定式化，歴史，応用

2.

音源分離のデモ3.

信号の統計的性質
 信号を混ぜる － 中心極限定理

4.

独立成分分析のアルゴリズム
 白色化 ＋ FastICA 最尤推定法 by Natural Gradient 一般化固有値分解による簡便な方法
2

独立成分分析(ICA: Independent Component Analysis)• 混ざり合った信号から元の信号を取り出す• どの様に混ざったかに関する情報は利用できない++++

元の信号は互いに独立であると仮定

を互いに独立にする
3

独立成分分析

元の信号は独立依存関係がある

なるべく独立にする• 一方から他方が推測できない• 一方から他方が推測できる• 同じ成分が双方に入っている• 具体的な手順は?
（本チュートリアルで説明）
4

独立成分分析 ― 定式化• I個の源信号 s が混合行列 H により混ざり合い，J個の観測信号 x が T 個得られたとする．

• 分離行列 W により分離信号 y を生成する．

• W の計算は観測信号 x のみから行う．I個の分離信号 y が互いに独立になるようにする．
5

独立成分分析• 歴史» 1980年代: フランスの研究者ら中心• 非線形無相関化，高次統計量» 1990年代中盤から: 世界的な広がり• 理論的枠組み充実，効率的なアルゴリズム» 国際会議 ICA: 1999年から1年半毎に1回開催• 応用» 信号分離: 音，脳波，無線信号，など• BSS: Blind Source Separation» 特徴抽出（可変基底）: 自然画像，音，など
6

音の分離• カクテルパーティー効果
人の聞き分け能力• 音声認識マイクロホンと口の間の距離の増加により混入してくる妨害音を抑圧・除去• 音楽／楽器音分析例） オーケストラで一つ一つの楽器の様子を把握
7

ブラインド音源分離• 音のみを手がかりとして混ざった音を分離⇔ 視覚（カメラ）に関わる情報は利用できない• 何を手がかりにするか?
» 音声: 声質，話し方の特徴，次に来る言葉を予測» 楽器: 音の高さ／特徴，リズム，繰り返しパターン» 空間情報: 音源の方向，距離 ← 複数マイク（耳）• 分離方法» 線形フィルタ: ビームフォーマ，独立成分分析» 非線形処理: 時間周波数マスキング
8

ブラインド音源分離の実機デモ• 二人の人に同時に喋ってもらいます（8秒間ぐらい）• その混ざった声を録音します
２つのマイクロホン• 録音した音を聞いてください• コンピュータで処理をします• 処理後の分離音を聞いてください

EDIROLby Roland

R-09

24bit WAVE/MP3 Recorder9

大きな声で読んでください
1. コンピュータの耳と人間の耳とで、機能的に大きく違う点は、ものを聞き分ける能力です。
2. 目標は、一度に10人の話を聞き分けたと伝えられる、聖徳太子並みの処理能力です。
3. 「ブラインド音源分離技術」とは、実環境において、混ざり合った音から目的の音だけを取り出す技術です。
10

スケジュール
1.

独立成分分析について
 定式化，歴史，応用

2.

音源分離のデモ3.

信号の統計的性質
 信号を混ぜる － 中心極限定理

4.

独立成分分析のアルゴリズム
 白色化 ＋ FastICA 最尤推定法 by Natural Gradient 一般化固有値分解による簡便な方法
11

音の統計的性質
ヒストグラム

振幅値
振幅値

音声の波形

振幅値

拡大すると振幅値12振幅値

音を混ぜてみる
波形
s

13

振幅値

波形
s14

混ぜた音の統計的性質
ヒストグラム

振幅値→赤い線に近づいてくる
15

中心極限定理(Central Limit Theorem) [1]• もともとの信号がどのような統計的性質を持ったものであれ，多くの信号を足し合わせると，その統計的性質は正規分布に近づく．

平均 0
分散 1の正規分布の確率密度関数

16正規分布（ガウス分布）• 確率密度関数• 統計学においてもっとも代表的な分布» 平均と分散が決まれば一意に定まる• もっとも「ランダム」な分布» 中心極限定理» 同じ分散を持つ分布の中でエントロピー最大

17エントロピー（平均情報量）• ある事象の情報量めったに起こらないこと
ほど、情報量は大きい• エントロピー» 多くの事象をまとめたもの（信号、分布、集合）での情報量の平均» 正規分布の場合

18

混ぜた音のエントロピー

音源数N

12816正規分布

エント 1.194 1.332 1.394 1.407 1.419
ロピー

分散を１に正規化した
19

音源の統計的性質• 我々が扱う意味のある音» 音声，音楽，など» 0の頻度が多い

N=1• ラプラス分布によるモデル化
ラプラス分布

平均:
分散:

ガウス分布

20

音源の統計的性質
ヒストグラム

振幅値

青い線はラプラス分布
21

エントロピーの近似計算• 真の分布を近似できる分布を用いる

音源数N

12816正規分布

エントロピー

1.194 1.332 1.394 1.407 1.419

良好→ラプラス分布による近似

1.286 1.356 1.420 1.457 1.474

分散正規化のため無反応→ガウス分布による近似

1.419 1.419 1.419 1.419 1.419

22

スケジュール
1.

独立成分分析について
 定式化，歴史，応用

2.

音源分離のデモ3.

信号の統計的性質
 信号を混ぜる － 中心極限定理

4.

独立成分分析のアルゴリズム
 白色化 ＋ FastICA 最尤推定法 by Natural Gradient 一般化固有値分解による簡便な方法
23

散布図s1s224

源信号と混合信号の散布図

25白色化 ＋ FastICA [1]
源信号

混合信号

混合行列

白色化信号

白色化行列
（楕円を円に）

分離信号

ユニタリ行列（回転）
FastICA26

相関と相関行列• 相関• 相関行列27

相関行列の固有ベクトルと固有値0.160.73
0.91

1.24

28

白色化混合信号

白色化信号• 相関行列が単位行列になるように変換» 無相関化» 分散の正規化

白色化行列（楕円を円に）
29

白色化行列の求め方によりとなる白色化行列を求める

z の相関行列を計算してみるととなる．と固有値分解すれば相関行列の固有値分解
相関行列固有値固有ベクトルここでを満たす（正規直交基底）が求めるものとなる
30

ユニタリ変換（回転）
白色化信号

分離信号

2次元の場合エントロピー

関数Gの平均ラプラス分布による情報量の近似
31

FastICA [1]• 前処理に白色化．解空間をユニタリ行列 U に限定• 非線形関数の期待値を最小化» エントロピー最小化:• 基本は，分離信号が真の分布の近似を１つずつ求めていく

収束するまで以下を繰り返す
分離信号の計算ニュートン法によるGの最適化
グラム・シュミットの直交化
ノルム１に正規化
32非線形関数Gについて• FastICAで用いるには，一階微分，二階微分が必要• ラプラス分布によるGは，一階微分が不連続となり不都合
符号そのもの• 代わりに，二階微分も可能な関数を使用
αは0.1など小さな値
α= 0でラプラス分布によるGとなる33

FastICAアルゴリズムの様子• 赤（□）»

を初期値» Gの最適化: 原点に近づいているもの» ノルム1に正規化: 単位円上
» 5回の繰り返しで良好な解へ• 緑（△）»を初期値» 直交化により，1回で解に到達

34白色化 ＋ FastICA まとめ• 手順» 観測信号を白色化．相関行列の固有値分解による» ユニタリ変換．FastICAによる効率的最適化• 独立成分分析の定式化に照らすと» 分離行列は• 限定された形
次に，W の形を限定しないアルゴリズムを紹介
35最尤推定法 [2,3]• 観測信号に対する W の尤度• 線形変換と確率密度関数• 分離信号 y の独立性を仮定
はラプラス分布など• 以上から導かれる対数尤度を最大化する W を求める

36

最尤推定法• サンプル数 T で割り，最大化すべき目的関数を設定» 参考: W をユニタリ行列に限定すればFastICAと等価• 勾配法により W を最適化

は適切に設定された
ステップサイズの具体的な形
ラプラス分布
非線形関数G37

Natural Gradient [4,5]• 勾配法では， W の逆行列計算が厄介• Natural gradient» 逆行列計算が不要» Equivariance Property• 混合行列 H の影響（singularに近く不安定など）を受けない• ICAアルゴリズム － 以下を収束まで繰り返す

38

Natural Gradientによる最適化の様子• 赤（□）:

を初期値• 緑（△）:

を初期値• 観測信号の白色化の有無に関わらず，良好に解に収束

39

もう少し違った観点からの手法• これまで説明した独立成分分析» 正規分布から遠ざける，エントロピーを減らす» 正規分布とは異なる分布を仮定し，最尤推定
Non-gaussianity• 信号の同時無相関化による分離方法» 二次統計量（＝相関行列）のみを利用» 信号の非定常性に基づく» 広い意味での独立成分分析（ICA） = BSS
Non-stationarity40

同時無相関化• 観測信号 x から二つ（以上）の区間を設定» 例として，1) 全体 と 2) 最初1/4• それらの区間に関して相関行列を計算• 分離信号のそれぞれの区間の相関行列を対角化する W を分離行列として求める
対角行列

41

一般化固有値分解による簡便な方法 [6]• 二つの対角行列を別の対角行列で関連付け• D を消去すると 一般化固有値問題の形になる
W の逆行列を左からかける• 一般化固有値分解は多くの場合，ルーチンがある» 例えばMatlabでは[E, D] = eig(Ra, Rq);
• 得られた E を用いて，が分離行列42同時無相関化の直感的説明

全体を白色化

最初1/4区間を取り出すと相関を持つことが発覚

最初1/4区間が無相関になるように回転⇒ 分離を達成
43

同時無相関化がうまく行かない場合

全体を白色化

最初1/2区間でも既にある程度無相関になっている最初1/2区間が無相関になるように回転⇒ 分離が不十分44同時無相関化• 区間の選択が重要» 相関行列が十分に異なっていること• 区間の数を増やすことで成功しやすくなる» ただし区間が3個以上になると，一般化固有値分解の簡便な方法は利用できない» Joint Diagonalization
様々な区間の相関行列を同時に対角化

45

まとめ
• 中心極限定理» どんどん混ぜれば正規分布に近づく• 独立成分分析» 独立 ＝ エントロピー減 ＝ 正規分布から遠» 意味のある音はラプラス分布で近似できる» 効率的アルゴリズム: FastICA，Natural gradient• 実環境で混ざった音を分けるためには（実機デモ）» 畳み込み混合（残響）への対処が必要• 時間周波数領域での手法: 複素数ICAなど
46

周波数領域BSSに関わる発表文献
 H. Sawada, R. Mukai, S. Araki, S. Makino, "Polar Coordinate based
Nonlinear Function for Frequency Domain Blind Source Separation,"IEICE Trans. Fundamentals, vol.E86-A, no.3, pp. 590-596 (2003)
 H. Sawada, R. Mukai, S. Araki, S. Makino, "A Robust and Precise
Method for Solving the Permutation Problem of Frequency-Domain
Blind Source Separation," IEEE Trans. Speech and Audio Processing,vol.12, no. 5, pp. 530-538 (2004)
 H. Sawada, S. Araki, S. Makino, "Frequency-Domain Blind Source
Separation," in Blind Speech Separation, S. Makino, Te-Won Lee,and H. Sawada, Eds, Springer (2007)
 H. Sawada, S. Araki, S. Makino, "MLSP 2007 Data Analysis
Competition: Frequency-Domain Blind Source Separation for
Convolutive Mixtures of Speech/Audio Signals," Proc. IEEEInternational Workshop on Machine Learning for Signal Processing(MLSP), pp. 45-50 (2007)
47

参考文献
[1] A. Hyvärinen, J. Karhunen and E. Oja, Independent Component
Analysis, Wiley-Interscience (2001)[2] A. Bell and T. Sejnowski, “An information-maximization approach toblind separation and blind deconvolution,” Neural Computation,
7(6):1129-1159 (1995)[3] J.-F. Cardoso, “Infomax and maximum likelihood for blind sourceseparation,” IEEE Signal Processing Letters, 4(4):112-114 (1997)[4] S. Amari, A. Cichocki and H.H. Yang, “A new learning algorithm forblind signal separation,” In Advances in Neural Information
Processing Systems (NIPS), vol. 8, pp. 757-763 (1996)[5] A. Cichocki and S. Amari, Adaptive Blind Signal and Image
Processing, Wiley (2002)[6] L. Parra and P. Sajda, “Blind source separation via generalized
eigenvalue decomposition,” Journal of Machine Learning Research,
4:1261-1269 (2003)
48