月4 2013 冬学期 [4830-1032]

第8回

音声音響信号処理（独立成分分析によるブラインド信号分離）

亀岡弘和
東京大学大学院情報理工学系研究科
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所

講義内容（キーワード）
信号処理、符号化、標準化の実用システム例の紹介
情報通信の基本（誤り検出、訂正符号、変調、IP）
符号化技術の基本（量子化、予測、変換、圧縮）
音声分析・合成・認識・強調、音楽信号処理
統計的信号処理の基礎（スペクトル、ガウス過程、最尤推定）
ガウス性確率変数の基本性質
時間周波数分析（短時間フーリエ変換、ウェーブレット変換）
ウィナーフィルタとカルマンフィルタ
音声生成過程のモデル（ソースフィルタ理論と藤崎モデル）
自己回帰モデルと線形予測分析
独立成分分析によるブラインド音源分離
非負値行列因子分解によるスペクトログラムの分解表現
スペクトル間擬距離最適化アルゴリズム（EMアルゴリズム、補助関数法）

講義スケジュール
10/ 7
守谷先生担当10/15 (火) 守谷先生担当
10/21
守谷先生担当10/28（休講）
11/ 5 (火) 線形予測分析と自己回帰モデル
11/11
時間周波数解析
11/18（休講）
11/25
非負値行列因子分解
12/ 2
統計的手法による音声強調
12/ 9
独立成分分析によるブラインド信号分離
12/16
吉井和佳 氏 (産業技術総合研究所)
1/15 (水)1/20
戸田智基 准教授 (奈良先端科学技術大学院大学)

成績評価
 レポート課題
本講義に関連する論文を１つ選び、発表資料形式（パワーポイント等）にまとめて学期末に提出してください。提出先は最終講義にてお知らせします。
 「どの程度本質を理解しているか」「要点が分かりやすく記述されているか」「なぜその論文を重要と考えたか」を評価の規準にして採点します。
 毎回の講義後にその回の講義に関連する論文を１つ挙げる予定です。それらの中から選んでも良いですし、自分で自由に探してきてもOKです。
 講義の感想 レポートとともに講義に対する感想文も一緒に提出して下さい。
※講義資料は講義用ホームページにアップしていく予定。
本日の話題ブラインド音源分離
複数のマイクロホンで取得した観測信号から同時に鳴っている複数の音源信号を分離獲得する技術
独立成分分析 ブラインド音源分離を行うための統計的手法
参考資料
A. Hyvärinen, J. Karhunen, E. Oja,
Independent Component Analysis,
John Wiley & Sons, 2001.
 村田昇, 入門 独立成分分析,
東京電機大学出版局, 2004.
 澤田宏, “【チュートリアル】 独立成分分析入門 ～音の分離を題材として～,”部分空間法研究会2010, 2010年7月.
目次
独立成分分析について

定式化，歴史，応用

信号の統計的性質


信号を混ぜる－ 中心極限定理

独立成分分析のアルゴリズム
白色化＋ FastICA 最尤推定法by Natural Gradient目次独立成分分析について

定式化，歴史，応用

信号の統計的性質


信号を混ぜる－ 中心極限定理

独立成分分析のアルゴリズム
白色化＋ FastICA 最尤推定法by Natural Gradientブラインド音源分離（BlindSourceSeparation）
混ざり合った信号から元の信号を取り出す
どのように混ざったかに関する情報 は利用できない

音の分離カクテルパーティー効果


人の聞き分け能力

音声認識


マイクロホンと口の間の距離が大きくなるにつれて増大してくる妨害音を抑圧・除去

音楽／楽器音分析例）オーケストラの一つ一つの演奏をチェックブラインド音源分離の動作結果例

ababcabcdx1x2x1x2x3x1x2x3x4

y1y2

y1y2

y3

y1y2y3y4

音の分離
音のみを手がかりとして混ざった音を分離⇔ 視覚（カメラ）に関わる情報は利用できない

何を手がかりにするか?
音源の性質
 音声の場合: 声質，話し方の特徴，次に来る言葉を予測 楽器の場合: 音の高さ／特徴，リズム，繰り返しパターン 空間情報 音源の方向，距離← 複数マイク（耳）分離方法
線形フィルタ: ビームフォーマ，独立成分分析
 非線形処理: 時間周波数マスキング独立成分分析（ I ndependentComponentAnalysis）

元の信号は独立依存関係がある

なるべく独立に• 一方から他方が推測できない• 同じ成分が双方に入っている• 一方から他方が推測できる• 具体的にはどうやる？

独立成分分析によるブラインド音源分離
 個の音源信号
観測信号

 分離行列がが混合行列 により混ざり合い， 個の個得られたとする。

により分離信号 を生成する。の計算は観測信号個の分離信号のみから行う。
が互いに独立になるようにする。

独立成分分析 ―背景
歴史
1980年代： フランスの研究者ら中心
 非線形無相関化，高次統計量
 1990年代中盤から世界的な広がり
 理論的枠組の充実，効率的なアルゴリズム
 国際会議ICA： 1999年から1年毎に1回開催
応用

信号分離： 音，脳波，無線信号，など
 ブラインド音源分離（BlindSourceSeparation）

特徴抽出： 自然画像，音，など

目次独立成分分析について

定式化，歴史，応用

信号の統計的性質


信号を混ぜる－ 中心極限定理

独立成分分析のアルゴリズム
白色化＋ FastICA 最尤推定法by Natural Gradient目次独立成分分析について

定式化，歴史，応用

信号の統計的性質


信号を混ぜる－ 中心極限定理

独立成分分析のアルゴリズム
白色化＋ FastICA 最尤推定法by Natural Gradient音の統計的性質
音声の波形

振幅値のヒストグラム

振幅値

振幅値

音を混ぜてみる
音源数

混ぜた音の統計的性質
振幅値のヒストグラム

振幅値→赤い線に近づいてくる

中心極限定理 (Central Limit Theorem)元々の信号がどのような統計的性質をもったものであれ，多くの信号を足し合わせると，その振幅値の分布は正規分布に近づく。
平均０
分散１の正規分布

中心極限定理 (Central Limit Theorem)
確率変数が独立に同一な確率密度関数に従うならば，の確率密度関数はでガウス分布に近づくただし， の平均は0とする

中心極限定理の略証 (1/2)

の特性関数をとするの特性関数（∵重畳積分定理）

の確率密度関数

の特性関数中心極限定理の略証 (2/2)
のマクローリン展開

n次キュムラント

のマクローリン展開

zのキュムラントをxのキュムラントで表したもの


3次以上のキュムラントは⇒分布がガウス分布に収束

で 0 に収束（∵ガウス分布に従う確率変数の3次以上のキュムラントはすべて0）正規分布（Gauss分布）
確率密度関数統計学における最も重要な分布の一つ
さまざまな性質がある
平均 と分散 によって確率密度関数が一意に決まる
 最も「ランダム」な分布
 同じ分散をもつ分布の中でエントロピーが最大 中心極限定理エントロピー（平均情報量）
ある事象の情報量めったに起こらないことほど情報量は大きいエントロピー

各事象の情報量の平均値
 事象のランダムさを表す指標
 正規分布の場合エントロピーが最大になる確率密度関数
問題:
Maximizewith respect toSubject toラグランジュ未定乗数法


ラグランジアンをpに関して偏微分して0と置く⇒
たしかに正規分布型になっている！

混ぜた音のエントロピー

分散を１に正規化

音源の統計的性質
我々の身の回りにある音（音声や楽音等）の波形は振幅値０の頻度が高い

Laplace分布によるモデル化

Laplace分布
Gauss分布
平均：分散：

エントロピーの近似計算
真の分布を良く近似する分布を用いてエントロピーを計算

良好→
分散正規化のため変化無し目次
独立成分分析について

定式化，歴史，応用

信号の統計的性質


信号を混ぜる－ 中心極限定理

独立成分分析のアルゴリズム
白色化＋ FastICA 最尤推定法by Natural Gradient目次独立成分分析について

定式化，歴史，応用

信号の統計的性質


信号を混ぜる－ 中心極限定理

独立成分分析のアルゴリズム
白色化＋ FastICA 最尤推定法by Natural Gradient音源信号の散布図

音源信号と混合信号の散布図

白色化 ＋ FastICA音源信号

混合信号

混合行列
（未知）

白色化信号

白色化行列
（楕円を円に）

分離信号

ユニタリ行列（回転）

FastICA相関と相関行列相関相関行列

相関行列の固有ベクトルと固有値

白色化
相関行列が単位行列になる
ように

を変換

混合信号

白色化信号

無相関化
白色化行列
（楕円を円に）

分散の正規化白色化行列の求め方
によりとなる白色化行列の相関行列を計算してみると．．．

を固有値分解してみると．．．

を求めたい

相関行列の固有値分解：を満たす正規直交基底行列を単位行列にしたいわけなので

ユニタリ変換（回転）相関行列が単位行列になるようにを変換

エントロピー

白色化信号

分離信号

関数Gの平均Laplace分布による情報量の近似

FastICAアルゴリズム
非線形関数の平均を最小化求めたいのは
 解空間をユニタリ行列に限定
各について収束するまで以下を繰り返す
分離信号の計算
Newton法による降下
Gram-Schmidtの直交化
ノルムの正規化非線形関数Gについて
FastICAでは一階微分と二階微分が必要（Newton法を使うため）
Laplace分布を用いて定義したGは不連続のため不都合→微分できない代わりに微分可能な近似関数を使用することが多い→α=0で|y|となる

FastICAアルゴリズムによる推定の様子
赤（□）
を初期値に設定
 Newton法による更新：原点に向かっている ノルム１に正規化：単位円上に引き戻されている
 5回の繰り返しで良好な解へ緑（△）
を初期値に設定
 直交化により，1回だけで解に到達白色化＋FastICAのまとめ
手順

観測信号を白色化（観測信号の相関行列の固有値分解）



ユニタリ行列を射影勾配法（Newton法＋解空間への射影）

求めたかったのは分離行列：（限定された形）Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について

Coffee Break: 音脈分凝について
テンポ 遅い速いCoffee Break: 音脈分凝について←400HzCoffee Break: 音脈分凝について←405HzCoffee Break: 音脈分凝について←410HzCoffee Break: 音脈分凝について←415HzCoffee Break: 音脈分凝について←420HzCoffee Break: 音脈分凝について←425HzCoffee Break: 音脈分凝について←430HzCoffee Break: 音脈分凝について←435HzCoffee Break: 音脈分凝について←440HzCoffee Break: 音脈分凝について←445Hz最尤推定法
分離行列
観測信号を直接推定に対するの尤度関数



線形変換と確率密度関数



音源信号の独立性と非Gauss性を仮定：Laplace分布など

最尤推定法目的関数：

勾配法によりを反復的に更新（はステップサイズ）の具体形
Laplace分布の場合：先の近似分布の場合：

自然勾配（Natural Gradient）法
勾配法ではの逆行列計算が厄介自然勾配（Natural Gradient）

逆行列計算が不要 Equivariance Property
混合行列Hの影響（特異点に近くて不安定，etc.）を受けない
 アルゴリズムは以下のとおり
自然勾配の導出 (1/2)
最急降下方向をに変化させたときに最も小さくするが最急降下方向
 モデルの接空間がユークリッド的でない場合は「偏微分方向 最急降下方向」


のノルムの定義における変化を単位行列 に移し変えて

と変形し，実質的な変化分をのFrobeniusノルムをのノルムと定義と捉えるを

自然勾配の導出 (2/2)
最急降下方向の導出という制約の下でを最小化する求める最適化問題として定式化
 Lagrangeの未定乗数法
Lagrangeの未定乗数⇒⇒
逆行列をキャンセルしてくれるの変化を単位行列に移し変えて考えているため，に依らず一定の収束特性を示す⇒等価性（Equivalence）

を自然勾配法による推定の様子
赤（□）：
を初期値に設定
緑（△）：
を初期値に設定
観測信号の白色化をせずとも良好な解に収束目次
独立成分分析について

定式化，歴史，応用

信号の統計的性質


信号を混ぜる－ 中心極限定理

独立成分分析のアルゴリズム
白色化＋ FastICA 最尤推定法by Natural Gradientまとめ中心極限定理


音をたくさん混ぜていくと振幅値の分布は正規分布に近づく

独立成分分析
独立 ＝ エントロピー減 ＝ 正規分布から遠ざかる
 非Gauss性の分布の例： Laplace分布
 効率的なアルゴリズムの紹介
 FastICA，自然勾配法
レポート課題の対象論文
 S. Amari, A. Cichocki and H.H. Yang, “A new learning algorithm

for blind signal separation,” In Advances in Neural Information
Processing Systems (NIPS), vol. 8, pp. 757-763 (1996).