第17回情報論的学習理論ワークショップ(IBIS2014)【 第19回情報論的学習理論と機械学習(IBISML)研究会 】

第3回IBISMLチュートリアル

音声音響信号処理のための確率モデルと学習アルゴリズム
亀岡弘和
東京大学大学院情報理工学系研究科
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アウトライン 音声・音楽・音響信号の認識・分析・合成・変換・分離問題
 音響信号データの特殊性を意識して設計された様々な確率モデルを紹介
線形予測モデルによる音声分析
 トラジェクトリHMMによるテキスト音声合成 最尤系列変換による声質変換
 NMFによる多重音解析
 多チャンネルNMFによるブラインド音源分離
 F0パターン生成過程モデルによる韻律分析・合成 補助関数法に基づく学習アルゴリズムの導出方法の解説
EMアルゴリズムを一般化した最適化手法の原理
 補助関数設計クックブック
 適用例http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アウトライン 音声・音楽・音響信号の認識・分析・合成・変換・分離問題
 音響信号データの特殊性を意識して設計された様々な確率モデルを紹介
線形予測モデルによる音声分析
 トラジェクトリHMMによるテキスト音声合成 最尤系列変換による声質変換
 NMFによる多重音解析
 多チャンネルNMFによるブラインド音源分離
 F0パターン生成過程モデルによる韻律分析・合成 補助関数法に基づく学習アルゴリズムの導出方法の解説
EMアルゴリズムを一般化した最適化手法の原理
 補助関数設計クックブック
 適用例http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音響信号データの特殊性

Magnitude

1. 時系列データである

Time (s)frequency

2. 物理的なメカニズムに従って生成されるデータであるhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響の認識
音声の認識

あらゆる現実を...

音声認識，話者認識，音声区間検出，
言語認識，・・・

音楽の認識調認識，和音認識，構造解析，タギング，楽譜整合，
ジャンル認識，・・・

音響の認識

音響イベント検出，・・・

音A
音B
音C
Time

音響信号データ（時系列） を入力として，⇒識別問題
ラベルまたはラベル系列 を割り当てる問題

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

識別問題
学習
特徴系列

訓練データ

識別器

ラベル

の学習

SVM，ニューラル
ネットワークなど

入力データ
特徴系列

識別

識別

ラベル

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

テキスト音声合成
入力テキストから音声特徴量系列を予測して信号を合成
声道特徴量： 音韻性や声質に関係
 声帯特徴量： 声の高さや声のかすれに関係応用例
音声自動翻訳
 医療応用cf) “Voice Bank Project” （ALS等で発声能力を失った個人の声を再現）

外国語学習支援 擬人化エージェント

テキストラベル
音声特徴系列をに変換する問題[Yamagishi+2012]⇒回帰問題

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

HMMによるテキスト音声合成 [Yoshimura+1999]
学習

訓練データ
（言語情報付き音声データ）

テキストラベル

音声特徴系列

回帰モデル

の学習

HMMで
モデル化

入力データ
テキストラベル

予測

回帰モデル

合成音声の
特徴系列

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声変換
音声特徴量を異なる話者や発話様式のものに変換
声道特徴量： 音韻性や声質に関係
 声帯特徴量： 声の高さや声のかすれに関係応用例
体内伝導音声通話 [Toda+2012] 発声障害補助 [Nakamura+2012]
 ボイスチェンジャー [Doi+2014]
 帯域拡張 [Jax & Vary 2003]


音声特徴系列音声特徴系列をに変換する問題⇒回帰問題

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

統計的手法による声質変換 [Stylianou+1998]
学習訓練パラレルデータ

声質 A の音声特徴系列（言語情報が同一）

結合分布

目標声質 B の音声特徴系列

の学習

GMMで
モデル化

入力データ
声質 A の入力
音声特徴系列

変換

回帰モデル

変換音声の
特徴系列

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声分析


声道パラメータ推定

F0

音声・音楽信号の分析（※“STRAIGHT” [Kawahara+1998-2014] が有名）

基本周波数(F0)推定，・・・
応用例：音声符号化，音声認識・合成の特徴量抽出

音楽信号の分析


多重ピッチ推定，ビート推定，オンセット推定，・・・（※MIREXという各種分析手法の国際コンテストが毎年行われている）

応用例：自動採譜，音楽検索・推薦システムの特徴量抽出

音響信号 の生成過程パラメータを推定する問題

⇒逆問題

Time

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号の分離
音声音響信号の分離
異なる位置に配置された複数マイクの観測信号から各音源信号を分離（詳細は後述）
 残響除去 ＝直接音と残響音の分離
応用例：ハンズフリー音声認識，音声強調音楽信号の分離
モノラルまたはステレオの観測信号から各楽音信号を分離
応用例：自動採譜，音響信号加工



音響信号 の生成過程パラメータを推定する問題⇒逆問題

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音場の分析・合成・変換（音場再現）
波面合成 cf) [Koyama2012]

マイクロホンアレイ

スピーカアレイ

マイクロホン＆スピーカ アレイ
を用いて空間的な音場を再現
 音場の物理式に基づきスピーカで駆動すべき信号を推定する逆問題

Source area

Target area

Kirchhoff-Helmholtz積分方程式：境界面 Sから V内の音場を決める物理式
内部音場

3次元自由空間Green関数

音圧勾配

音圧

謝辞：本ページでは小山翔一氏（東大）にご提供いただいた図を使用した。

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

パラメータ学習問題としての逆問題
学習
観測データ

事後分布

の学習

解きたい逆問題に応じて との生成過程を
モデル化

生成過程
パラメータ
逆問題＝ 観測データをただ一度だけ観測された学習データと捉えた学習問題

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アウトライン 音声・音楽・音響信号の認識・分析・合成・変換・分離問題
 音響信号データの特殊性を意識して設計された様々な確率モデルを紹介
線形予測モデルによる音声分析
 トラジェクトリHMMによるテキスト音声合成 最尤系列変換による声質変換
 NMFによる多重音解析
 多チャンネルNMFによるブラインド音源分離
 F0パターン生成過程モデルによる韻律分析・合成 補助関数法に基づく学習アルゴリズムの導出方法の解説
EMアルゴリズムを一般化した最適化手法の原理
 補助関数設計クックブック
 適用例http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アウトライン 音声・音楽・音響信号の認識・分析・合成・変換・分離問題
 音響信号データの特殊性を意識して設計された様々な確率モデルを紹介
線形予測モデルによる音声分析
 トラジェクトリHMMによるテキスト音声合成 最尤系列変換による声質変換
 NMFによる多重音解析
 多チャンネルNMFによるブラインド音源分離
 F0パターン生成過程モデルによる韻律分析・合成 補助関数法に基づく学習アルゴリズムの導出方法の解説
EMアルゴリズムを一般化した最適化手法の原理
 補助関数設計クックブック
 適用例http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考資料：信号処理の基礎
線形時不変システム



線形性



時不変性



電気回路，力学系，音響系など多くの物理システムのモデル

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考資料：信号処理の基礎
線形時不変システムの基本演算は「畳み込み」

なぜ？ ⇒前述の線形性と時不変性から導ける（略証）
デルタ関数に対する線形システムの出力⇒

を無数のデルタ関数の和で表現⇒ 線形性より
と置くと，時不変性より



よって一般に畳み込みを表す記号

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考資料：信号処理の基礎
畳み込み定理のFourier変換（またはZ変換）はFourier変換（またはZ変換）の積に等しい
Fourier変換対

（略証）

と

の

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考資料：スペクトログラム

対数周波数

線形周波数

短時間Fourier変換 (STFT) スペクトログラム

ウェーブレット変換スペクトログラム

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

線形予測分析 (LPC) による音声分析 [Itakura+1968]
動機：符号化への応用

少ないパラメータで音声信号を表現したい問題：線形予測誤差の最小化
時刻 の信号のサンプル値 を、過去のサンプル値の線形結合で「予測」
 「予測」の誤差を最小にするには結合係数（予測係数という）をどう置けば良い？


timehttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

最小二乗誤差推定問題としての定式化
すべての で

となる

を求めたい

目的関数



最小解では

を満たすため・・・http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

最小二乗誤差推定問題としての定式化
連立方程式に帰着

以上より最適予測係数は以下の方程式を満たす

この方程式をYule-Walker方程式という

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音響符号化への応用
時系列信号の可逆圧縮符号化
符号化して
伝送

予測係数
予測誤差

時系列信号

線形予測分析器

予測誤差の振幅は0付近に集中Golomb-Rice符号化
出現頻度の高い振幅値に短い符号の割り当てhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

線形システムとしての解釈
音声信号から予測誤差を出力する線形システム

音声信号

予測誤差

移動平均システム（全零モデル）

予測誤差を入力として音声信号を出力する線形システムは？
予測誤差

音声信号

自己回帰システム（全極モデル）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

ソース・フィルタ理論 [Fant1960]ソース・フィルタモデル：線形な音声生成過程モデル
音声波形

声帯振動
声帯振動

声道
インパルス応答

Fourier変換

声帯

声帯スペクトル

音声波形

Fourier変換
声道スペクトル

Fourier変換

音声スペクトル

自己回帰システムの仮定
無損失等長音響管による声道モデルに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

統計モデルによる音声生成過程の表現
声帯振動に関する仮定
Gauss性 ・・・
 定常性
・・・
 白色性
・・・


Toeplitz行列

声道特性に関する仮定


自己回帰システム（全極モデル）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

最尤推定問題としての定式化
以上の仮定をまとめると・・・

未知パラメータは観測されるのは

観測信号 の確率密度関数（尤度関数）



対数尤度

は

 logdet項：
前述の目的関数を得る

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

周波数領域における対数尤度
 音声スペクトル（周波数領域）の確率密度関数（

は離散Fourier変換行列）
全極型スペクトルモデル

変数変換

 対数尤度

観測パワースペクトルとの板倉齋藤距離http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

LPC は「スペクトル包絡」推定に相当観測パワースペクトルと全極スペクトルとの板倉斎藤距離最小化

パワースペクトル

観測パワースペクトル全極スペクトル周波数

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

LPCによる音声スペクトル推定の例
Power (dB)
Power (dB)
Power (dB)
Power (dB)

Power (dB)

Power (dB)

Power (dB)

Power (dB)

1～8次

0

1

2

3

Frequency (kHz)

4

5

6

0

1

2

3

Frequency (kHz)

4

5

6

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

LPCによる音声スペクトル推定の例
Power (dB)
Power (dB)
Power (dB)
Power (dB)

Power (dB)

Power (dB)

Power (dB)

Power (dB)

9, 10, 12, 14, 16, 18, 22, 26次

0

1

2

3

Frequency (kHz)

4

5

6

0

1

2

3

Frequency (kHz)

4

5

6

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

パラメトリック方式のテキスト音声合成確率的な音声ジェネレータのパラメータ学習
音声の性質を上手く反映したモデルを立てることが重要
学習後のモデル
学習データ
初期モデル

文1:
/a/

「あらゆる現実を…」

/i/

/u/

文2:
「一週間ばかり…」…

パラメータを学習
生成確率最大基準などにより系列を生成http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声の生成過程
スペクトル包絡情報
音色(音素 /m/, /u/, …)娘のフィアンセで…

声の響き(フィルタ)
鼻

音声波形
言語情報
/m/ /u/ /s/ /u/ ...
- + + + ...

舌
声帯振動

声帯

基本周波数情報
声の高さ（イントネーション）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声の生成過程
音声の生成モデル
娘のフィアンセで…

スペクトル包絡音色(音素 /m/, /u/, …)
声の響き(フィルタ)

鼻

/s/

言語情報

/u/

/m/ /u/ /s/ /u/ ...
- + + + ...

舌

音声波形
言語情報→
スペクトル包絡系列
基本周波数系列を合成する問題
声帯振動

/m/
声帯

基本周波数
声の高さ
（イントネーション）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

HMM音声合成 [Yoshimura+1999]
 隠れマルコフモデル（HMM）による音声特徴量（スペクトル包絡
特徴量＆基本周波数）系列のモデル化
HMM状態

/a/

/i/

/u/

状態出力分布

特徴量系列

 言語情報を隠れ状態で表現 特徴量の確率的な揺らぎを状態出力分布で表現
 状態継続長の確率的な揺らぎを状態遷移確率で表現http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

デルタ特徴量 HMMに基づく音声認識・合成ではデルタ（時間微分）特徴量が有効

静的特徴量とその時間微分を組にしたベクトルを観測量と扱う場合が多い
状態系列
状態出力

/a/

/i/

/u/

静的特徴量

/e/
デルタ特徴量（の時間差分）

 従来方式では静的特徴量とデルタ特徴量を別変数として扱っていたが、実際は両者は線形の関係で結ばれている（後述）

 静的特徴量とデルタ特徴量の関係を陽に組み込んだHMMの拡張モデル ⇒ トラジェクトリHMM [Zen+2007]http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

トラジェクトリHMM [Zen+2007]
 通常のHMM
状態出力分布
（ガウス分布の場合）


o: 観測系列，q: 状態系列，λ: HMMパラメータ トラジェクトリHMM
の関係を用いて c の生成確率に書き換え

1
00
000
1
-1 2 0 1 2-1 2 -1

O

O

1
0
0

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

HMMとトラジェクトリHMMの比較
HMM
1

トラジェクトリHMM
2

3

4

区分定常過程状態遷移に応じて連続変化する時系列を表現する確率モデル

1

2

3

4

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

トラジェクトリHMMのパラメータ学習 [Zen+2007]
 特徴量系列の生成確率

 パラメータλの学習アルゴリズム


出力分布パラメータ、遷移確率(Step 1)

状態系列

(Step 2)・・・解析的に解けないため最急降下更新・・・動的計画法で解けないため近似計算により探索http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

HMM音声合成による合成音声例
Mel-cepstrum（スペクトル包絡特徴量）

staticstatic +static +staticlog F0（対数基本周波数）

static +static +※ http://hts.sp.nitech.ac.jp/

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響

―

⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響

―

⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

統計的手法による声質変換 [Abe+1990, Stylianou+1998]
同一発話内容の

音声のペア

音声特徴量
のペア

音声

特徴量系列

時間の
対応付け

「変換関数」
の統計学習
訓練データ

の学習
音声

特徴量系列

の獲得
※
謝辞：本スライドは戸田智基氏（NAIST）にご提供頂いた。

を直接学習する
方法も提案されている

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

最尤系列変換法 [Toda+2007]
音声特徴量の時系列性を考慮した拡張版
入力：セグメント特徴量

出力：静的・動的特徴量
ここで

静的特徴量
系列
結合
セグメント
特徴量

学習

次元
圧縮

混合正規分布モデル（GMM）

謝辞：本スライドは戸田智基氏（NAIST）にご提供頂いた。

静的特徴量
系列
動的特徴量
系列

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

最尤系列変換法 [Toda+2007]
時系列全体の最尤変換
入力セグメント
特徴量系列
GMMという関係を用いてのPDFに書き換え

変換静的
特徴量系列
謝辞：本スライドは戸田智基氏（NAIST）にご提供頂いた。

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声変換の応用例2: 発声障害者補助 [Toda+2007]
発声障害の一例：喉頭摘出による発声障害
喉頭摘出者
喉頭癌等の理由により喉頭を摘出した人
 全国に約２万人
 気管と食道が完全に分離

調音機能は正常であるにも関わらず発声不可能！

喉頭摘出

声帯の除去による音源生成機能の消失

声帯

食道

気管孔
健常者

喉頭摘出者

発声能力が失われることによる生活の質（Quality of Life: QOL）の低下は極めて深刻な問題！
謝辞：本スライドは戸田智基氏（NAIST）にご提供頂いた。

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

無喉頭音声から通常音声への変換
食道音声の変換

目標話者：[Doi+2009-2010]

電気音声の変換[Nakamura+2009-2010][Doi+2010]

肉伝導微弱電気音声の変換[Nakamura+2007-2010][Doi+2010]

身体的制約を超えた発声（失われた声の回復）を可能とする技術
謝辞：本スライドは戸田智基氏（NAIST）にご提供頂いた。

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響

―

⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響

―

⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

多重音解析
 モノラル多重音信号を個々の音源成分に分解する問題
多重音信号

楽譜
F0

生成

frequency

短時間
Fourier変換

音楽スペクトログラム

推論
time

time

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

多重音解析の難しさ
J.S.Bach: Ricercare a 6 aus “Das Musikalische Opfer” BWV1079

flute

strings

King Friedrich’s Theme

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

非負値行列因子分解 (NMF) による多重音解析 [Smaragdis+2003]

Frequency

 「行列積」としてのスペクトログラム

timehttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

非負値行列因子分解 (NMF) による多重音解析 [Smaragdis+2003]

 「行列積」としてのスペクトログラム
各楽音のスペクトル

Frequency

各楽音の「アクティベーション」

timehttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

非負値行列因子分解 (NMF) による多重音解析 [Smaragdis+2003]

Frequency 行列分解（逆問題）は多重音解析に相当解を絞り込むための手がかり：
2040

H と U の非負性
time
60

80

100

120

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声分離への応用例
「教師あり」モノラル音源分離 [Smaragdis+2007 ]音声（学習データ）
混合信号（テストデータ）

チャイム（学習データ）

固定http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

スペクトログラムに関する基本事項の時間周波数展開は線形変換
Frequency

 信号

 信号の時間周波数成分の
絶対値成分
偏角成分

を振幅スペクトログラム，
を位相スペクトログラムという
20

40

60

80

time
100

120

 振幅スペクトログラムは加法的ではない（多重音信号の振幅スペクログラムは各音源の振幅スペクトログラムの和にはならない）⇒ スペクトログラムを行列積で表現するのは厳密には不適当以上の点を意識したモデル化が必要http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

複素NMF [Kameoka+2008]
NMFによる音源分離のコンセプトを複素領域で実現するアイディア
複素NMF

加法性不成立

観測振幅
スペクトログラム行列Y

rank1行列（ある特定音のみの
振幅スペクトログラム）

周波数

周波数

NMF

加法性成立！

観測複素
スペクトログラム非rank1複素行列

行列Y（ある特定音のみの複素スペクトログラム）

時間

音１の振幅スペクトルパーツ

音１がいつ鳴っているかを表すアクティビティ

要素の絶対値をとると“rank1”

位相スペクトログラムhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

複素NMF [Kameoka+2008]
NMFによる音源分離のコンセプトを複素領域で実現するアイディア
複素NMF

加法性不成立

観測振幅
スペクトログラム

行列Y

周波数

周波数

NMF

rank1行列（ある特定音のみの
振幅スペクトログラム）

加法性成立！

観測複素
スペクトログラム非rank1複素行列

行列Y（ある特定音のみの複素スペクトログラム）

時間

音１の振幅スペクトルパーツ

音１がいつ鳴っているかを表すアクティビティ

要素の絶対値をとると“rank1”

位相スペクトログラム複素スペクトログラムモデル


複素スペクトログラムをモデル化
行列積の形にならない！

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

複素NMF [Kameoka+2008]
変数の定義複素スペクトログラム
 基底スペクトル 位相スペクトログラム
 基底アクティビティ

複素スペクトログラムモデル

最適化問題の定式化

スパース正則化項

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

複素NMFによる音声と音楽の混合信号の分離
混合信号（音声+音楽）

音声パーツ

抽出音声信号音楽パーツ

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf「ソ」以外は音量オフ

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf「ソ」だけ音量オフ

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

一部の基底関数に対してのみスペクトル
伸縮変形を施し、混合信号を再構成（スペクトル伸縮はピッチトランスポーズに相当。例えばトランスポーズ「－１」は、半音下げという意味。）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

板倉齋藤 NMF [Févotte+2009]

多重音スペクトログラムの生成モデル化
音源 l の複素スペクトログラム
多重音の複素スペクトログラムとの独立性を仮定：H と U が負値の場合0になる分布

板倉齋藤距離との非負制約のもとでとなるとを求める問題http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

複合自己回帰モデル [Kameoka+2009, Yoshii+2012]
混合信号をI個のソースとJ個のフィルタの出力の和で表現

frequency

frequencyhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

複合自己回帰モデル [Kameoka+2009, Yoshii+2012]

frequency

frequency混合信号をI個のソースとJ個のフィルタの出力の和で表現⇒自己回帰モデルとNMFの融合モデル

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

Factorial HMMによる多重音モデル [Nakano+2010]
楽音のスペクトルは通常時間変化する⇒状態遷移により各基底スペクトルが時間変化するモデル

Frequency

Frequency

観測スペクトログラムを
複数のHMMの出力の和で表現 Factorial HMM

Frequency

+
Time

Time

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

FHMMによる楽音加工例 [Nakano+2010]
Note-level audio manipulation (example 1)
Original signal:

Manipulated signal:

State #

5
10
15
20

2

4

6

88
Time [s]

10
10

12
12

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

FHMMによる楽音加工例 [Nakano+2010]
Note-level audio manipulation (example 2)
Original signal:

Manipulated signal:

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響

―

⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響

―

⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

ブラインド音源分離 (BlindSourceSeparation)複数のマイクで取得した音響信号のみから各音源信号を分離／定位する問題


音源信号，混合過程がいずれも未知であることから「ブラインド」

実応用場面音を使った監視システム
 どこで何が起こっているかを検知
 介護や防犯のための安全モニタリングとしての応用

Cf. ShotSpotter （米国で開発されている発砲事件の検知システム）

人間のカクテルパーティー効果の模倣
 ロボット聴覚，補聴器への応用

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

マイクロホンで観測される信号の生成プロセス
“畳みこみ混合”

音源1

音源2

• 音源1マイク1：• 音源1マイク2：• 音源2マイク1：• 音源2マイク2：

マイク1

マイク2

残響があると・・・
マイクまでの到達時間

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

マイクロホンで観測される信号の生成プロセス
“畳みこみ混合”

音源1

音源2

• 音源1マイク1：• 音源1マイク2：• 音源2マイク1：• 音源2マイク2：

マイク1

マイク2

残響があると・・・...

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

マイクロホンで観測される信号の生成プロセス
“畳みこみ混合”

音源1

音源2

• 音源1マイク1：• 音源1マイク2：• 音源2マイク1：• 音源2マイク2：

マイク1

マイク2

残響があると・・・...

∴ マイク1の観測信号：
マイク2の観測信号：

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

マイクロホンで観測される信号の生成プロセス 畳み込み定理を利用して畳み込み混合モデルを時間周波数領域に展開：「時間領域の
畳み込み混合モデル」「時間周波数領域の瞬時混合モデル」

音源
index

マイク
index

周波数ωごとに見れば行列積

周波数
index
時刻
index

音源
index

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

逆問題への手がかり

音源
index

マイク
index

周波数ωごとに見れば行列積

周波数
index
時刻
index

音源
index

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音源
index

マイク
index

逆問題への手がかり

周波数
index
時刻
index

音源
index

以上の生成プロセスの逆問題（音源分離）は不良設定
音源数＞マイク数
 パーミュテーションの任意性


は劣決定
置換行列

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音源
index

マイク
index

逆問題への手がかり

周波数
index
時刻
index

音源
index

以上の生成プロセスの逆問題（音源分離）は不良設定
パーミュテーション整合
音源数＞マイク数
周波数 パーミュテーションの任意性
音源 1 (仮)

周波数ごとに個別に分離が得られても…

周波数

音源 1

置換行列

時間
周波数

周波数

音源 2 (仮)
時間

は劣決定
時間

音源 2
時間

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考資料： BSSの従来研究
時間周波数領域BSSの代表的アプローチ


音源数＝マイク数の場合

独立成分分析 (ICA) e.g. [Smaragdis+2003]
音源間の統計的独立性規準 f を最大化するように A の逆行列 W を推定


音源数＞マイク数の場合

時間周波数マスキング e.g. [Yilmaz+2004]
・各時間周波数点において単一音源のみが支配的と仮定
・各時間周波数点で得られる音源到来方向に関する特徴量をもとに
各時間周波数点をクラスタリング

パーミュテーション整合のアプローチ


音源到来方向 [Kurita+2000]，帯域間の振幅相関 [Murata+2001]，調波性[Sawada+2004]，デルタ振幅の帯域間の同期性 [Ono+2010]に基づく手法など多数

BSSとパーミュテーションの同時解決アプローチ
マイク数＝音源数の場合 独立ベクトル分析 (IVA) [Kim+2006, Hiroe2006]
 音源数＞マイク数の場合 多チャンネルNMF [Sawada+2012]http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音源
index

マイク
index

逆問題への手がかり

周波数
index
時刻
index

音源
index

以上の生成プロセスの逆問題（音源分離）は不良設定
音源数＞マイク数
 パーミュテーションの任意性


は劣決定
置換行列

解を絞り込むための手がかりが必要


NMF同様，音源スペクトログラムのrank-1構造を仮定⇒ NMFの多チャンネル拡張

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

多チャンネルNMF [Sawada+2012]
多チャンネル観測信号の生成モデル化
音源 k の複素スペクトログラム
マイクmの観測複素スペクトログラムとの独立性を仮定

Log-determinant (LD) ダイバージェンス（板倉齋藤距離の行列版）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

多チャンネルFHMMによる音源分離結果例 [Higuchi+2014]
多チャンネルFHMM： 多チャンネルNMFの拡張

IBISワークショップ
で発表予定（音源分離・残響除去・音響イベント検出の同時解法）
分離音スペクトログラム

frequency [Hz]frequency [Hz]

残響下の混合音スペクトログラム

time [s]frequency [Hz]

元音源信号のスペクトログラム

音響イベント検出結果
無音状態
有音状態

time [s]time [s]多チャンネルNMFによる分離結果：95

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音声・音楽・音響信号に関係する諸問題
音声・音楽・音響信号の認識・分析・合成・変換・分離
認識

分析

合成

変換

―

―

分離

音声
音楽
音響
⇒「識別」、「回帰」、「逆問題」のいずれかに相当http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音韻と韻律
音韻： 言語情報（文字に書き起こせる情報）→ 音声の瞬時スペクトルに表れるpower韻律： 非言語情報（意図，感情，個人性等）
スペクトル包絡→ 基本周波数(F0)の大域的時間変化に表れる「あらゆる現実をすべて自分のほうへねじ曲げたのだ」

鼻のスペクトログラム（時間周波数表現）
frequency

音韻韻律

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

韻律の確率モデル化
韻律は声の表情・表現・個人性などの非言語情報をもつ
韻律に着目した音声情報処理を実現するための基盤
音韻

相補的

韻律

（音色）

（イントネーション）

現象を記述する
物理モデル

ソースフィルタモデル

F0パターン
生成過程モデル

確率モデル化

線形予測モデルココ！

[Fant1960][Itakura1968, Atal1968][Fujisaki1969]http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

藤崎モデル（ F0パターンモデル） [Fujisaki+1969]
甲状軟骨による F0 パターンの制御機構の物理モデル
フレーズ指令（インパルス列）

アクセント指令（矩形パルス列）
元音声
指令列操作後の音声

藤崎モデルの指令列推定問題
指令列はイントネーション特徴を具現化した物理量 重要だが解析的に難しい（インパルス列・矩形パルス列という拘束条件をどう扱うか） そして不良設定（解は無数）
http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

藤崎モデルに基づく F0 パターンの確率モデル化 [Kameoka2010]

動機：
指令列関数（インパルス列・矩形パルス列）をうまく確率モデル
で表現し， F0パターンを確率モデル化したい  尤度関数
 指令列に関する統計的な傾向（音声らしさ）を組み込みたい 事前分布 統計的手法（EM法）を駆使して効率的に指令列を推定したい推論アルゴリズムの導出http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

フレーズ・アクセント指令列の生成過程 [Kameoka2010]

フレーズ・アクセント指令列の制約
フレーズ指令はインパルス
 アクセント指令は矩形パルス
 異なる２つの指令は同時刻に生起しない
 指令や指令間の間隔の持続長が「音声らしい」ものであるフレーズ・アクセント指令列の生成過程の確率モデル化
フレーズ指令（インパルス列）

アクセント指令（矩形パルス列）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

フレーズ・アクセント指令列の生成過程 [Kameoka2010]

フレーズ・アクセント指令列の制約
フレーズ指令はインパルス
 アクセント指令は矩形パルス
 異なる２つの指令は同時刻に生起しない
 指令や指令間の間隔の持続長が「音声らしい」ものであるフレーズ・アクセント指令列の生成過程の確率モデル化
フレーズ指令（インパルス列）

アクセント指令（矩形パルス列）

フレーズ・アクセント指令関数は区分定常な関数と見なせる！
隠れマルコフモデル(HMM)で表現できる

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

フレーズ・アクセント指令列生成HMM [Kameoka2010]
状態遷移に伴う平均の時間軌跡（フレーズ・アクセント指令列）

r0 p0r1 a1 a1 r1 a2 r0 p0 r1
フレーズ指令を出力する状態

p0

r1

r0

a0
a1
a2

アクセント指令を出力する状態http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

フレーズ・アクセント指令列生成HMM [Kameoka2010]
状態遷移に伴う平均の時間軌跡（フレーズ・アクセント指令列）

フレーズ指令を出力する状態p0

r1• フレーズ・アクセント指令の長さや，指令間のa0r0
間隔は「音声らしい」ものであるはず
アクセント指令をHMMだから，こういう先験的知識はa1
出力する状態
トポロジーや遷移確率（＝事前確率）に反映可能！

a2

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

観測F0パターンの確率密度関数 [Kameoka2010]
観測 F0 パターンは「HMM出力系列の畳み込み混合」
観測F0 パターン

隠れマルコフモデルの出力

隠れマルコフモデルの出力

HMMの状態出力分布をガウス分布とすれば・・・

フレーズ指令（インパルス列）

アクセント指令（矩形パルス列）

状態系列（＝指令列）

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アクセント・フレーズ指令列の推定 [Kameoka2010]
 観測 F0 パターンが与えられた下でを最大化する状態系列（指令列）
指令列に関する先験的知識がここに反映

 フレーズ成分，アクセント成分，ベースライン成分
を完全データと見なすとEMアルゴリズムが適用できる“不完全データ” Q関数
と完全データの関係：

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

EMアルゴリズムによる指令列推定 [Kameoka2010]
E-step

M-stepを

に関して最大化状態遷移系列（推定指令列）の更新はViterbiアルゴリズムで実現可能

藤崎モデル

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

指令列の推定結果例 [Yoshizato+2012]ATR No.353 「虫、自動車の排気ガス、台風など、苗木を害するものは多い。 」
従来法の推定結果[Narusawa2002]

提案手法の推定結果“音声の基本周波数パターン生成過程モデルのパラメータ自動抽出法” [成澤2002](推定指令列から合成したF0パターンを用いて再合成した音声)

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

指令列の推定結果例 [Yoshizato+2012]ATR No.353 「虫、自動車の排気ガス、台風など、苗木を害するものは多い。 」
提案法の推定結果(推定指令列から合成したF0パターンを用いて再合成した音声)

一部のアクセント指令の振幅を操作(操作後の指令列から再合成した音声)

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アウトライン 音声・音楽・音響信号の認識・分析・合成・変換・分離問題
 音響信号データの特殊性を意識して設計された様々な確率モデルを紹介
線形予測モデルによる音声分析
 トラジェクトリHMMによるテキスト音声合成 最尤系列変換による声質変換
 NMFによる多重音解析
 多チャンネルNMFによるブラインド音源分離
 F0パターン生成過程モデルによる韻律分析・合成 補助関数法に基づく学習アルゴリズムの導出方法の解説
EMアルゴリズムを一般化した最適化手法の原理
 補助関数設計クックブック
 適用例http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アウトライン 音声・音楽・音響信号の認識・分析・合成・変換・分離問題
 音響信号データの特殊性を意識して設計された様々な確率モデルを紹介
線形予測モデルによる音声分析
 トラジェクトリHMMによるテキスト音声合成 最尤系列変換による声質変換
 NMFによる多重音解析
 多チャンネルNMFによるブラインド音源分離
 F0パターン生成過程モデルによる韻律分析・合成 補助関数法に基づく学習アルゴリズムの導出方法の解説
EMアルゴリズムを一般化した最適化手法の原理
 補助関数設計クックブック
 適用例http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数法による最適化アルゴリズム
音声音響信号処理における様々な非線形最適化問題


確率モデルの学習，実測データへのモデルフィッティングなど

最適化問題を難しくする要因の例
最適解が解析的に求められない 目的関数の不連続性
 制約つき最適化問題における複雑な制約式の扱い
 大規模行列の逆行列計算
補助関数法（a.k.a. Majorization-Minimization）による最適化アルゴリズム
目的関数の代わりに「補助関数」を反復的に最大（小）化
 最適化問題に応じたテイラーメイドなアルゴリズムになるので，勾配法などの汎用的なアルゴリズムに比べて収束が早い場合が多いcf) [Kameoka+2006, Kameoka+2007, Kameoka+2008, Kameoka+2008, Nakano+2010,
Kameoka+2009, Ono2011, Sawada+2012, Kameoka+2014, Takamune+2014,...]


上記の難しさをうまく回避するような補助関数を設計できるかがカギhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数法による最適化アルゴリズム
音声音響信号処理における様々な非線形最適化問題


確率モデルの学習，実測データへのモデルフィッティングなど

最適化問題を難しくする要因の例
最適解が解析的に求められない 目的関数の不連続性
 制約つき最適化問題における複雑な制約式の扱い
 大規模行列の逆行列計算
補助関数法（a.k.a. Majorization-Minimization）による最適化アルゴリズム
目的関数の代わりに「補助関数」を反復的に最大（小）化
 最適化問題に応じたテイラーメイドなアルゴリズムになるので，勾配法などの汎用的なアルゴリズムに比べて収束が早い場合が多いcf) [Kameoka+2006, Kameoka+2007, Kameoka+2008, Kameoka+2008, Nakano+2010,
Kameoka+2009, Ono2011, Sawada+2012, Kameoka+2014, Takamune+2014,...]


上記の難しさをうまく回避するような補助関数を設計できるかがカギhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数法による最適化アルゴリズム
音声音響信号処理における様々な非線形最適化問題


確率モデルの学習，実測データへのモデルフィッティングなど

最適化問題を難しくする要因の例
最適解が解析的に求められない 目的関数の不連続性
 制約つき最適化問題における複雑な制約式の扱い
 大規模行列の逆行列計算
補助関数法（a.k.a. Majorization-Minimization）による最適化アルゴリズム
目的関数の代わりに「補助関数」を反復的に最大（小）化
 最適化問題に応じたテイラーメイドなアルゴリズムになるので，勾配法などの汎用的なアルゴリズムに比べて収束が早い場合が多いcf) [Kameoka+2006, Kameoka+2007, Kameoka+2008, Kameoka+2008, Nakano+2010,
Kameoka+2009, Ono2011, Sawada+2012, Kameoka+2014, Takamune+2014,...]


上記の難しさをうまく回避するような補助関数を設計できるかがカギhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数法 (EMアルゴリズムを一般化した原理)
目的関数

を局所最小化する を得るための方法論を満たす
 パラメータ更新アルゴリズム
を補助関数と定義

[1]
[2]


補助関数

目的関数

収束性
[1]
[2]

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数法 (EMアルゴリズムを一般化した原理)
目的関数

を局所最小化する を得るための方法論を満たす
 パラメータ更新アルゴリズム
を補助関数と定義

[1]
[2]


補助関数

目的関数

収束性
[1]
[2]

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考資料：EMアルゴリズム
θに関してp(Y|θ)を最大化する問題
目的関数

潜在変数

Jensenの不等式
補助関数
Eステップ：

Mステップ：

λに関して補助関数を最大化するステップθに関して補助関数を最大化するステップhttp://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数設計クックブック (1/6)
 Jensenの不等式 (変数が正の場合)
：凸関数，

例えば，
の場合：

右辺
左辺

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数設計クックブック (2/6)
 Jensenの不等式 (変数が実数・複素数の場合) [Kameoka+2008]
：凸関数，

右辺
左辺

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数設計クックブック (3/6)
接線不等式

例えば，の場合：

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数設計クックブック (3/6)
対数関数に対する接線不等式の行列拡張
スカラー変数の場合：

行列変数の場合：の固有値の対数の和であることから示せる

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数設計クックブック (4/6)
接放物線不等式

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数設計クックブック (5/6)
接平面不等式

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

補助関数設計クックブック (6/6)
Softmax関数

Gauss分布型の関数

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

適用例1: 二乗誤差規準のNMFアルゴリズム [Lee+2000]

目的関数

非負値制約

下線部に対してJensenの不等式（非負値版）を適用

補助関数

または

ごとの二次関数の和になっている⇒パラメータ毎の非負制約つきの二次関数最小化問題に帰着http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

適用例2: 板倉齋藤NMFアルゴリズム [Kameoka+2006]
目的関数

非負値制約

 逆数関数は正領域で凸関数 ⇒ Jensenの不等式（非負値版）

 対数関数は凹関数⇒ 接線不等式

右辺

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

適用例3: 複素NMFアルゴリズム [Kameoka+2008]
目的関数• 最適解が解析的に解けない•目的関数が不連続 二次関数は凸関数⇒ Jensenの不等式（複素数版）

subject to pノルム⇒ 接放物線不等式

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

適用例4: 多チャンネルNMF/FHMMアルゴリズム[Sawada+2012, Higuchi+2014]

目的関数※板倉齋藤NMFアルゴリズム [Kameoka+2006] の行列版
逆数関数は正領域で凸関数より（∵変数が正の場合のJensen不等式）
行列拡張

対数関数に対する接線不等式の行列版より
IBISワークショップで発表予定なので，
詳しくはポスターで！

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

適用例5: 制約付きボルツマンマシン
(RBM)
の学習
[Kameoka+2014, Takamune+2014]
RBM: ニューラルネットワークモデルの一種

hidden units

識別・回帰・教師なし特徴量抽出器として有用
 深層学習のpre-trainingとして有効


結合分布

 対数尤度visible units

学習サンプル：IBISワークショップで発表予定なので，
詳しくはポスターで！

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

アウトライン 音声・音楽・音響信号の認識・分析・合成・変換・分離問題
 音響信号データの特殊性を意識して設計された様々な確率モデルを紹介
線形予測モデルによる音声分析
 トラジェクトリHMMによるテキスト音声合成 最尤系列変換による声質変換
 NMFによる多重音解析
 多チャンネルNMFによるブラインド音源分離
 F0パターン生成過程モデルによる韻律分析・合成 補助関数法に基づく学習アルゴリズムの導出方法の解説
EMアルゴリズムを一般化した最適化手法の原理
 補助関数設計クックブック
 適用例http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

謝辞 本資料で紹介した一部の研究は，東京大学・NTT・NIIの共同研究で進展させたものです。

 本資料の準備の際，小山翔一氏（東大）と戸田智基氏（NAIST）からスライドをご提供いただき，参考にさせていただきました。

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考文献 (1/3)[1] J. Yamagishi, C. Veaux, S. King and S. Renals, “Speech synthesis technologies for individuals with vocal
disabilities: Voice banking and reconstruction,” In Acoustical Science and Technology, vol. 33, no. 1,
pp. 1-5, 2012.
[2] T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi and T. Kitamura, “Simultaneous modeling ofspectrum, pitch and duration in HMM-based speech synthesis,” in Proc. Sixth European Conferenceon Speech Communication and Technology (Eurospeech 1999), pp. 2347–2350, 1999.
[3] T. Toda, K. Nakamura, H. Sekimoto and K. Shikano, “Voice conversion for various types of bodytransmitted speech,” Proc. in Proc. 2009 IEEE International Conference on Acoustics, Speech andSignal Processing (ICASSP 2009), pp. 3601–3604, Apr. 2009.
[4] K. Nakamura, T. Toda, H. Saruwatari and K. Shikano, “Speaking‐aid systems using GMM‐based voice
conversion for electrolaryngeal speech,” Speech Communication, vol. 54, no. 1, pp. 134—146, 2012.
[5] H. Doi, T. Toda, K. Nakamura, H. Saruwatari and K. Shikano, “Alaryngeal speech enhancement basedon one‐to‐many eigenvoice conversion ,” IEEE Trans. Audio, Speech and Language Process., vol. 22,
no. 1, pp. 172—183, 2014.
[6] P. Jax and P. Vary, “On artificial bandwidth extension of telephone speech,” Signal Processing, vol.
83, pp. 1707–1719, 2003.
[7] Y. Stylianou, O. Cappe and E. Moulines, “Continuous probabilistic transform for voice conversion,”
IEEE Trans. Speech Audio Process., vol. 6, no. 2, pp. 131–142, 1998.
[8] 河原, “音声分析合成技術の動向,” 日本音響学会誌, Vol. 67, No. 1, pp. 40-45, 2011.
[9] 小山, “音場再現技術における数理問題: 波面合成・高次アンビソニックスの数理,” 日本音響学会誌,
vol. 68, no. 11, pp. 584-589, 2012.
[10] F. Itakura and S. Saito, “Analysis synthesis telephony based on the maximum likelihood method,”
Proc. ICA’68, pp. C-17–C-20, 1968.

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考文献 (2/3)[11] G. Fant, Acoustic Theory of Speech Production, The Hague, Netherlands: Mouton. (The Old Bible.)[12] H. Zen, K. Tokuda, and T. Kitamura, “An introduction of trajectory model into HMM-based speechsynthesis,” in Proc. of 5th ISCA Speech Synthesis Workshop, pp. 191–196, 2004.
[13] http://hts.sp.nitech.ac.jp/[14] M. Abe, S. Nakamura, K. Shikano and H. Kuwabara, “Voice conversion through vector quantization,”
J. Acoust. Soc. Jpn. (E), vol. 11, no. 2, pp. 71–76, 1990.
[15] T. Toda, A.W. Black and K. Tokuda, “Voice conversion based on maximum likelihood estimation ofspectral parameter trajectory,” IEEE Trans. Audio, Speech and Language Process., vol. 15, no. 8,
pp. 2222–2235, 2007.
[16] H. Doi, K. Nakamura, T. Toda, H. Saruwatari and K. Shikano, “Esophageal speech enhancement
based on statistical voice conversion with Gaussian mixture models,” IEICE Trans. on Inf. and Syst.,
vol. E93-D, no. 9, pp. 2472—2482, 2010.
[17] 中村, 戸田, 猿渡, 鹿野, “肉伝導人工音声の変換に基づく喉頭全摘出者のための音声コミュニケー
ション支援システム,” 電子情報通信学会論文誌，vol. J90-D, no. 3, pp. 780–787, 2007.
[18] P. Smaragdis and J. C. Brown, “Non-negative matrix factorization for music transcription,” in Proc.
2003 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA 2003),
pp. 177–180, 2003.
[19] P. Smaragdis, B. Raj and M.V. Shashanka, “Supervised and semi-supervised separation of sounds
from single-channel mixtures," in Proc. the 7th International Conference on Independent
Component Analysis and Blind Source Separation (ICA 2007), pp. 414-421, 2007.
[20] 亀岡, 小野, 柏野, 嵯峨山, “複素NMF: 新しいスパース信号分解表現と基底系学習アルゴリズム,”日本音響学会2008 年秋季研究発表会講演論文集, 2-8-13, pp. 657–660, 2008.

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考文献 (3/6)[21] H. Kameoka, N. Ono, K. Kashino and S. Sagayama, “Complex NMF: A new sparse representation for
acoustic signals," in Proc. 2009 IEEE International Conference on Acoustics, Speech and Signal
Processing (ICASSP2009), pp. 3437-3440, Apr. 2009.
[22] C. Févotte, N. Bertin and J.-L. Durrieu, “Nonnegative matrix factorization with the Itakura-Saito
divergence. With application to music analysis,” Neural Computation, vol. 21, no. 3, pp. 793–830,
2009.
[23] H. Kameoka and K. Kashino, “Composite autoregressive system for sparse source-filter
representation of speech,” in Proc. 2009 IEEE International Symposium on Circuits and Systems(ISCAS2009), pp. 2477-2480, 2009.
[24] H. Kameoka, T. Yoshioka, M. Hamamura, J. Le Roux and K. Kashino, “Statistical model of speech
signals based on composite autoregressive system with application to blind source separation,” inProc. 9th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA
2010), LNCS 6365, pp. 245-253, 2010.
[25] K. Yoshii and M. Goto, “Infinite composite autoregressive models for music signal analysis,” in Proc.
The 13th International Society for Music Information Retrieval Conference (ISMIR), pp. 79–84, 2012.
[26] M. Nakano, J. Le Roux, H. Kameoka, Y. Kitano, N. Ono and S. Sagayama, “Nonnegative matrix
factorization with Markov-chained bases for modeling time-varying patterns in music
spectrograms,” in Proc. 9th International Conference on Latent Variable Analysis and Signal
Separation (LVA/ICA 2010), LNCS 6365, pp. 149-156, 2010.
[27] P. Smaragdis, “Blind separation of convolved mixtures in the frequency domain,” NeuralComputation, vol. 22, pp. 21–34, 1998.
[28] O. Yılmaz and S. Rickard, “Blind separation of speech mixtures via time-frequency masking,” IEEE
Transactions on Signal Processing, vol.52, no.7, pp.1830–1847, 2004.

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考文献 (4/6)[29] S. Kurita, H. Saruwatari, S. Kajita, K, Takeda and F. Itakura, “Evaluation of bind signal separation
method using directivity pattern under reverberant conditions,” in Proc. 2000 IEEE International
Conference on Acoustics, Speech and Signal Processing (ICASSP 2000), pp. 3140–3143, 2000.
[30] N. Murata, S. Ikeda and A. Ziehe, “An approach to blind source separation based on temporal
structure of sppech signals,” Neurocomputing, vol. 41, pp. 1-4, 2001.
[31] H. Sawada, R. Mukai, S. Araki and S. Makino, “A robust and precise method for solving the
permutation problem of frequency-domain blind source separation,” IEEE Trans. on Speech andAudio Processing, vol. 12, no. 5, pp. 530-538, 2004.
[32] 小野, “周波数領域ICAにおけるΔスペクトログラムに基づくパーミュテーション解法,” 日本音響学会秋季研究発表会講演集, pp.581-582, Sep. 2010.
[33] T. Kim, T. Eltoft and T. Lee, “Independent vector analysis: An extension of ICA to multivariatecomponents,” in Proc. 6th International Conference on Independent Component Analysis and Blind
Source Separation (ICA 2006), pp. 165–172, 2006.
[34] A. Hiroe, “Solution of permutation problem in frequency domain ICA, using multivariate probability
density functions,” in Proc. 6th International Conference on Independent Component Analysis andBlind Source Separation (ICA 2006), pp. 601–608, 2006.
[35] H. Sawada, H. Kameoka, S. Araki and N. Ueda, “Efficient algorithms for multichannel extensions of
Itakura-Saito nonnegative matrix factorization,” in Proc. 2012 IEEE International Conference on
Acoustics, Speech and Signal Processing (ICASSP 2012), pp. 261–264, 2012.
[36] T. Higuchi, H. Takeda, T. Nakamura and H. Kameoka, “A unified approach for underdeterminedblind signal separation and source activity detection by multichannel factorial hidden Markov
models,” in Proc. The 15th Annual Conference of the International Speech Communication
Association (Interspeech 2014), pp. 850-854, Sep. 2014.

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考文献 (5/6)[37] T. Higuchi and H. Kameoka, “Joint audio source separation and dereverberation based on
multichannel factorial hidden Markov model,” in Proc. The 24th IEEE International Workshop on
Machine Learning for Signal Processing (MLSP 2014), Sep. 2014.
[38] H. Fujisaki and S. Nagashima, “A model for synthesis of pitch contours of connected speech,”
Annual Report of Engineering Research Institute, University of Tokyo, Vol. 28, pp. 53–60, 1969.
[39] H. Kameoka, J. Le Roux and Y. Ohishi, “A statistical model of speech F0 contours,” in Proc. ISCA
Tutorial and Research Workshop on Statistical And Perceptual Audition (SAPA 2010), pp. 43-48,
2010.
[40] K. Yoshizato, H. Kameoka, D. Saito and S. Sagayama, “Hidden Markov convolutive mixture model for
pitch contour analysis of speech,” in Proc. The 13th Annual Conference of the International SpeechCommunication Association (Interspeech 2012), Mon.O2d.06, Sep. 2012.
[41] 亀岡, 後藤, 嵯峨山, “スペクトル制御エンベロープによる混合音中の周期および非周期成分の選択
的イコライザ,” 情報処理学会研究報告, 2006-MUS-66-13, pp. 77-84, Aug. 2006.
[42] H. Kameoka, Statistical Approach to Multipitch Analysis, Ph.D. thesis, The University of Tokyo, 2007.
[43] H. Kameoka, N. Ono, and S. Sagayama, “Auxiliary function approach to parameter estimation of
constrained sinusoidal model for monaural speech separation,” in Proc. 2008 IEEE International
Conference on Acoustics, Speech and Signal Processing (ICASSP2008), pp. 29–32, 2008.
[44] 亀岡, 鎌本, 原田, 守谷, “予測誤差のGolomb-Rice符号量を最小化する線形予測分析,” 電子情報通信学会論文誌, Vol. J91-A, No. 11, pp. 1017-1025, Nov. 2008.
[45] H. Kameoka, T. Nakatani, and T. Yoshioka, “Robust speech dereverberation based on non-negativity
and sparse nature of speech spectrograms,” in 2008 IEEE International Conference on Acoustics,
Speech and Signal Processing (ICASSP2009), pp. 45–48, 2009.

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

参考文献 (6/6)[46] N. Ono, H. Kohno, N. Ito, S. Sagayama, “Blind alignment of asynchronously recorded signals for
distributed microphone array,” in Proc. 2009 IEEE Workshop on Applications of Signal Processing to
Audio and Acoustics (WASPAA 2009), pp.161-164, Oct. 2009.
[47] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function
technique,” in 2011 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics(WASPAA2011), pp. 261–264, 2011.
[48] N. Yasuraoka, H. Kameoka, T. Yoshioka, and H. G. Okuno, “I-divergence-based dereverberation
method with auxiliary function approach,” in 2011 IEEE International Conference on Acoustics,
Speech and Signal Processing (ICASSP2011), pp. 369–372, 2011.
[49] H. Kameoka and N. Takamune, “Training restricted Boltzmann machines with auxiliary function
approach,” in Proc. The 24th IEEE International Workshop on Machine Learning for Signal
Processing (MLSP2014), Sep. 2014.
[50] N. Takamune and H. Kameoka, “Maximum reconstruction probability training of restricted
Boltzmann machines with auxiliary function approach,” in Proc. The 24th IEEE International
Workshop on Machine Learning for Signal Processing (MLSP 2014), Sep. 2014.

http://hil.t.u-tokyo.ac.jp/mklab/Kameoka2014IBIStutorial.pdf

音学シンポジウム
音に関係する、あらゆる学術分野を対象としたシンポジウム
2013年から毎年5月開催
 参加者数は300～350名と大盛況


講演会場

音声
聴覚

電気音響

音楽情報
科学

音楽音響

ポスター会場

自然言語