奈良先端科学技術大学院大学 ゼミナール (2012/12/18)

生成モデルアプローチによる音声音響信号処理
亀岡 弘和
東京大学 大学院情報理工学系研究科
NTT コミュニケーション科学基礎研究所
kameoka@hil.t.u-tokyo.ac.jp / kameoka.hirokazu@lab.ntt.co.jp

自己紹介 亀岡弘和情報理工学博士
東京大学大学院情報理工学系研究科 客員准教授
NTTコミュニケーション科学基礎研究所 研究主任


略歴： 2002.03 東京大学工学部計数工学科卒業
2004.03 東京大学大学院情報理工学系研究科
システム情報学専攻修士課程修了．
2007.03 東京大学大学院情報理工学系研究科
システム情報学専攻博士課程修了．
2007.04 日本電信電話株式会社入社．
NTTコミュニケーション科学基礎研究所配属．
2011.05 東京大学大学院情報理工学系研究科客員准教授に着任．
興味： 音声や音楽などの音響信号を認識・解析したり合成・生成したりするための統計的信号処理・機械学習の研究音声音響信号処理問題の多くは逆問題
 音響信号処理
ブラインド音源分離
 残響除去・・・ 音声情報処理

本日は晴天なり音素特徴抽出
 音声認識 イントネーション解析
 音楽情報処理
多重音解析
 自動採譜
・・・

Log-frequency

Time逆問題へのアプローチ

原因順逆（例） • 音源信号＆混合過程• 発話内容• 楽譜＆演奏表情

結果

Log-frequency

 逆問題： 『「結果」からその「原因」を推定する問題』→混合信号→音素特徴系列→音楽音響信号

多くは数理的に不良設定
 ・・・のはずなのに人間には難なく出来ていることばかり！


 なぜ？

原因 θ について「常識的／経験的／物理的にこうでろう」ということが推定のヒントになっている

Time

生成モデルアプローチ① 尤度関数の仮定

観測データなプロセスを生成する確率的をモデル化「原因の原因」「原因」② 事前分布の仮定


生成モデルのパラメータ θ の生成プロセスをモデル化③ 推論（逆問題）


データ Y から θ と α を推論
最尤推定量
MMSE推定量

「結果」

生成モデル
（順問題），MAP推定量，ベイズ事後分布

物理的制約/経験則

生成過程

トークのアウトライン
 音響信号処理
 多重音解析 ブラインド音声分離
 音声情報処理 音声イントネーション解析

各々の構成：

生成モデルの設計
 （推論アルゴリズム）
 実験結果例トークのアウトライン
 音響信号処理
 多重音解析 ブラインド音声分離
 音声情報処理 音声イントネーション解析

各々の構成：

生成モデルの設計
 （推論アルゴリズム）
 実験結果例多重音解析

楽譜
F0

生成

frequency

 モノラル多重音信号を個々の音源成分に分解する問題
音楽スペクトログラム

推論
timetime

多重音解析の難しさ
J.S.Bach: Ricercare a 6 aus “Das Musikalische Opfer” BWV1079

fluteKing Friedrich’s Themestrings
9

生成モデル化の方針

Frequency

 「行列積」としてのスペクトログラム

time生成モデル化の方針
 「行列積」としてのスペクトログラム
各音源のスペクトル

Frequency

各音源の「アクティベーション」

time生成モデル化の方針

Frequency 行列分解（逆問題）は多重音解析に相当解を絞り込むための手がかり：

H と U の非負性
20406080

time1001201999], [Smaragdis 2003],
非負値行列因子分解(NMF) [Lee[Févotte 2008], etc...

 多重音スペクトログラムの生成モデル化
音源 k の複素スペクトログラム
多重音の複素スペクトログラムとの独立性を仮定：H と U が負値の場合0になる分布

パラメータ推定との非負制約のもとでとなるとを求める問題

パラメータ推定アルゴリズムの導出 [Kameoka 2006]
 補助関数法
を反復的に降下させる数値解析手法
を満たすを補助関数と定義⇒反復アルゴリズム


目的関数

補助関数

目的関数

[1]
[2]
[1]


収束性
[2]

どうやって上限関数を設計する？

パラメータ推定アルゴリズムの導出 [Kameoka 2006]• 目的関数• 逆数関数は凸関数 ⇒ Jensenの不等式で上限設計

パラメータ推定アルゴリズムの導出 [Kameoka 2006]
 Jensenの不等式とは？
：凸関数


右辺
左辺

パラメータ推定アルゴリズムの導出 [Kameoka 2006]• 目的関数• 逆数関数は凸関数 ⇒ Jensenの不等式で上限設計適用• 対数関数は凹関数 ⇒ この場合はどうしたら？？
右辺適用

Frequency (kHz)Frequency (kHz)適用例
8

観測スペクトログラム

0Time

80Time応用例 (1/5)
 自動採譜 [Smaragdis 2003]
J.S. Bach: Fuge #16 in G minor

応用例 (2/5)
 教師ありモノラル音源分離 [Smaragdis 2007 ]音声（学習データ）
混合信号（テストデータ）

チャイム（学習データ）

固定応用例 (3/5)
音の「超解像」

低サンプリングレートの信号[Smaragdis & Raj 2007 ]高サンプリングレート信号の学習データ（固定）
高周波帯域が復元された信号応用例 (4/5)
非負値行列「逆畳み込み」

Frequency

 ブラインド残響除去 [Kameoka 2008]

Time

残響除去音声非負値行列逆畳み込み
によって求まった実際の H

Frequency



TimeTimeTime

応用例 (5/5)
エコーキャンセラ
[戸上&川口 2009]

音響符号化[Nikunen & Virtanen 2010]

ブラインド音源分離 (NMFの多チャンネル拡張)[Ozerov et al. 2010], [Kitano et al. 2010], [Takeda et al. 2011],[Sawada et al. 2011], [Sawada et al. 2012]フォルマントトラッキング[Durrieu et al. 2011]

音素特徴量抽出[Hurmalainen et al. 2011]

「ソ」以外は音量オフ

「ソ」だけ音量オフ

一部の基底関数に対してのみスペクトル伸縮変形を施し、混合信号を再構成（スペクトル伸縮はピッチトランスポーズに相当。例えばトランスポーズ「－１」は、半音下げという意味。）

トークのアウトライン
 音響信号処理
 多重音解析 ブラインド音声分離
 音声情報処理 音声イントネーション解析

各々の構成：

生成モデルの設計
 （推論アルゴリズム）
 実験結果例トークのアウトライン
 音響信号処理
 多重音解析 ブラインド音声分離
 音声情報処理 音声イントネーション解析

各々の構成：

生成モデルの設計
 （推論アルゴリズム）
 実験結果例ブラインド音源分離
 複数のマイクで取得した音響信号のみから各音源信号を分離／定位する問題
 音源信号，混合過程がいずれも未知であることから「ブラインド」
 実応用場面
 音を使った監視システム
 どこで何が起こっているかを検知
 介護や防犯のための安全モニタリングとしての応用

Cf. ShotSpotter （米国で開発されている発砲事件の検知システム）

人間のカクテルパーティー効果の模倣
 ロボット聴覚，補聴器への応用

マイクロホンで観測される信号の生成プロセス “畳みこみ混合”

音源1

音源2

• 音源1マイク1：• 音源1マイク2：• 音源2マイク1：• 音源2マイク2：

マイク1

マイク2

残響があると・・・
マイクまでの到達時間

マイクロホンで観測される信号の生成プロセス “畳みこみ混合”

音源1

音源2

• 音源1マイク1：• 音源1マイク2：• 音源2マイク1：• 音源2マイク2：

マイク1

マイク2

残響があると・・・...

マイクロホンで観測される信号の生成プロセス “畳みこみ混合”

音源1

音源2

• 音源1マイク1：• 音源1マイク2：• 音源2マイク1：• 音源2マイク2：

マイク1

マイク2

残響があると・・・...

∴ マイク1の観測信号：
マイク2の観測信号：

マイクロホンで観測される信号の生成プロセス
 Fourier変換領域で畳み込みは積になることを利用して畳み込み混合モデルを時間周波数領域に展開：「時間領域の畳み込み混合モデル」「時間周波数領域の瞬時混合モデル」

音源index

マイクindex

周波数ωごとに見れば行列積

周波数
index
時刻
index

音源index音源index

マイクindex

逆問題への手がかり

周波数
index
時刻
index

音源index 以上の生成プロセスの逆問題（音源分離）は不良設定
音源数＞マイク数
 パーミュテーションの任意性
は劣決定
置換行列

音源
index

マイクindex

逆問題への手がかり

周波数
index
時刻
index

音源index 以上の生成プロセスの逆問題（音源分離）は不良設定
パーミュテーション整合
音源数＞マイク数
周波数 パーミュテーションの任意性
音源 1 (仮)

周波数ごとに個別に分離が得られても…

周波数

音源 1時間周波数周波数

音源 2 (仮)
時間

は劣決定
置換行列
時間
音源 2時間音源
index

マイクindex

逆問題への手がかり

周波数
index
時刻
index

音源
index

 以上の生成プロセスの逆問題（音源分離）は不良設定
音源数＞マイク数
 パーミュテーションの任意性


は劣決定置換行列

 解を絞り込むための手がかりが必要（１）音声の性質と（２）音波伝播の性質に着目

(1) 音声のスパース性を仮定して尤度関数設計

音源
index

マイクindex

スカスカのはず？

周波数index
時刻index

音源index 音声の時間周波数成分は極めてスパース！
各時間周波数点で一つの音源のみがアクティブ（それ以外の音源の成分は０）と仮定できるならば，ωごとの行列分解の劣決定性は解消できるのではないか？
[Yilmaz2004, Izumi2007, Araki2007, Sawada2010][Kameoka 2012]

アクティブな音源indexを表すインジケータをパラメータ化

(2) 音波伝播の性質を活用して事前分布設計

音源
index

マイクindex[Kameoka 2012]

周波数index
時刻index

音源index 正しいパーミュテーション整合が取れているならばはω方向に音波伝播に基づく拘束があるはず

平面波音源を仮定すればによって陽に表されるはず音源kの到来方向

は各音源の到来方向をパラメータ化

伝達周波数特性の事前分布設計 [Kameoka 2012] 伝達周波数特性の生成プロセス
I 個の候補値から各音源につき到来方向が１つ選ばれる
 選ばれた到来方向に応じて伝達周波数特性が決定される

Discrete set of I Directionsi=3i=8i=2i=9i=1i = 10

生成モデルの全体像 [Kameoka 2012]
 グラフィカルモデル
音源数無限化（事前分布）
スパース音源の混合モデル（尤度関数）
到来方向の混合モデル（事前分布）

 変分ベイズ法により推論

音源分離結果例 [Kameoka 2012]

Frequency

Frequency

Frequency

Frequency

観測信号（3音源2マイク）
分離結果

Time (s)到来方向推定結果 [Kameoka 2012] パーミュテーションがうまく整合されていれば各音源の伝達周波数特性のチャンネル間位相差と周波数は直線関係になるはず

位相差位相差チャンネル間位相差 (正解)

Frequency (kHz)Frequency (kHz)トークのアウトライン
 音響信号処理
 多重音解析 ブラインド音声分離
 音声情報処理 音声イントネーション解析

各々の構成：生成モデルの設計
 （推論アルゴリズム）
 実験結果例トークのアウトライン
 音響信号処理
 多重音解析 ブラインド音声分離
 音声情報処理 音声イントネーション解析

各々の構成：

生成モデルの設計
 （推論アルゴリズム）
 実験結果例音声イントネーション解析
 音声イントネーション（基本周波数(F0)パターン）に含まれる非言語情報（意図，構文，感情，焦点，言い回しの個性）を抽出するのが目的
対数周波数

音声のスペクトログラム
基本周波数（F0）パターン

第3倍音
第2倍音
基本周波数 (F0)時間

現在の音声合成研究
 実応用場面では自然なイントネーション
 自然／感情豊かな音声合成をいかに生成するかが重要課題の一つ
 言い回しの分析・加工・再合成
 音声認識・感情認識・言語識別への利用音声F0パターンについて F0パターンを構成する主要素
フレーズ： 句単位の比較的穏やかな音調変化 アクセント： 語または音節単位での比較的急激な音調変化 藤崎モデル [Fujisaki 1969]
F0パターンを甲状軟骨の運動方程式に基づいて表現したモデル
 フレーズ・アクセントが，直接パラメータとして表現される
 実測のF0パターンに非常に良く合致  韻律研究の分野では有名


平行移動運動（フレーズに対応）

回転運動（アクセントに対応）“音声の音調的特徴のモデル化とその応用” [藤崎2005]

藤崎モデル（ F0パターンモデル） [Fujisaki 1969] 甲状軟骨によるF0パターンの制御機構の物理モデル
フレーズ指令（インパルス列）

アクセント指令（矩形パルス列）
元音声
指令列操作後の音声

 藤崎モデルの指令列推定問題
指令列はイントネーション特徴を具現化した物理量 重要だが解析的に難しい（インパルス列・矩形パルス列という拘束条件をどう扱うか） そして不良設定（解は無数）
藤崎モデルをベースにF0パターンを生成モデル化
 動機：[Kameoka 2010]

指令列関数（インパルス列・矩形パルス列）をうまく確率モデルで表現し， F0パターンを確率モデル化したい  尤度関数
 指令列に関する統計的な傾向（音声らしさ）を組み込みたい 事前分布 統計的手法（EM法）を駆使して効率的に指令列を推定したい推論アルゴリズムの導出フレーズ・アクセント指令列の生成過程 [Kameoka 2010]
 フレーズ・アクセント指令列の制約
フレーズ指令はインパルス
 アクセント指令は矩形パルス
 異なる２つの指令は同時刻に生起しない
 指令や指令間の間隔の持続長が「音声らしい」ものである フレーズ・アクセント指令列の生成過程の確率モデル化
フレーズ指令アクセント指令フレーズ・アクセント指令列の生成過程 [Kameoka 2010]
 フレーズ・アクセント指令列の制約
フレーズ指令はインパルス
 アクセント指令は矩形パルス
 異なる２つの指令は同時刻に生起しない
 指令や指令間の間隔の持続長が「音声らしい」ものである フレーズ・アクセント指令列の生成過程の確率モデル化
フレーズ指令アクセント指令

フレーズ・アクセント指令関数は区分定常な関数と見なせる！
隠れマルコフモデル(HMM)で表現できるのでは？

フレーズ・アクセント指令列生成HMM [Kameoka 2010]
状態遷移に伴う平均の時間軌跡（フレーズ・アクセント指令列）

フレーズ指令を出力する状態

p0 p1a0 a1 a1 a0 a2 p0 p1 a0p1a0p0a1a2…

anアクセント指令を出力する状態フレーズ・アクセント指令列生成HMM [Kameoka 2010]
状態遷移に伴う平均の時間軌跡（フレーズ・アクセント指令列）

フレーズ指令を出力する状態

p0 p1a0 a1 a1 a0 a2 p0 p1 a0p1a0• フレーズ・アクセント指令の長さや，指令間の間隔は「音声らしい」ものであるはず
a1p0• フレーズ・アクセント指令列には文法構造があるはずアクセント指令をHMMだから，こういう先験的知識は出力する状態
a2
トポロジーや遷移確率（＝事前確率）に反映可能！

…

an観測F0パターンの確率密度関数 [Kameoka 2010]
 観測F0パターンは「HMM出力系列の畳み込み混合」
観測F0 パターン隠れマルコフモデルの出力

隠れマルコフモデルの出力

HMMの状態出力分布をガウス分布とすれば・・・

状態系列（＝指令列）

アクセント・フレーズ指令列の最大事後確率推定[Kameoka 2010]

 観測F0パターンが与えられた下でを最大化する状態系列（指令列）
指令列に関する先験的知識がここに反映フレーズ成分，アクセント成分，ベースライン成分
を完全データと見なすとEM法が適用できる！

“不完全データ” Q関数
と完全データの関係：

EMアルゴリズムによるパラメータ推定 [Kameoka 2010]
E-step

藤崎モデル

M-stepをに関して最大化状態遷移系列（推定指令列）の更新はViterbiアルゴリズムで実現可能

指令列の推定結果例 [Yoshizato 2012]
 ATR No.353 「虫、自動車の排気ガス、台風など、苗木を害するものは多い。 」
従来法の推定結果[Narusawa2002]

提案手法の推定結果“音声の基本周波数パターン生成過程モデルのパラメータ自動抽出法” [成澤2002](推定指令列から合成したF0パターンを用いて再合成した音声)

指令列の推定結果例 [Yoshizato 2012]
 ATR No.353 「虫、自動車の排気ガス、台風など、苗木を害するものは多い。 」
提案法の推定結果(推定指令列から合成したF0パターンを用いて再合成した音声)

一部のアクセント指令の振幅を操作(操作後の指令列から再合成した音声)合成F0パターンに対する指令列推定精度評価
ATR日本語音声データベースBセット話者MHT（全503文）＋ 韻律研究の専門家が求めた指令列のデータ[Yoshizato 2012]

HMMの遷移確率の学習に利用
No.201~503
専門家が求めた指令列（正解指令列）

No.1~200
合成 F0 パターン

合成
推定指令列

比較

推定

推定指令列の正解率
従来法

72.6%

提案手法

83.4%

 逆解析の性能で従来法を上回った
 推定アルゴリズムがうまく局所解を回避した可能性
 指令列の統計的傾向を遷移確率として推定に組み込んだことによって，音声として自然な解が選ばれた可能性

おまけのデモ 標準語風イントネーションを関西弁風に変換
分析（パラメータ推定）合成

推定指令列パターン

人手で加工

まとめ
 音声・音響信号処理問題の多くは不良設定の逆問題にもかかわらず人間が難なく出来るのは，ボトムアップな推定とトップダウンな推定を統合的に行っているため
 生成モデルアプローチが有効なアプローチになりうる 生成過程のモデル化により尤度関数設計
 物理制約や経験則により事前分布設計
 推論アルゴリズムの導出

 ３つの研究事例を上記の観点で紹介
音響信号処理 → 多重音解析、ブラインド音源分離
 音声情報処理 → 音声イントネーション解析
付録：EMアルゴリズムについて
θに関してp(Y|θ)を最大化する問題
目的関数

潜在変数

Jensenの不等式
補助関数
Eステップ：

Mステップ：

λに関して補助関数を最大化するステップ

θに関して補助関数を最大化するステップ