日本音響学会2010年秋季研究発表会

音声F0パターン生成過程の確率モデル○ 亀岡弘和ルルージョナトン
大石康智
日本電信電話株式会社
ケ科学基礎研究所
NTT コミュニケーション科学基礎研究所

音声の基本周波数(F0)パターンについて
(Hz)

対数F0対
loog-frequency

F0パタ ンとは？
F0パターンとは？
声帯振動の周期の時間変化のパターン
タ

200

10080

 甲状軟骨の運動

0.5

0.75

1.0time (s)時間⇒声帯の長さが微小変化⇒固有振動数が変化

音声対話において果たす役割は？
音声の韻律的特徴を表現
 構文、意味、感情、焦点

音声情報処理における有用性
F0パターンの自然性は音声らしさを表す有用な指標の一つ
タ
自然性 音声ら さを表す有 な指標「F0パターンが生成過程の物理的制約をどれだけ満たしているか」音声らしさを測るための客観的な規準に！

2

F0パタンのモデル化 分析は
F0パターンのモデル化・分析は様々な音声アプリケーションに有益なはず

本研究の動機藤崎のF0パターン生成過程モデル(藤崎モデル) [藤崎1988][仮定1] 甲状軟骨の運動は二種類（平行移動と回転）[仮定2] 各運動を臨界制動の二次線形系の応答として表現[仮定3] 各運動に伴う声帯の伸びの変化の合計が対数F0の変化に比例
フレーズ成分
アクセント成分
ベースライン成分：平行移動による変位に比例するF0パターン成分：回転運動による変位に比例するF0パターン成分：回転運動による変位に比例するF0パタ ン成分：声帯の物理的性質によって決まる定数

フレーズ指令F0パターン

アクセント指令
phrase component
accent component

原音声3アクセント指令
加工後音声

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築
発表アウトライン
モデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築
発表アウトライン
モデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

連続時間系から離散時間系へ（フレーズ制御系）
フレーズ指令入力

フレーズ成分成分

5

フレーズ制御系のラプラス変換



逆システムのラプラス変換 

後退差分近似 

逆システムの伝達関数

パラメータ

離散時間表現 サ プリ グ周期
離散時間表現のサンプリング周期で特性が決まる拘束つき全極モデル

連続時間系から離散時間系へ（フレーズ制御系）
フレーズ指令入力

フレーズ成分成分


フレーズ制御系のラプラス変換



逆システムのラプラス変換 

後退差分近似 

離散時間表現 サ プリ グ周期
離散時間表現のサンプリング周期

アクセント制御系も同形なので以上と同様！
 逆システムの伝達関数

5パラメータで特性が決まる拘束つき全極モデル

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築


発表アウトラインモデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築


発表アウトラインモデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4フレーズ指令＆アクセント指令の確率モデル化
両指令は無制約で良い訳ではない
指令 無制約 良 訳
なフレ ズ指令
フレーズ指令アクセント指令
指令

藤崎モデルにおける基本ルール
 フレーズ指令はパルス波 アクセント指令は矩形波
 指令は同時刻に2つ以上生起しない
指令は同時刻に2 以上生起しな
6フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1

a0

p0

a1a2

状態遷移に伴う平均の時間軌跡a37

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1a0p0a1a2

状態遷移に伴う平均の時間軌跡a37

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1

a0p0

a1a2

状態遷移に伴う平均の時間軌跡

a3p07

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1

a0

p0

a1a2

状態遷移に伴う平均の時間軌跡a3p17

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1

a0

p0

a1a2

状態遷移に伴う平均の時間軌跡a3a07

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1a0p0a1a2状態遷移に伴う平均の時間軌跡a3a17

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1a0p0a1a2

状態遷移に伴う平均の時間軌跡a3a07

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1

a0p0

a1a2

状態遷移に伴う平均の時間軌跡a3a27

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1a0p0a1a2

状態遷移に伴う平均の時間軌跡

a3p07

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1a0p0a1a2

状態遷移に伴う平均の時間軌跡a3p17

遷移確率は定数とする

フレーズ指令＆アクセント指令の確率モデル化
経路制限付き隠れ ル フモデルでモデル化
経路制限付き隠れマルコフモデルでモデル化（離散時間表現にしたかったのはこの為）

p1a0

p0

a1a2

状態遷移に伴う平均の時間軌跡a3a07

遷移確率は定数とする

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築


発表アウトラインモデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築
発表アウトライン
モデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

F0パターンの確率密度関数の導出
フレ ズ成分
フレーズ成分（１）で得た拘束式（２）で得た確率モデルの確率密度関数
状態系列によって決まる
平均と分散の遷移系列
対角成分がの対角行列

アクセント成分も同様
F0パターンベクトル

8

F0パターンの確率密度関数の導出
フレ ズ成分
フレーズ成分（１）で得た拘束式（２）で得た確率モデルの確率密度関数

パラメータ ：
•状態遷移系列•状態出力分布の平均値•フレーズ制御パラメータ•アクセント制御パラメータ•ベースライン値
値
アクセント成分も同様
F0パターンベクトル

8

状態系列によって決まる
平均と分散の遷移系列対角成分がの対角行列

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築


発表アウトラインモデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築
発表アウトライン
モデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

提案モデルの使用方法

実測F0パターンからの藤崎モデルの推定
 実測F0パターンは実測F0パターンは”欠損データ”
欠損データ
F0 (Hz)z)

400
300
200
01234Time (s)上記統計モデルは全区間のデータが観測されていることが想定
上
統計 デ
全デ タが観測されとが想定→欠損データの下での最尤/最大事後確率推定はEMアルゴリズムで解ける！
9

F0をパラメータにもつ音声信号/スペクトルの統計モデルにおけるF0F0をパラメ タにもつ音声信号/スペクトルの統計モデルにおけるF0パラメータの事前分布として利用可能（詳細は直後の発表にて）

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築
発表アウトライン
モデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

本研究の目的（１）（２）

藤崎モデルの離散時間表現を統計モデル化
統計的手法を駆使した強力なパラメータ推定法の枠組を確立
 統計モデルに基づく音声処理問題（合成、分析、分離、強調）にスムーズに組み込める基盤を構築


発表アウトラインモデル化の手順（１）後退差分近似による連続時間藤崎モデルの離散化（２）フレーズ指令＆アクセント指令の確率モデル化
 （１）と（２）からF0パターンの確率密度関数を導出
提案
使用方法
提案モデルの使用方法
パラメータ推定アルゴリズムの導出
4

パラメータの最大事後確率推定が与えられた下でを最大化

フレーズ成分 ，アクセント成分 ，ベースライン成分
を完全データと見なすとEM法が適用できる！

10“不完全データ”

Q関数と完全データの関係：

EMアルゴリズム
E‐stepF0パターンモデル

M‐stepをに関して最大化の更新は４次方程式の求解に帰着
 状態遷移系列と状態出力分布の平均値の更新はViterbi
学習により実現可能

11

シミュレーション実験
実験デ タ： 元の藤崎モデルから合成した人工データ
元の藤崎モデルから合成した人工デ タ
実験データ：
サンプリング
周期1010ms
フレーズ指令アクセント指令

状態数13 反復回数10
推定結果： 状態数13，反復回数10
初期値設定：

12

まとめ
藤崎モデルの離散時間表現の確率モデルを提案
統計的手法を駆使した強力なパラメータ推定法の枠組を構築
 音声の統計モデルに基づく各種音声処理問題にスムーズに組み込める音声の統計モデルに基づく各種音声処理問題にスム ズに組み込める基盤を構築
提案モデルのポイント
提案 デポ
ト
もともとは連続時間系の藤崎モデルを離散時間系で記述
 フレーズ指令とアクセント指令を隠れマルコフモデルにより確率モデル化
率 EMアルゴリズムによるパラメータ推定法を導出
効果
今のところ人工データに対する一有効性だけ確認済 実測F0パターンに対してはどうか？欠損データの影響は？
 統計的音声モデルに組み込んだ際の効果は？
参考までに

13

3‐P‐31 複数振動基底複数振動基底に基づく歌声のF0
動特性の統計的モデリング
基 く歌声
動特性
統計的 デリ グ◎大石 康智，亀岡 弘和，持橋 大地，永野 秀尚，柏野 邦夫