特別企画 MIRU×KIKU「音学シンポジウム」連携オーガナイズドセッション

音響信号の分解と再構成
亀岡弘和
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所

自己紹介
亀岡弘和（かめおかひろかず） 略歴：2007 東京大学大学院情報理工学系研究科
システム情報学専攻 博士課程修了
2007 日本電信電話株式会社入社
NTTコミュニケーション科学基礎研究所配属
2011 東京大学大学院情報理工学系研究科
システム情報学専攻 客員准教授
2015 NTTコミュニケーション科学基礎研究所
特別研究員
2016 国立情報学研究所 客員准教授

 専門：

音声・音楽などの音響信号を対象とした信号処理や機械学習 『音や声に含まれる潜在情報の分析合成変換』，『時空間音響情景分析』
 学会活動：

2013年にMIRUをヒントにした「音学シンポジウム」を企画

自己紹介
亀岡弘和（かめおかひろかず） 略歴：2007 東京大学大学院情報理工学系研究科
システム情報学専攻 博士課程修了
2007 日本電信電話株式会社入社
NTTコミュニケーション科学基礎研究所配属
2011 東京大学大学院情報理工学系研究科
システム情報学専攻 客員准教授
2015 NTTコミュニケーション科学基礎研究所
特別研究員2016 国立情報学研究所 客員准教授

 専門：

音声・音楽などの音響信号を対象とした信号処理や機械学習 『音や声に含まれる潜在情報の分析合成変換』，『時空間音響情景分析』
 学会活動：

2013年にMIRUをヒントにした「音学シンポジウム」を企画

音響信号の分解と再構成
音の分解問題
音声のソース・フィルタ分解 音声基本周波数パターンのフレーズ・アクセント分解 雑音・残響除去
 音源分離Log-frequency

分解再構成不要な成分を除いて再構成 ⇒ 目的音の強調
 分解した成分の一部を加工して再構成 ⇒ 音の加工
Time

アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解
線形予測分析によるソース・フィルタ分解 [Itakura+1968]
動機：符号化への応用


音声信号を少ないパラメータで表現したい
音声波形

声帯振動
声帯振動

Fourier
変換

声道
インパルス応答

音声波形

Fourier
変換

Fourier変換

声道
声帯

声帯スペクトル

白色ノイズと仮定

声道スペクトル

音声スペクトル

自己回帰システムの仮定
無損失等長音響管による声道モデル化

この下でのソース・フィルタ分解⇒線形予測分析

線形予測分析の物理的解釈
Levinson-Durbin再帰式


m次の最適予測係数 から m+1次の最適予測係数を導く再帰式

口唇側

線形予測分析の物理的解釈
Levinson-Durbin再帰式


m次の最適予測係数 から m+1次の最適予測係数を導く再帰式
自己相関関数

口唇側

線形予測分析の物理的解釈
Levinson-Durbin再帰式


m次の最適予測係数 から m+1次の最適予測係数を導く再帰式
自己相関関数口唇側

音響管境界の反射係数

線形予測分析の物理的解釈
Levinson-Durbin再帰式
m次の最適予測係数 から m+1次の最適予測係数を導く再帰式
自己相関関数

口唇側...

線形予測分析によるソース・フィルタ分解音声の分析と合成• ソースフィルタモデル（音声生成過程モデル）
声帯振動波形声道特性

音声波形

分析：音声波形 を声帯波形と声道特性に分解
合成：推定した声帯情報と声道情報から元音声を再現
声帯声帯波形

声道特性

パルス列音源（有声音源）

白色雑音源（無声音源）

線形システム

合成音声

ソース・フィルタ分解の応用
音声符号化

線形予測分析は現在も携帯電話やVoIPの標準圧縮方式

音声認識／話者認識「声道フィルタ」は音韻情報（「あ」、「い」、・・・）を担う
 MFCC（メル周波数ケプストラム係数）
音声合成／音声変換


声帯音源と声道フィルタを特徴量とした回帰問題



線形予測分析からSTRAIGHT分析、メル一般化ケプストラム分析へブラインド残響除去
 室内で収音した音声信号には残響が不可避的に混入⇒音声認識などの音声処理システムの性能劣化の要因
 話者が移動しないなら残響重畳プロセスは線形時不変システム
で記述される原音声信号（未知）収音信号
室内インパルス応答（未知）

原音声信号も室内インパルス応答も未知の状況で、収音信号のみから原音声信号をいかに推定する問題

アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解音源分離 複数の音が混ざった混合信号からそれぞれの音を分離する問題


音声認識の前処理，ロボット聴覚，楽音信号加工，音声強調，・・・

 一般に混ざったものから元の成分を復元するのは困難
7 + 3 = 10 を計算するのは簡単だが、X+Y=10のみからXとYを一意に決めることはできない 何らかの仮定が必要問題設定
モノラル音源分離： 音源の性質や傾向が手がかりとなる 多チャンネル音源分離： 上記に加え空間情報も手がかりとして使えるモノラル音源分離の難しさ

周波数

スペクトログラム（時間周波数表現）

flutestrings

King Friedrich’s Theme

時間非負値行列因子分解 (NMF) 法 [Smaragdis+2003]
 「行列積」としてのスペクトログラム
各楽音のスペクトル

Frequency

各楽音の「アクティベーション」

time非負値行列因子分解 (NMF) 法 [Smaragdis+2003]

Frequency 行列分解（逆問題）は音源分離に相当

20

40

60

80

100120※NMFは画像処理分野からの輸入技術

NMF法による音源分離
半教師ありNMF [Smaragdis+2007]
クリーンな音声信号のサンプルから基底スペクトルを事前学習 事前学習した基底スペクトルを用いて混合音のスペクトログラムに対しNMFを適用
Time

Test data:
Spectrogram of
mixture signal

Time

Frequency

Training data:
Spectrogram ofclean speechsamplesTime

Frequency

FrequencyFrequency

Trainedbasis spectra

TimeNMF法におけるスペクトログラムモデリングの問題点

振幅スペクトルの加法性を仮定（位相の影響を無視）
時間領域信号

線形

時間周波数変換

複素スペクトログラム

非線形

絶対値計算

振幅スペクトログラム

加法性不成立複素NMF [Kameoka+2008][Kameoka2015]
位相を考慮したNMFの複素拡張
非加法的

Observed
magnitude
spectrogram Y

Magnitude
spectrogramof source 1

複素NMF
Frequency

Frequency

NMF

Observed
complexspectrogram Y

加法的Complex
spectrogramof source 1

Time

Basis
spectrumTime-varying
amplitude

Time-varying
phase

足す前に位相スペクトルを付与（時変な所がポイント）

複素NMF [Kameoka+2008][Kameoka2015]
パラメータ推定アルゴリズム
Step 1) Y の X1,...,XL への分解
FrequencyObserved
complexspectrogram Y

Complexspectrogram X1

Complexspectrogram XLTimeStep 2) Θ={H, U, φ} の更新
FrequencyComplexspectrogram X1

Complexspectrogram XLObjectivefunction

Auxiliaryfunction

[1]

Time

Phase
spectrogram[2]複素NMFによる楽音（曲調）加工
音高操作による調変換
加工例１
 原曲（ト長調）
 短調に変換
加工例２
 原曲（ホ長調）
 短調に変換
加工例３
 原曲（ト長調）
 短調に変換ブラインド音源分離 (BlindSourceSeparation)複数のマイクで取得した音響信号のみから各音源信号を分離／定位する問題


音源信号，混合過程がいずれも未知であることから「ブラインド」

応用場面
音を使った監視システム
 どこで何が起こっているかを検知
 介護や防犯のための安全モニタリングとしての応用

Cf. ShotSpotter （米国で開発されている発砲事件の検知システム）

聴覚障害補助 ロボット聴覚 テレビ会議システム
ブラインド音源分離 (BlindSourceSeparation)
独立ベクトル分析／多チャンネルNMF[Ono 2011, Ozerov 2010, Kameoka+2010,Sawada+2012, Kitamura 2015, ...]

パワースペクトログラム

音源信号

アレー応答

マイクロホンアレー信号

ブラインド音源分離 (BlindSourceSeparation)
独立ベクトル分析／多チャンネルNMF[Ono 2011, Ozerov 2010, Kameoka+2010,Sawada+2012, Kitamura 2015, ...]

パワースペクトログラム⇒手法名の違いはスペクトログラム構造に関する仮定の違い

アレー応答

マイクロホンアレー信号

ブラインド音源分離の適用例

分離信号 y1

y2

y3

y4

http://www.kecl.ntt.co.jp/icl/signal/sawada/demo/bss2to4/index.html

アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解基本周波数パターンのフレーズアクセント分解
基本周波数（F0）パターン
声の高低の時間変化（抑揚） 声の表情，調子，意図，個人性，方言などの非言語的役割を担う
 話し方の自然性に大きく影響を与える
⇒ F0パターンの自然性を保ったまま音声を合成／変換したいF0パターンの生成過程モデル [Fujisaki+1988]
音声のF0パターンは2つの成分からなる
フレーズ成分： 文章全体に及ぶ緩やかな高低パターン
アクセント成分： 単語内の急峻な高低パターン⇒甲状軟骨の並進運動、回転運動により制御


⇒ 藤崎モデル：

回転並進

声帯

甲状軟骨によるF0パターンの生成過程を模擬したモデル

甲状軟骨

藤崎モデルのパラメータ推定
藤崎モデルのパラメータ推定の難しさ


藤崎モデルは F0 パターンをフレーズ・アクセントに対応する運動成分の和で表す為，パラメータ推定は不良設定の逆問題（7+3 を解くのは簡単でも x + y = 10 となる x, y の解は無数に存在）

声帯回転

フレーズ指令順問題
臨界制動系

F0パターン

並進
アクセント指令臨界制動系

甲状軟骨逆問題解決の手がかり
自然音声におけるフレーズ・アクセント成分には統計的な偏りが存在 フレーズ成分はパルス列、アクセント成分は矩形パルス列によって駆動
Statistical Phrase/Accent Command Estimation法 [Kameoka+2010, Yoshizato+2012]離散時間確率過程による藤崎モデルの確率モデル版
統計的手法（EMアルゴリズム，動的計画法）を駆使した効率的なパラメータ推定アルゴリズムを導出できる
 フレーズ・アクセント成分の統計的な偏りを手がかりにすることが可能（不良設定の逆問題を統計的アプローチにより解決）
p0

r1

r0a0

基本周波数パターン生成過程モデル(藤崎モデル)

a1

経路制約付
隠れマルコフモデル
Fora2:（状態系列）

隠れマルコフモデルによる
区分定常なガウス過程の表現変数 基本周波数パターンの確率モデル
変換

運動方程式に基づく変数変換

EMアルゴリズムと動的計画法による最尤推定SPACE法の適用例
入力音声
基本周波数パターン（声の高さの時間変化）「小さな うなぎ屋に回転並進熱気のようなものがみなぎる」

Frequency (Hz)声帯

Magnitude

甲状軟骨の運動を推定

Time [sec]SPACE法の適用例
アクセントのタイミングを変更
基本周波数パターン（声の高さの時間変化）「小さな うなぎ屋に回転並進熱気のようなものがみなぎる」

Frequency (Hz)声帯

Magnitude

甲状軟骨の運動を変更

Time [sec]SPACE法の適用例
アクセントの強さを変更
基本周波数パターン（声の高さの時間変化）「小さな うなぎ屋に回転並進熱気のようなものがみなぎる」

Frequency (Hz)声帯Magnitude

甲状軟骨の運動を変更

Time [sec]F0パターンのフレーズ・アクセント分解の応用聞き取りやすい音声への変換
非母語話者音声の抑揚を母語話者風に
 通常音声をアナウンサーのようにメリハリのある声に
 喉頭摘出者の電気喉頭音声を自然音声風に※戸田智基先生（名大）と共同研究中

音声コンテンツの加工

映画やアニメの俳優・声優の話し方を自分好みに変換

音声合成


表情豊かに話すロボット

電気式人工喉頭アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解アウトライン 物理モデリング×時系列モデリング×確率モデリングによる音響信号の分解再構成

音声のソース・フィルタ分解
 残響除去 音源分離 基本周波数パターンのフレーズ・アクセント分解まとめ音響信号の分解と再構成
音声のソースフィルタ分解
 残響除去 音源分離 音声の基本周波数パターンのフレーズアクセント分解
今後の課題

深層学習をいかに組み込むか？
 画像生成の分野で最近注目されているDeep Generative
Models (VAE, GAN, ...)
 DNN音声分離（後述）の例のように分離問題を識別問題にうまく翻訳するアイディア
 音や声の物理法則を制約として内部に組み込んだDNN（聴感上の品質を保証、過学習を防止、・・・）

Deep NMF [Le Roux+2015]
Deep Unfolding [Hershey+2014]
パラメータの反復更新アルゴリズムを"unfold（展開）"してDNNのようなDeep architectureを作る
 Sigmoid型NNは「マルコフ確率場の平均場推論アルゴリズムを"unfold" Wienerしたもの」と見なせる
フィルタ
 NMFの良さとDeep Networkの良さを併せ持つ
 分離性能が最大になるように H を学習できる

ステップ

...

DNNとNMFのハイブリッドアプローチ
NMFの NMFの乗法更新則が活性化
各更新関数になったDNN...

Deep NMF

DNN音声分離 [Weninger+2015, Wang+2014, Du+2014, Hershey+2016]
DNNによる時間周波数マスク推定

音声のスペクトログラムはスパースになる傾向
各時間周波数点が何の音に帰属しているかを識別（画像のセグメンテーションに類似）
同一音源に帰属する時間周波数点の成分のみを通過させるマスク

周波数時間DNN音声分離 [Weninger+2015, Wang+2014, Du+2014, Hershey+2016]
 混合音声（3話者）のスペクトログラム

 正解時間周波数マスク

 推定時間周波数
マスク[Hershey+2016]より転用

宣伝機械学習プロフェッショナルシリーズ（全29巻）
第6期 「統計的音響信号処理」 （12月刊行予定）

亀岡弘和（NTT）・
吉井和佳（京大）
著