月4 2013 冬学期 [4830-1032]

第4回

音声音響信号処理（線形予測分析と自己回帰モデル）

亀岡弘和
東京大学大学院情報理工学系研究科
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所

講義内容（キーワード）
信号処理、符号化、標準化の実用システム例の紹介
情報通信の基本（誤り検出、訂正符号、変調、IP）
符号化技術の基本（量子化、予測、変換、圧縮）
音声分析・合成・認識・強調、音楽信号処理
統計的信号処理の基礎（スペクトル、ガウス過程、最尤推定）
ガウス性確率変数の基本性質
時間周波数分析（短時間フーリエ変換、ウェーブレット変換）
ウィナーフィルタとカルマンフィルタ
音声生成過程のモデル（ソースフィルタ理論と藤崎モデル）
自己回帰モデルと線形予測分析
独立成分分析によるブラインド音源分離
非負値行列因子分解によるスペクトログラムの分解表現
スペクトル間擬距離最適化アルゴリズム（EMアルゴリズム、補助関数法）

講義スケジュール
10/ 7
守谷先生担当10/15 (火) 守谷先生担当
10/21
守谷先生担当10/28
休講
11/ 5 (火) 線形予測分析と自己回帰モデル
11/1111/18
11/25
12/ 2
12/ 9
12/16
12/23
1/13
1/20
1/27

成績評価
レポート課題
本講義に関連する論文を１つ選び、発表資料形式（パワーポイント等）にまとめて学期末に提出してください。提出先は最終講義にてお知らせします。
 「どの程度本質を理解しているか」「要点が分かりやすく記述されているか」「なぜその論文を重要と考えたか」を評価の規準にして採点します。
 毎回の講義後にその回の講義に関連する論文を１つ挙げる予定です。それらの中から選んでも良いですし、自分で自由に探してきてもOKです。
講義の感想 レポートとともに講義に対する感想文も一緒に提出して下さい。
※講義資料は講義用ホームページにアップしていく予定です。
講義URL
http://hil.t.u-tokyo.ac.jp/~kameoka/SAP/

本日の話題線形予測分析 (Linear Predictive Coding)
音声情報処理研究の歴史の幕開けとなった信号処理技術（統計的手法を取り入れた初めての音声研究として有名）
 音声分析合成（ボコーダ）
 音声音響符号化
 音声認識のための音声特徴量
 音声強調（残響除去、ブラインド音声分離）などへの応用 日本発の技術としても知られる
 Levinson-Durbin-板倉アルゴリズム、偏自己相関(PARCOR)、線スペクトル対(Line Spectrum Pair) の発明や板倉齋藤距離の発見など、板倉文忠氏（名古屋大学名誉教授）の電電公社時代の活躍が世界的に有名
線形予測分析３つの観点から解説「予測誤差」を最小化する観点
 最小二乗誤差推定
 線形系としての観点 自己回帰系（AutoRegressive system）
 音声の生成過程モデル
 最尤推定
 白色化
 スペクトルマッチングとしての観点
 最尤スペクトル推定
 板倉斎藤距離線形予測分析３つの観点から解説「予測誤差」を最小化する観点
 最小二乗誤差推定
 線形系としての観点 自己回帰系（AutoRegressive system）
 音声の生成過程モデル
 最尤推定
 白色化
 スペクトルマッチングとしての観点
 最尤スペクトル推定
 板倉斎藤距離「予測誤差」を最小化
動機：符号化への応用少ないパラメータで音声信号を表現したい問題：線形予測誤差の最小化
 時刻 の信号のサンプル値を、過去のサンプル値の線形結合で「予測」
 「予測」の誤差を最小にするには結合係数（予測係数という）をどう置けば良い？
time最小二乗誤差推定による定式化
すべての でとなるを求めたい

目的関数



最小解ではを満たすため・・・

最小二乗誤差推定による定式化
連立方程式に帰着

以上より最適予測係数は以下の方程式を満たす

この方程式をYule-Walker方程式という

Levinson-Durbin-Itakuraアルゴリズム (1/6)
 Yule-Walker方程式

連立一次方程式の解き方
一般の場合：Gaussの消去法
左辺が正値対称行列の場合：
Cholesky分解
左辺がToeplitz行列の場合：
Levinsonアルゴリズム

この場合の解き方は？
Toeplitz行列

右辺と左辺の関係が特殊Levinson-Durbin-Itakuraアルゴリズム (2/6)
右辺を左辺に移項

P×P行列(P+1)×(P+1)行列

Levinson-Durbin-Itakuraアルゴリズム (3/6)
 P次の（最適な）予測係数から、(P+1)次の（最適な）予測係数を再帰的に解けないか？

関係は？

Levinson-Durbin-Itakuraアルゴリズム (4/6)
式（＊）を変形(P+1)×(P+1)行列(P+2)×(P+2)行列

Levinson-Durbin-Itakuraアルゴリズム (5/6)
左辺は対称行列より・・・①・・・②

①－kP×② （ kPは任意の係数）

Levinson-Durbin-Itakuraアルゴリズム (6/6)

は任意なのでは下記の形になるとなるようにを選ぶと上式

 よって以下の再帰式を得る
偏自己相関(Partial Correlation; PARCOR)係数[Itakura1969]

なお、明らかに予測誤差
最適予測係数を

予測誤差とすると、「予測の誤差」は・・・と予測係数から元信号を復元可能

線形予測符号化（Linear Predictive Coding）
時系列信号の可逆圧縮符号化の標準的な方式
符号化して伝送

予測係数
予測誤差

時系列信号

線形予測分析器

予測誤差の振幅は0付近に集中
Golomb-Rice符号化
出現頻度の高い振幅値に短い符号の割り当て

線形予測分析３つの観点から解説「予測誤差」を最小化する観点
 最小二乗誤差推定
 線形系としての観点 自己回帰系（AutoRegressive system）
 音声の生成過程モデル
 最尤推定
 白色化
 スペクトルマッチングとしての観点
 最尤スペクトル推定
 板倉斎藤距離線形予測分析３つの観点から解説「予測誤差」を最小化する観点
 最小二乗誤差推定
 線形系としての観点 自己回帰系（AutoRegressive system）
 音声の生成過程モデル
 最尤推定
 白色化
 スペクトルマッチングとしての観点
 最尤スペクトル推定
 板倉斎藤距離線形系としての解釈
所与の信号から予測誤差を出力する線形システム

所与の信号

予測誤差

移動平均システム（全零モデル）

予測誤差を入力として所与の信号を出力する線形システムは？
予測誤差

所与の信号

自己回帰システム（全極モデル）

音声生成過程のモデルとして
声帯振動が声道で共振して音声波形となって口から発せられる
声帯振動

音声波形

自己回帰システムにより声道特性を表現した場合の音声生成過程モデル

音声生成の線形モデル
駆動音源部

声道共振部

パルス列音源（有声音源）

線形システム

白色雑音源（無声音源）

 “Speak & Spell”
LPCに基づく音声合成LSIを搭載
 米国のTexas Instruments社開発
 1978年発売


音声信号

“Speak & Spell”のコマーシャル

統計モデルによる音声生成過程の表現
声帯振動に関する仮定
Gauss性 ・・・
 定常性・・・
 白色性・・・


Toeplitz行列

声道特性に関する仮定
自己回帰システム（全極モデル）最尤推定今までの仮定をまとめると・・・

未知パラメータは観測されるのは

観測信号 の確率密度関数（尤度関数という）



対数尤度は

logdet項：

白色化効果以上の統計モデルではについて白色性を仮定していたので、先の最尤推定では ができるだけ白色になるようにを決めようとしていたことになるこのことをよりイメージしやすくするため、以上のモデルを周波数領域で定式化してみようここら辺で一息線形予測分析３つの観点から解説「予測誤差」を最小化する観点
 最小二乗誤差推定
 線形系としての観点 自己回帰系（AutoRegressive system）
 音声の生成過程モデル
 最尤推定
 白色化
 スペクトルマッチングとしての観点
 最尤スペクトル推定
 板倉斎藤距離線形予測分析３つの観点から解説「予測誤差」を最小化する観点
 最小二乗誤差推定
 線形系としての観点 自己回帰系（AutoRegressive system）
 音声の生成過程モデル
 最尤推定
 白色化
 スペクトルマッチングとしての観点
 最尤スペクトル推定
 板倉斎藤距離周波数領域での定式化
時間領域では・・・
周波数領域（Fourier変換領域）では・・・
（は離散Fourier変換行列）の確率密度関数は？

について


に関してここでは以下の巡回行列型を仮定

よって→も巡回行列は離散Fourier変換行列によって対角化される

対角行列

周波数成分の確率密度関数
以上をまとめると・・・周波数の成分
 他の周波数の成分と独立
 分散がの複素正規分布に従う

ImRe「スペクトルマッチング」としての見方
周波数成分が与えられた下での対数尤度

パワー
スペクトル

規格化
周波数

上記の対数尤度は、定数項を除けば以下と等しい
板倉斎藤距離板倉斎藤距離他の擬距離尺度との比較
二乗誤差

I ダイバージェンス
板倉齋藤距離線形予測分析は「スペクトル包絡」の推定に相当観測パワースペクトルと全極スペクトルとの板倉斎藤距離最小化

パワースペクトル

観測パワースペクトル全極スペクトル

周波数

LPCによる音声スペクトル推定の例
1～8次

LPCによる音声スペクトル推定の例
9, 10, 12, 14, 16, 18, 22, 26次

線形予測分析３つの観点から解説「予測誤差」を最小化する観点
 最小二乗誤差推定
 線形系としての観点 自己回帰系（AutoRegressive system）
 音声の生成過程モデル
 最尤推定
 白色化
 スペクトルマッチングとしての観点
 最尤スペクトル推定
 板倉斎藤距離レポート課題対象論文
 P. Kabal and R. P. Ramachandran, "The Computation of Line

Spectral Frequencies Using Chebyshev Polynomials,“ IEEETransactions on Acoustics, Speech, Signal Processing, vol. 34,no. 6, pp. 1419–1426, Dec. 1986.