線形予測法

線形予測法（せんけいよそくほう、）は、離散信号の将来の値をそれまでの標本群の線型写像として予測する数学的操作である。
デジタル信号処理では、線形予測法を線形予測符号 (LPC) と呼び、デジタルフィルタのサブセットと見ることができる。（数学の一分野としての）システム分析では、線形予測法は数学的モデルや最適化の一種と見ることができる。
モデル.
系列 formula_1 に対して formula_2 次の線形予測法で推定した値 formula_3 は予測係数 formula_4 を用いて次で表される。
すなわち線形予測法とは formula_2 次の過去系列を用いた線形回帰である。
この誤差は多次元信号においてベクトルノルム formula_7 を用いて次のように定義される。
パラメータ推定.
線形予測法における予測係数 formula_4 には様々な推定方法が存在する。
最適化においてパラメータ formula_4 の典型的な選択法は、二乗平均平方根基準であり、これを自己相関基準とも呼ぶ。これは、以下の式で得られる二乗誤差 E[e2(n)] の期待値を最小化する手法である。
ここで 1 ≤ "j" ≤ "p" であり、"R" は信号 "x""n" の自己相関であり、次のように定義される。
ここで "E" は期待値である。多次元の場合、これはL2ノルムを最小化することに対応する。
上の式を正規方程式または Yule-Walker 方程式と呼ぶ。行列形式でこの方程式を表すと、次のようになる。
ここで、自己相関行列 "R" は対称なテプリッツ行列であり、その要素は "r""i","j" = "R"("i" − "j") である。また、ベクトル "r" は自己相関ベクトル "r""j" = "R"("j") であり、ベクトル "a" は係数ベクトルである。
より汎用的な形式として、次を最小化する方式もある。
ここで、係数 formula_4 について formula_16 とし、自明な解を防ぐのが一般的である。これにより上述と同じになるが、正規方程式は以下のようになる。
ここで、インテックス "i" の範囲は 0 から "p"、"R" は ("p" + 1) 行 ("p" + 1) 列の行列である。
パラメータの最適化は大きな問題であり、他にも様々な手法が提案されている。
その中でも自己相関手法が最もよく使われており、例えばGSMでの音声符号化に使われている。
行列方程式 "Ra" = "r" の解の計算は、比較的時間のかかる処理である。ガウスの消去法を使った解法が最も古くからあるが、"R" と "r" の対称性をうまく利用していない。より高速なアルゴリズムとして、1947年に Norman Levinson が考案したレビンソン再帰という再帰的解法がある。その後、Philippe Delsarte らが、これを改良した分割レビンソン再帰というアルゴリズムを発表した。これは、乗除算回数を約半分にしたもので、パラメータベクトルの特殊な対称性をそれぞれの再帰で利用する。
二乗予測誤差.
元信号を用いた推定法の1つが予測誤差の二乗を最小化する手法である。
線形予測値 formula_18 と真の信号 formula_19 の間の予測誤差 formula_20 は formula_21 次の係数 formula_22 を用いて次で表される。
ここで全時点にわたる予測誤差の二乗和をもって誤差関数 formula_24 とし、これを最小化して予測係数を推定する。最小値において予測係数の偏微分は formula_25 になるので formula_26 において次が成立する。formula_27
ここで formula_28 がラグ formula_29 の自己相関関数になっていることから formula_30 と表記すると formula_31 となり、ベクトル表記すると formula_32 となる。formula_33 全てを行列に集約すると以下になる。
formula_34
すなわちユールウォーカー方程式に帰着する。この formula_35 元連立一次方程式を解くことで予測係数が求まる。解くにあたってガウスの消去法などの汎用解法が利用できるが、この行列はテプリッツ行列を導くからLevinson再帰を用いた高速解法が存在する。実務的にはこれがLPCでよく利用される。
スペクトル変換.
信号の符号化（エンコード）では元信号を用いて予測係数を得ることが有用であるが、信号生成タスクでは元信号を利用することができない。そのような場合に利用可能な、元信号を直接用いない推定法の1つがスペクトルの変換である。この手法ではスペクトルを自己相関関数へ変換しユールウォーカー方程式へ持ち込みこれを解くことで予測係数を推定する。
この手法の中心にある原理はウィーナー＝ヒンチンの定理である。この定理はパワースペクトル密度のフーリエ逆変換が自己相関関数となることを示している。
ゆえにメルスペクトログラムやMFCCをパワースペクトル密度へ変換し、それにフーリエ逆変換を適用、得られた自己相関でテプリッツ行列を構成しユールウォーカー方程式を解くことで予測係数が得られる。
係数表現.
線形予測における係数は複数の形式で表現できる。以下は代表的な係数表現である。
係数表現によってノイズ耐性や計算量の特性が異なる。例えば音声符号化における線形予測（線形予測符号化）ではアナログ回線に由来するノイズへ耐性を持たせるために、LP coefficients 以外の係数表現がしばしば用いられてきた。