最小二乗法
前提条件の節で述べたように、測定データを最小二乗法によって近似する場合、外れ値または異常値が含まれていると極端に近似の尤もらしさが低下することがある。また、様々な要因によって異常値を含む測定はしばしば得られるものである。
誤差が正規分布から極端に外れた異常値を取り除くための方法として修正トンプソン-τ法が用いられる。
数値的安定性確保のためには、積 G T G {\displaystyle G^{T}G} を経ない三角行列分解が良い。すなわち以下と同じくQR分解(直交分解)による G = Q R {\displaystyle G=QR} から、 R a = Q T y {\displaystyle R{\boldsymbol {a}}=Q^{\textrm {T}}{\boldsymbol {y}}} を解く。
直交分解で正規方程式を解く コレスキー分解の方法よりも計算量が大きいが、数値的に安定かつ汎用な方法として、QR分解や特異値分解(SVD)を用いる方法がある。これらの方法では計算の過程で積 G T G {\displaystyle G^{T}G} を必要としないため数値的安定性が高い。また G T G {\displaystyle G^{T}G} が正則行列でない(ランク落ちしている)場合は正規方程式の解が不定となるが、その場合でも、これらの手法では解 a のうちノルムが最も小さいものを求めることができる。特異値分解を用いる場合は、特異値のうち極めて小さい値を 0 とみなして計算することで数値計算上の大きな誤差の発生を防ぐことができる(英: truncated SVD)。
擬似逆行列を使う方法もあるが、計算効率が悪いため、特殊な場合(解析的な数式が必要な場合など)を除いてあまり用いられない。
b = ∑ k = 1 n x k 2 ∑ k = 1 n y k − ∑ k = 1 n x k y k ∑ k = 1 n x k n ∑ k = 1 n x k 2 − ( ∑ k = 1 n x k ) 2 {\displaystyle b={\frac {\textstyle \sum \limits _{k=1}^{n}{x_{k}}^{2}\sum \limits _{k=1}^{n}y_{k}-\sum \limits _{k=1}^{n}x_{k}y_{k}\sum \limits _{k=1}^{n}x_{k}}{n\textstyle \sum \limits _{k=1}^{n}{x_{k}}^{2}-\left(\sum \limits _{k=1}^{n}x_{k}\right)^{2}}}}