最小二乗法

最小二乗法（さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、）は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差平方和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。簡潔に言うと、誤差を伴う測定値の処理において、その誤差の二乗の和を最小にするようにし、最も確からしい関係式を求める方法である。
歴史.
1805年にアドリアン＝マリ・ルジャンドルが出版したのが初出である。しかし、1809年にカール・フリードリヒ・ガウスが出版した際に1795年には最小二乗法を考案済みだったと主張したことで、最小二乗法の発明者が誰であるかについては不明になっている。
計算の概要.
前提条件.
最小二乗法では測定データ formula_1 はモデル関数 formula_2 と誤差 formula_3 の和で
と表せるとする。物理現象の測定データには、誤差が含まれ、それは系統誤差と偶然誤差を含んでいる。この内、偶然誤差は、測定における信号経路の微視的現象に由来するならば、正規分布であると期待されることが多い。また、社会調査などの誤差理由の特定が困難な場合でも誤差が正規分布になると期待する考え方もある。
誤差が正規分布に従わない場合、最小二乗法によって得られたモデル関数はもっともらしくないことに注意する必要がある。偶然誤差が正規分布していない場合、系統誤差が無視できない位大きくそれをモデル関数に含めていない場合、測定データに正規分布から大きく外れた外れ値を含む場合などが該当する。
上記を含め、最小二乗法の理論的基盤には次のような前提が設けられている。
基礎的な考え方.
話を簡単にするため、測定値は formula_7 の二次元の平面に分布するものとし、想定される分布（モデル関数）が formula_8 の形である場合を述べる。想定している関数 formula_6 は、既知の関数 formula_10 の線型結合で表されていると仮定する。すなわち、
例えば、 formula_11 は、多項式近似であり、特に "formula_12" の時は formula_13 という直線による近似（線形回帰）になる。
今、測定で得られた、次のような数値の組の集合があるとする。
これら formula_14 の分布が、formula_15 というモデル関数に従うと仮定した時、想定される理論値は
ということになり、実際の測定値との残差は、各 formula_16 につき formula_17 ということになる。
この残差の大きさは、formula_18 平面上での formula_19 と formula_20 との距離でもある。
ここで、理論値からの誤差の分散の推定値は残差の平方和
で与えられるから、"formula_21" が最小になるように想定分布 formula_6 を（すなわち formula_23 を）、定めればよいということになる。
それには、上式は "formula_23" を変数とする関数と見なすことができるので、"formula_21" を "formula_23" について偏微分したものを 0 と置く。こうして得られた "formula_5" 個の連立方程式（正規方程式）を解き、"formula_23" を決定すればよい。
一次方程式の場合.
さらに簡単な例として、モデル関数を1次関数とし、
とおくと、"formula_30" は次式で求められる。
解法例.
当てはめたい関数 "formula_6" は、
と表すことができる。上付き添字 T は転置行列を表す。最小にすべき関数 "formula_21" は
と表される。ここに "formula_36" は、formula_37 なる成分を持つ "formula_38" 行列、formula_39、係数formula_40 である。
これの最小解 formula_41 は、formula_42 を満たす上三角行列formula_43の計算を経て、解 formula_41 を得ることができ、全体の計算量に無駄が少ない。下記の表式を用いると formula_45 が得られ、formula_46 から係数解 formula_41 を求める。
また前節で述べたように "J" をformula_41のそれぞれの成分で偏微分して 0 と置いた "formula_5" 個の式（正規方程式）は行列を用いて、
と表される。これを正規方程式（）と呼ぶ。この正規方程式を解けば係数解 formula_41 が求まる。
係数解 formula_41 の解法には以下のようないくつかの方法がある。
拡張.
多次元.
想定される分布が媒介変数 "t" を用いて formula_64 の形（あるいは formula_65 は複数の媒介変数によって決まるとしても同様）であっても考察される。
すなわち、測定値 formula_19 がパラメータ formula_67 に対する formula_68 を理論値として近似されているものと考えるのである。
この場合、各点の理論値 formula_68 と測定値 formula_19 の間に生じる残差は
である。故に、残差平方和は
となるから、この値が最小であるように、formula_65 を決定するのである。
このように、"formula_72" 組の formula_14 の測定値 formula_74 を"formula_72" 組の formula_76 の測定値 formula_77 に拡張したものも考察することができる。
測定の誤差が既知の場合.
"formula_72" 回の測定における誤差があらかじめ分かっている場合を考える。異なる測定方法で測定した複数のデータ列を結合する場合などでは、測定ごとに誤差が異なることはしばしばある。誤差が正規分布していると考え、その標準偏差 formula_79 で、誤差の大きさを表す。すると、誤差が大きい測定より、誤差が小さい測定の結果により重みをつけて近似関数を与えるべきであるから、
を、最小にするように "f" を定める方がより正確な近似を与える。
毎回の測定が独立ならば、測定値の尤度は "formula_80" に比例する。そこで、上記の "formula_81" を最小にする "formula_6" は、最尤推定値であるとも解釈できる。また、"formula_81" は自由度 "formula_84" のカイ二乗分布に従うので、それを用いてモデル "formula_6" の妥当性を検定することもできる。
毎回の測定誤差が同じ場合、"formula_81" を最小にするのは "formula_21" を最小にするのと同じ意味になる。
非線形最小二乗法.
もし、"formula_6" が、"formula_23" の線型結合で表されないときは、正規方程式を用いた解法は使えず、反復解法を用いて数値的に "formula_23" の近似値を求める必要がある。例えば、ガウス・ニュートン法やレーベンバーグ・マーカート法が用いられる。とくにレーベンバーグ・マーカート法（）は多くの多次元非線形関数でパラメータを発散させずに効率よく収束させる（探索する）方法として知られている。
異常値の除去.
前提条件の節で述べたように、測定データを最小二乗法によって近似する場合、外れ値または異常値が含まれていると極端に近似の尤もらしさが低下することがある。また、様々な要因によって異常値を含む測定はしばしば得られるものである。
誤差が正規分布から極端に外れた異常値を取り除くための方法として修正トンプソン-τ法が用いられる。