線形回帰
最小二乗法はカール・フリードリッヒ・ガウスが1820年代に発展させた。本方法は、擾乱項 εi の振る舞いに次のような仮定をする(ガウス=マルコフ仮定)。
擾乱 εi の期待値は 0 である E [ ε ] = 0 {\displaystyle E[\varepsilon ]=0}
擾乱 εi は相互に無相関である(統計的な独立の仮定よりは弱い) cov  ( ε i , ε j ) = 0 , i ≠ j . {\displaystyle \operatorname {cov} (\varepsilon _{i},\varepsilon _{j})=0,\qquad i\neq j.}
擾乱 εi は等分散、すなわちみな等しい分散をもつ(ガウス=マルコフの定理も参照) V [ ε i ] = σ 2 , ∀ i ∈ [ n ] . {\displaystyle V[\varepsilon _{i}]=\sigma ^{2},\qquad \forall i\in [n].}
以上の仮定は、最小二乗法がある意味で最適なパラメタの推定量を与えることを保証する。
説明変数の個数が p 個のモデルを考えると、線形回帰によって決定すべきパラメタは係数 β1,..., βp と切片 β0 の p + 1 個である。目的変数と説明変数の測定結果の組 (yk; xk1,...,xkp) を1つのデータとし、n 個のデータを用いた線形回帰は以下のように表すことができる。