ガウス＝マルコフの定理
と置くと線形回帰モデルは
Y = X β + ε {\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}
とかけ、最小二乗推定量 β ^ {\displaystyle {\widehat {\boldsymbol {\beta }}}} は
β ^ = ( X ⊤ X ) − 1 X ⊤ Y {\displaystyle {\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y} }
で与えられる。なお、上付き添字 ⊤ {\displaystyle \top } は転置行列を表す。