最小二乗法
と表される。これを正規方程式(英: normal equation)と呼ぶ。この正規方程式を解けば係数解 a {\displaystyle {\boldsymbol {a}}} が求まる。
係数解 a {\displaystyle {\boldsymbol {a}}} の解法には以下のようないくつかの方法がある。
逆行列で正規方程式を解く 行列 G T G {\displaystyle G^{T}G} が正則行列(つまりフルランク)である場合は、解 a = ( G T G ) − 1 G T y {\displaystyle {\boldsymbol {a}}=(G^{\textrm {T}}G)^{-1}G^{\textrm {T}}{\boldsymbol {y}}} は一意に求まる。ただし G T G {\displaystyle G^{T}G} の逆行列を明示的に求めることは通常は良い方法ではない。
計算量が小さい方法としてコレスキー分解( G T G = R T R {\displaystyle G^{\textrm {T}}G=R^{\textrm {T}}R} 、 R {\displaystyle R} は m × m {\displaystyle m\times m} 上三角行列)による三角行列分解を経て、最終的に R a = R − T G T y {\displaystyle R{\boldsymbol {a}}=R^{-{\textrm {T}}}G^{\textrm {T}}{\boldsymbol {y}}} を解けばよい。