線形回帰
証明は久保川(2017)や解説記事が詳しい。
β ^ {\displaystyle {\widehat {\beta }}} は多次元正規分布 N ( β , σ 2 ( X ⊤ X ) − 1 ) {\displaystyle {\mathcal {N}}\left(\beta ,\sigma ^{2}({\boldsymbol {X}}^{\top }{\boldsymbol {X}})^{-1}\right)} に従う
( N − P − 1 ) S 2 σ 2 {\displaystyle {\frac {(N-P-1)S^{2}}{\sigma ^{2}}}} は自由度 n − p − 1 {\displaystyle n-p-1} の χ n − p − 1 2 {\displaystyle \chi _{n-p-1}^{2}} 分布に従う
β ^ {\displaystyle {\widehat {\beta }}} と S 2 {\displaystyle S^{2}} は独立
上記の事実をもとに回帰係数の有意性検定、信頼区間や予測区間を構成できる。
線形回帰モデルは多くの場合、最小二乗法を用いてフィッティングされる。 それ以外のフィッティング方法としては、最小絶対値法や、リッジ回帰(L2ノルムペナルティ)やラッソ回帰(L1ノルムペナルティ)のように、最小二乗コスト関数のペナルティ付きバージョンを最小化する方法などがある。 逆に最小二乗法は、線形モデルではないモデルのフィットにも使用できる。 このように、「最小二乗法」と「線形モデル」という言葉は密接に関連しているが、同義ではない。