ガウス＝マルコフの定理
Cov  [ β ~ ] = E [ ( C Y − β ) ( C Y − β ) ⊤ ] = E [ C ε ( C ε ) ⊤ ] = C E [ ε ε ⊤ ] C T = σ 2 C C ⊤ {\displaystyle {\begin{alignedat}{2}\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]&=E\left[(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})^{\top }\right]\\&=E\left[\mathbf {C} {\boldsymbol {\varepsilon }}(\mathbf {C} {\boldsymbol {\varepsilon }})^{\top }\right]\\&=\mathbf {C} E[{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }]\mathbf {C} ^{T}\\&=\sigma ^{2}\mathbf {C} \mathbf {C} ^{\top }\end{alignedat}}}
になる。ここで C ^ = ( X ⊤ X ) − 1 X ⊤ {\displaystyle {\hat {\mathbf {C} }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }} とした時の推定量が最小二乗推定量 β ^ {\displaystyle {\widehat {\boldsymbol {\beta }}}} になるので C C ⊤ ⪰ C ^ C ^ ⊤ {\displaystyle \mathbf {C} \mathbf {C} ^{\top }\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }} を示せばよい。
線形回帰モデルとして目的変数 Y とp 個の説明変数 Xi, i = 1, ..., p および誤差項 ε k {\displaystyle \varepsilon _{k}} の関係を以下のようにモデル化したものを考える。
Y k = β 0 + β 1 X 1 + β 2 X 2 + ⋯ + β p X p + ε k , k = 1 , ... , n . {\displaystyle Y_{k}=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon _{k},\ k=1,\dots ,n.}
目的変数と説明変数の測定結果の組 (yk; xk,1,...,xk,p) を1つのデータとし、n( ≥ p) 個のデータを用いて残差の平方和
∑ k = 1 n { y i − ( β 0 + β 1 x i , 1 + β 2 x i , 2 + ⋯ + β p x i , p ) } 2 {\displaystyle \sum _{k=1}^{n}\left\{y_{i}-(\beta _{0}+\beta _{1}x_{i,1}+\beta _{2}x_{i,2}+\cdots +\beta _{p}x_{i,p})\right\}^{2}}