ガウス＝マルコフの定理
ガウス=マルコフの定理（ガウス＝マルコフのていり）とは、あるパラメタを観測値の線形結合で推定するとき、残差を最小にするような最小二乗法で求めた推定値が、不偏で最小の分散を持つことを保証する定理である。カール・フリードリヒ・ガウスとアンドレイ・マルコフによって示された。
いま、"n" 組の観測値 formula_1 
を説明するモデルとして、
という形を期待する。推定したいパラメタは "β" で、未知である。誤差
"ε" も未知であるが、以下のような統計的性質は分かっているとする。ここに formula_2, formula_3 で、"E"() は平均を取る操作、 "I" は単位行列、上付き添字 T は転置行列を表す。上述のように誤差は未知であるが、パラメタ "β" の推定値 formula_4 が決まれば、残差の平方和 formula_5 が計算できる。これを最小にするように formula_4 を定めるのが最小二乗法である。このようにして求められた推定値は、不偏（formula_7）で他のいかなる "β" の線形推定値よりも小さな分散 formula_8 を持つ。誤差が正規分布している必要はなく、観測が独立でなくても誤差が無相関であればよい。
上と同じ記号を用いると、最小二乗推定量は
という変形が可能なことに注意する。
両辺の平均を取ると、 誤差の不偏性の仮定より最右辺第二項が消えて、formula_4 の不偏性が示される。また右辺の "β" を左辺に移項して、平均を取ることで、
である。ここで別な "β" の推定値 formula_10 を考える。"D" は "x" とは無相関 "E(DX) = 0" であることに注意すると、
となる。第二項は負でないから formula_4 が最小分散を持つことが示された。
地球科学において、不規則な観測点 "r" で得られたある物理量 "x" の観測値 "y" をグリッド上に内挿する技法も、ガウス=マルコフの定理と呼ばれることがある。グリッド"j"上の物理量の値を "z" で表し、その推定値として
すなわちformula_12という観測値の線型結合を用いることにする。このような行列 "B" の中で最良のものは、誤差の共分散 formula_13 の対角成分を最小とするものである。式変形を続けると、
となり、"B=E(zy"")E(yy"")" と取ると、共分散行列の対角成分が最小になることが示される。
観測値 "y" は物理量 "x" と、誤差 "n" を含んだ関係
"y = Fx + n" と仮定することが多い。さらに観測値と誤差は無相関であることを利用すると、
"E(yy"") = FE(xx"")F""+ E(nn"")" や、 "E(zy"") = E(xx"")F" となることが示され、これが残差最小になるように求めた "x" の最小二乗解と一致する。この場合、"E(xx"")" と "E(nn"")" は既知である必要がある。