冪等行列
行列 A が冪等であるための必要十分条件は、任意の正整数 n に対して A n = A {\displaystyle A^{n}=A} が成り立つことである。
(証明)十分性は、 n = 2 {\displaystyle n=2} ととれば良いので明らかである。必要性は数学的帰納法によって示せる。 A 1 = A {\displaystyle A^{1}=A} は明らかだから n = 1 {\displaystyle n=1} のときはよい。 A k − 1 = A {\displaystyle A^{k-1}=A} と仮定する。このとき A k = A k − 1 A = A A = A {\displaystyle A^{k}=A^{k-1}A=AA=A} となり、 n = k {\displaystyle n=k} のときも正しいことが分かった。
冪等行列は回帰分析や計量経済学でしばしば現れる。例えば最小二乗法では、残差 ei の平方和を最小にするように係数ベクトル β を求めることが問題となる。これを行列で書けば:
Minimize ( y − X β ) T ( y − X β ) {\displaystyle (y-X\beta )^{\textsf {T}}(y-X\beta )}
となる。
ここで y {\displaystyle y} は従属変数の観測値を並べたベクトル、 X {\displaystyle X} は各列がそれぞれの独立変数の観測値を並べたものとなっている行列である。このとき係数ベクトルの推定量は
β ^ = ( X T X ) − 1 X T y {\displaystyle {\hat {\beta }}=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}y}
となる。ここで上付きの T は行列の転置を表し、残差ベクトルは
e ^ = y − X β ^ = y − X ( X T X ) − 1 X T y = [ I − X ( X T X ) − 1 X T ] y = M y {\displaystyle {\hat {e}}=y-X{\hat {\beta }}=y-X\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}y=\left[I-X\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}\right]y=My}