統計推測特論（稲葉）No.1-132022.01.25(火２)A739

よって、Prop.C14 系より、(i),(ii) が出る。(iii) は、Prop.C15 から出る。
(iv) は e/σ = X と考えれば Prop.C18 より分かる。(v) は (iii) より出る。

証明終b e の平均、分散は知られていたから、正規性が新しい結果である。
[注意]:Prop.1.3.1 より、β,b σβ,b2 は、β, σ 2 の不偏推定量の中で分散最小である。

Prop.1.3.5.

証明：略（レイマンの仮説検定論を見よ）

証明終モデルの中に含まれている説明変数 (x1 , · · · , xp ) の一部が不要であるかどうかの検定を考える。

Prop.1.3.6.

y = Xβ + ε]
X1 X2 ,[X=p−q[
β=qβ1β2]p−qq

H0 ：β 2 = 0=⇒(i) H0 の尤度比 (LR, Likelihood Ratio) は、以下の式で与えられる。
()− n2∼22LR = || e || /||e||∼∼

ここに、 e := y − X1 β 1∼
β 1 ：β 2 = 0 のときの β 1 の最小二乗解 (LSE)(ii) ∼e −e ∼ Nn ((In − ΠX1 )X2 β 2 , σ 2 (ΠX − ΠX1 ))∼∼y := X β , ∼e −e, e は独立
11(iii) H0 の LR test(有意水準 α) は、∼n − p || e −e||2q(α) ⇐⇒> Fn−pq2||e||H0 を棄てる

証明：(i) Prop.1.3.3 より、−nmax L = Kb
σMexp(− n2 )β , σ212
ただし、σbM= n ||e||2H0 の下で、同様にmax L = K ∼σ −n exp(− n2 )2β1 , σ∼1 ∼ただし、 σ 2 = n || e ||2max L
β 1 , σ2( ∼ )−n ( ∼ 2 )− n2|| e ||σ=
ゆえに、LR ==max L
σbM||e||2β , σ2

統計推測特論（稲葉）No.1-142022.01.25(火２)A739(ii) e = (I − ΠX )y∼e −e = (I − ΠX1 )y − (I − ΠX )y = (ΠX − ΠX1 )y∼y = ΠX1 y
これらは、1 次変換ゆえ、jointly normal
3 つのベクトルは互いに直交。ゆえに独立となる。
（注：この証明に次頁の命題 A.2 を用いる）((iii) LR =ゆえに、() n|| ∼e −e||2 − 2= 1+||e||2|| ∼e −e||2> c′2||e||) n||e||2 + || ∼e −e||2 − 2||e||2LR < c⇐⇒

H0 の下で、}∼|| e −e||2 ∼ σ 2 χ2q||e||2 ∼ σ 2 χ2n−p∼
n − p || e −e||2q
ゆえに、 q∼ Fn−p2||e||証明終

この検定を使って、説明変数の選択を行うことができる。
ただし、x1 , · · · , xp が重要度の順に並んでいると仮定する。
まず、

Hp ：βp = 0を検定する。
Hp が棄却されれば (x1 , · · · , xp ) 全体を使い、採択されればHp−1 ：βp−1 = 0に進む。以下、同様である。この方法を、変数減少法という。
逆に、H1 ：β1 = 0 から出発し、変数を加えていく方法を 変数増加法 という。
他に、変数減増法（イナバ氏お勧め）、変数増減法 がある。

Remark：変数減増法
3 つ以上の変数（例えば、x1 , x2 , x3 ）を削除したとき、本当は x1 が重要な変数であるのに、これに相関がある x2 , x3 が残っていることで、最初に、削除されることがある。この後、x2 , x3は、単独では影響が小さいから削除されると、本当に残したい x1 も含めて削除されてしまう。
このような場合に、最適なモデル（今回は、x1 を含むモデル）に到達できる変数選択法として、変数減増法がある。変数減増法は、フルモデルから始めて、変数を減少していくが、2 つ以上の変数を削除した場合、今までに削除した中で、取り込むと寄与率が著しく上がる時には、モデルに残す、という手法である。大事な変数を落としてしまわない、と言う意味で、広く用いられている選択方式である。

Remark：最小二乗解, LSE(Least Square Estimator) とは
b は，ズレの 2 乗の和が最小になる解である。これを、最小二乗解 とDef.1.2.2 で与えられた βいう。

統計推測特論（稲葉）No.1-172022.01.25(火２)A739

補題 A.1. 部分行列の逆行列表現の公式((A.1)ABCD)−1(=A−1 + A−1 BW CA−1−A−1 BW−W CA−1W)が成り立つ。ただし、W = (D − CA−1 B)−1 である。
定義 A.1. 行列 X による射影 ΠX とは、ΠX = X(X ′ X)−1 X ′ とする。

命題 A.2．X = [X1 X2 ] における射影 ΠX , ΠX1 について、(A.2)

ΠX1 ΠX = ΠX1が成り立つことを示せ。
証明：まず、射影の定義 A.1 より、(A.3)

ΠX = X(X ′ X)−1 X ′(A.4)

ΠX1 = X1 (X1′ X1 )−1 X1′である。ここで、[ [(A.5)(X ′ X)−1 =X1′]X2′]−1[X1 X2 ][=X1′ X1X1′ X2X2′ X1X2′ X2]−1に対して、補題 A.1 より、(A.1) 式を適用することができる。（これで、必ず証明できるはず。）[(A.5)′(X ′ X)−1 =[=:ABCD(X1′ X1 )−1 + (X1′ X1 )−1 X1′ X2 W X2′ X1 (X1′ X1 )−1−(X1′ X1 )−1 X1′ X2 W

−W X2′ X1 (X1′ X1 )−1W]
とおく。

ここで、W −1 = X2′ X2 − X2′ X1 (X1′ X1 )−1 X1′ X2 = X2′ (I − ΠX1 )X2 である。
したがって、X の射影(A.6)

ΠX = X(X ′ X)−1 X ′ = [X1 X2 ][ABC

D][X1′X2′][= [X1 X2 ]AX1′ + BX2′]CX1′ + DX2′= X1 AX1′ + X1 BX2′ + X2 CX1′ + X2 DX2′
ここに、(A.5)′ を代入して、(A.7)

ΠX = X1 {(X1′ X1 )−1 + (X1′ X1 )−1 X1′ X2 W X2′ X1 (X1′ X1 )−1 }X1′+X1 {−(X1′ X1 )−1 X1′ X2 W }X2′ + X2 {−W X2′ X1 (X1′ X1 )−1 }X1′ + X2 W X2′= ΠX1 + ΠX1 X2 W X2′ ΠX1 − ΠX1 X2 W X2′ − X2 W X2′ ΠX1 + X2 W X2′= ΠX1 + (I − ΠX1 )(X2 W X2′ )(I − ΠX1 )]統計推測特論（稲葉）No.1-18
2022.01.25(火２)A739

ここで、X1′ ΠX1 = X1′ X1 (X1′ X1 )−1 X1′ = X1′ ゆえ X1′ (I − ΠX1 ) = 0 であり、

(A.8)

X1′ ΠX = X1′ {ΠX1 + (I − ΠX1 )(X2 W X2′ )(I − ΠX1 )} = X1′ + 0 = X1′となる。したがって、結論を得る。（証明終）別証明：まず、(A.9)

X ′ ΠX = X ′ X(X ′ X)−1 X ′ = X ′ゆえ、X ′ ΠX = X ′ に X = [X1 X2 ] を代入すると、[(A.10)

X1′X2′][ΠX =X1′ ΠX
X2′ ΠX][=X1′]

X2′

したがって、X1′ ΠX = X1′ と分かる。よって、結論を得る。（別証明終）