2017/6/10

Mathtodon

黒木玄 Gen Kuroki@genkuroki

mathtod.online/@h_okumura/1186…
分散の計算で必ず n で割り、n − 1 で割る話をしないのか。それだと、初歩的な分散の推定で一番面白い部分をネグっている感じ。
不偏分散の話は始めて聞くと非常に面白い話だと思う。
私は表現論をちょっと知っているので、不偏分散の話は「gl(n) と sl(n) のCartan部分代数の違いと同じ」と理解しています。のCartan部分代数のc正規直交基底 Eii をトレースが0の対角行列に射影
すると
gl(n)

Eii − M ,1M =nn∑ Eiii=1になります。 Eij は (i, j) 成分だけが 1 で他が 0 の行列(所謂行列単位)。
2017年05月16日 14:11 · Web ·  1 ·  6 · Webで開く

黒木玄 Gen Kuroki @genkuroki
続きon May 16n∑ trace(E2ii) = ni=1で、1M =nn1

∑ E ii =i=1Enのとき
n2∑ trace((E ii − M ) ) = n − 1i=1です。後者はhttps://mathtod.online/@genkuroki/118873

1/6

2017/6/10

Mathtodonnn − 12∑(E ii − M )=Eni=1のトレースなので n − 1 になります。
ここで計算して出て来た n と n − 1 の違いは、「不偏分散ではどうして n − 1 で割るのか」の話と本質的に同じ構造になっています。
on May 16
黒木玄 Gen Kuroki @genkuroki
E ii を E ii − (1/n)E に射影することによって、長さ(ノルム)の二乗が1 − 1/n = (n − 1)/n 倍に小さくなることと、不偏分散で n − 1 で割る話は本質的に同じです。

本当は、行列の話にしなくてもよくて、R の標準基底の σ 倍 σe i を座標の総和が 0 の部分空間に射影する様子を想像しても良いです。 σe i のノルムの2乗は22σ で、射影した結果のノルムの2乗は ((n − 1)/n)σ になります。
non May 16
黒木玄 Gen Kuroki @genkuroki
E[XY ] は X と Y の内積だと思ってよいという話がわかっていれば、ベクトルに関する視覚的なイメージに不偏分散では n − 1 で割らなければいけない理由が帰着してします。

わけのわからない理由で n − 1 で割るのではなく、直観的イメージに基いて当然そうなるべきだということがわかる。
n次元は絵が描けないので 3 次元くらいの絵を描いて納得するしかないのですが。

統計学の易しい教科書は線形代数を知らなくてもよいように書かれているせいで、結果的にわけのわからない計算に帰着してしまうケースが多いように思えます。
on May 16
黒木玄 Gen Kuroki @genkuroki
もう一度、強調しておきますが、E[X] や E[XY ] は推定量ではなく、母集団分布で決まる量です。

そして、Xk が独立同分布な確率変数列のとき、標本平均を
M =X1 + ⋯ + Xnnと書いたときのS21=n − 1n2∑(Xk − M )k=1

は分散の推定量(所謂不偏分散)です。
推定量である標本平均 M と不偏分散 S 2 が確率変数になっていることに注意して下さい。
確率変数として扱う理由は統計学ではサンプルを取り直すごとに推定量がゆらぐからです。そのゆらぎがどうなっているかを理解しないと、推定量がどれだけ信頼できるかわからなくなってしまいます。
2https://mathtod.online/@genkuroki/118873[][]

2/62017/6/10

Mathtodon
E[M ]や E[S ] は母集団分布で決まる量になります。それらはそれぞれ母集団の平均と分2散に一致します。 S 2 の定義で n ではなく、n − 1 で割らなければいけないという話は最初聞いたときには誰もが「あれ？それはどうしてだ？」と興味を持つような話題だと思います。
黒木玄 Gen Kuroki @genkuroki
線形代数と不偏分散の関係への補足

on May 16

ポイントは「自由度」がどうして一つ減って n から n − 1 になるかです。
定理：e 1 , … , e n は n 次元実ユークリッド空間 V の正規直交基底であり、W は V の m~次元部分空間であるとする。このとき、e i の W への直交射影を ei と書くと、
n2~∑ ||e i || = m.
i=1

不偏分散のケースはこの定理の m = n − 1 の場合になっています。
「自由度」が減る仕組みは直交射影。
黒木玄 Gen Kuroki @genkuroki
続きon May 16~
証明：W の正規直交基底 w1 , … , wm を取ると, e i の W への直交射影 ei はm~
e i = ∑(wk , e i )wk
k=1と書ける. ゆえにn2~∑ ||e i ||i=1nm
2= ∑ ∑(wk , e i )
i=1

k=1m
2= ∑ ||wk ||

= m.

k=1

2つ目の等号で e 1 , … , e n が全体の空間 V の正規直交基底であることを使った. q.e.d.
より一般に
n∑(a, e i )(e i , b) = (a, b)
i=1が成立している。
量子力学の教科書には

https://mathtod.online/@genkuroki/118873

3/62017/6/10

Mathtodonn∑ |e i ⟩⟨e i | = 1i=1のように書いてあることが多い.
黒木玄 Gen Kuroki @genkuroki
続きon May 16

先の線形代数における初歩的結果を独立同分布確率変数達 X1 , … , Xn に適用するとどうなるでしょうか?
簡単のため Xk の平均は 0 で分散は σ 2 = 1 に標準化されている場合を考えます。一般の場合はその場合に帰着します。このとき、E[Xi Xj ] = δij

なので、Xi 達はそれらで張られる実ベクトル空間 V の正規直交基底になっています。内積は E[XY ] で与えておきます。
標本平均 M を
n1M =n∑ Xii=1と定め、V の n − 1 次元部分空間 W を M と直交する V のベクトル全体の空間と定めます。このとき、Xi の W への直交射影は Xi − M になります。実際、E[M Xi ] もE[M M ] も 1/n になるので、それらの差を取ることによって、E[M (E i − M )] = 0 となり、E i − M ∈ W となることがわかります。
続く
黒木玄 Gen Kuroki @genkuroki
続くon May 16

不偏分散 U 2 の定義は
U2n12=n − 1∑(Xi − M )i=1なのですが、先の定理より、右辺の和の部分の期待値は W の次元の n − 1 になります。
ゆえにE[U22] = 1 = σ .

すなわち、不偏分散の期待値は母集団分布の分散に一致します(σ 2 ≠ 1 の場合も同様)。これで n − 1 で割って不偏分散を定義するメリットが判明しました。
黒木玄 Gen Kuroki @genkuroki
まるで教科書だな。

https://mathtod.online/@genkuroki/118873

on May 164/62017/6/10

Mathtodon

黒木玄 Gen Kuroki @genkuroki
続き。

on May 20

不偏分散ではなく、不偏共分散でも同じことになることも説明しておきます。正規直交基
底をすべて双対基底に置き換えて議論するだけ。
定理: V は体 K 上の n 次元ベクトル空間であるとし, その双対空間を V ∗ と表わす. M , Nはそれぞれ V , V ∗ の m 次元部分空間であり, M × N へのペアリングの制限は非退化であると仮定する. このとき直和分解
V = M ⊕ NV∗⊥= N ⊕ M,⊥が成立している. この直和分解に関する x ∈ V の N ⊥ への射影を p(x) と書き, y ∈ V ∗の M ⊥ への射影を q(y) と書くことにする. このとき V , V ∗ の双対基底 xi , yi についてn∑⟨p(xi ), q(yi )⟩ = n − m.
i=1

すなわち「自由度」が m 減る.
on May 20
黒木玄 Gen Kuroki @genkuroki
ここまでの抽象化に耐えられる人は楽々証明できると思うので証明は略. 双対基底についてn∑ |xi ⟩⟨yi | = 1
i=1が成立することを使うだけ.
E[Xi Y j ] = δijのとき
X1 + ⋯ + Xn¯¯¯¯X =,n¯¯¯¯YY1 + ⋯ + Yn=n

とおくと, E[X Y ] = 1/n ≠ 0 なので,¯¯¯¯¯¯¯¯nV = ∑ RXi ,i=1nV∗= ∑ RY i ,i=1¯¯¯¯M = RX ,¯¯¯¯N = RY

とおくと, m = 1 の場合の上の定理を使えてhttps://mathtod.online/@genkuroki/118873

5/6

2017/6/10

Mathtodonn¯¯¯¯¯¯¯¯E [∑(Xi − X )(Y i − Y )] = n − 1.
i=1

直接計算した方が易しいですね.

mathtod.online powered by Mastodon

https://mathtod.online/@genkuroki/118873

6/6