2017/6/10

Mathtodon

黒木玄 Gen Kuroki @genkuroki
メモ：話題として思いついたもの

on May 16(1) ピアソンのカイ二乗検定量がどうして「平均 0、分散 1 になるように正規化されたポアソン分布の2乗の和」と形式的に同じ形になっているのか？
ピアソンのカイ二乗検定量はr∑2(Oi − E i )Eii=1の形をしており、ポアソン分布では平均と分散が等しいので、平均が λ のポアソン分布に従う確率変数 X についてX − λ−−√λは平均 0、分散 1 になります。ピアソンのカイ二乗統計量の各項は形式的にこの型の式の二乗の形になっている。これはなぜかという話。
これも本質的に線形代数に帰着する話とみなせます。
(2) 代数幾何における特異点解消がある種の積分の漸近挙動の解析に役に立つという話について。
確か、Atiyahさんが若い頃に指摘したことだったと思う。

黒木玄 Gen Kuroki@genkuroki

以下は易しい。
(1.1) 中心極限定理より、λ が大きなとき、期待値 λ のポアソン分布に従う確−−率変数 X に対して、(X − λ)/√λ は近似的に標準正規分布に従うので、その二乗 (X − λ)2 /λ は近似的に自由度1のカイ二乗分布に従う。
(1.2) ゆえに、λk 達が大きなとき、Xk が期待値 λk のポアソン分布に従い、X1 , … , XK が独立ならば、K∑(Xk − λ k )k=12λkは自由度 K のカイ二乗分布に近似的に従う。
ここまでは易しい。
https://mathtod.online/@genkuroki/119565

M × N

1/6

2017/6/10

Mathtodon

多項分布やその一般化である M × N の分割表の分布におけるピアソンのカイ二乗検定を理解するためには以上の易しい事実の理解だけでは足りない。
多次元正規分布に関連して、ちょっとした線形代数が必要になる。カイ二乗分布の「自由度」がどのような仕組みで下がるかという話(易しい)。
2017年05月16日 16:42 · Web ·  0 ·  3 · Webで開く
on May 16
黒木玄 Gen Kuroki @genkuroki
こっちは長年数学に関わっていて色々知っている上に、大抵の事柄を直観的に理解しているから(これ大事)、統計学を学ぶときに、数学的には大して困らないのですが、学生の側は本当に大変だと思います。

ピアソンのカイ二乗検定は空気のごとく使われるのに、それについてしっかり直観的に理解するためには大学1年でやる微積分や線形代数に関する素養が色々必要になってしまう。
ぶっちゃけた話として、空気のごとくみんな使っているピアソンのカイ二乗検定について、理解せずに使っている人が多いんじゃないかと思います。
on May 18
黒木玄 Gen Kuroki @genkuroki
Pearsonのカイ二乗検定の理解について, 私なりの解答を説明します. 長文を大放流します！

1. カイ二乗分布の理解
カイ二乗分布の定義まで戻って考え直します.
多くの教科書では「標準正規分布に従う独立な確率変数達 X1 , … , Xn に対して, X12 + ⋯ + Xn2 が従う確率分布を自由度 n のカイ二乗分布と呼ぶ」というスタイルで, カイ二乗分布を定義します. これを定義として採用していなくても, 必ずこの特徴付けは説明されている.
しかし, この説明だけでは, カイ二乗分布の現実への応用を十分に理解できません. そのような説明は天下り的に与えられた正規直交基底だけで一般の内積について解説しているようなものです.
現実のカイ二乗検定では, n 次元の標準正規分布に従う (X1 , … , Xn ) ではなく, 任意の多次元正規分布を扱う可能性があります.
黒木玄 Gen Kuroki @genkuroki
少しだけ線形代数を実行すると一般に次が言えます.

on May 18

定理：Σ = [σij ] は固有値がすべて正であるようなサイズ s の実対称行列であり,−1Σ= [bij ]と書き, (X1 , … , Xs ) は確率密度函数
exp(−12s∑i,j=1bij xi xj )−−−−−−−√det(2πΣ)

https://mathtod.online/@genkuroki/119565

2/62017/6/10

Mathtodon

で定まる確率分布に従うと仮定する. このとき,sY = ∑ bij Xi Xj
i,j=1

は自由度 s のカイ二乗分布に従う.
要するに台が s 次元の正規分布の密度函数の exp の中身に対応する確率変数が従う確率分布を自由度 s のカイ二乗分布の定義だと思ってよいわけです. その定義のもとで, 自由度 sのカイ二乗分布は多次元正規分布の台の次元だけで決まり, 多次元正規分布の具体形にはよりません.
on May 18
黒木玄 Gen Kuroki @genkurokiこれを理解していると, カイ二乗分布が自然に出て来まくる理由がクリアになります. 多次元正規分布が中心極限定理によって自然に出て来ます. だから, カイ二乗分布も自然に出て来てしまうわけです. 「標準正規分布に従う独立な確率変数達」のような特殊な設定はカイ二乗分布にとって本質的ではありません.
on May 18
黒木玄 Gen Kuroki @genkuroki
さらに一般の多次元正規分布においては, 確率変数が X1 , … , Xn まで n 個あるのに, それらが一次従属になっていて, 台の次元が n 未満になっていることがよくあります. そのような場合には確率密度函数は超函数になり,s1exp(−2× (s∑ bij xi xj )i,j=n次元の台を持つデルタ函数の定数倍)の形になります. この場合にもちょっとした線形代数でnY = ∑ bij Xi Xj
i,j=1が自由度 s のカイ二乗分布に従うことがわかります. 要するに exp の中身に注意を払うだ
けで何が自由度幾つのカイ二乗分布に従うかがわかるわけです.
黒木玄 Gen Kuroki @genkuroki
2. Poisson分布の理解

on May 18

Kは非負の整数に値を持つ離散確率変数とします.

KがPoisson分布に従うとはある正のパラメーター λ について確率がP (K = k) = e−λλkk!

を満たすことでした.
kが大きなとき, Stirlingの公式−−−log k! ∼ k log k − k + log √2πk + o(1)https://mathtod.online/@genkuroki/119565

3/6

2017/6/10

Mathtodon

よりlog P (K = k)k= −k log−−−+ k − λ − log √2πk + o(1)λとなります. Kullback-Leiblerダイバージェンスをご存じなら, これの第一項にそれらしきものがすでに見えていることがわかります.
on May 18
黒木玄 Gen Kuroki @genkuroki
実際, KLダイバージェンスに関するSanovの定理はこういう計算を経由して出て来ると考えることもできます. 確率・統計をちょっとかじったことがあれば, Poisson分布くらいはみんな知っているのですが, KLダイバージェンスの構成要素が隠れていることが指摘されることは少ないと思います.

Poisson分布の中心極限定理は確率変数 X を
K − λX =−−√λ−−−−と定義すれば得られます. このとき, K = λ + √λ X なので k = λ + √λ x をlog P (K = k) に代入すると, λ が大きなとき,
2xlog P (K = k) = −−−−− log √2πλ + O (21−−√λ)

これは確率変数 X が近似的に標準正規分布に従うことを意味しています.
黒木玄 Gen Kuroki @genkuroki
3. 多項分布と分割表分布の理解

on May 18

非負の整数に値を持つ離散確率変数達 K 1 , … , K r が多項分布に従うとは, それらが常に一定)

K1 + ⋯ + Kr = n = ((∗)

を満たしており, k 1 + ⋯ + k r = n のとき
r

P (K i = k i ∀ i) ∝ ∏i=1ki(npi )ki!

を満たしていることです. 各 pi は非負でそれらの総和は 1 であるとします. 比例定数は確率の総和が 1 になるという条件で決まります.
要するに, Poisson分布の直積を束縛条件(∗)で制限して得られる条件付き確率分布が多項分布なわけです. だから, 多項分布はPoisson分布の言葉で理解可能です.
on May 18
黒木玄 Gen Kuroki @genkuroki
もっと一般の場合を扱いましょう. 非負の整数に値を持つ離散確率変数達 K ij が, 常に

https://mathtod.online/@genkuroki/119565

4/62017/6/10

MathtodonN∑ K ij = mi ,j=1
M

∑ K ij = nj ,i=1MN∑ ∑ K ij = ni=1

j=1が一定という束縛条件を満たし, 同様の条件を満たす非負の整数達 k ij について
k ij

(npij )P (K ij = k ij ∀ i, j) ∝ ∏i,jk ij !

を満たす状況を考えることも結構あります. ここで pij は非負でそれらの総和は 1 で,N

∑ npij = mi ,j=1
M

∑ npij = nj
i=1を満たしているとします.
on May 18
黒木玄 Gen Kuroki @genkuroki
このとき, K ij 達が M × N の表に分割されているとみなせるので, この確率分布を「分割表分布」と呼ぶことにしましょう(標準的な呼び名があるかどうかは知らない). これもPoisson分布の直積の条件付き確率分布になっています. だから, Poisson分布の言葉で理解できるはずです. 以下では mj , ni , npij 達は大きいと仮定します.

Poisson分布に関する中心極限定理より, 確率変数 Xij を
K ij − npij
Xij =−−−√npijと定めると, 各々の Xij は近似的に標準正規分布に従います. しかし, それらは
M∑−−p
Xij = 0,√ iji=1N∑−−pXij = 0√ ijj=1という束縛条件を満たしていなければいけません. この束縛条件で独立なのは
M + N − 1 個です.
黒木玄 Gen Kuroki @genkuroki

https://mathtod.online/@genkuroki/119565

on May 18

5/62017/6/10Mathtodon

したがって, Xij 達は M N 個の標準正規分布の直積を M + N − 1 個の線形な束縛条件で制限して得られる (M − 1)(N − 1) 次元の台を持つ多次元正規分布に近似的に従うことになります. その多次元正規分布の exp の中身は −1/2 を除けば
22

χ

= ∑X

2iji,j(K i − npij )= ∑i,jnpijになります. 束縛条件を課す前は標準正規分布の直積なので当然この形になります. この χ2をPearsonのカイ二乗検定量と呼びます.
次元の台を持つ多次元正規分布から自由度 s のカイ二乗分布が得られることより,Pearsonのカイ二乗検定量 χ2 は自由度 (M − 1)(N − 1) のカイ二乗分布に近似的に従うことになります.
son May 18黒木玄 Gen Kuroki @genkuroki
以上のように, Pearsonのカイ二乗検定量の形はPoisson分布の直積から来ており, 束縛条件によってそれが近似的に従うカイ二乗分布の自由度が下がることが, 一般の多次元正規分布とカイ二乗分布の関係から出て来るわけです.

以上の解説でごまかした部分を埋めれば, Pearsonのカイ二乗検定の基礎的理解はばっちりのはずです.
Poisson分布の漸近挙動の分析の途中でKullback-Leiblerダイバージェンスのような式が出て来ましたが, 多項分布のケースにそれを応用するとSanovの定理をPoisson分布の視点から理解できるようになります. その辺の詳しい事情については
github.com/genkuroki/Sanovの1.8～1.9節を見て下さい.
大放流終了！
黒木玄 Gen Kuroki @genkuroki
悪のりして超絶極端な大放流をしてしまったwww

on May 18

mathtod.online powered by Mastodon

https://mathtod.online/@genkuroki/119565

6/6