2017/6/10

Mathtodon

on Apr 27
黒木玄 Gen Kuroki @genkuroki
これもツイッターの方に書いたはずのことですが、統計関係の数学的教養として(1)大数の法則、(2)中心極限定理の二つはすでに定番になっていますが、さらに(3)Kullback-Leibler情報量(相対エントロピーの-1倍)に関する大偏差原理(Sanovの定理)の類も定番になるべきだと思っています。KL情報量は統計的に得られたモデルの予測精度を測るための最もよく使われている指標になっているのですが、Sanovの定理を知らないとどうしてKL情報量でモデルの予測精度を測れるかがよくわからなくなってしまうと思います。
平均符号長の下限(KL情報量になる)からの乖離とモデルの予測誤差の類似で理解した気分になることもできるとは思いますが、Sanovの定理を使った理解と比較すると類似に頼っており、理解の仕方としては少し弱くなると思います。(しかし、どうしてKL情報量を「情報量」と呼ぶことが自然であるかについては、平均符号長の下限であるを知れば納得し易い。まあ、実際にはKL情報量のことをKLダイバージェンスと呼ぶことが多いのですが。)
on Apr 27
黒木玄 Gen Kuroki @genkuroki
KL情報量に関するSanovの定理を現実に定番の教養だとみなせるためには「適切に数学的な厳密性を犠牲にすれば内容的に易しいこと」が必要です。理解がひどく困難な数学的結果を定番の教養にするのは現実的に無理。細かいことを言わなければSanovの定理(の易しいバージョン)は本質的に多項分布にスターリングの公式を適用するだけで簡単に出て来ます。

詳しくはmath.tohoku.ac.jp/~kuroki/LaTe…
を見て下さい。
実際の計算のときには、多項分布をポアソン分布の直積の条件付き確率分布とみなして、まずポアソン分布にスターリングの近似公式を適用した式を書いてみると色々納得し易くなります。計算の見通りも易しくなるし、ピアソンのカイ二乗統計量との関係も見易くなります。
そういう方針の計算が上のPDFの1.9節にあります。
on Apr 27
黒木玄 Gen Kuroki @genkuroki
確率の総和は常に1になることを了解しておけば、確率が何に比例するかのみを指定すれば確率分布が決まります。

非負の整数に値を持つ確率変数 K i がポアソン分布に従うことは
λP (K i = k i ) ∝https://mathtod.online/@genkuroki/103289

kiiki!

1/5

2017/6/10

Mathtodonと書けます。ここで P ( ) は確率を表わし、λi は正の定数です。
−−−−

これにスターリングの公式 k i ! ∼ √2πk i exp(k i log k i − k i ) を適用すると、k i が大きなとき漸近的にexp(−k i log(k i /λ) + k i )P (K i = k i ) ∝−−−−√2πk i右辺の指数函数の中にすでにKL情報量 D(q||p) = ∑i qi log(qi /pi ) っぽい式が見えています。ポアソン分布の段階でここまで見える。
以下 K i 達は独立と仮定します。続く
黒木玄 Gen Kuroki @genkuroki
続きr∑

i=1ki = non Apr 27と仮定し、比例定数は n には依存してよいということにするとrexp(− ∑i=1

P (K 1 = k 1 , … , K r = k r ) ∝r∏

i=1k i log(k i /λ i ))−−−−√2πk i.

さらに pi = λi /(∑i=1 λi ), qi = k i /n とおくと、
rrexp(−n ∑i=1P (K i = k i , … , K r = k r ) ∝r∏

i=1qi log(qi /pi ))−−−−√2πqi.

右辺の指数函数の中身にあるrD(q||p) = ∑ qi log
i=1qipiの部分がKL情報量です。このKL情報量は確率分布 pi による確率分布 qi の予測誤差を意味しています。
黒木玄 Gen Kuroki @genkuroki
続きon Apr 27

KL情報量 D(q||p) はP (K i = k i , … , K r = k r )exp(−nD(q||p))∝r∏i=1−−−−√2πqi.の形で登場します。qi = k i /n は経験分布で qi はパラメーターで与えられたモデルの確率
https://mathtod.online/@genkuroki/103289

2/5

2017/6/10

Mathtodon

分布とみなせます。
この式は大雑把にモデルの確率分布 pi のもとでの n 回の独立試行で経験分布 qi が偶然得られる確率の対数がほぼ −nD(q||p) になることを意味しています。
D(q||p)が大きければ大きいほど確率の対数は急激に小さくなります。

KL情報量 D(q||p) はモデル p で確率分布 q が偶然生じない程度の大きさを表わしています。
Sanovの定理の内容は大雑把にこういうものだと思って構いません。
多項分布にスターリングの近似公式をつっこむだけの話でしかありません。
on Apr 27
黒木玄 Gen Kuroki @genkuroki
大雑把に言えば、確率分布 p のもとでの独立試行で経験分布 q が偶然生じる確率の対数の−1 倍(の 1/n 倍) がKullback-Leibler情報量 D(q||p) です。 −1 倍しない単なる確率の対数の方は相対エントロピーと呼ばれています。

(確率の対数)=(相対エントロピー)=－(KL情報量)「相対」や「KL」を外したバージョンは(場合の数の対数)=(エントロピー)=－(情報量).
on Apr 27
黒木玄 Gen Kuroki @genkuroki「中心極限定理」よりも「Kullback-Leibler情報量に関するSanovの定理」の方が易しい話のように感じられるのは私だけ？
on Apr 28
黒木玄 Gen Kuroki @genkuroki
連続な確率分布 p(x) dx と q(x) dx について、モデル p で真の分布 q を予測するときの「誤差」を測るKullback-Leibler情報量はq(x)D(q||p) = ∫q(x) logdx.
p(x)黒木玄 Gen Kuroki @genkuroki
mathtod.online/@genkuroki/2104…の訂正

on Apr 28

KL情報量になるのは「平均符号長の下限」ではなく、「平均符号長の下限からの乖離」の方です。括弧を挿入する場所を間違った。
確率分布 q に従うソースの平均符号長の下限は q の情報量
H (q) = − ∑ qi log qi .
i

確率分布 q に従うソースの確率モデル p での平均符号長はhttps://mathtod.online/@genkuroki/103289

3/52017/6/10

Mathtodon
G(q||p) = − ∑ qi log pi .
i

それらの差がKL情報量
D(q||p) = G(q||p) − H (q)= ∑ qi log(qi /pi ).
i

黒木玄 Gen Kuroki@genkuroki

Kullback-Leibler divergenceを確率分布の違いの尺度として用いることの説明で、「平均符号長の下限からの乖離」の話をしてしまうパターンがよくあるのですが、率直に言ってあんまりよろしくないと思う。Sanovの定理の解説をするべきだと思う。
確率分布 q と異なる確率分布 p による q のシミュレーションでは試行回数 nが増えると大数の法則によって急速にボロが出ます。KLダイバージェンスはボロが出る速さを表わしています。
Sanovの定理は以上のように解釈できる結果なので、モデル p が真の分布 q をどれだけの精度で予測できるかの指標として、KLダイバージェンスがよく使われているわけです。
片方がもう一方をシミュレートする話なので当然 p と q について非対称になります。
大数の法則、中心極限定理の次に学ぶべき事柄として、Sanovの定理やCramerの定理のようなi.i.d.における大偏差原理が標準的な教養になるとよいと思います。
2017年05月13日 17:04 · Web ·  2 ·  5 · Webで開く

黒木玄 Gen Kuroki @genkuroki
数式入れないと500文字は相当な分量になる！

on May 13

on May 14
8zu@8zu@social.targaryen.house@genkuroki ありがとうございました！自分が学んだ時もその「平均符号長の下限からの乖離」くらいしか教えられなかったけど、こっちのほうが本当にわかりやすい！

黒木玄 Gen Kuroki @genkuroki@8zu
すでにお読みになったかもしれませんが、

https://mathtod.online/@genkuroki/103289

on May 14

4/52017/6/10

Mathtodon

mathtod.online/@genkuroki/2104…のようにmathtod.online経由で読めば数式が読み易くなります。

mathtod.online powered by Mastodon

https://mathtod.online/@genkuroki/103289

5/5