2017/6/10

Mathtodon

黒木玄 Gen Kuroki@genkuroki

mathtod.online/@genkuroki/2104…
ではKullback-Leibler情報量(もしくはダイバージェンス)に関するSanovの定理(大偏差原理のうちの一つ)は、大数の法則、中心極限定理の次くらいに来る必須の教養になるべきだという話をし、
mathtod.online/@genkuroki/2475…
では、正規分布で何らかの分布を近似するときに、誤差の尺度としてKLダイバージェンスを採用すると、誤差を最小にするためには、正規分布の期待値と分散を近似先の期待値と分散に一致させればよいことを説明した。正規分布
1p(x) =

2−−−−√2πσ 2e−(x−μ) /(2σ2)と期待値 μ0 , 分散 σ02 を持つ分布 q(x) について、μ, σ を動かして、KLダイバージェンスq(x)D(q||p) = ∫q(x) logdxp(x)を最小化するだけの簡単な計算です。
続く
2017年05月15日 13:15 · Web ·  0 ·  2 · Webで開く

黒木玄 Gen Kuroki @genkuroki
続きon May 15

その簡単な計算は指数型分布族に拡張されます。
正規分布は1p(x) =

2e−βx −γxZと書き直せます。ここで、β = 1/(2σ 2 ), γ = −μ/σ 2 ,2Z = ∫e−βx −γxdx.

これの一般化が指数型分布族です。
https://mathtod.online/@genkuroki/113544

1/5

2017/6/10Mathtodon

一般の指数型分布族は1p(x) =e− ∑sν=1βν fν (x)ZZ = ∫e− ∑sν=1βν fν (x)p0 (x),p0 (x) dxの形をしています。
分布族 p(x) で何らかの分布 q(x) をシミュレートするときボロが出る速さを最も遅くする
ためにはKLダイバージェンス
q(x)D(q||p) = ∫q(x) log

dxp(x)を最小にすれば言い訳です(Sanovの定理)。
続く黒木玄 Gen Kuroki @genkuroki
続きon May 15

指数型分布族は指数函数を使って書かれているので、対数と相性がよく、p(x) を決めるパ
ラメーター達 βν を動かして、D(q||p) を最小にするためにはG = −∫

q(x) log p(x) dx= ∑ βν ∫fν (x)q(x) dx − log Z

νを最小にすればよいことがすぐにわかります。そして、∂Z= −∫∂ βνfν (x)p(x) dx

なので、パラメーター達 βν を∫fν (x)p(x) dx = ∫fν (x)q(x) dxが成立するように決めれば、G が最小になり、したがって、D(q||p) も最小になります。
続く
黒木玄 Gen Kuroki @genkuroki
続きon May 15

要するに、確率モデルとして指数型分布族 p(x) を採用したケースでは、近似先の確率分
布 q(x) に関する函数 fν (x) の平均
E q [fν (X)] = ∫https://mathtod.online/@genkuroki/113544()()

fν (x)q(x) dx

2/5

2017/6/10

Mathtodon

達と確率モデル p(x) に関する函数 fν (x) の平均
E p [fν (X)] = ∫fν (x)p(x) dxが一致するようにモデルのパラメーター達 βν を決めてやれば最良近似が得られるということです。
例：正規分布の場合には f1 (x) = x, f2 (x) = x2 なので、確率モデルとして正規分布を採用することは「近似先の分布の1次と2次のモーメント以外の情報を忘れようとすること」に他ならないことになります。
これは指数型分布族の極めて特殊な性質です。だから、指数型分布族を例に何かについて(特にベイズ統計について)語る場合には厳しい注意が必要になります。
注意：統計力学では自動的に指数型分布族がカノニカル分布として出て来る。
on May 15
黒木玄 Gen Kuroki @genkuroki
Kullback-Leiblerダイバージェンスに関する勉強において、指数型分布族 p(x) と任意の分
布 q(x) についてKLダイバージェンス
q(x)D(q||p) = ∫q(x) log

dxp(x)が最小になる条件を求めておくことは、算数で言えば一桁の足し算の練習をしているようなものだと思います。
そういうところでサボると色々わからなくなる。KLダイバージェンスが分布間の「距離」のようなものだという説明はよくあるのですが、計算例を何も知らないと感触をつかみようがないと思う。
証明を単に写経するのは時間の無駄。証明は理解しないと意味がない。証明を理解できないなら、がんばって計算例をたくさん作るのがよいと思う。手計算が無理ならコンピューターで数値計算しまくって納得するのもありだと思う。
私もいつもサボって色々わからなくなります。
黒木玄 Gen Kuroki @genkuroki
mathtod.online/@genkuroki/1135…

on May 15

上のリンク先の訂正： Z の対数微分になるべき部分が1ヶ所ただの微分になってしまっていました。正しくは∂ log Z= −∫∂ βνfν (x)p(x) dx.

on May 15
黒木玄 Gen Kuroki @genkuroki
表の出る確率が p のコイン投げで表の出る確率が q のコイン投げをシミュレートするときのKullback-Leiblerダイバージェンスはhttps://mathtod.online/@genkuroki/113544

3/5

2017/6/10

Mathtodon
D(q||p) =qq log

1 − q+ (1 − q) log

p1 − pです。n は大きいとする。表の出る確率が p のコインを n 回投げたときに、偶然、表の出る確率が q のコインを投げたかのように見える確率の対数の −1/n 倍がほぼ D(q||p) になるというのがSanovの定理の特別な場合です。
極端な場合として、p = 0 のコイン投げで q = 1/2 のコイン投げをシミュレートする場合を考えましょう。表の出る確率が 0 のコインをたくさん投げたとき、まるで表の出る確率が 1/2 のコインを投げたかのように見える確率は 0 です。実際、上の式に q = 1/2 を代入し、p → 0 とすると、D(1/2||0) = ∞ (「誤差」が無限大)になることがわかります。
続く
黒木玄 Gen Kuroki @genkuroki
続きon May 15

逆の極端な場合として、p = 1/2 のコイン投げで q = 0 のコイン投げをシミュレートする
場合を考えましょう。表の出る確率が 1/2 のコインを n 回投げると、確率 1/2n で偶然すべてが裏になります。その対数の −1/n 倍は log 2 になります。上の式に p = 1/2 を代入すると、
D(q||1/2) = q log q + (1 − q) log(1 − q)+ log 2なので q → 0 とすることによって D(0||1/2) も log 2 になることがわかります。このlog 2 が確率 1/2 で表の出るコインで表が決して出ないコインをシミュレートしたときの「誤差」です。この場合には、確率の対数の −1/n 倍とKLダイバージェンスがぴったり一致していますが、一般にはこうなりません。
大偏差原理では n に関して指数函数的に減少する確率を扱っており、対数を取って −1/n倍することによって、確率が減少する速さを測っているわけです。
on May 15
黒木玄 Gen Kuroki @genkuroki
大数の法則と中心極限定理だけでは足りない統計学の世界を理解するためには、KullbackLeiblerダイバージェンスに関するSanovの定理について理解することが近道だと思う。

赤池情報量規準AICおよびその変種について理解するためには(AICが何を近似しているかを知っていれば当然のことなのですが)、KLダイバージェンスに関する理解が必須。
ベイズ統計学の基礎付けが書いてある渡辺澄夫『ベイズ統計の理論と方法』もKLダイバー
ジェンスについて知らないと最初から何をやっているか理解不能になると思う。
そこで私が用意した易しい解説がこれ ↓github.com/genkuroki/Sanovmathtod.online powered by Mastodon

https://mathtod.online/@genkuroki/113544

4/5

2017/6/10

https://mathtod.online/@genkuroki/113544

Mathtodon

5/5