2017/6/10

Mathtodon

黒木玄 Gen Kuroki @genkuroki
mathtod.online/@chijan/174433
式も書いてくれないと、何が疑問なのか、わからないのですが、勝手に補足。

on May 25

以下、面倒なので β = 1.
『ベイズ統計の理論と方法』の2.2節では汎化損失の定義は
Gn = −E X [log E w [p(X|w)]].となっていて、Gn = − ∫q(x) log p∗ (x)と書き直せます。q は真の分布で p∗ は予測分布:p∗ (x) = ∫dw p(x|w)p(w|Xn).

ここで p(w|X n ) はサンプル X n から得られる事後分布:
np(w|Xn) ∝ φ(w) ∏ p(Xi |w).
i=1

続く
黒木玄 Gen Kuroki @genkuroki
続きon May 25

予測分布の真の分布に対する誤差を測るKL情報量と真の分布のShannon情報量はそれぞれq(x)D(q∥p∗ ) = ∫S (q) = − ∫dx q(x) log,p∗ (x)dx q(x) log q(x)なのでD(q∥p∗ ) = Gn − S (q).

真の分布の情報量 S (q) は真の分布で決まる定数なので、予測分布の真の分布に対する誤差 D(q∥p∗ ) がより小さいことと、汎化損失 Gn がより小さいことは同値。
どの部分が「見慣れない」んだろうか?
私にはAIC以降では普通になった見慣れた式しか出て来ていないように見えた。
AICもWAICも Gn の推定量になっている。
https://mathtod.online/@genkuroki/180533

( )

( ∥)

1/7

2017/6/10

Mathtodon

真の分布の情報量 S (q) の推定は困難なので、KL情報量 D(q∥p∗ ) の推定も困難。しかし、Gn の推定ならば可能という話。
私はこの分野のど素人なので注意。
黒木玄 Gen Kuroki @genkuroki
続きon May 25

渡辺澄夫『ベイズ統計の理論と方法』は以上に書いたようなことが書いてあるとみなせる
ので、Kullback-LeiblerおよびShannon情報量に関する基礎知識 (特にSanovの定理)に関する予備知識がないと、いきなりわからなくなる可能性が高いです。
統計力学の文脈では、KL情報量の −1 倍は相対エントロピー、S情報量の −1 倍はエントロピーと呼ばれているので、統計力学の素養がある人にとっては楽しい本だと思います。
統計力学を知らない人向けのその辺の事柄に関する解説が次の場所にある。
github.com/genkuroki/Sanov
統計力学的な素養は広く教養として広まった方が良いと思う。ベイズ統計や機械学習と独立に高い価値があると思います。
黒木玄 Gen Kuroki @genkuroki
mathtod.online/@chijan/175184
f (x, w)

on May 25の定義を単純に誤解しているのでは？

『ベイズ統計の理論と方法』のpp.35-36に f (x, w) の定義が書いてあります。
f (x, w)の定義は log(q(x)/p(x|w)) ではなく、
f (x, w) = log

p0 (x)
p(x|w)= log

p(x|w0 ).

p(x|w)

on May 25
黒木玄 Gen Kuroki @genkuroki
他人の記号法をそのまま受け入れて本を読むのは難しいので、全部自分でやり直した方が誤解が少なくなる場合が多いと思います。

本の筆者自身が書き間違えていることは普通によくあることなので、本に書いてある通りに忠実に読もうとすると、余計に苦労することが多い。
自分自身のスタイルと本の筆者のスタイルが違っているせいで、誤解が生じて苦労することも非常によくある。
他人のスタイルに合わせるとひどく苦労する場合が多いと思う。
だから、借りて来たスタイルじゃないやり方をしている人を見ると安心する。
黒木玄 Gen Kuroki @genkuroki
https://mathtod.online/@genkuroki/180533

on May 25
2/72017/6/10

Mathtodon

mathtod.online/@chijan/175345
定義5には、添付画像を見ればわかるように、f (x, w) という記号をf (x, w) = f (x, w0 , w) = logp(x|w0 )p(x|w)という意味で使うとはっきり書いてあります。
引用していない箇所(p.33の定義4)には p0 (x) は p(x|w0 ) が w0 によらない場合のp(x|w0 ) を意味すると書いてあります。
「定義5からそう読み取るのは少し厳しい」と思った理由が不明。
この件で『ベイズ統計の理論と方法』の著者の渡辺澄夫さんは無実だと思いました。
mathtod.online/media/eBPfXu59U…

黒木玄 Gen Kuroki @genkuroki
mathtod.online/@tmiya/175370

on May 25

個人的な意見では『ベイズ統計の理論と方法』は3.2.3節「分配関数の主要項」の解説から読み始めれば読み易いと思います。
積分をガウス積分で近似するLaplaceの方法を知っていれば、Laplaceの方法を単純に適用する話をしていることがすぐにわかります。
Laplaceの方法を知らなければ、最初に次のリンク先のp.5にあるStirlingの公式のLaplaceの方法を使った証明を読んでおくとよいです。
github.com/genkuroki/Sanov
Laplaceの方法についてはgithub.com/genkuroki/GenLaplac…のpp.1-2にも簡潔な解説があります。
Laplaceの方法はまるで空気のごとくよく使われるので、早めに知っておいた方がお得。
Laplaceの方法を知っていれば、「Laplaceの方法が通用しない場合について第4章に書いてある」と理解できます。

https://mathtod.online/@genkuroki/180533

3/7

2017/6/10Mathtodon

on May 25
黒木玄 Gen Kuroki @genkuroki「"Gaussian" による近似で解決できない問題をどう扱うか」は結構基本的な問題です。

Atiyahさんは1970年の論文で広中の特異点解消を使えばGaussianでないケースも積分の漸近挙動がわかるという指摘をしました。
柏原さんもb函数に関する有名な仕事で広中の特異点解消を本質的な形で使いました。
渡辺澄夫さんは京大数理研にいたときに柏原さんの仕事について柏原さん自身から聞いている可能性があると思います。
"Gaussian"による近似＝Laplaceの方法は特異点解消定理を使った後の積分の形であればリンク先のように一般化されます。
github.com/genkuroki/GenLaplac…
on May 25
黒木玄 Gen Kuroki @genkuroki
Li , a i , bi > 0 とし、λ i = bi /a i (i = 1, … , d) の最小値を λ と書き、λ i = λ となる iの個数を m と書く。Zn , Fn を
L1

Zn = ∫Lddx1 ⋯ ∫0dxd0a1× exp(−nx1ad⋯xdb 1−1)x1b d−1⋯xd,

Fn = − log Znと定めると、n → ∞ で
Fn = λ log n − (m − 1) log log n + O(1).

この結果は特別な飛び道具無しに大学1年性レベルの計算で直接示せる。d = 2, 3 の計算を実行すればすぐにわかる。
このことに気付けば渡辺澄夫著『ベイズ統計の理論と方法』の第4章を少し読みやすくなると思う。
第4章をあのまま読むのは結構難しい。
on May 26
黒木玄 Gen Kuroki @genkuroki− log Zn の leading term λ log n が出て来る仕組みは、t = u/n による積分変数の置換による∞∫e−nttλ−1dt0∞= ∫e−un−λλ−1udu0= n−λΓ(λ)と同じです(この計算は頻出)。
− log(nhttps://mathtod.online/@genkuroki/180533−λΓ(λ)) = λ log n + const.

4/7

2017/6/10

Mathtodon

on May 26
黒木玄 Gen Kuroki @genkuroki− log Zn の subleading term − log log n の項が出て来る仕組みは、a, b > 0 に関する
b∫

−1xdx

a/n

= log n + const.
= (log n)(1 + o(1))

です。
− log((log n)(1 + o(1)))= − log log n + o(1).

ガンマ函数のよくある使い方や高校レベルの対数の使い方から、渡辺澄夫さんが示したベ
イズ統計における自由エネルギーの漸近挙動− log Zn = λ log n − (m − 1) log log n + O(1)が出て来るわけ(これが私の指摘)。
そしてそういう平易な計算に帰着するための数学的大道具が広中の特異点解消定理。認めて使って良いとみなされている大定理の典型例。
on May 26
黒木玄 Gen Kuroki @genkuroki『ベイズ統計の理論と方法』の定式化のスタイルが統計力学に由来することは明らか。

統計力学について学ぶと「分配函数さえ計算できればすべてが分かる」というような説明によく出会います。
十分にパラメーターを入れた分配函数(母函数)が計算できれば他の量はそこから得られる。
『ベイズ統計の理論と方法』の第2章の後半は「十分にパラメーターを入れた分配函数を計算できればすべてがわかる」という主張をベイズ統計の場合に正当化するために費やされています。
十分にパラメーターを入れた(β だけではなく、α も入れた)分配函数で他の量を書くという視点で読み直すと、一般的な構造が見えて来て読み易くなると思います。
分配函数の様子がよくわかるというようなことは滅多にありません。「絵に描いた餅」になる可能性がある。
しかし、最初に3.2.3節のLaplaceの方法を使える場合の計算を見れば、ベイズ統計における分配函数の漸近挙動の解析が「絵に描いた餅」ではないことがわかり、全体のストーリーを受け入れ易くなるはず。ベイズ情報量規準BICがそれだけで理解できてしまうこともうれしい。
黒木玄 Gen Kuroki @genkuroki
続きhttps://mathtod.online/@genkuroki/180533

on May 26

5/7

2017/6/10

Mathtodon

分配函数の典型例は
Z = ∫dx e−αf (x)−βg(x)φ(x)のような形をしていて、これを用いて x に関する確率分布(密度函数)が1p(x|α, β) =e−αf (x)−βg(x)φ(x)Zのように定義されます(統計力学でのカノニカル分布)。この確率分布 p(x|α, β) に関するklf (x) g(x) の平均は1k∂(−Zl∂) (−∂α) Z∂βと分配函数だけで書けます。
黒木玄 Gen Kuroki @genkuroki
aLi , a i , bi > 0 とし、M i = L , λ i = bi /a i とおき、ion May 26i

λ := λ 1 = ⋯ = λ m < λ m+1 , … , λ dと仮定する。
L1Zn = ∫Lddx1 ⋯ ∫0dxd0a1× exp(−nx1ad⋯xdb 1−1)x1b d−1⋯xdとおく。このとき、xi を xi で置換すると、定数倍の違いを除いてaiM1Zn = ∫Mddx1 ⋯ ∫0dxd0
λ 1−1× exp(−nx1 ⋯ xd )x1

λ d−1

⋯xd

続く

黒木玄 Gen Kuroki@genkuroki

続きtx1 =nx2 … xd

によって積分変数を t, x2 , … , xd に置換すると主要因子のn−λが出ます。
https://mathtod.online/@genkuroki/180533

6/7

2017/6/10

Mathtodon

そして、積分のネストを外側からxm+1 , … , xd , t, x2 , … , xmの順序になるように書き直します。
一番内側の x2 , … , xm に関する積分を実行すると(log n)m−1(1 + o(1))の形になり、二番目の因子が得られます。
に関する積分は本質的に定数である Γ(λ) 倍の寄与になり、一番外側のxm+1 , … , xd に関する積分も本質的に定数倍の寄与に過ぎなくなります。
t

その結果
Zn = n−λ(log n)m−1(const. + o(1))

が得られます。これの対数の −1 倍が自由エネルギーです。
ベイズ統計の自由エネルギーの漸近挙動の解析は以上のような計算になります。
2017年05月26日 15:27 · Web ·  1 ·  2 · Webで開く

mathtod.online powered by Mastodon

https://mathtod.online/@genkuroki/180533

7/7