1

Kullback-Leibler 情報量に関する解説
黒木玄2016 年 6 月 16 日作成∗
http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf

目次
0

はじめに

1

1

多項分布から Kullback-Leibler 情報量へ
1.1 母集団分布が qi の多項分布 . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 多項分布の n → ∞ での漸近挙動 . . . . . . . . . . . . . . . . . . . . . . .
1.3 Kullback-Leibler 情報量と相対エントロピーの定義 . . . . . . . . . . . . . .
1.4 Kullback-Leibler 情報量の基本性質 . . . . . . . . . . . . . . . . . . . . . .
1.5 二項分布の場合の計算例 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6 max-plus 代数への極限や Laplace の方法との関係 . . . . . . . . . . . . . .

22334552

条件付き大数の法則から Boltzmann 因子へ
62.1 問題の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.2 Boltzmann 因子の導出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 母分布が連続型の場合から連続型指数型分布族が得られること . . . . . . . 9
2.4 標準正規分布の導出例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

はじめに0

このノートは次のノートの続編である:「ガンマ分布の中心極限定理と Stirling の公式」というタイトルの雑多なノート
http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160501StirlingFormula.pdf
このノートで使用する Stirling の公式についてはこのノートを見て欲しい.
このノートの目標は Kullback-Leibler 情報量 (相対エントロピーの −1 倍) および Boltz∑
mann 因子 exp(− i βi ai (k)) で記述される確率分布が必然的に出て来る理由を説明することである. 数学的に厳密な議論はしない.
以下の文献などを参考にした.
∗

最新版は下記 URL からダウンロードできる. 飽きるまで継続的に更新と訂正を続ける予定である. 6 月
16 日 Ver.0.1 (10 頁). 数時間かけて 10 頁ほど書いた.

1. 多項分布から Kullback-Leibler 情報量へ

2

参考文献
[1] Csiszar, Imre. A simple proof of Sanov’s theorem. Bull Braz Math Soc, New Series
37(4), 453–459, 2006.
http://www.emis.ams.org/journals/em/docs/boletim/vol374/v37-4-a2-2006.pdf[2] Ellis, Richard, S. The theory of large deviations and applications to statisticalmechanics. Lecture notes for École de Physique Les Houches, August 5–8, 2008,
123 pages.
http://people.math.umass.edu/~rsellis/pdf-files/Les-Houches-lectures.pdf[3] Sanov, I. N. On the probability of large deviations of random variables. English
translation of Matematicheskii Sbornik, 42(84):1, pp. 11–44. Institute of Statistics
Mimeograph Series No. 192, March, 1958.
http://www.stat.ncsu.edu/information/library/mimeo.archive/ISMS 1958 192.pdf[4] 田崎晴明. 統計力学 I. 新物理学シリーズ, 培風館 (2008/12), 284 ページ.
https://www.amazon.co.jp/dp/4563024376[5] Vasicek, Oldrich Alfonso. A conditional law of large numbers. Ann. Probab., Volume 8, Number 1 (1980), 142–147.
http://projecteuclid.org/euclid.aop/11769948301

多項分布から Kullback-Leibler 情報量へ

多項分布に Stirling の公式を単純に代入するだけで自然かつ容易に Kullback-Leibler 情
報量 (もしくはその −1 倍の相対エントロピー) が現われることを説明したい.

1.1

母集団分布が qi の多項分布∑qi ≧ 0, ri=1 qi = 1 とする. 1 回の試行で状態 i が確率 qi で得られる状況を考え, qi たちを母集団分布と呼ぶことにする. そのような独立試行を n 回繰り返したとき, 状態 i が生じた割合 ki /n (これを経験分布と呼ぶ) が n → ∞ でどのように振る舞うかを調べよう.
大数の法則より ki /n → qi となるのだが, 後で条件付き確率を考えたいので母集団分布から離れた分布が経験分布として現れる確率がどのように減衰するかを知りたい.
我々はこれから母集団分布 (q1 , . . . , qn ) を任意に固定した状況で, 経験分布 (k1 /n, . . . , kr /n)の確率分布を考え, その n → ∞ での様子を調べることになる.
∑n 回の独立試行で状態 i が ki 回得られる確率は, ri=1 ki = n のときn!
q k1 · · · qrkr
k1 ! · · · kr ! 1(∗)になり, 他のとき 0 になる (多項分布).
∑pi ≧ 0, ri=1 pi = 1 と仮定する. 状態 i が得られた割合 ki /n がほぼ pi になるとき, 経験分布はほぼ pi になると言うことにする.

1.2. 多項分布の n → ∞ での漸近挙動

1.23

多項分布の n → ∞ での漸近挙動

n → ∞ のとき経験分布がほぼ pi になる確率がどのように振る舞うかを知りたい. そこで n → ∞ のとき, ki たちが(())
log nki = npi + O(log n) = npi 1 + O(∗∗)
nを満たしていると仮定し, 上の確率 (∗) がどのように振る舞うかを調べよう. この仮定のもとで log(ki /n) = log pi + O((log n)/n) が成立することに注意せよ1 .
∑Stirling の公式と ri=1 ki = n よりlog n! = n log n − n + O(log n) =r∑

ki log n −i=1r∑

ki + O(log n),i=1log ki ! = ki log ki − ki + O(log ki ) = ki log ki − ki + O(log n),log qiki = ki log qi .
これらを上の確率 (∗) の対数に代入すると ki の項はキャンセルする. さらに (∗∗) を代入
すると次が得られる:
()
()
r
∑n!
kiki
k1kr
log
q · · · qr = −nlog − log qi + O(log n)
k1 ! · · · kr ! 1nn
i=1= −n= −nr∑i=1r∑pi (log pi − log qi ) + O(log n)
pi logi=1

1.3

pi+ O(log n).
qi

Kullback-Leibler 情報量と相対エントロピーの定義

上の結果は

D[p|q] =r∑

pi logi=1piqiとおくと次のように書き直される:
()n!
k1
kr
q · · · qr = −nD[p|q] + O(log n).
log
k1 ! · · · kr ! 1
左辺は経験分布がほぼ pi になる確率の対数を意味していることに注意せよ. D[p|q] をKullback-Leibler 情報量 (カルバック・ライブラー情報量) もしくは Kullback-Leibler
divergence と呼ぶ. Kullback-Leibler 情報量の −1 倍S[p|q] = −D[p|q] = −r∑pi logi=1を相対エントロピーと呼ぶことにする.
1Taylor 展開 log(1 + x) = x − x2 /2 + x3 /3 − x4 /4 + · · · より.

piqi

1. 多項分布から Kullback-Leibler 情報量へ4対数を取る前の公式は次の通り:(n 回の独立試行で経験分布がほぼ pi になる確率) = exp(−nD[p|q] + O(log n)).
もしも D[p|q] > 0 ならば, n を十分に大きくすれば O(log n) の項は nD[p|q] の項と比較して無視できる量になるので, この確率は exp(−nD[p|q]) の部分でほぼ決まっていると考えてよい.

1.4

Kullback-Leibler 情報量の基本性質

Kullback-Leibler 情報量 D[p|q] の p = (p1 , . . . , pr ) の函数としての性質は函数 f (x) =x log(x/q) = x(log x − log q) (x > 0) の性質を調べればわかる. f ′ (x) = log x − log q + 1,f ′′ (x) = 1/x > 0 なので函数 f (x) は下に狭義凸である. ゆえに函数 f (x) はその x = q での接線の函数 x で下から押さえられる. すなわち f (x) ≧ f (q) + f ′ (q)x = x − q (等号の成立と x = q は同値). ゆえにr∑rpi ∑
D[p|q] =pi log ≧(pi − qi ) = 0,qii=1i=1

等号の成立は pi = qi (i = 1, . . . , r) と同値.
このように Kullback-Leibler 情報量の値は 0 以上になり, 最小値 0 が実現することと分布pi が母集団分布 qi に等しくなることは同値である. ゆえに, 分布 pi が母集団分布 qi に等しくないとき, D[p|q] > 0 となるので, 経験分布がほぼ pi になる確率は n → ∞ で n について指数函数的に 0 に収束する. したがって, n → ∞ で経験分布 ki /n は母集団分布 qiに近付く. これは大数の法則の成立を意味している.
Kullback-Leibler 情報量は母集団分布 qi のもとで分布 pi が経験分布としてどれだけ確率的に実現し難いかを表わしている. 異なる分布が実現する確率の比は n → ∞ で KullbackLeibler 情報量の差の −n 倍の指数函数のように振る舞う. ゆえに Kullback-Leibler 情報量がほんの少しでも違っていれば, Kullback-Leibler 情報量がより大きな方の分布は相対的にほとんど生じないということもわかる. ゆえに, ある条件を課して分布 pi が生じる条件付き確率を考える場合には, 課した条件もとで Kullback-Leibler 情報量が最小になる分布に条件が課された経験分布は近付くことになる (条件付き大数の法則). この法則を最小Kullback-Leibler 情報量の原理と呼ぶ. n が非常に大きなとき, ある条件もとで経験的に実現される分布は課した条件のもとで Kullback-Leibler 情報量が最小の分布になる.
相対エントロピーは Kullback-Leibler 情報量の −1 倍だったので, 条件付きで分布 pi が生じる確率を考える場合には課した条件のもとで相対エントロピーが最大になる分布に経験分布が近付くことになる. この言い換えを最大相対エントロピーの原理と呼ぶ. n が大きなとき、ある条件のもとで経験的に実現される分布は課した条件のもとで相対エントロピーが最大になるような分布である.
補足. 説明の簡素化のために条件 B が成立しているとき条件 A が常に成立していると仮定する. このとき, 条件 A のもとで条件 B が成立する確率 (条件付き確率) は, 条件 Bが成立する確率を条件 A が確率で割ったものと定義される. このように条件付き確率は確率の商で定義される. だから, 確率の商が n → ∞ でどのように振る舞うかを確認できれば, 条件付き確率がどのように振る舞うかがわかる. 上の議論ではこの考え方を使った.

1.5. 二項分布の場合の計算例

1.55二項分布の場合の計算例

r = 2, q1 = q, q2 = 1 − q の「コイン投げ」(もしくは「丁半博打」) の場合を考える. この場合に多項分布は二項分布になる. このとき, p1 = p, p2 = 1−p とおくと, Kullback-Leibler
情報量は次のように表わされる:
D[p|q] = p log

p1−p+ (1 − p) log.
q1−q

これは p = q で最小値 0 になり, p が q から離れれば離れるほど大きくなる. KullbackLeibler 情報量は分布の経験的な生じ難さを表わす量なので q から遠い p ほど経験的に生じ難くなる. しかも p が経験的に生じる確率は n → ∞ で exp(−nD[p|q] + O(log n)) と振る舞う. ゆえに, 複数の p の生じる確率を比較すると, D[p|q] が相対的に大きな p が生じる確率は n → ∞ で比の意味で相対的に 0 に近付く. 以上を踏まえた上で次の問題について考えよう.
問題 n は非常に大きいと仮定する. n 回のコイン投げの結果表が出た割合が a 以上になったとする. このとき表の割合はどの程度になるだろうか?
大数の法則より, n → ∞ で表の割合は q に近付く. ゆえに 0 ≦ a < q のとき, 表の割合が a 以上であるという条件は n → ∞ で常に実現することになる. だから, 0 ≦ a < q のとき, 表の割合が a 以上の場合に制限しても, n が大きければ表の割合はほぼ q に等しくなっていると考えられる.
問題は q < a ≦ 1 の場合である. そのとき, n が大きくなればなるほど, 表の割合が a 以上になる確率は 0 に近付く. 上の問題は表の割合が a 以上になる場合に制限したときに表の割合がほぼ p になる確率 (条件付き確率) がどのように振る舞うかという問題になる.
この場合には上で計算した Kullback-Leibler 情報量が役に立つ. p ≧ a という条件のもとでの D[p|q] の最小値は p = a で実現される. ゆえに条件付き大数の法則より, n → ∞ で経験分布は p = a に近付く. q < a ≦ 1 のとき, 表の割合が a 以上の場合に制限すると, nが大きければ表の割合はほぼ a に等しくなっていると考えられる.
以上の結果から以下の公式が成立していることもわかる:{∑ (n)−D[q|q] = 0 (0 ≦ a ≦ q),
1lim logq k (1 − q)n−k = − inf D[p|q] =n→∞ np≧ak−D[a|q](q < a ≦ 1).
k/n≧a対数を使わない方の公式を書き下すと,()∑ (n)kn−kq (1 − q)
= exp −n inf D[p|q] + O(log n) .
p≧akk/n≧a

左辺は表の割合が a 以上になる確率である. n → ∞ のとき確率には D[p|q] が最小になる分布だけが強く効いて来る.

1.6max-plus 代数への極限や Laplace の方法との関係

実数または −∞ の a, b に対して演算(a, b) 7→ max{a, b},(a, b) 7→ a + b2. 条件付き大数の法則から Boltzmann 因子へ6を考えたもの (半環 (semiring), 半体 (semifiled) と呼ばれている) を max-plus 代数と呼ぶ.
(max-plus 代数は超離散化や tropical mathematics や各種正値性を扱う問題などに登場する重要な “代数” である. 体は加減剰余が自由にできる “代数” のことであるが, 半体は加乗除は自由にできるが引算は自由にできない “代数” のことである. 引算が自由にできなくても意味のある面白い数学を作れる.)
大雑把には, max は 0 以上の実数の足算に対応しており, + は掛算に対応していて, −∞は掛算の単位元 1 に対応している. その対応は log を取って極限を考えることによって与えられる. すなわち, 次の公式が成立している:

1log(ena + enb ) = max{a, b},n→∞ nlim

1log(ena enb ) = a + b.
n→∞ nlim

後者は明らかな公式である. 前者の公式は次ようにして確かめられる. a ≧ b と仮定すると, b − a ≦ 0 となるので, en(b−a) は有界になり,

( ())
()
111log(ean + enb ) = log ena 1 + en(b−a) = a + log 1 + en(b−a) → a (n → ∞)nnnとなる. これで前者の公式も示された.
より一般に次が成立している:r∑1logexp(nai + O(log n)) = max{a1 , . . . , ar }.
n→∞ ni=1lim

このように exp(nai + O(log n)) のように振る舞う量の和の対数の 1/n 倍には n → ∞ のとき最大の ai の部分のみが効いて来る. 対数を使わない方の公式を書き下すと,r∑exp(nai + O(log n)) = exp(n max{a1 , . . . , ar } + O(log n))(n → ∞).

i=1

これは積分の場合の Laplace の方法の類似であるとみなされる.
適切な設定のもとで次が成立している:()()∫ β
exp −nf (x) + O(log n) dx = exp −n inf f (x) + O(log n)αα≦x≦βf (x) が x = x0 で一意的な最大値を持ち, f ′′ (x0 ) > 0 ならば,√∫ β
2πe−nf (x) g(x) dx = e−nf (x0 ) g(x0 )(1 + o(1))
nf ′′ (x0 )α(n → ∞).

(n → ∞).

このような漸近挙動の計算の仕方は Laplace の方法と呼ばれている.

2

条件付き大数の法則から Boltzmann 因子へ

条件付き大数の法則 (最小 Kullback-Leibler 情報量の原理, 最大相対エントロピーの原理) から Boltzmann 因子で記述される分布が自然に得られることを説明したい.

2.1. 問題の設定

2.17問題の設定

母集団分布が q = (q1 , . . . , qr ) の多項分布の設定に戻る.
n 回の独立試行によって各々の i について状態 i が生じた割合 ki /n がほぼ pi に等しい
とき, 経験分布がほぼ p = (p1 , . . . , pr ) に等しくなると言うことにする. その確率について(n 回で経験分布がほぼ p になる確率) = exp(−nD[p|q] + O(log n))(n → ∞)が成立しているのであった.
次の問題を考える: 分布 p = (p1 , . . . , pr ) にr∑fν,i pi = cν(ν = 1, 2, . . . , s)(∗)

i=1という条件を課す. ただし, Rr のベクトル (1, 1, . . . , 1), (fν,1 , . . . , fν,r ) (ν = 1, . . . , s) は一次独立であると仮定しておく. 経験分布がこの条件を満たす分布 p にほぼ等しい場合に制限したとき, 経験分布の確率分布は n → ∞ でどのように振る舞うか?
たとえば, 状態 i のエネルギーが Ei の場合にr∑

Ei pi = U

i=1という条件を課す場合には, エネルギーの経験期待値がほぼ U に等しくなっている場合に制限したときに, 経験分布が n → ∞ でどのように振る舞うかを調べることになる.
たとえば, サイコロを振って i の目が出たら, 賞金を Ei ペリカもらえるとき,r∑

Ei pi = Ui=1という条件を課す場合には, 1 回あたりの賞金の経験期待値がほぼ U ペリカに等しくなっている場合に制限したときに, 経験分布が n → ∞ でどのように振る舞うかを調べることになる.
以上の 2 つの例では s = 1 である. 複数の条件を課せば s > 1 となる.

2.2Boltzmann 因子の導出∑r
条件 (∗) のもとでの経験分布の条件付き確率は n → ∞ で, 条件i=1 pi = 1 と条
∑r
件 (∗) のもとで Kullback-Leibler 情報量 K[p|q] = i=1 pi log(pi /qi ) が最低値になる分布
p = (p1 , . . . , pr ) に集中することになる.
その条件付き最低値問題を解くために Lagrange の未定乗数法を使おう. (KullbackLeibler 情報量が p の下に狭義凸な函数であったことを思い出そう.) そのために( r)( r)rs∑∑∑∑piL=pi log + (λ − 1)pi − 1 +βνfν,i pi − cνqi
ν=1i=1i=1i=1

2. 条件付き大数の法則から Boltzmann 因子へ

8とおく. ここで λ − 1, βν が未定乗数である. 未定乗数と pi で L を偏微分した結果がすべて 0 になるという方程式

0=r∂L ∑=pi − 1,∂λi=1(1)r∑∂L
0==fν,i pi − cν∂βν
i=1(ν = 1, . . . , s),s∑pi∂L= log + λ +βν fν,i0=∂piqi
ν=1を解けばよい. (3) より,(pi = exp −λ −s∑(i = 1, . . . , r)(2)(3))
βν fν,iqipi =1 − ∑sν=1 βν fν,ieqiZ

ν=1

これを (1) に代入すると,
λZ := e =r∑e−∑s

ν=1 βν fν,iqi ,i=1(4)となることがわかる. この Z は分配函数と呼ばれる. このように pi と Z = eλ はβν たちの函数になっている. βν たちは (4) を (2) に代入することによって決定される.
∑exp (− sν=1 βν fν,i ) を Boltsmann 因子と呼ぶことにする. Boltzmann 因子は母集団分布
qi と条件付きの経験分布の pi がどれだけ異なるかを記述している. このようにして求められた分布 pi を Gibbs 分布と呼ぶことにする.
条件 (∗) が成立している場合に制限した場合の経験分布は, n → ∞ で以上で求めた分
布 p = (p1 , . . . , pr ) に近付く (条件付き大数の法則より). n が巨大ならば pi は Gibbs 分布の形をしているとしてよい.
たとえば s = 1, f1,i = Ei , c1 = U , β1 = β のとき,

pi =1 −βEieqi ,ZZ=r∑

e−βEi qi ,−i=1r1∑∂ log Z=Ei e−βEi qi = U.
∂βZ i=1

これらの公式は qi たちが互いにすべて等しい場合には統計力学における Boltzmann 因子を用いた確率分布の記述に一致している.
∑Gibbs 分布に対する相対エントロピー S[p|q] = −K[p|q] = − ri=1 pi log(pi /qi ) の別の∑r∑r∑s表示を求めよう: log(pi /qi ) = − ν=1 βν fν,i − log Z, i=1 pi = 1, i=1 fν,i pi = cν なのでS[p|q] =s∑βν cν + log Z.

ν=1

たとえば s = 1, f1,i = Ei , c1 = U , β1 = β のとき

S[p|q] = βU + log Z.
これらの公式は, Boltzmann 定数が含まれていない点を除けば, 統計力学を知っている人達にとってお馴染みの公式だろう.

2.3. 母分布が連続型の場合から連続型指数型分布族が得られること

2.39母分布が連続型の場合から連続型指数型分布族が得られること

母集団分布が確率密度函数 q(x) で与えられている場合を考えよう. この場合には n 回の独立試行の結果得られる経験分布の確率密度函数がほぼ p(x) になる確率の対数の 1/n倍は n → ∞ で∫p(x)S[p|q] = −K[p|q] = − p(x) logdxq(x)に近付くと考えられる. 分布 p(x) に以下の条件を課す:∫fν (x)p(x) dx = cν(ν = 1, . . . , s).
前節と同様にして, この条件のもとで K[p|q] を最小にする確率密度函数 p(x) を求めると次のようになることがわかる:

1 ∑sp(x) = e− ν=1 βν fν (x) q(x),∫ Z ∑sZ = e− ν=1 βν fν (x) q(x) dx,∫∑s∂ log Z
1fν (x)e− ν=1 βν fν (x) q(x) dx = cν .
−=∂βνZ
このようにな形の連続型確率分布の族を連続型の指数型分布族と呼ぶ. 積分が和の場合には離散型の指数型分布族と呼ばれる.
たとえば以下の確率分布はすべて指数型分布族に含まれている.
多項分布

k1 + · · · + kr = n のとき, βi = − log qi とおくとn!
e−k1krpk1 ,...,kr =q · · · qr =k1 ! · · · kr ! 111n!
, Z= nqk1 ,...,kr =n
k1 ! · · · kr ! nn∑ri=1 βi ki

正規分布p(x) =

1 −(x−µ)2 /(2σ2 )e,ZZ=

qk1 ,...,krZ,√
2πσ 2 .

Gamma 分布 x > 0 においてp(x) =第二種 Beta 分布p(x) =e−x/τ +(α−1) log xe−x/τ xα−1=,τ α Γ(α)
ZZ = τ α Γ(α).

x > 0 においてe(α−1) log x−(α+β) log(1+x)
xα−11=,B(α, β) (1 + x)α+βZ

自由度 1 の t 分布 (Cauchy 分布)

e− log(1+x )1 1=,π 1 + x2
Z2p(x) =Z = π.

Z = B(α, β).

2. 条件付き大数の法則から Boltzmann 因子へ

10
第一種 Beta 分布

p(x) =0 < x < 1 について
xα−1 (1 − x)β−1e(α−1) log x+(β−1) log(1−x)=,B(α, β)ZPoisson 分布
pk =2.4e−λ λke−(log λ)k qk=,k!
Zqk =e,k!

Z = B(α, β).

Z = eλ+1 .

標準正規分布の導出例

例として s = 1, f1 (x) = x2 , c1 = 1, q(x) = 1 の場合にどうなるかを計算してみよう2 . この場合に上の結果は, n 回の独立試行の結果得られた x2 の経験的期待値 (x21 + · · · + x2n )/nについて
x21 + · · · + x2n=1nという条件を課したとき, n → ∞ で x の経験的分布がどうなるかを求めることに等しい.
上の公式を使うと∫√∂ log Z
1 −βx212−p(x) = e,Z=e−βx dx = πβ −1/2 ,
== 1.
Z
∂β2βR
√√
2
ゆえに β = 1/2, Z = 2π, p(x) = e−x /2 / 2π となる. すなわち n → ∞ で得られる分布は標準正規分布になる. この結果は Rn 内の半径の 2 乗が n の原点を中心とする n − 1 次元球面上の一様分布の 1 次元部分空間への射影が n → ∞ で標準正規分布に収束することを意味している. すなわち次の公式が成立している:∫∫

e−x /2lim √f (x1 ) µn (dx) =f (x) √dx.
n→∞
2πn S n−1R√√
ここで n S n−1 は半径 n の n − 1 次元球面であり, µn はその上の一様確率分布であり,f (x1 ) の x1 は x1 は球面上の点 (x1 , . . . , xn ) の射影である. この最後の極限の公式は通常の多変数の微積分の計算で直接に確認できる3 .
以上の計算例を見れば, 指数型分布族に属する他の確率分布がどのような条件を課したときに自然に現われるかも理解できると思う.

22q(x) = 1 なのでこの場合に q(x) は確率密度函数にならない. しかし, 以下の計算の結論は正しい.
次の雑多なノートの Maxwell-Boltzmann 則の節にその直接的な計算が書いてある.
http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160501StirlingFormula.pdf
3