ガウス分布

確率の話は分野によっては頻繁に出てくる話なので、簡単に触れておきます。ここでは確率密度の代表例であるガウス分布を見ていきます。平衡系を扱う統計力学ではそうそうガウス分布を直接使わなければいけない目に合わないので、形だけ知っていれば困らないです。なので、ガウス分布の形を簡単に求めて、性質を触れる程度にします。
また、後半にランダムウォークの話をしますが、これも非平衡系 (拡散現象とか) に興味がない人には馴染みがない話です。

最初に確率の基本的な話をしておきます。ある出来事が起きる確率を Pi とします。通常、出来事に対する確率を全て足しあわせると∑Pi = 1iとなるように規格化します。6 面のサイコロだと各目に対して Pi = 1/6 (i = 1, 2, . . . , 6) です。ちなみに、サイコ
ロの目の確率が 1/6 のように、ある対象において確率を区別すべき理由がない場合は確率は全て等しい、とするのは無差別の原理と呼ばれます (ラプラスによる確率の解釈)。
ある確率 Pi によって生じる量 xi に対する平均は< x >=∑Pi x iiで与えられます。< > は平均を取った量であることを表わす記号です。この平均は日常的に使っている平均と同じ概念です。例えば、テストの平均点もこれに相当します (確率 Pi はその点数を取った人数を全体の人数で割ったもの)。平均と関係している量である分散 (variance) は∑Pi (xi − < x >)2 =< (x− < x >)2 >iとして定義されます。分散の計算で最初に悩みそうなのが∑Pi (xi − < x >)2 =i∑

Pi (x2i + < x >2 −2xi < x >)iにおいて、右辺どうなるのかだと思います。
まず、平均は< a + b >=< a > + < b >という線形性を持ちます。これは平均の式から分かります。そうすると、平均の平均が出てきますが、これは単純に<< x >2 >=< x >2

< x < x >>=< x >< x >= (< x >)2 =< x >2
このようになる理由も平均の式を見れば分かります。平均を取るというのは∑Pi xiiであり、確率 Pi に関連する xi に対して和を取っていくものです。つまり、平均を取った後には、確率 Pi に関連する xi がなくなります。よって、平均を取った後の < x > に対して確率 Pi の平均を取るというのは、単純に確率 Pi を足しきったものをかけるだけです。つまり< x < x >>=∑xi < x > Pi =< x >i∑

xi Pi =< x >< x >iということです。
このことから< x2 + < x >2 −2x < x >>=< x2 > + < x >2 −2 < x >< x >=< x2 > − < x >2となるので、分散の式は∑Pi (xi − < x >)2 =< x2 > − < x >2iと変形できます。ちなみに、分散のルートを取ったものは標準偏差と呼ばれるものになります。
確率変数 (random variable) の定義も与えておきます。確率変数 X は関数で、試行した結果を数値にするものです。例えば、成功か失敗の 2 択で結果が出てくるとき、X( 成功 ) = 1、X( 失敗 ) = 0 とすることです。一般化
した書き方をすれば、ある事象 Ei があったとき、それに対応する数値 xi によって、X(Ei ) = xi となります。このように、確率変数 X とそれの値としての x1 , x2 , . . . , xn があります。
確率 P の変数は確率変数の値になります。例えば、1 から 3 の数字が適当に出力される装置があるとして、5 回出力させた結果が、1 が 2 回、2 が 1 回、3 が 2 回だったとします。このとき、確率変数 X の可能な値は 1, 2, 3 で、それぞれの確率はP (X = 1) =2
12, P (X = 2) = , P (X = 3) =555と書けます。このとき、p(1) = P (X = 1) (p(x) = P (X = x)) のように p, P と区別して書くこともありますが、ここでは区別しません。
ここまでの話は確率によって起こる出来事は離散的だったんですが、これを連続的にします。これは、存在するはずはないですが、振ってでる量が 1 ∼ 6 までの連続量 (小数点以下も含めている) を持っているサイコロを考えるようなものです。そうすると、明らかにサイコロを振って出る目は無限個と思える数になります。なので、そんな全体を見ても何もわからないので、微小領域に制限します。サイコロの例をそのまま使って、1 ∼ 6 = xI ∼ xFの間にいる目 x1 , x2 を考えます。出た目が x1 から x2 にいる確率を P (x1 , x2 ) のように決めます。この x1 と x2 の間が dx だとすれば、P (x1 , x1 + dx) となります。そうすると、x1 周りで展開するならP (x1 , x1 + dx) ≃ p(x1 )dx(dP (x)|x=x1 = p(x1 ))dxと考えてしまえて、p(x1 )dx が x1 から x1 + dx の間の目が出る確率に相当します (確率が幅 dx に比例するというのは感覚的にその通りだと思えます)。

P (x1 , x1 ) = 0 としている理由を簡単に言っておきます。そのためにF (x) = P (X ≤ x)という記号を定義します。右辺の括弧内は、X は確率変数で、その値が x 以下のという意味です。右辺は離散的な場合で書けばn∑F (xn ) = P (X ≤ xn ) =Pi (xi )i=1と定義されます。F (x) は累積分布や分布関数と呼ばれるものです。累積分布は X が x 以下となる確率を表しています。定義から分かるように

P (x < X ≤ y) = P (X ≤ y) − P (X ≤ x) = F (y) − F (x)と書けます。例えば、離散的として、y = x5 , x = x2 とすれば、x3 から x5 にいる確率になります。実際に、

P (x2 < X ≤ x5 ) = P (X ≤ x5 ) − P (X ≤ x2 ) =5∑

Pi (xi ) −i=12∑

Pi (xi ) =i=15∑

Pi (xi )i=3

このように x3 から x5 にいる確率になっています。また、確率は 0 以上という定義から y > x なら

F (y) − F (x) > 0 ⇒ F (y) > F (x)
これですでに予想できるように、連続的として、x1 と x1 + dx の間にいる確率はP (x1 < X ≤ x1 + dx) = P (X ≤ x1 + dx) − P (X ≤ x1 ) = F (x1 + dx) − F (x1 )なので、dx → 0 の極限で 0 になります。よって

P (x1 , x1 ) = 0となります。
話を戻します。pdx を xI から xF の間全てに考えていけば、連続的なサイコロを振ってでる目全てを足し合わせた確率は、和と積分の関係から∫ xF
dx p(x)xIと表わせることが分かります。よって確率の規格化は

∫ xF
1=

dx p(x)xIとして与えられます。この p(x) を確率密度と呼びます。確率変数が離散的なときは確率質量と呼ばれます。
ちなみに、確率分布という言葉は、確率密度、確率質量、累積分布のどれかを指すという、かなり広範囲な使われ方をしています。なので、どのように定義されているのかに気をつける必要があります。例えば、ガウス分布は確率密度や確率分布、二項分布は確率質量や確率分布と言われます。さらにどうでもいいことですが、確率密度関数、確率質量関数、確率分布関数のように関数をつける場合の方が多いです。
これで連続的な場合での確率の扱いが出来るようになります。これを踏まえれば、変数 x に対する平均は∫ xF< x >=

dx p(x)xxIとして求められます。変数 x によるある関数 g(x) に対する平均は∫ xF< g(x) >=dx p(x)g(x)xIとなります。このときの g(x) を確率変数と呼ぶときがあります (確率変数を持つ関数も確率変数ととらえる)。
注意として、この積分を見て分かるように、確率密度 p(x) は無次元量 (単位を持たない量) ではなく、1/x の次元 (単位)、つまり x の次元の逆を持っています。離散的な場合の確率 Pi は単純に足したら 1 になるので無次元量です。
これで確率の準備が終わったので、ガウス分布 (確率論では正規分布と言う場合が多いです) に移ります。確率の話でなんとか分布 (ガウス分布、ガンマ分布、指数分布とか) と言っているときは確率密度 p(x) の形を指します。ここではガウス分布を天下りて的な方法で求めます。ガウス分布はある点 x0 でピークとなり、x0 から離れると一気に 0 に近づく凸型の分布です。というわけで、p(x) を x0 周りで展開します。このとき、x0 付近で急激に p(x) の値が変化するので、単純にテーラー展開すると、それほど良い値を返してくれなく、近似としては悪いです。なので、対数を取ることで、変化を和らげます。そうすると、二次まで展開してlog p(x) ≃ log p(x0 ) +d log p(x)1 d2 log p(x)|x=x0 (x − x0 ) +|x=x0 (x − x0 )2dx2
dx2x0 で最大値とするので、d log p(x)/dx|x=x0 は消えなければいけません (x0 で傾きは 0)。2 階微分は消える必要がないので、これを −a(上向きに凸型の関数の 2 階微分はマイナスになる) とすればlog p(x) ≃p(x) ≃alog p(x0 ) − (x − x0 )22aaexp[log p(x0 ) − (x − x0 )2 ] = p(x0 ) exp[− (x − x0 )2 ]22相当雑に求めましたが、これがガウス分布です。p(x0 ) は定数なので、確率を規格化するための規格化定数と呼ばれ、積分区間を −∞ から ∞ にとったとき、ガウス積分√∫ ∞e−∞−ax2dx =πaを使うことで

∫ ∞
1=−∞

∫ ∞dxp(x) = p(x0 )adx exp[− (x − x0 )2 ] = p(x0 )2−∞√2πaとなるので√p(x0 ) =a2πとなります。ガウス分布を使った時の x の平均値は、x がいるガウス積分∫ ∞xe−ax dx = 02−∞を使うことで

∫ ∞
<x>

=dxp(x)x−∞∫ ∞=−∞√=a2πdx′ p(x′ + x0 )(x′ + x0 )(x = x′ + x0 )

∫ ∞

= x0

adx′ exp[− x′2 ](x′ + x0 )2−∞

とっていることが分かります。つまり、ガウス分布の exp 内にいる x0 がそのまま平均となります。

x の分散は、x2 がいるガウス積分∫ ∞−∞√x2 e−ax dx =2π4a3と x の平均が x0 であることを使って< (x− < x >)2 > = < (x − x0 )2 >∫ ∞=dxp(x)(x − x0 )2−∞
∫ ∞=dxp(x′ + x0 )x′2 (x = x′ + x0 )−∞√∫ ∞aadx′ exp[− x′2 ]x′2=2π −∞2√ √a2π=2π a31=aとなります。よって x の分散もガウス分布の exp 内にいる a によって与えられます。

ガウス分布が求まったところで、なぜガウス分布がよく多方面で現われるのかを見ておきます。理由の一つは上でのガウス分布の導出からも分かるように、凸型の確率分布をしているものはガウス分布に近い形になるためです (上では凸型であることだけを使って求めた)。そのような分布は物理現象を考える上では相当役に立つために、ガウス分布はよく使われます。
他にも理由があるので、それも見ておきます。そのためにランダムウォーク (randam walk) を考えます (酔歩と呼ぶときもあります)。物理の観点からは、ランダムウォークはブラウン運動を単純化したモデルと言うのが通りがいいです。
ランダムウォークはある確率で格子上を移動するというモデルです。これの最も単純な 1 次元の場合を考えます。ある物体が原点にいるとします。この物体は確率 1/2 で右か左に 1 だけ動きます (右なら +1、左なら −1)。この物体がいる位置は、原点の位置を x1 、次に動いた先を x2 , x3 , . . . とすれば

(αi = ±1)

xi+1 = xi + αi

このように表わせます (x1 = 0)。で、N 回動いたときにいる位置は単純に

xN +1 = x1 +N∑

αi =i=1N∑αi(1)i=1

N 回移動したときに m 回 +1 方向に動く確率は111P = N Cm ( )m ( )N −m = N Cm ( )N222((N Cm =Nm)
=N!
)
m!(N − m)!

(2)で与えられ、物体の位置は xN +1 = m − (N − m) = 2m − N となります。物体が 1 回動くたびに 1/2 の確率が生じるので (1/2)m (1/2)N −m となり、N 回のうち m 回 +1 方向に動く場合の数は N Cm なので、これを掛けることで作られます。
別の見方として、N 回動いたらある地点 X にいる確率がP (X, N ) =1
1P (X − 1, N − 1) + P (X + 1, N − 1)
22(3)のように書けることを利用しても求められます。P (X − 1, N − 1) と P (X + 1, N − 1) は N − 1 回動いたとき目
標地点 X の左隣、右隣にいる確率です。で、この後に、1/2 の確率で X − 1 と X + 1 は X にいけるので、このような式になります。この式からも、知りたいことを見ることが出来ますが、別の方法を使います。
ランダムウォークでは 1 回移動するごとに αi = ±1 が 1/2 の確率で作用してきます。つまり、物体の移動後の位置は αi の確率密度によって平均を取ったものになります ((3) のこと)。これを N 回繰り返せば、N 回動いた先の確率密度になります。しかし、これだけでは移動後の位置の情報がないので、それをくっつける必要があります。
この発想で N 回移動した後の位置 xN +1 がどのように分布しているのかを表わす確率密度 P (xN +1 ) を求めます。
まず、αi の確率密度を作ります。αi は 1/2 の確率で ±1 の値を持つので、これは明らかに滑らかな関数では表現できないことがすぐに分かります。このように唐突に一点で値を持つものはディラックのデルタ関数によって表現するのが常套手段で、αi の確率密度はf (αi ) =このような形で作ることができます。

11
δ(αi + 1) + δ(αi − 1)22

後必要なのは、移動した位置の情報です。N 回移動した位置は (1) によって表わされます。この式は、右辺のように移動したら xN +1 についたと読むことが出来ます。つまり、当たり前のことですが、Σαi が移動した先の位置を表わします。このことから、xN +1 が Σαi の値を持つ時に、0 でない値を返せばいいということが分かります。
なので、デルタ関数によって

δ(xN +1 −N∑αi )i=1とすればいいです。
よって物体が xN +1 にいる確率密度として∫P (xN +1 ) =dα1 dα2 · · · dαN δ(xN +1 −N∑αi )f (α1 )f (α2 ) · · · f (αN )

i=1

∫ ∞
=−∞

dα1 dα2 · · · dαN δ(xN +1 −N∑αi )

i=1

[ 1]
1
11× ( δ(α1 + 1) + δ(α1 − 1))(( δ(α2 + 1) + δ(α2 − 1)) · · ·2222
こんな形が与えられます。例えば、α2 までを考えた時、f (α1 )f (α2 ) でのデルタ関数の組み合わせはδ(α1 + 1)δ(α2 + 1) , δ(α1 + 1)δ(α2 − 1) , δ(α1 − 1)δ(α2 + 1) , δ(α1 − 1)δ(α2 − 1)の 4 つになっています。これらが α1 , α2 の積分にひっかかり

P (xN +1 ) =]1[
δ(xN +1 + 1 + 1) + δ(xN +1 + 1 − 1) + δ(xN +1 − 1 + 1) + δ(xN +1 − 1 − 1)
4となります。デルタ関数は δ(x) = 0 (x ̸= 0) となっていることを考えれば、1/2 の確率で 2 回 ±1 移動したとき、物体は 1/4 の確率で −2, 2、1/2 の確率で 0 にいることが分かります ((2) でも同じ結果になります)。これで、このデルタ関数を使った表現で問題ないことが確かめられました。デルタ関数がくっついていて気持ち悪いですが、デルタ関数のおかげで P (xN +1 ) は (2) と違い、手で +1 方向に動いた回数 m をいれる必要がなくなっています。
ここで、デルタ関数が1δ(x) =2π∫ ∞dzeixz−∞

このようにかけることを使うと (ここから xN +1 は x と書くことにします)、

∫
P (x)

==
=
=
=dα1 dα2 · · · dαN δ(x −12π∫∫dkN∑αi )f (αi )f (α2 ) · · · f (αN )

i=1
N
∑
[]
dα1 dα2 · · · dαN exp i(x −αi )k f (αi )f (α2 ) · · · f (αN )i=1∫∫[]1dk dα1 dα2 · · · dαN exp i(x − α1 − α2 − · · · − αN )k f (αi )f (α2 ) · · · f (αN )2π∫∫1dkeikx dα1 dα2 · · · dαN e−iα1 k f (αi )e−iα2 k f (α2 ) · · · e−iαN k f (αN )2π∫1dkeikx < e−iα1 k >< e−iα2 k > · · · < e−iαN k >2π(4)f (αi ) による平均を < > で表わしています。< e−iαi k > は<e−iαi k∫> =∫=dαi e−iαi k f (αi )dαi e−iαi k(1)1δ(αi − 1) + δ(αi + 1)
2
2

1 −ik(e+ eik )21(cos k + cos k)=2= cos k=なのでP (x) =12π

∫dkeikx (cos k)N

cos k は −1 ∼ +1 の値を持つので、N が十分大きければ、±1 付近の寄与しかこないとしてもよさそうです。−1がいると符号の関係上面倒なので、(cos k)N = (exp[log cos k])Nとしてしまい、+1 しか取れないようにします。cos k が 1 となるのは k = 2πn (n = 0, 1, 2 · · · ) のときです。k = 0の場合だけを考えれば十分となっているので、k = 0 だけを考えます。k = 0 周りで一応 k 4 まで展開するとexp[log cos k] =====
使った展開は[]11exp log(1 − k 2 + k 4 )24!
[ 1 2]
1 4 1 1 2
1exp − k + k − (− k + k 4 )2224
2 24!
[ 1 21 4 1 4]
exp − k + k − k2248[ 1 21 4]
exp − k − k212
[ 1 21 ]exp − k − k 4
212(5)

cos x =∞∑(−1)n(2n)!
n=0log(1 + x) =x2n∞∑(−1)n+1n=0nxn

P (x) は∫([ 111 ])N
dkeikx exp − k 2 − k 42π212∫[]111dkeikx exp − N ( k 2 + k 4 )2π212∫[ N ]N 2
1dkeikx e− 2 k exp − k 42π12P (x) ===√k を k ′ / N と変換してみると
1P (x) = √N∫

[ ik ′ x 1 ][dk ′1 ′4 ]exp √ − k ′2 exp −k2π212NNとなるので、N が十分大きければ k ′4 の項は無視できます。よって

1P (x) = √N

∫

[ 1]
dk ′x
exp − k ′2 + i √ k ′2π2N

これはガウス積分∫ ∞e−a2 x2 +ibx−∞√
[πb2 ]
dx =exp − 2a4aを使うことでP (x) ==

[ 2x2 ]
1 1 √√2π exp −4N
N 2π[1x2 ]√exp −2N2πNとなり、これはガウス分布の形です。ランダムウォークは原点を中心にガウス分布するという性質が導けたことになります。
これで何が分かったのかをまとめておきます。話はランダムウォークから出発しています。これを拡大解釈すれば、勝手に動きまわっている物体の話をしてきたことになります。で、その動いている物体が 1/2 の確率で十分沢山の回数動きまくったときの位置の確率密度は、ガウス分布によって表現されることが分かりました。さらに、計算の過程を見ていくと、確率 1/2 の動きでなくてもガウス分布になるということも見て取れます。これは、(4)を見ると、特にランダムウォークの確率密度 f (αi ) の形に明確に依存しているわけではない点から分かります (これがわざわざ今のやり方でランダムウォークを扱った理由です)。重要なのは (5) のように < e−iαi k > が十分大き

な N において、k = 0 周りで展開できるという点です。k = 0 周りで問題なく k 2 のオーダで展開できるなら、位置の確率密度 P (x) はガウス分布になります。
このように、制限はありますが、動く物体が十分多く動き回っているなら確率密度はガウス分布によって表現されるために、自然現象のモデルとして頻繁に現われます。