情報エントロピーとの関係

各アンサンブルでの分布関数が情報エントロピーと関係していることを見ます。情報エントロピーは情報理論で使われるものなので、通常は統計力学で使われるものではないです。しかし、ここで見るように各アンサンブルと関係しており、情報エントロピーから分布関数を構築することもできます。

まず、各アンサンブルでの分布関数を見直しておきます。位相空間における状態の分布 (確率密度) を表す分布関数を f (p, q, t) とします。q は一般化座標、p はその共役量、t は時間です。p と q は p = (p1 , p2 , . . . , pN )、q = (q1 , q2 , . . . , qN ) と略したものです。N は粒子数です。これは、位相空間全体にわたる積分で規格化して

1N !(2πℏ)3N∫∫f (p, q, t)dpdq =f (p, q, t)dΓ = 1d3 p1 d3 p2 · · · d3 pN , d3 q1 d3 q2 · · · d3 qN を省略して dp, dq と書いています。N !(2πℏ)3N は「ミクロカノニカルアンサンブル」での話と同じ理由でつけています。この分布関数の対数 log f の平均値

∫S=−f (p, q, t) log f (p, q, t)dΓをギブスのエントロピーと言います。このエントロピーは、この式からはすぐには分かりませんが、時間独立であることに注意してください。なぜなら、熱力学によって孤立系ではエントロピーが増加するとされているからです。
時間独立であることは、リウヴィルの定理から位相空間での分布関数がf (p, q, t) = f (p′ , q ′ , t′ )(1)という関係を持っているのを利用すれば分かります。リウヴィルの定理は、正準方程式 (運動方程式) に従って運動しているとき、位相空間においてある時間 t での微小体積 dpdq とそこから時間経過した時間 t′ での dp′ dq ′ は等しいという定理で (それぞれの領域の形が変わったとしても)dpdq = dp′ dq ′(2)という関係を持っていることです (証明は省きます)。つまり、リウヴィルの定理は、時間 t での位相空間の領域 R内の点は、時間 t′ で R′ 内に移り（運動方程式に従って）、これらの領域の体積は等しいと言っています。このことから、時間 t の微小体積を dpdq 、時間 t′ の微小体積を dp′ dq ′ としたとき、dpdq に含まれる点は、dp′ dq ′ に移ります。なので、点の数は変わらないことから分布関数によって

f (p, q, t)dpdq = f (p′ , q ′ , t′ )dp′ dq ′となり、(1) が出てきます。ちなみに、f の時間変化を考えると

∂f= {H, f }∂tとなっていて、この式は同じ意味を持っていてリウヴィル方程式と呼ばれます。{ } はポアソン括弧、H はハミルトニアンです。(1) で t′ = t + dt として f (p + ṗdp, q + q̇dq, t + dt) を展開すれば出てきます (詳しいことは「リウヴィル方程式」参照)。この式をリウヴィルの定理と言う場合もあります。リウヴィルの定理は解析力学の範疇で証明できるますが、統計力学の方が出会いやすいです。(2) と (??) を合わせることでギブスのエントロピーは1
S= −N !(2πℏ)3N
1= −N !(2πℏ)3N= −1
N !(2πℏ)3N∫f (p, q, t) log f (p, q, t)dpdq∫∫f (p′ , q ′ , t′ ) log f (p′ , q ′ , t′ )dp′ dq ′f (p′ , q ′ , t′ ) log f (p′ , q ′ , t′ )dpdq

このときに t′ = 0 とすれば、S は時間に依存しなくなるので、ギブスのエントロピーは時間に対して不変です。しかし、熱平衡状態ではエントロピーは一定であるために熱平衡では何の問題もないので、これについての問題は無視することにします。
熱平衡でのミクロカノニカルアンサンブルを考えてみます。ミクロカノニカルアンサンブルはエネルギーが Eと E + ∆E の間の状態数 W がエネルギー E 、粒子数 N 、体積 V によって決められ、位相積分によって状態数は∫W (E, N, V ) =dΓE∼E+∆Eで与えられます。そして、等確率の原理から分布関数 f (p, q) は

f (p, q) =1
W (E, N, V )(E ∼ E + ∆E)

E ∼ E + ∆E の外では f (p, q) = 0 です。時間変化はしないので t を省いています。これをギブスのエントロピーに入れると∫
S= −f (p, q) log f (p, q)dΓ∫1log W (E, N, V )dΓ
E∼E+∆E W (E, N, V )∫1=log W (E, N, V )dΓ
W (E, N, V )E∼E+∆E== log W (E, N, V )このようにボルツマン定数 kB はいませんが、状態数によるエントロピーの式になります。
カノニカルアンサンブルでの分布関数は「カノニカルアンサンブル」での Pn でPn = Z −1 exp[−βEn ] , Z =∑iexp[−βEi ]と与えられています。これを位相空間で書き直せば

f (p, q) = Z−1∫exp[−βH(p, q)] , Z =exp[−βH(p, q)]dΓ

β = 1/kB T で、H(p, q) はハミルトニアンです。位相空間上であることと、ミクロカノニカルでの与えられたエネルギー E と区別するために H(p, q) を使います。
グランドカノニカルではPn =∑∑exp[−β(En − µNn )], Ξ(T, V, µ) =exp[−β(Emn − µNn )]Ξ(T, V, µ)m nEmn は粒子数 Nn の状態における位相空間上でのエネルギー Em という意味です。Em が位相空間上で H(p, q) としたとき、分布関数は∑exp[−β(H(p, q) − µNn )]fn (p, q) =, Ξ=Ξn∫exp[−β(H(p, q) − µNn )]dΓnとなります。エネルギーと粒子がいるので分布関数の規格化は∑∫nfn (p, q)dΓn =∑n1n!(2πℏ)3n∫
fn d3 p1 d3 q1 · · · d3 pn d3 qn = 1となり、平均は< A >=∑∫A(p, q)fn (p, q)dΓnnで与えられます。当たり前ですが、n ≥ 0 です。
ここで情報エントロピー (information entropy) と呼ばれるものを持ち出します。情報エントロピーは何かの確率 pi (離散的) によって

SI = −∑ipi log pi ,

∑pi = 1iと定義されます。確率は 1 以下なので SI が正の値になるようにマイナスを付けています。情報エントロピーは Hで表されることが多いですが、ハミルトニアンと区別するために SI としています。情報エントロピーはシャノン(Shannon) エントロピーとも言い、特に対数の底を 2 としたもの (log2 ) をさすときにシャノンエントロピーと言うことが多いです。情報理論はシャノン 1 人によってほぼ作られました。
ちなみに、− log pi は情報量、シャノンエントロピー −pi log pi は情報量の平均の形になっているために平均情報量と呼ばれ区別されています。この 2 つは等確率 p1 = p2 = · · · なら同じになります。
式を見てすぐに分かるように、pi の内のどれかが 1 で他が 0 というときに SI = 0 となっています。最大となる
ときは、−p log p (0 ≤ p ≤ 1) が上に凸の関数 (凹関数) であることから、凹関数 F (xi ) の平均の取り方に対する性質
NN1 ∑1 ∑F (xi ) ≤ F (xi )
N i=1
N i=1

を利用すれば分かります。これからSI (p1 , . . . , pN ) = −N∑i=1

pi log pi =N∑1 ∑1111 1pi ) = N F ( ) = −N ( log ) = SI ( , , . . .)N i=1
NNNN NNF (pi ) ≤ N F (i=1

この関係は pi が全て同じときに情報エントロピーは最大になることを示しています。というわけで、情報エントロピーは得られる情報が確定しているときに最小になり、すべての確率が同じときに最大になります。これは感覚的に分かりやすい性質で、確率が低いほうが情報量は多くなります (よく起きることよりたまにしか起きないことの方が情報量が多い)。
不確かさを表すのが情報エントロピーと言うのも分かりやすい言い回しです。これは全ての確率が同じときが最も不確かで、確率に偏りがあると不確かさが減るというのに対応します (表裏が確率 1/2 で出るコインではどちらが出るか分からないが、表が 3/4, 裏が 1/4 で出るコインでは表が出やすくなる)。また、情報エントロピーをエントロピーと対応させて乱雑さを表すとするのは、意味合いが不鮮明になるので止めたほうがいいと思います。
情報エントロピーの単位についても簡単に触れておきます。情報エントロピーは対数で与えられているので、その底をどうするかで単位が変更されます。底が 2 のときをビット (bit)、e のときをナット (nat) と呼びます。底の変更は、情報エントロピー SI の底を 2 にしたものを S2 とすると、底の変換式

loga b =logc blogc aから

S2 = −∑pi log2 pi = −i∑ipilog pi
SI=log 2log 2

ここで、起こる事象は 2 個しかなく、その確率は等しいとします。そうすると p1 = p2 = 1/2 なので

1 111
SI = − log − log = log 222 22となり、これは全ての確率が等しいことから SI の最大値なので、SI の範囲は 0 ≤ SI ≤ log 2 となります。そうすると、これを S2 の式に入れれば S2 の範囲は0 ≤ S2 ≤ 1となります。この話から、0, 1 の 2 通りによるデータ量の単位がビットと呼ばれることとの対応が分かると思います。
話が逸れますがついでなので、例として、使える色が白黒のみの画像ファイル (ビットマップ形式) のファイルサイズを計算してみます。画像は 100 × 100(ピクセル) のサイズとします。今使える色は白か黒なので、1 ピクセルに入る色の確率は 1/2 です。このため、1 ピクセルが持つ情報量は− log2 2−1 = 1 ( ビット )となります (等確率なので平均情報量と情報量で同じになる)。後はこれが 100 × 100 あるので、ファイルサイズは 10000 ビットとなります。1 バイトは 8 ビットのことなので 8 で割れば、1250 バイトとなります。実際にはこれにヘッダサイズとかが加わるので、1250 バイトよりは大きくなります。このように、画像を作るのに必要な要素の確率の対数を取ることでファイルサイズは決まります (画像に何が描いてあるかは関係ない)。また、1 ピクセルが持つ情報量は、16 色なら確率は 1/16 = 2−4 なので 4 ビット、256 色なら 1/256 = 2−8 なので 8 ビットとなります。これから、色の選択に幅があるときのほうが確率が低くなり情報量が多くなるのが分かると思います。
情報エントロピーについてはこれで終わりにします。
情報エントロピーは位相空間における連続分布に対して∫SI = −f log f dΓとなっているので、ギブスのエントロピーは情報エントロピーです。このように対応しているので、各アンサンブルの分布関数に対して情報エントロピーがどうなっているのか求めてみます。
ミクロカノニカルアンサンブルでの分布関数を f 、任意の分布関数を f ′ とします (両方とも同じエネルギー面で定義されている)。単純な不等式

log x +1
≥1x(x > 0)を使います。これは、x = 1 から x = 0 に行くとき 1/x のほうが log x よりも急激に発散し、x ∼ 1 のときでは

11−x1 − (1 − ϵ)log x = log(1 − ϵ) ≃ −ϵ − ϵ2 − · · · ,== ϵ(1 + ϵ − · · · )2x1−ϵ(ϵ ≪ 1)

であることを踏まえれば 0 < x < 1 のとき log x + 1/x − 1 > 0 となり、x = 1 のときでは等号になり、x > 1 では

log x + 1/x − 1 が増加関数であるために log x + 1/x − 1 > 0 となるからです。これに x = f ′ /f ( 確率分布なのでf, f ′ > 0) として入れるとlogff′+ ′ ≥1fff′≥ f′ − ff∫∫∫f′′′f log dΓ ≥f dΓ − f dΓf∫f′f ′ log dΓ ≥ 0ff ′ log(3)という形が出てきます (f と f ′ は全位相空間積分で 1 に規格化)。これに f がミクロカノニカルであることを入れると∫−f ′ log f ′ dΓ ≤ −∫f ′ log f dΓ = −∫f log f dΓ

最右辺に行くときに、ミクロカノニカルの分布関数はエネルギー E ∼ E + ∆E の範囲内での状態数 W の逆数であるために位相積分に引っかからないことと、f, f ′ の規格化が同じであることを使っています。f ′ は任意の分布関数なので、ミクロカノニカルの分布関数による情報エントロピーが最大になっています。これは等確率の原理から予想できる結果です。
次に情報エントロピーに対して平均エネルギーが分布関数 f (p, q) によって∫< E >=

H(p, q)f (p, q)dΓと与えられている場合を考えてみます。このような条件付きでの極値はラグランジュの未定乗数法 (解析力学の「拘束条件」参照) で求められるので、情報エントロピーの極値はSI′ = SI + λϕ , dSI′ = dSI + λdϕ = 0によって求められます。条件 ϕ は今の場合では(λϕ = λ1 < E > −∫)(Hf dΓ + λ2 1 −∫f dΓ)となっています。規格化の式も拘束条件になっています。変分を計算すると∫dSI
df = −df dΓ(log f + 1)df∫∫
λdϕ = −λ1 df HdΓ − λ2 df dΓdSI =なので∫∫dΓ(log f + 1) − λ1(−∫−∫HdΓ − λ2∫dΓ log f − λ1dΓ)df = 0∫HdΓ −∫dΓ − λ2dΓ =log f + λ1 H + 1 + λ2 =f = exp[−λ1 H − 1 − λ2 ]そして、規格化の条件∫∫
f dΓ = exp[−1 − λ2 ]exp[−λ1 H]dΓ = 1から

f = Z −1 exp[−λ1 H] , Z =∫exp[−λ1 H]dΓ

ここで λ1 = β とすれば、これはカノニカルでの分布関数になっています。というわけで、情報エントロピーに平均エネルギーを与えた時の極値はカノニカルの分布関数で与えられます。これが最大値になっていることはミクロカノニカルと同じようにすれば分かります。不等式 (3) に入れて f がカノニカルでの分布関数とすれば∫−′′f log f dΓ ≤ −∫′f log f dΓ = − log Z−1∫′f dΓ + β∫′f HdΓ = log Z + β∫f HdΓ′

最右辺にいくときに f ′ と f が同じ規格化で、同じ平均エネルギーを与える∫

f ′ HdΓ =∫f HdΓ

(4)という条件を入れています (平均エネルギー < E > を与える分布関数を考えているから)。そして、∫∫

Z −1 e−βH (− log Z − βH)dΓf log f dΓ == − Z −1 log Z∫

e−βH dΓ − β∫

Z −1 e−βH HdΓ∫= − log Z − βf HdΓ

であることから∫−f ′ log f ′ dΓ ≤ −∫f log f dΓとなるので、カノニカルでの分布関数は平均エネルギーを与えた時の情報エントロピーの最大値を与えます。
同様に平均エネルギー < E > と粒子数の平均 < N >< E >=∑∫Hfn dΓ , < N >=∑∫nnfn dΓ(∑n∫fn dΓ = 1)nを与えると、ラグランジュの未定乗数法によってグランドカノニカルの分布関数

fn = Ξ−1 exp[−β(H − µNn )]が情報エントロピーの極値と分かり、最大値であることは、カノニカルと同じように任意の分布関数 f ′ に∑∫

Hfn dΓ =n∑∫

Hfn′ dΓ ,n∑∫nnfn dΓ =∑∫nfn′ dΓnという条件をかけたときに−∑∫nfn′ log fn′ dΓ ≤ −∑∫nfn′ log fn dΓ = −∑∫nfn (− log Ξ − β(H − µNn ))dΓ = −∑∫fn log fn dΓnとなることから分かります。よって、平均エネルギーと平均粒子数が与えられた情報エントロピーの最大値はグランドカノニカルでの分布関数によって与えられます。
このように統計力学と情報理論との間には関連性があります。歴史的には統計力学の方が古いので、情報理論は統計力学を参考にしている部分が結構あります。また、情報エントロピーは統計力学でも必要になる場面があります。熱平衡状態におけるエントロピーの定義は明確に与えれていますが、非平衡状態でのエントロピーは明確に定義されていなく、そのため確率で定義できる情報エントロピーが非平衡状態の話で使われます。

・補足
情報理論に関連する確率についての小話をします。
確率には主観確率 (subject probability) と客観確率 (object probability) という分類があります。大雑把に言え
ば、主観確率は個人の判断で決められる確率、客観確率は実験結果から作られる確率です。言い方を合わせれば、個人による確率が主観確率、共通認識として使える確率が客観確率です。例えば、サイコロの目の確率は 1/6 というのは実験結果としてあるので、一般常識として共有されています (実験結果を信じるという暗黙の了解がある)。
主観確率は、例えばすれ違った人がそのまま帰宅する確率は何かというものです。これは直感やすれ違った人の見た目に対する個人的な印象に依存しています。
主観、客観確率の境界はかなり曖昧です。例として、条件付き確率 (conditional probability) の問題として、サイコロを振ると偶数が出るという条件において、2 が出る確率はいくつかというのを持ってきます。答えはすぐ分かるように 1/3 です。この条件を情報と読み替えます。つまり、サイコロを振ると偶数しか出ないことを知っている人にとって、2 が出る確率は 1/3 ということです。これは主観確率です (知っているかどうかに依存するから)。
しかし、偶数しか出ないということを知っていさえすれば、誰でも確率は 1/3 になるという点から見れば、客観確率です。