粗視化
厳密な分布関数 f {\displaystyle \left.f\right.} に対して同様な「エントロピー」を定義する。
S [ f ] = − k B ∫ f ln  f d p d x {\displaystyle S[f]=-k_{B}\int f\ln f\ dpdx}
ここで k B {\displaystyle \left.k_{B}\right.} はボルツマン定数、 ln {\displaystyle \left.\ln \right.} は自然対数。この時間変化は次の様になる。
d S [ f ] d t = − k B ∫ ( 1 + ln  f ) d f d t d p d x {\displaystyle {\frac {dS[f]}{dt}}=-k_{B}\int \left(1+\ln f\right){\frac {df}{dt}}\ dpdx}
ところが、リウヴィル方程式より、
d f d t = ∂ f ∂ t + ∂ f ∂ p p ̇ + ∂ f ∂ x x ̇ = 0 {\displaystyle {\frac {df}{dt}}={\frac {\partial f}{\partial t}}+{\frac {\partial f}{\partial p}}{\dot {p}}+{\frac {\partial f}{\partial x}}{\dot {x}}=0}
であるから、
d S [ f ] d t = 0 {\displaystyle {\frac {dS[f]}{dt}}=0}
つまり、厳密な分布関数に対するエントロピーは時間依存性を持たない事がわかる。一般的によく言われる「エントロピーの増加法則」は、何らかの情報に対して粗視化された分布関数に対して初めて成り立つ。
簡単な例で考えてみよう。
4つの箱イロハニと2つのボール●がある。2つのボールは区別可能であり、1つの箱にボールは一つずつしか入れられない。そしてボールは4つの箱のいずれかに等確率で入っているとする(そのメカニズムは問わない)。2つのボールの違いには興味が無いので、その配置パターンは全部で6種類考えられる(上図)。
それぞれのパターンに対し、「配置数」wを計算する。
w = N ! ∏ i n i ! {\displaystyle w={\frac {N!}{\prod _{i}n_{i}!}}}
ここでNはボールの総数2であり、 n i {\displaystyle n_{i}} (i=イロハニ)はそれぞれの箱に入っているボールの数である。ところがこの場合「配置数」wは全て2となることがわかる。例えばこの系の初期状態がパターン1であったとした場合、それから時間発展して他のパターンへと移り変わったとしても「配置数」wは変化せず、それに対応した「エントロピー」sも初期状態から変化しない事がわかる。
s = k B ln  w {\displaystyle \left.s=k_{B}\ln w\right.}
k B {\displaystyle \left.k_{B}\right.} はボルツマン定数、 ln {\displaystyle \left.\ln \right.
} は自然対数。
ここで箱を2種類に分ける。イロを白グループ、ハニを桃グループとする。そして箱単位ではなくこれらのグループ単位で配置数を考え、それをWとする。
W = N ! ∏ c g n c g ! {\displaystyle W={\frac {N!}{\prod _{cg}n_{cg}!}}}
ここでNはボールの総数2であり、 n c g {\displaystyle n_{cg}} (cg=白or桃)はそれぞれのグループに入っているボールの数である。この箱のグループ分け操作は、箱の違いに関する詳細な情報を破棄するという粗視化操作に相当する。するとこの場合、パターンごとに配置数Wに変化が現れる事がわかる(上図)。例えばこの系の初期状態がパターン1であったとした場合、それから時間発展して他のパターンへと移り変わったとすると、多くの場合(パターン6以外)において配置数Wは増加する(1→2)。それに対応したエントロピーSも初期状態から増加する。
S = k B ln  W {\displaystyle \left.S=k_{B}\ln W\right.}
k B {\displaystyle \left.k_{B}\right.} はボルツマン定数、 ln {\displaystyle \left.\ln \right.} は自然対数。
このモデルでの「1つの箱にボールは一つずつしか入れられない。」という仮定は、例えば多粒子系を考えた時、複数の粒子の座標が厳密に重なり合う確率はほとんど無い、という事を表している。