沙川貴大東京大学院総合文化研究科2014年５月８日
概要
情報理論と熱力学を融合した理論，情報熱力学について入門的な解説を行う．とくに，測定やフィードバックなどの情報処理過程への，熱力学第二法則や非平衡関係式の一般化について議論する．また，情報熱力学の一つの帰結として，いわゆるマクスウェルのデーモンのパラドックスがどう解決されるかも議論する.
1　イントロダクション
情報と熱力学を橋渡しする研究は，いわゆる「マクスウェルのデーモン（Maxwell’s demon）」の思考実験にまでさかのぼる[1].デーモンは熱ゆらぎのレベルで熱力学系を観測して制御することで，熱力学第二法則に反したことができるように見えてしまう．果たしてデーモンは第二法則を破るのか――19世紀以来多くの議論がなされてきたが，ここ数年で理解が本質的に進展した．本稿で詳しく議論するように，「情報」の概念を近年の非平衡統計力学の成果に取り入れることで，デーモンと第二法則の整合性を完全に理解できることが明らかになった．また実験的にも，最近になってはじめて，実際にマクスウェルのデーモンが実験で実現された[2].この背景には，単一高分子や単一コロイド粒子のようなミクロな熱力学系を観測・制御する実験技術の進展がある．このようなミクロな系も，周囲に水などのマクロな熱浴があることにより，熱力学的な振る舞いをする．ミクロ系においては熱ゆらぎの効果がマクロ系に比べて顕著なので，その「ゆらぎ」についての情報を用いた制御が実験で実現できるのだ．このとき，デーモンとは熱ゆらぎのレベルで測定とフィードバックを行うデバイスであると理解できる.このように，情報と熱力学をつなぐ研究は新しい分野を形成しつつあり，いわば「情報熱力学」と呼ぶことができる¹．情報熱力学の重要性は，「マクスウェルのデーモンのパラドックス」を解決できるという（ある意味で，懐古的な）ことだけではない．パラドックスの解決は一つのコロラリーに過ぎず，情報熱力学はより豊かな内容を含んでいる．たとえば，測定やフィードバックなどの情報処理過程に適用できる形に，熱力学第二法則や非平衡統計力学の関係式が拡張された．その結果として，デーモンが取り出せる仕事量の上限や，測定に要するエネルギーコストの原理的な下限が，情報量と定量的に結びついていることが明らかになった.かつて伝統的な熱力学が成立したとき,「不可逆性とは何か」という原理的な問題と「どうすれば効率のいい熱機関を作れるか」という実用的な問題が，密接に結びついていた．同様に，惜報熱力学においても，「情報とは何か，それは不可逆性とどう関係するか」という原理的な問題と「どうすれば低コストで情報処理が可能か」という実用的な問題が，相補的にお互いを深めながら発展していくことが期待される.本稿の目的は，情報熱力学のコアとなる考え方を簡潔に議論することである．まず第２節で，惜報と熱力学をつなぐもっとも基本的なモデルであるシラード・エンジンを紹介する.次に第３節で，情報理論の入門について議論し，どのようにして「情報」という概念を定量化するかを述べる．次に第４節で，近年の非平衡統計力学の成果である「ゆらぎの定理」を概観する．第５節では情報消去に関する「ランダウア原理」ついて述べる．次の第６節が本稿のメインであり，測定とフィードバックの熱力学について詳しく解説する．シラード・エンジンが現代的立場からどのように理解できるかについも述べる．第７節では，歴史を振り返りつつ, 「マクスウェルのデーモンのパラドックス」の解決についてまとめる．最後に第８節で，情報熱力学についての最新の研究の一端を紹介する．なお，本稿では主に古典系の場合について議論する.
2　シラード・エンジン
我々の出発点はシンプルな思考実験である．マクスウェルのデーモンのモデルのうち，最も簡単かつ本質的なものとして知られているのが，シラード・エンジン（Szilard engine）と呼ばれる一粒子熱機関である（図１を参照）.まず図1(a)のように，温度Ｔの熱浴と接触した箱の中に粒子が一つ入っており，熱平衡状態にある．次に(b)のように，箱の中央に仕切りを入れる．粒子が十分小さいとすると，この操作に仕事は必要ない．ここで観測者たる「デーモン」が，粒子がどちらの箱に入っているかを誤差なく測定する．この測定で得られた情報量は「左」か「右」かの１ビットであり，これは自然対数でln２の情報量である．測定の後，観測者にとっては，図1(c)のように粒子がどちらの箱に入っているかが完全に分かる．そこで(d)のように，もし粒子が左に入っていたら右の端まで，もし右に入っていたら左の端まで，中央の仕切りを等温準静的に移動させる．すなわち，粒子が入っている方の箱の休積を二倍に膨張させる．理想気体の状態方程式を使うと，この等温準静膨張によってkBT ln 2の仕事を取り出せることが分かる（kBはボルツマン定数）. この操作のあと，エンジンは最初の熱平衡状態に戻る.シラード・エンジンにおいて，熱浴は一つしかなく，最初と最後は同じ熱平衡状態である．そのため，これは一見すると「等温サイクルから正の仕事を取り出すことは出来ない（すなわち，第二種永久機関は不可能である）」という熱力学第二法則に反しているように見える.これが「マクスウェルのデーモンのパラドックス」である．シラード・エンジンが熱力学第二法則に反しないとするならば，それはなぜなのだろうか.歴史的にみると，この問題を熱力学・統計力学の立場から明確に解決するのは困難であった．シラードがこの思考実験を提唱したのは1929年であり[4],その後ブリルアン(Brillouin) [5],ランダウア（Landauer）[6],ベネット（Bennett）[7]ら多くの物理学者たちがこの問題を議論してきた²．にもかかわらず，これらの議論にはいずれも本質的な問題点があった．結局，パラドックスが完全に解決されたのは21世紀に入ってからであり，そのためには20世紀半ばに確立した情報理論と，ここ20年で発展した非平衡統計力学の知見が必要であった.本格的な議論に入る前に，シラード・エンジンについて重要な点を簡単に述べておこう.第一に，測定の後，測定結果（すなわち，粒子が入っている箱がどちらであるか）に応じて，仕切りを動かす方向を変えることが重要である．一般に，測定結果に応じて操作の仕方を変えることはフィードバック制御と呼ばれる³.熱ゆらぎのレベルでフィードバック制御を行うことが，マクスウェルのデーモンの操作の本質である．第二に，サイクルで取り出された仕事量k B T ln 2が, ( k B Tを比例定数として)測定で得た情報量ln 2に比例していることである．これは，あとで詳しく議論するように，フィードバックによって情報が仕事に変換されていることを意味する．このように情報を仕事や自由エネルギーに変換する熱機関は，情報熱機関と呼ぶことができる.
３　情報理論入門
本節では，二種類の情報量，シャノン情報量（Shannon information，これはしばしばシャノンエントロピーとも呼ばれる）と相互情報量（mutual information）を簡単に紹介する4.これらはいずれも情報理論の根幹をなす概念である.まず，離散確率変数ェを考える．ォのとりうる値全体の集合をXと書き，その確率分布をp[x]とする（∑ z ∈ x p[x] = 1). このとき，Xのシャノンエントロピー（シャノン情報量）は
と定義される．これはォの分布がどのくらいランダムかを表している．ェのとりうる場合の数をN (< +∞)とすると，0 ≤ S(X) ≤ ln Nが成立する．ここでS(X) = ln Nとなるのは，任意のxについてp[x] = 1/Nのとき，すなわち分布が完全にランダムな場合である．一方S(X) = 0となるのは，ある一つのxだけでp[x] = 1となるとき，すなわちランダムネスが全くない，いわば決定論的な場合である．たとえば, xが“0”または“1”の値をとるとする. x = 0である確率をpとすると,シャノンエントロピーはS(X) = −p ln p − (1 −p) ln(1 −p)となる. p = 1/2のとき最大値S(X) = ln 2となり，p = 0およびp = 1のとき最小値S(X) = 0となる．シャノンエントロピーと熱力学エントロピーは一般には一致しないが，いくつかの特別な場合については一致する．たとえば，ぁがミクロカノニカル分布に従う変数の場合，S(X) = ln Nは（kв倍を除いて）ボルツマンの公式そのものである．また，カノニカル分布の場合も，シャノンエントロピーと熱力学エントロピーが一致することが知られている．さらに，エネルギーの期待値が与えられたとき，シャノンエントロピーを最大にする分布がカノニカル分布であることも知られている.次に，二つの離散確率変数x ∈ Xとy ∈ Yがある場合を考える．結合確率分布をp [x, y]とする．ｘとｙ単独の分布はそれぞれp[x] = ∑ wεy p[x,y],  p[y] = ∑ zεχ p[x,y]で与えられる.このとき，二つの確率変数の相関を表す概念である相互情報量を
と定義する．ここで，S(X) := − ∑ x ∈ x p [x] ln p [x]，S(Y) := − ∑ y ∈ x p [y] ln p [y]，S(XY) := - [ x ∈ X,y ∈ Y P [ x , y ] ln p [ x , y ]である.すなわち，二つの確率変数のエントロピーがどのくらい加法的でないかによって，二つの確率変数がどのくらい相関しているか（すなわち，どのくらい情報を共有しているか）を定量化するのが，相互情報量である5．たとえばxが被測定系の状態でyが測定結果の場合は，相互情報量は「測定で実質的にどのくらいの情報量が得られたか」を表していることになる.一般に，相互情報量は不等式
を満たす．ここでmin{S(X), S(Y)}はS(X)とS(Y)の小さい方を表す．I(X : Y) = 0となるのは，XとYが独立の時，すなわちp[x,y] = p[x]p[y]が任意のxとyについて成り立つときである．一方，二つの変数が完全に相関していてx = yが常に成立すれば，I(X : Y) = S(X) = S(Y)が成り立ち，相互情報量は最大値をとる．図2:  (a)測定の模式図.  Xが被測定系, Yが測定結果で，誤差確率がεである.  (b) I(X : Y)のグラフ.たとえば, xもyのそれぞれが“0”または“1”の値をとる場合を考える. xが被測定系の状態で，γが測定結果だとしよう．このときの誤差確率をεとする（0 ≤ ε ≤ 1）．すなわち，真の状態がぁであるという条件のもとで，間違った測定結果ｙ≠ xを得る確率がぁである（図2(a)を参照）.  x = 0,1の確率がともに1/2とすると,  xとyの結合確率分布はp[0,0] = p[1,1] = (1 − ε)/2,  p[0,1] = p[1,0] = ε/2となる．このときS(X) = S(Y) = ln 2であり，I(X : Y) = ln 2 + ε ln ε + (1 − ε) ln(1 − ε)となる．I(X : Y)をεの関数として図2(b)に示す. ε = 0のときは誤差がなく常にx = yなので，相互情報量は最大値I ( X : Y ) = ln 2をとる. ε = 1/2のときXとYは独立で，I(X : Y) = 0である．また，ε = 1のときも最大値I(X : Y) = ln2をとる．実際，常にx ≠ yであれば，yからxを正確に知ることができネ6.変数が連続の場合は，p[x]は確率密度を表し，xとx + dxの間の確率はp[x]dxで与えられる。このとき，シャノンエントロピーはS(X) := − f dxp[x] ln p[x]，相互情報量はI(X : Y) := ∫ dxdyp[x,y] ln[p[x,y]/p[x]p[y]]と定義される7.以上をまとめると，ある確率変数がどのくらいランダムかを表すのがシャノンエントロピーであり，二つの確率変数がどのくらい相関しているかを表すのが相互情報量である．
4　ゆらぎの定理と熱力学第二法則
次に，現代の非平衡統計力学において重要な関係式である「ゆらぎの定理」について述べ,そこから熱力学第二法則が「導かれる」ことを見る8.熱力学系（以下，システムと呼ぶ）が温度Tの熱浴と接触して，時刻t = 0からt = τまで時間発展をしている状況を考える．さらに（気体の体積などの）外部パラメータを時間変化させて，システムに対して仕事Wをする状況を考える．たとえば，システムのハミルトニアンを時間依存させることで，システムに対して仕事をすることができる．それだけでなく，たとえば周期境界条件のもとで非保存力をかけることによって，平衡から遠く離れた状況にシステムを駆動してもよい．その過程で，システムは熱浴から熱Ｑを吸収する（図３を参照）.システムのエネルギーの変化をΔEとすると，熱力学第一法則ΔE = W + Qが成立する9.システムのミクロな状態を記述する変数をxとする．システムは熱浴の影響を受けており，熱浴は熱的にゆらいでいるので，時間発展x (t)は確率的になる（すなわち，確率過程で記述される）. 仕事Wや熱Qは経路x(t)に依存するので，WやQも確率変数になる．このような状況の簡単な具体例の一つは，システムが（シラード・エンジンのように）一粒子からなり，その運動がランジュバン方程式で記述されているような場合である¹⁰．また，システムと熱浴の全系がハミルトン系であり，熱浴の初期状態がカノニカル分布であるとすれば,システムだけの時間発展は確率的になる¹¹.以下の議論は，このような設定の詳細によらず,普遍的に成立する¹².
図3:システムと熱浴の模式図.
時刻ｔにおけるｘの確率密度をｐ[x;t]とする¹³．このとき，時刻ｔにおけるｘの確率的エントロピー（stochastic entropy）をs[x;t] := − ln p[x;t]と定義する．このアンサンブル平均(s) := ∫ dxp[x;t]s[x;t]はシャノンエントロピーに他ならない．xのある経路x(t)が与えられたとき，時刻０からヶまでの確率的エントロピーの変化をΔs := s[x(τ);τ] − s[x(0); 0]とする.このとき, (システムと熱浴を合わせた)全系における確率的エントロピー生成（stochastic entropy production)を
と定義する．ここでβ := (k BT)−1は逆温度である．(4)の右辺の第一項△sはシステムにおけるエントロピー変化，第二項– βΩは熱浴におけるエントロピー変化と解釈できる．なお，システムの初期分布と終分布がいずれもカノニカル分布のとき，(4)はσ = β(W − ΔF)と書ける．ここで△Fはシステムの自由エネルギーの変化である．システムの初期分布と終分布は，熱平衡とは限らない任意の分布とする．このとき，
が成立することが知られている．ここで( . . )は，あらゆるミクロな経路x ( t )についてのアンサンブル平均を表す.  (5)は，システムの初期状態・途中の状態・終状態がいずれも平衡から遠く離れていても，あるいは詳細釣り合い（detailed balance）が成り立っていなくても，常に成り立つという顕著な性質をもっている¹⁴．(5)は積分型ゆらぎの定理（integral fluctuation theorem）あるいはジャルジンスキー等式（Jarzynski equality）と呼ばれる15. 以下では(5)のことを単にゆらぎの定理と呼ぶ.さて，指数関数は下に凸なので，凸不等式（Jensen inequality）〈e-σ〉≥ e-〈σ〉が成立する.したがって， (5)の直接の帰結として，
が成り立つことが分かる．すなわち，全系のエントロピー生成は，平均すると必ず非負である．これは熱力学第二法則に他ならない．σが確率的に負になることはあるかもしれないが，平均すると必ず非負になるのだ．σの定義(4)に立ち戻ると， (6)は

(7)
とも書ける.とくに，システムの初期状態と終状態がカノニカル分布の場合は，(7)は平衡熱力学でよく知られているクラウジウスの不等式(Clausius inequality)に他ならない16．この場合は， (6)を(W) > ΔFと書くこともできる．とくにΔF = 0の場合，この不等式は−(W) < 0と書け，これは「等温サイクルから正の仕事を取り出すことはできない」ということを意味する．このように，(6)の導出は，熱力学第二法則に統計力学的な「基礎づけ」を与えているとも言える17.さらに，ゆらぎの定理(5)はシステムの初期状態と終状態が任意の非平衡状態でも成立したので，不等式(6)や(7)もそのような状況で成り立つ．すなわちこれらの不等式は，熱力学第二法則を任意の非平衡状態間の遷移に拡張したものとも言える．その際，非平衡状態のエントロピーとして，シャノンエントロピーを用いたことになる18．なお，(6)や(7)の等号が成立し，平均エントロピー生成がゼロであるとき，そのプロセスは「熱力学的に可逆（thermodynamically reversible）」である19．たとえば，外部からの操作が限りなくゆっくりで，システムが常に平衡状態にあるような準静等温過程は，熱力学的に可逆である.このように，ゆらぎの定理(5)は熱力学第二法則を含んでおり，それをさらに強く等式の形で表現したものとみることができる．(5)の左辺の指数関数を展開するとσの高次の項が出てくるが，このような高次の項をすべて足し合わせることで，一次の平均値に関する不等式(6)よりも強い等式が成り立つのである．さらに，平衡からのずれが線形の範囲でゆらぎの定理を展開することで，第一種揺動散逸定理を導くことができる．さらに高次の展開を進めていくことで，高次のゆらぎと応答の関係や，高次のオンサーガ関係式などを得ることもできる[29,30].このようなことが可能なのは，高次のゆらぎまで全てを含んでいるというゆらぎの定理の性質によっている．このようにゆらぎの定理は，非平衡統計力学に統一的な見方を与えてくれるのだ.なお，マクロな熱力学系においては，σのゆらぎは平均値に比べてきわめて小さく，その効果を観測することは困難である．しかし，単一高分子のようなミクロ系な熱力学系においては，実際にσのゆらぎを観測し，ゆらぎの定理(5)を実験的に検証することができる20 .
5 ランダウア原理
さて，前節で導いた一般化第二法則(7)の簡単な応用として，ランダウア原理（Landauer principle）を紹介する．1ビットの情報を蓄えることができる「メモリ」を考える．これはいわば「デーモンの頭の中」にあり，測定結果を記録しておくものである．物理的には図４のように，二重井戸ポテンシャルでメモリをモデル化することができる．図4(a)のように左右対称なメモリだけでなく，(b)のように非対称なメモリも考えることができる21．ポテンシャルの中央のバリアが熱ゆらぎに対して十分に高いと仮定すると，長い時間にわたって，一方の井戸にある粒子が他方の井戸に移動する確率は非常に小さい．そのため，粒子がどちらの井戸に入っているかによって，情報を記録・保持しておくことができる．たとえば，左側の井戸に粒子があるときに“0”，右側にあるときに“1”の情報を記録しているとする．これに対応する変数をk ∈ {0,1}とする．このとき，メモリ全体の相空間（この変数をyとする）がｋ＝０とｋ＝１に対応する二つの部分空間に分かれていることになる.図4:メモリの模式図.  (a)対称メモリの場合.  (b)非対称メモリの場合.最初，k = 0の確率がp o  (0 < p o < 1)，k = 1の確率がp 1 := 1 − p oとする．これに対応するシャノンエントロピー（以下，これはシャノン情報量と呼ぶ）はH := − ∑ k=0.1 Pk ln pkである．次に，メモリ全体のシャノンエントロピーを考えよう．yの確率分布をp[y]とする．また，あるたの条件のもとでのyの確率分布をp[y|k]とする（これはたに対応する部分空間だけでノンゼロの値をもつ）.このとき，p[y] = ∑ k=0,1 P[y|k]pkが成り立つ．このときのメモリ全体のシャノンエントロピーをS := − ∫ dyp[y] ln p[y]とする．また，kという条件のもとでのシャノンエントロピーをSk := − ∫ dyp[y|k] ln p[y|k]としよう. このとき，シャノンエントロピーの一般的な性質により,
が成立する．すなわちメモリ全体のシャノンエントロピーは，記録されている情報に対応するよのシャノン情報量と，それぞれの井戸の中でのyのゆらぎに対応するシャノンエントロピーの平均の，二つの項に分解できる．ここで我々が通常「情報量」と呼ぶのは前者のHだけである²².さて，メモリに蓄えられた情報を消去するプロセスを考えよう．情報を消去すると，kは確率１で「標準状態」（すなわち，何らかのあらかじめ決められた状態）になり，消去前の状態に依存しなくなる．標準状態をｋ＝０とすると，消去後の状態は確率１でｋ＝０であり，このときのよのシャノン情報量は0になる．すなわち，消去される「情報」とは，シャノン情報量のことである．消去後のｋ＝０の井戸の中でのｙのシャノンエントロピーをS♭とすると，消去後のメモリ全体のシャノンエントロピー S'はS'に等しい．以上により，消去の前後での全シャノンエントロピーの変化は，ΔS := S' − S = −H + S' − ∑ k=0.1 PkSkとなる.情報消去が温度Tの熱浴中で行われるとすると，第二法則(7)より
が成り立つ．これは情報消去の際に発生する熱量の下限を与えている．右辺は，消去されたシャノン情報量Hと，メモリの各井戸の内部ゆらぎの変化の平均S ⁄ − ∑ k =0,1 Pk S kで決まる.特別な場合として，図4(a)のような左右対称のポテンシャルを考えよう．消去の前後で粒子はそれぞれの井戸の中で局所平衡であるとすると，S 0 = S 1 = S 1が成り立つ．したがって全シャノンエントロピーの変化はΔS = −Hであり， (9)は
となる．すなわち，対称メモリでシャノン情報量Hを消去すると，少なくともk n THの熱が熱浴に放出される．これがランダウア原理である²³．より一般的な不等式(9)は，メモリの非対称性に起因する補正項をランダウア原理(10)に加えた，一般化ランダウア原理であると言える²²．なお，(9)や(10)の等号は，消去が準静的に行われるときに達成され，その場合の情報消去は熱力学的に可逆である.情報消去においては，“0”と“1”の両方が“0”に写像され，その逆写像はない（そのことによって，情報が「消去」されたと言える）.このように逆写像がない情報処理は,「論理的に不可逆（logically irreversible）」であると言われる．これに関して，しばしば「情報消去は論理的に不可逆なので，熱力学的にも不可逆である」という議論がなされるが25，これは誤りである²6．一般に，論理的可逆性と熱力学的可逆性は無関係である²7．論理的に不可逆とはメモリのシャノン情報量Hが減少することであるが，熱力学的に不可逆とは（熱浴も含めた）全系の平均エントロピー生成が正であることなので，両者はまったく別の概念なのだ．もちろん，メモリが対称かどうかと，情報消去が熱力学的に可逆かどうかも，関係がない．情報消去は，有限速度で実行すると熱力学的に不可逆であるが，準静過程で実行すると熱力学的に可逆である．実際，準静的に情報を消去すると(9)や(10)の等号を達成することができる²8．(9)や(10)の等号を達成するということは，(6)の等号を達成することと等価である．そのような場合は，全系の平均エントロピー生成がゼロで，情報消去は熱力学的に可逆である.
6 測定とフィードバックの熱力学
次に，デーモンが熱力学系に対して測定とフィードバックをしている状況（図５を参照）を，第４節の非平衡統計力学の枠組みを使って分析しよう29 ．この状況では相互情報量が重要な役割を果たす.被測定系（以下，これをエンジンXと呼ぶ）の初期状態をx ,デーモンのメモリYの初期状態をyとする30 .エンジンとメモリはそれぞれ別の熱浴に接触しており，二つの熱浴の間に直接の熱のやり取りはないとする．簡単のために，両方の熱浴の逆温度はいずれもβとする（一般化は容易である）.また，エンジンとメモリの間にも，直接エネルギーのやり取りはないとする．いわば，エンジンとメモリが情報だけをやり取りする状況を考える．図5:測定とフィードバックの模式図.  (a)一般的な設定. まず測定のとき,エンジンの被測定状態xの影響を受けながら，メモリの状態がyからyまで変化する．この間はxは変化しないとする．測定後のォとγの相関が，メモリが測定で得た情報に対応する．次にフィードバックによって，メモリの測定結果γの影響を受けながら，エンジンの状態がxからxまで変化する.この間はyは変化しないとする. (b)シラード・エンジンの場合.まず測定のプロセスを考える．測定過程を考えているので，ｘとｙの初期相関はゼロ（すなわち，初期時刻での相互情報量はゼロ）とする．そのときの確率分布をpo[x,y] (= po[x]po[y])とする．メモリの状態は，エンジンの状態の影響を受けながら，yからyまで時間発展する．その間，エンジンの状態はむのままで時間発展しないとする．yからyへの時間発展はその遷移確率によって特徴づけることができ，それはェという条件のもとでp[y/ly,x]と書ける．このとき，測定後の確率分布はp 1 [x, y ] = [ dyp[y ′ |y, x |p 0 [x, y]となる．ここでp 1 [x] = [ dy′ p 1 [x, y ′ ], p₁[y′] = ∫ dxp₁[x,y′]とすると，τは時間発展していないのでp₁[x] = p₁[x]である．また測定後の相互情報量はI := ∫ dxdyp₁[x,y/] ln[p₁[x,y/]/p₁[x]p₁[y/]]であり，これは測定でメモリが得た情報量を表している．ここで，確率的相互情報量をi := ln[p 1 [x,y/]/p 1 [x]p 1 [y/]]と定義する．このアンサンブル平均は相互情報量になる：I = 〈i〉.この測定過程において，エンジン，メモリ，熱浴からなる全系の確率的エントロピー生成はσmeas = ∆smeas − βQyと書ける．ここで∆smeasは測定過程での全系の確率的シャノンエントロピーの変化，Qyはメモリが吸収した熱量である（なお，エンジンは時間発展していないので，熱の吸収もない）。ここですが時間発展をしないことを使うと，△smeas = △sy − iが成立することが分かる．ここで△syはメモリの確率的エントロピー生成の変化である．以上よりσmeas = Δsy − βQy − iが成り立つ. したがって(6)は
(Δsy) = β(Qy) ≥ I

と書くことができる．これが，測定過程における熱力学第二法則の一般形である． (11)を用いると，測定に要するエネルギーコストの下限を明らかにすることができる．測定過程でのメモリのエネルギー変化をΔEvと書き，メモリにする仕事をWyとする．また，測定前と測定後の状態においては，メモリとエンジンの相互作用エネルギーは無視できるとしよう．このとき， (11)は(12) {Wy} ≥ ∀Fy + kBTIと書ける．ここでメモリの有効自由エネルギーの変化をΔFγ := (ΔEγ) − β−1(Δsγ)とおいた．(12)は測定に要する仕事の原理的な下限を表している．有効自由エネルギーの変化が同じなら，より多くの情報Iを得るにはより多くの仕事が必要であることが分かる．特別な場合として，図4(a)のような対称メモリを用いて誤差のない測定を行うと，(12)の右辺は0になる.次にフィードバックのプロセスを考えよう．この場合は，メモリの状態はγから変化せずに，エンジンの状態はェからxへと変化する.フィードバック制御においては,このエンジンの時間発展が測定結果γに依存する.ェからx ′への遷移確率は，γという条件のもとでp[x ′ | x, γ ]と書けることになる．フィードバック後の確率分布はp 2 [x',y'] = ∫ dxp[x'|x,y']p1 [x,y']となる. ここでp 2 [x']  =  ʃ dy'p 2 [x',y'],  p 2 [y']  =  ʃ dx'p 2 [x',y']とすると, y'は時間発展していないのでp 1 [ y ] ＝ p 2 [ y ]となる．またフィードバック後の状態の確率的相互情報量をi  := ln[p₂[x',y/]/p₂[x']p₂[x/]]，相互情報量をI' := (ｼ')と書く．フィードバックによって相互情報量は減少するので，I > I'が成り立つ.フィードバック過程での全系の確率的エントロピー生成はσφ = Δsφ − βQxと書ける. ここでΔsnは測定過程での全系の確率的シャノンエントロピーの変化，Q xはエンジンが吸収した熱量である．ここでγが時間発展をしないことを使うと，Δs b = Δs x + ( i − i ′ )が成立することが分かる．ここで△s xはエンジンの確率的エントロピー生成の変化である．以上よりσњ = Δsx − βQx + (i − i′)が成り立つ. したがって(6)は(Δsχ) − β(Qx) ≥ −(I − I')
となる．これがフィードバックのある場合の熱力学第二法則の一般形である．エンジンとメモリの相互作用がなければ(Δsx) − β(Qx)は常に非負であるが，フィードバックの影響で–(I – I')まで小さくなれることが分かる.次に，フィードバックによってエンジンから取り出せる仕事量の上限を考える．エンジンの初期状態が熱平衡状態であり，po[x]が初期ハミルトニアンExに対応するカノニカル分布であるとする。フィードバック後のハミルトニアンは一般にγに依存しうる。それをE k ( γ )と書いて，対応する自由エネルギーをF'x (y')と書く³¹．自由エネルギーの変化△F x := F'x (y') − F xのアンサンブル平均を〈△Fx〉と書く．また，フィードバックの間にエンジンに対してする仕事をW xとする．さらに，測定前と測定後の状態においては，メモリとエンジンの相互作用エネルギーは無視できるとしよう．このとき，β(W x − ΔF x ) ≥ (Δs x ) − β(Q x ) − I ′が成り立つことを示せる．したがって，(13)より(W x − ΔF x ) ≥ − Iが成り立つ．エンジンから取り出せる仕事をW ext := −W xとすると,
が成り立つことになる．すなわち，フィードバックがあるときに取り出せる仕事量の上限は，自由エネルギー変化よりも大きくでき，その上限は測定で得られた相互情報量で決まる．(14)は，仕事や自由エネルギーと相互情報量を対等に扱う形に一般化された熱力学第二法則である．デーモンによって余分に取り出せる仕事のリソースは相互情報量であり，相互情報量を仕事や自由エネルギーに変換していると言える．この変換効率は次のように定義することができる:
なお，シラード・エンジンにおいては(Wçt) = kBT ln 2, 〈∆Fx〉 = 0,  I = ln 2なので, (14)の等号が達成されている．したがって，シラード・エンジンは効率100 ％の情報熱機関であると言える³².  (14)の等号を達成するためには，フィードバックが準静的であることに加え，得た情報をある意味で「無駄なく使う」ことが必要である33.図6:  (a)シラード・エンジンのエントロピー収支.測定の際に相互情報量ln 2が作られ,フィードバックの際にこの相互情報量がk p T ln 2の仕事に変換される．(b)通常の等温準静膨張のエントロピー収支.エンジンのシャノンエントロピーがln 2だけ増えたということは，自由エネルギーがk n T ln 2だけ減少したということを意味する．この自由エネルギーがkBT ln 2の仕事に変換されている.以上の議論の本質を，シラード・エンジンの場合で見てみよう（図6(a)を参照）.まず,エンジンにはln 2のシャノンエントロピーがあり，メモリのシャノンエントロピーはゼロである³¹．次に測定によってln 2の相互情報量が作られ，メモリのシャノンエントロピーはln 2になる．エンジンのシャノンエントロピーに変化はない．次にフィードバックによって相互情報量がゼロになる．フィードバック後の状態においてエンジンのシャノンエントロピーは(仕切りはないものの) ln２のままで，メモリのシャノンエントロピーもln２のままである.すなわち，フィードバックで相互情報量ln 2が減少し，それに対応してk BT ln 2の仕事が取り出された．したがって，相互情報量が仕事に100 ％変換されたことが分かる．比較のために，図6(b)に通常の等温準静膨張を示した．この場合はシャノンエントロピーが増えた分，すなわち自由エネルギーが減った分だけ，仕事を取り出すことができる．この場合の仕事のリソースは，自由エネルギーである．
7  「デーモンのパラドックス」をめぐって
ここで,「マクスウェルのデーモンのパラドックス」について改めて考えてみよう.そもそもの問題は「デーモンは熱力学第二法則に矛盾しないか，矛盾しないとしたらそれは何故か」というものである.前節の議論から，結論は明快である．測定とフィードバックのそれぞれのプロセスで，全系のエントロピー生成の平均は常に非負である．すなわち，マクスウェルのデーモンと熱力学第二法則の間には，何の矛盾もない．一見するとデーモンが第二法則に反するように見えたのは，エントロピー生成のうち相互情報量の寄与を考慮していなかったからに他ならない.歴史的には，シラードがすでに，メモリの自由度を考えることの重要性を認識していた[4].その後ブリルアンが「測定のプロセスで余分なエントロピー生成があり，これがデーモンと第二法則を整合させる」という主張をした[5].しかしこれは特殊な測定モデルに基づいた主張であった．一般には，エントロピー生成がゼロの（すなわち，熱力学的に可逆な）測定をすることは可能である。そこでベネットが，ランダウア原理に基づき「情報の消去は論理的に不可逆なので，熱力学的にも不可逆であり，それがデーモンと第二法則を整合させる」と主張した[7].しかし第5節でみたように，この主張は誤りである³5．実際には，（対称メモリの場合であっても）情報消去は熱力学的に可逆にできる．したがって，1980年代から広く受け入れられてきた「情報の消去を考えることで初めて，デーモンと第二法則の整合性を理解できる」という主張は妥当ではない．デーモンと第二法則の整合性を理解するために情報消去を考える必要は，そもそもないのだ³6．第６節で議論したように相互情報量をきちんと考慮に入れれば，測定とフィードバックのプロセスそれぞれで，デーモンと第二法則が整合していることは明らかである.これは「分かってしまえばほとんどトリビアル」とさえ言える．しかし，この「分かってしまえば」に至るまでに，人類は80年以上を要したことになる．そのためには，エントロピー生成の概念の明確化と，そこに相互情報量を含めることの認識が必要であった．
8 最近の展開
このようにして，デーモンと第二法則の整合性は完全に理解できたわけであるが，これで情報熱力学の研究が終わったというわけではない．むしろ逆で，これを出発点にして，多様な情報処理を含む非平衡ダイナミクスを，現代的観点から研究する途が拓かれたと言える.本節では，そのような最近の展開の一端を紹介する．まず関連する実験について述べる．定量的なマクスウェルのデーモンの実験は，2010年にはじめて実現された[2].その実験では，螺旋階段状のポテンシャルを作り，単一コロイド粒子をフィードバックによって登らせることに成功した．そのときの情報から仕事・自由エネルギーへの変換効率(15)は，約30 ％であった．また最近になって，単一電子による実験でもデーモンが実現されている[45,46].それはオリジナルのシラード・エンジンにより近いものであり，変換効率は70 ％以上を達成している．またこれらの実験において，フィードバックがある状況でのゆらぎの定理が検証されている.理論的には，情報熱力学をさらに発展させ，それを応用する試みがなされている．その一つの方向性は,「自律的な情報熱機関」の分析である．たとえば，エンジンとメモリがお互いに相互作用しながら全体として自律的に動くような状況が，高分子ナノマシンや単一電子デバイスなどによって実現されているとしよう[47].このような場合は，測定とフィードバックのタイミングをきれいに分離することができない．測定とフィードバックのタイミングが完全に分かれていることを前提にした第６節の議論は，自律的な状況には適用できないのである．そのため，自律的な情報熱機関における情報の役割を理解することをめざした研究が行われている[48–50].理論的に興味深いもう一つの方向性は，たくさんの系が複雑に相互作用し，測定やフィードバックに限らない複雑な情報の流れがあるときに，情報熱力学をどう拡張するかということである．このような状況は，ベイジアン・ネットワークという概念で定式化できる（図7を参照）. 最近，そのようなネットワーク上での情報流と非平衡ダイナミクスを統一的に扱う形に，ゆらぎの定理や第二法則が拡張された[51]．そこでは，移動エントロピー（transfer entropy）と呼ばれる，情報の流れを表す概念が重要な役割を果たす³ . そのようにして得られた第二法則の拡張は，通常の第二法則よりも不等式として真に強いものであることが示されている.さらに，上記の理論はいずれも，生命現象の解析に応用できる可能性を秘めている．実際，ネットワーク上の情報熱力学を，大腸菌の走化性のシグナル伝達に応用する試みがなされて37これは[52]で導入され，時系列解析などでも広く用いられている概念である．いる．その結果として，大腸菌内での情報流と，ノイズに対する走化性の頑健性の間の，定量的な関係が明らかになった[53].また，本稿では古典系の場合のみを議論したが，量子系への拡張も可能である[54–58]. その場合は量子情報理論と熱力学の接点が重要になる³8．たとえばエンタングルメント（entan- glement）や量子ディスコード（quantum discord）[60]などの量子的な相関は，熱力学第二法則と密接な関係をもっていることが明らかになりつつある[61, 62].このように，情報熱力学は，複数の分野を横断する豊かな研究分野を形成しつつある．今後のさらなる展開に期待したい.