《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

ネットワーク上の情報熱力学とその生体情報処理への応用
伊藤 創祐
北海道大学 電子科学研究所

2017 年 9 月 27 日
概要
ゆらぎの熱力学 (stochastic thermodynamics) の入門的な解説を行い, ゆらぎの熱力学において情報理論がどのように取り入れられるかをみる. さらに, 多成分が相互に情報伝達を行っている場合を取り扱えるよう, ベイジアンネットワークを導入してゆらぎの熱力学を拡張する. また応用例として, 生体の情報処理の一種である大腸菌の走化性シグナル伝達についての議論を行う.

1. 導入
古典的な熱力学はマクロな系を現象論的に取り扱うことで成功を収めた学問である [1, 2]. 古典的な熱力学における特徴の一つとして, エントロピーがマクロな状態量として自然に導入されることが挙げられる. マク
ロな状態量としてのエントロピーは相加性 *1 を示し, 熱力学第二法則を満たすという性質を持っている.
一方近年注目を集めているのは, ゆらぎの効果が支配的になるメゾスコピックな領域 *2 での熱力学である.
これはゆらぎの熱力学 (stochastic thermodynamics) *3 と呼ばれ, コロイド粒子や細胞内部の化学反応など確率過程で記述される物理現象に適用することができる [3, 4]. ゆらぎの熱力学が成立する理由は, 様々な系で
熱力学第二法則を数学的に導出できるゆらぎの定理 (Fluctuation theorem) と呼ばれる理論が背景にある *4 .
これにより, ゆらぎの熱力学で扱えるメゾスコピックな系では, 古典的な熱力学に比べてより精密に非平衡系の熱力学を考察できるようになった.
古典的な熱力学とゆらぎの熱力学の違いの一つに, エントロピーの相加性を要請しないという点が挙げられる. このエントロピーの非相加性は, 古典的な熱力学においては系のマクロ性から無視されていた部分であったが, メゾスコピック系においては無視できない. しかしこの事実は厄介なものではなく, むしろゆらぎの熱力
学自体に大きな深みを与えてくれる. なぜなら, この非相加性こそが情報理論 [5, 6] で語られていた「情報」,
すなわち相互情報量の定義 *5 そのものになるからである.
情報と熱力学の関係は, 従来「マクスウェルのデーモン」のパラドックスを解決する方法として長らく議論されていたものであった [7]. 近年のゆらぎの熱力学と情報理論の融合研究の進展, すなわち「情報熱力学」の研究の進展も, マクスウェルのデーモンの問題を考察することによって発展してきた [8]. しかし, 今や情報熱力学はもはやマクスウェルのデーモンの為の理論 *6 というだけではなく, ゆらぎの熱力学において相互作用する系を扱うときの基本的な考え方になりつつある. 本稿では情報熱力学の考え方について, 平易な解説を行う*1 系 A と系 B を足した合成系 {A, B} のエントロピー Sth (A, B) が, それぞれの系のエントロピーの和でかける Sth (A, B) =Sth (A) + Sth (B) ことを意味する.
*2 コロイド粒子の Brown 運動などに代表される, 確率的な記述が有効なマクロとミクロの中間領域 (nm ∼ µm オーダーの領域) である.
*3 もしくは, ゆらぎのエネルギー論 (stochastic energetics), 確率的熱力学とも.
*4 ゆらぎの定理はエントロピーの変化量のゆらぎについての定理である.

この定理を用いると, “期待値の意味での”エントロピー増大則を導ける. 本稿ではこの “期待値の意味での”エントロピー増大則を熱力学第二法則と呼称する.
*5 二つの確率変数 A, B の間の相互情報量は, Shannon エントロピー H を用いて I(A; B) = H(A) + H(B) − H(A, B) で表され,
相加性の破れを意味する. Shannon エントロピーの定義や相互情報量については, 3 節で詳しく述べる.
*6 マクスウェルのデーモンと情報熱力学の関係は, 既に講義ノートが存在しているため [9], 本稿では敢えて触れない. 情報熱力学自体はゆらぎの熱力学における一般的な考え方であり, 本来「マクスウェルのデーモン」とは独立に語ることができるものである.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

ことを目標とする.
また, 情報熱力学の応用例として筆者が面白いと思っているものの一つに, 細胞内のシグナル伝達系がある.
これは多成分の化学反応が相互作用することで情報を伝達する生体内の仕組みであり, メゾスコピック系のために「ゆらぎ」の影響が無視できない. そのため, 熱力学量と「情報」の密接な関係を考える上で適した例題である. 特に生体系では, 正確に情報を伝達できるか否かが淘汰の条件となるため, 情報通信が “熱力学的な意味
で”効率化されている可能性がある. 本稿では筆者のシグナル伝達系の研究を紹介することで, 情報熱力学がいかに応用されるかを見ていきたい.
本稿の目的は, これからゆらぎの熱力学や情報熱力学を学びたい人への指針となるものを提供することである. まず 2 節で, ゆらぎの熱力学の考え方を紹介する. 3 節では情報理論での基本的な量を導入し, 3 節で定義された量から熱力学第二法則を導くことを 4 節で解説する. 5 節では情報熱力学の考え方を紹介し, 3 節で導入された相互情報量がどのように熱力学第二法則に現れるかをみる. 6 節で, 情報熱力学を一般化する理論である
ネットワーク上の情報熱力学の考え方を紹介する. 7 節では, 相互作用する二体系に着目して, 熱力学第二法則と情報熱力学の結果の違いを説明する. 8 節では, 細胞内のシグナル系の一種である適応現象について説明する. 9 節では, 適応のシグナル伝達系に情報熱力学を応用する. 最後に 10 節で, 近年のさまざまな情報熱力学の研究について紹介を行う.

2. ゆらぎの熱力学入門
まず, ゆらぐメゾスコピック系を記述する Langevin 方程式に注目して, ゆらぎの熱力学の基本的な考え方を紹介する. ゆらぎの熱力学に関するより詳しい内容は [3] の教科書を参考にしてほしい.

Langevin 方程式の一例として, 次のようなノイズ項√

2γX TX ξ( t) を含んだ運動方程式が挙げられる. これは液体中のコロイド粒子の Brown 運動の記述などに使われる.

mX ẍ(t) = −γX ẋ(t) − ∂x UX (x(t), λX (t)) +√2γX TX ξX (t).

(1)

ここで, mX はコロイド粒子の質量, ẍ(t) は加速度, γX は摩擦係数, ẋ(t) は粒子の速度, ∂x は x の偏微分を表す演算子, UX (x(t), λ(t)) はポテンシャルエネルギー, x(t) は粒子の位置, λX (t) は外部のコントロールパラ
メータ, TX は熱浴の温度 *7 , ξX (t) は平均 0 分散 1 の白色 Gauss ノイズである. また, この Langevin 方程式
で記述される系を X と呼ぼう.
以後の議論の簡単のために, mX /γX → 0 の極限 (overdamped 極限) である, 次の Langevin 方程式を考えよう (ただし, 以後の議論の簡単のために γX = 1 とした).

ẋ(t) = −∂x UX (x(t), λX (t)) +√2TX ξX (t).

(2)

この Langevin 方程式に, 熱力学第一法則を用いて熱を導入するのが本節の目的である.
まず系 X のポテンシャルエネルギー変化量 dUX は UX に関する Chain rule から

dUX = ẋdt ◦ ∂x UX (x, λX ) + λ̇X dt ◦ ∂λX UX (x, λX ),(3)のように与えられる. ただしここで ◦ は Stratonovich 積分 *8 であり, λ̇X は外部のコントロールパラメータの変化率, dt は無限小時間を意味する.
このとき, 外部のパラメータに依存したポテンシャルエネルギー変化の項を系 X にした仕事 dWX :=λ̇X dt ◦ ∂λX UX (x, λX ) とみなすと, 熱力学第一法則から系 X に流れ込んだ熱 dQX は
dQX := dUX − dWX= ẋdt ◦ ∂x UX (x, λX )(4)

*7 ただし Boltzmann 定数 kB を 1 に規格化した温度である*8 特異関数であるノイズ項 ξX (t)dt を含む量との積は, 積の取るときの離散化の仕方によって値が変わりうる. 特に chain rule が成り立つ離散化の方法として Storatonovich 積分がある [3, 10]. 任意の関数 A(t) とノイズ ξX (t)dt := dBX t との Storatonovich
積分 ◦ は, A(t) ◦ ξX (t)dt :=A(t+dt)+A(t)dBX t のように定義される.
2

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）のように定義される. よって単位時間当たりに熱浴 *9 から系 X に流れ込んだ熱流 jX := dQX /dt はjX (t) = ẋ(t) ◦ ∂x UX (x(t), λX (t))√= ẋ(t) ◦ ( 2TX ξX (t) − ẋ(t)),

(5)

となる.
このように Langevin 方程式で定義された熱流 jX は, 熱力学第一法則を満たすだけの数学的な定義でしかな
い. よって, 熱流が持つべき性質の一つである熱力学第二法則が成り立つのかは非自明である. 実際, 熱流 jX
は確率的には様々な値, すなわち正の値も負の値も取り得る.
しかしながら, 驚くべきことにアンサンブル平均 ⟨· · · ⟩ の意味では次のような不等式が成り立つのである.

dSX (t) ≥⟨jX (t)⟩
dt,
TX

(6)

ここで dSX (t) は時刻 t での系 X の時間 dt あたりのエントロピー変化量 *10 であり, 位置 x(t) =: xt に関する

Shannon エントロピー∫
H(Xt ) := −dxt pXt (xt ) ln pXt (xt ),(7)を用いて, dSX (t) := H(Xt+dt ) − H(Xt ) のように定義される. ここで pXt (xt ) は時刻 t における位置 xt の確率分布を意味する. 特に定常状態においては確率分布が時間変化しないため, dSX = 0 となり,0 ≥ ⟨jX ⟩,(8)が成り立つ. よって, 定常状態では系 X への熱の流入は (期待値の意味で) 起こらないという結果が導かれる.
また, 熱浴のエントロピー変化を dSbath (t) := −⟨jX (t)⟩dt/TX と定義してしまえば, 式 (6) は系と熱浴のエントロピー変化量の和の増大則

dSX (t) + dSbath (t) ≥ 0,

(9)だとみなせる.
このように, ゆらぐメゾスコピック系において熱力学第二法則を考える際には, 自然と Shannon エントロ
ピーのような情報理論における概念が現れてくる. また, 熱力学第二法則 [式 (6)] が成り立つという事実は数学的に示せるものであり, この証明自体も情報理論の考え方を用いて理解することができる. よって, 式 (6) を証明する前に, 一旦情報理論の紹介を経由することにしよう.

3. 情報理論入門
この節では情報理論における各量についての数学的な定義と性質について述べる. 情報理論に関する詳しいことをより知りたい場合は, 教科書 [6] を参考にしてほしい.
まず, 前章で述べたように, 確率変数 X に関する Shannon エントロピー H(X) は∫H(X) := −dxpX (x) ln pX (x),のように定義される. ここで pX (x) は確率変数 X が x の値をとる確率であり,(10)∫dxpX (x) = 1 を満たす. この Shannon エントロピーは分布 pX (x) のランダムさの尺度であり, 分布が一様に近いほど大きな値を持つ.

*9 熱浴はこのときノイズ項 ξX (t) の発生源に相当する. 例えば液体中のコロイド粒子の運動を Langevin 方程式が記述している時には, 液体が熱浴に相当する.
*10 この Shannon エントロピーによる定義が, 系 X のエントロピーの定義として妥当かどうかは本稿では問わない.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

同様に, 確率変数 X1 , . . . , Xn の集合に関する Shannon エントロピーは, 確率変数 X1 , . . . , Xn がそれぞれ

x1 , . . . , xn を値を持つ同時確率分布 pX1 ,··· ,Xn (x1 , · · · , xn ) を用いて,∫H(X1 , · · · , Xn ) := − dx1 · · · dxn pX1 ,··· ,Xn (x1 , · · · , xn ) ln pX1 ,··· ,Xn (x1 , · · · , xn ),(11)のように定義される. *11 また, 確率変数 Y を知っているという条件の下での確率変数 X の条件付き Shannon
エントロピー H(X|Y ) は,H(X|Y ) := H(X, Y ) − H(Y ),(12)のように定義される.
さらに, 二つの確率変数 X, Y 間の相関を表す量として, 相互情報量 I(X; Y ) を

I(X; Y ) := H(X) − H(X|Y ) = H(X) + H(Y ) − H(X, Y ),(13)のように定義する. この量は, X が Y に (もしくは Y が X に) 関する「情報」をどれだけ持っているか, を意
味する量である. この量は常に非負 I(X; Y ) ≥ 0 であり, 等号成立条件は確率変数 X と Y が独立, すなわち任意の x と y で p(x, y) = p(x)p(y) を満たす.
同様に Z という条件の元での確率変数 X, Y の条件付き相互情報量はI(X; Y |Z) := H(X|Z) − H(X|Y, Z),(14)のように定義される.
さて, この相互情報量の非負性を証明するために, 相対エントロピーと呼ばれる量を導入しよう. 二つの確率分布 pX (x) と qX (x) の間の相対エントロピーは,∫D(pX ||qX ) :=dxpX (x) lnpX (x),qX (x)(15)で与えられる. この量は常に D(pX ||qX ) ≥ 0 を満たし, 任意の x で pX (x) = qX (x) のときのみ D(pX ||qX ) =0 となる. この非負性は ln の凸性より示すことが可能である. なぜならば, 凸関数に対する Jensen の不等式 *12 より−D(pX ||qX ) = ⟨ln[qX (x)/pX (x)]⟩[∫≤ ln[⟨qX (x)/pX (x)⟩] = ln]
dxqX (x) = 0,(16)となり示せる. この相対エントロピーの非負性を用いて, 相互情報量の非負性も示せる. なぜなら, 相互情報量

I(X; Y ) はI(X; Y ) = D(pX,Y ||pX pY ),(17)で与えられるからである. 同様に, 次のように定義される条件付き相対エントロピー∫
D(pX|Y ||qX|Y ) :=dxdypX,Y (x, y) ln

pX|Y (x|y),
qX|Y (x|y)(18)

も非負であることが示せ *13 , そこから条件付き相互情報量の非負性*14 も示せる.
*11 同様に, 以下で出てくる条件付き Shannon エントロピー, 相互情報量, 条件付き相互情報量, 相対エントロピーも確率変数の集合に対しても定義される.
*12 Jensen の不等式とは, 上に凸な関数 f , x を変数を持つ関数 g に対して, ⟨f (g(x))⟩ ≤ f (⟨g(x)⟩) が成り立つことをいう.

ただし∫⟨· · · ⟩ は確率分布 pX (x) によるアンサンブル平均 ⟨· · · ⟩ := dxpX (x) · · · を意味する.
∫*13 条件付き確率 p
X|Y (x|y) は同時確率分布 pX,Y (x, y) を用いて, pX|Y (x|y) = pX,Y (x, y)/ dxpX,Y (x, y) のように定義される.
*14 すなわち I(X; Y |Z) = D(pX,Y |Z ||pX|Z pY |Z ) ≥ 0

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

4. ゆらぎの定理と熱力学第二法則
この節ではゆらぎの定理として知られている考え方を経由して, 前節で取り上げた情報理論を用いて熱力学
第二法則 (6) を導出することを目標とする.*15
まず, 式 (2) を微小時間 dt で離散化した式を考えよう.

xt+dt − xt = −∂x UX (xt , λX t )dt +√2TX dBX t .

(19)

ここで, xt := x(t), λX t := λX (t) であり, dBX t := ξX (t)dt は次のような Gauss 分布に従う[]
1(dBX t )2√
exp −.
p(dBX t ) =
2dt
2πdt

(20)

よってここから, xt から xt+dt への遷移確率 T は

 (1T (xt+dt ; xt ) := pXt+dt |Xt (xt+dt |xt ) = √exp −√
2πdt 2TX)2xt+dt −xt
+ ∂x UX (xt , λX t )
dt

4TX


dt 
,

(21)

√

のように与えられる. ここで 1/ 2TX は ∂[dBX t ]/∂xt+dt の Jacobian である.
ゆらぎの定理の基本的な考え方は, この遷移確率と, 時間逆方向に定義した遷移確率

pB Xt |Xt+dt (xt |xt+dt ) = T (xt ; xt+dt ),(22)を比較することにある. いま、pXt+dt |Xt と pB Xt |Xt+dt の二つの遷移確率の比をとってみると,[]
pXt+dt |Xt (xt+dt |xt )∂x UX (xt , λX t ) + ∂x UX (xt+dt , λX t+dt )= exp −(xt+dt − xt )pB Xt |Xt+dt (xt |xt+dt )
2TX
[
]
1
= exp −
ẋ(t)dt ◦ ∂x UX (x(t), λX (t))
TX[]jX (t)= exp −
dt ,
TX

(23)

のように, 確率的な熱浴のエントロピー変化に相当する項 dsbath (t) := −jX (t)dt/TX が出てくる. この事実は一般に (詳細) ゆらぎの定理とよばれる *16 .
さて, このゆらぎの定理から熱力学第二法則 (6) を導くことにしよう. まず, 次のような相対エントロピーの非負性を考える.

D(pXt+dt |Xt pXt ||pB Xt |Xt+dt pXt+dt ) ≥ 0,(24)

ここに, ゆらぎの定理 (23) を用いることで,D(pXt+dt |Xt pXt ||pB Xt |Xt+dt pXt+dt ) = −⟨jX (t)⟩dt + H(Xt+dt ) − H(Xt ),
TX

(25)

が導ける *17 . よって, 式 (24), 式 (25) から熱力学第二法則 (6) が証明された.

*15 この導出は, 主にゆらぎの定理 [11] や Jarzynski 等式 [12] と呼ばれている関係式から熱力学第二法則を導出する方法と等価である. 本節での議論の流れに近い論文としては, 例えば [13] がある.
*16 二つの遷移確率の比 p/pB を取った時に熱浴のエントロピー変化が出現するのは, Langevin 方程式に限った話ではない. Master

方程式で記述される多くの妥当な熱力学的なモデルで, 熱浴のエントロピー変化が出現するのである. よって, この式は非常に普遍的な関係式としてゆらぎの定理という名前が付いており, 様々な設定で導出がなされている (例えば Refs. [11, 12, 14, 15, 16]).
∫*17 ただし, ここでアンサンブル平均 ⟨· · · ⟩ は ⟨· · · ⟩ :=dxt dxt+dt p(xt+dt |xt )p(xt ) · · · で定義される.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

5. 情報熱力学入門
ここから情報理論における「情報」, すなわち相互情報量のような量が, ゆらぎの熱力学においていかに出現していくかを考えていこう*18 . もっとも単純な場合として, 次のように外部のコントロールパラメータ λX が,系 M の自由度 m に依存するケースを考えていこう.

ẋ(t) = −∂x UX (x(t), λX (m, t)) +√2TX ξX (t).

(26)

この時, 熱力学第二法則が式 (6) と同じ形で成り立つか, を考えてみたい.
そのために前節の同様の導出を再度考え直してみよう. 詳細ゆらぎの定理を考え直すと, 以下のように m を条件付けた遷移確率の比が, 熱浴のエントロピー変化量と結びつくことがわかる.

[]
pXt |Xt+dt ,M (xt+dt |xt , m)
1
= exp −
ẋ(t)dt ◦ ∂x UX (x(t), λX (m, t))
pB Xt+dt |Xt ,M (xt |xt+dt , m)
TX
= exp [dsbath (t)] .

(27)

た だ し, pXt+dt |Xt ,M (xt+dt |xt , m) = Tm (xt+dt ; xt ) と し た と き, 時 間 逆 方 向 に 定 義 し た 遷 移 確 率 は

pB Xt |Xt+dt ,M (xt |xt+dt , m) = Tm (xt ; xt+dt ) で定義されるとする. この量を用いて, 前節のように相対エント
ロピーを考えるとどうなるだろうか.
例えば次のような相対エントロピーの非負性を考えることができる.

D(pXt+dt |Xt ,M pXt ,M ||pB Xt |Xt+dt ,M pXt+dt ,M ) ≥ 0,(28)

ここに, ゆらぎの定理 (27) を用いることで,D(pXt+dt |Xt ,M pXt ,M ||pB Xt |Xt+dt ,M pXt+dt ,M )= ⟨dsbath (t)⟩ + H(Xt+dt , M ) − H(Xt , M ),(29)

dSbath (t) + H(Xt+dt , M ) − H(Xt , M ) ≥ 0,(30)となる. すなわち,がこの場合に成り立つべき熱力学第二法則である. これを式 (9) からのずれを明示した形で書くと, 次のような表記を得る.

dSbath (t) + dSX (t) ≥ I(Xt+dt ; M ) − I(Xt ; M ),(31)

これがいわゆる「情報熱力学第二法則」と呼ばれるものである. 系 M が存在することによる熱力学的な補正項が, 相互情報量の形で右辺にでてきている. この項 dIX;M (t) := I(Xt+dt ; M ) − I(Xt ; M ) は, 一般には負の値を取り得るため, 系 M の存在によって式 (9) の制限を破りうることを意味する *19 .
しかし, 重要なのは, この式 (31) を持って熱力学第二法則自体が破れていることを意味しない. というより,系 M が存在するときの正しい熱力学第二法則はこの式 (31) で与えられると考えたほうが自然である. 補正項

dIX;M (t) は系 M と系 X の間の相互情報量の変化で表されるため, もし系 M と系 X が独立であったり, もし
くは系 M と系 X が十分に独立だと見なせるような状況 *20 では無視できる項であり, 式 (9) と同じ形の式に*18 本節での議論の流れに相当する論文は例えば [17, 18, 19] である. 例えば, [17] の論文では m はメモリ自由度としたときのフィードバック制御を考えている.
*19 この dIX;M (t) が負の値を取り得ることから, マクスウェルのデーモンにおける「一見して熱力学第二法則を破るような効果」を理解することが可能である.
*20 マクロな系の熱力学は, この状況に対応すると考えてもよい. しかしながら, 現象論であるマクロな系の熱力学と, 確率過程論であるゆらぎの熱力学を正しく比較することは一般には難しい.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

(I)

図1

(II)

(II’ )

ベイジアンネットワークによる図示. (I) 式 (32) を表現するベイジアンネットワーク. (II) 式 (33)を表現するベイジアンネットワーク. (II’) ベイジアンネットワークと情報項の対応関係の概念図.

なる. しかし, ゆらぎが支配的になるメゾスコピックな領域では, この補正項 dIX;M (t) が dSbath (t) + dSX (t)と同等の寄与を与えうる.
このようにゆらぎの熱力学においては, 情報理論の量である相互情報量項 dIX;M (t) と, 熱力学量として導入された dSbath (t) が, 式 (31) を介してトレードオフ関係のある同種の物理量として扱うことができる. よって,
メゾスコピック系においては情報通信の熱力学的性質を考察する「情報熱力学」という分野が成立するのである.

6. ネットワーク上の情報熱力学入門
これから情報熱力学第二法則を, 複雑な状況でも成立するように一般化していくことにしよう*21 . まず, 熱力
学第二法則 (6) と情報熱力学第二法則 (31) の違いの起源は, 系 M が存在するかどうかである. (I) 熱力学第二法則 (6) が成り立つ設定と, (II) 情報熱力学第二法則 (31) が成り立つ設定を端的に記述すると次のようになる.

(I) 確率分布 pXt (xt ) で分布している系 X の状態 xt から, 遷移確率 pXt+dt |Xt (xt+dt |xt ) = T (xt+dt ; xt ) で
xt+dt へ遷移する.
(II) 系 M の状態 m が確率分布 pM (m) で分布しているとする. 系 M の状態 m の下での確率分布
pXt |M (xt |m) で分布している系 X の状態 xt から, 遷移確率 pXt+dt |Xt ,M (xt+dt |xt , m) = Tm (xt+dt ; xt ) で
xt+dt へ遷移する.
(I) と (II) について数式を用いて端的に表現すると,pXt ,Xt+dt (xt , xt+dt ) = pXt (xt )pXt+dt |Xt (xt+dt |xt ),pM,Xt ,Xt+dt (m, xt , xt+dt ) = pM (m)pXt |M (xt |m)pXt+dt |Xt ,M (xt+dt |xt , m),

(32)
(33)

という同時確率分布の分解の仕方 *22 に行き着く. この分解の仕方を直感的に理解するために, 図 1 のような図示を導入しよう. これはベイジアンネットワーク *23 と呼ばれるものであり, 同時確率分布がいかに分解されるかを表現したものになる.
以下, ベイジアンネットワークの表記を説明しよう. 例えば, 図 1(I) に注目してみよう. 丸で記述されている各ノードには, それぞれ確率変数が対応しており, この場合は Xt と Xt+dt の二つがある. この間の有向なエッジ (矢印) が二つの確率変数の関係を表現しており, 矢印の向きが確率変数間の条件付けを表現する. この場合, Xt に伸びる矢印は存在しないので, Xt に関する分布は条件付けなしの pXt (xt ) で記述され, Xt+dtに伸びる矢印は Xt があるため, Xt+dt に関する分布は Xt の条件の下での分布 pXt+dt |Xt (xt+dt |xt ) で記述される. よって, 図 1(I) は同時確率分布の分解の仕方 pXt (xt )pXt+dt |Xt (xt+dt |xt ) を表す. 同様に, 図 1(II) は

pM (m)pXt |M (xt |m)pXt+dt |Xt ,M (xt+dt |xt , m) を表す.
*21 本節に相当する内容の論文は [20] になる. また. より詳しい内容が本の一章分として出版されている [21].
*22 いわゆる確率分布の chain rule. 式 (3) の微分に関する chain rule とは異なる意味で使っているので注意.
*23 ベイジアンネットワークについては例えば次の教科書 [22, 23] を参照. ベイジアンネットワークは有向非循環グラフで記述され, 各ノード間の順序を導入できる (トポロジー順序). この順序を時間方向に取るベイジアンネットワークを作ることが可能であり, 以降の議論ではそのようなベイジアンネットワークを考察する.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

図 2 複雑な相互作用を表現するベイジアンネットワークの一例.

さて, ここで (I) で成り立つ熱力学第二法則 (6) と (II) で成り立つ情報熱力学第二法則 (31) の違いを考えてみよう. この二つの不等式の違いは, 情報の項 I(Xt+dt ; M ) − I(Xt ; M ) である. 一方, 二つのベイジアンネッ
トワーク (I) と (II) の違いはノード M の存在と, M から Xt と Xt+dt に伸びる二つのエッジである. よって,
情報熱力学第二法則とベイジアンネットワークによる設定の記述になんらかの対応関係があるのではないか,という素朴な期待を持てるだろう (図 1(II’)).
また, 式 (6) と式 (31) の導出を思い出すと, 導出に用いた道具は相対エントロピーの非負性とゆらぎの定理だけである. 詳細ゆらぎの定理は同時確率分布における遷移確率 T (Tm ) の部分から導入されており, また相対エントロピーの定義そのものも同時確率分布によって与えられる. よって, 導出の差は同時確率分布に関する分解の差, すなわちベイジアンネットワークの差に対応しているといえる.
これらの事実は, いかに複雑な相互作用のある確率過程であっても, 一般に情報熱力学第二法則を与えるベイ
ジアンネットワーク上の理論が構成可能である, ということを示唆する. 実際, ベイジアンネットワークのトポ
ロジーと情報熱力学第二法則における情報の項が一対一に対応する理論を構築することができる [20]. この理論を我々はネットワーク上の情報熱力学とよんでいる.
本節では一般のネットワークで情報熱力学第二法則を導出することはせず, 複雑な設定の具体例を用いて情報熱力学第二法則を導出することで, ネットワーク上の情報熱力学の考え方を紹介することにしよう. 例えば
図 2 のようなベイジアンネットワークを考えてみたい. このベイジアンネットワークは系 X , Y, Z がお互いに複雑に相互作用する時間発展を記述しており, その時間発展を記述する同時確率分解の仕方は以下のようになる.

pX1 ,X2 ,Y1 ,Y2 ,Z1 (x1 , x2 , y1 , y2 , z1 )= pY1 (y1 )pX1 |Y1 (x1 |y1 )pY2 |X1 ,Y1 (y2 |x1 , y1 )pZ1 |X1 ,Y2 (z1 |x1 , y2 )pX2 |X1 ,Y1 ,Y2 ,Z1 (x2 |x1 , y1 , y2 , z1 ),(34)

ここで xi は系 X の時間順序的に i 番目の状態を意味する (x1 は初期状態). ただし, 異なる系の変数間の添え字の関係は時間順序を考慮していない. すなわち xi と yj を対して, i < j であっても xi が yj よりも前の出来事であることは意味しない. 例えば, この例だと z1 は y2 よりも後の出来事に相当する.
ここで, 遷移確率 pX2 |X1 ,Y1 ,Y2 ,Z1 (x2 |x1 , y1 , y2 , z1 ) =: Ty1 ,y2 ,z1 (x2 ; x1 ) を用いて, 時間逆方向に定義した遷移確率を pB X1 |X2 ,Y1 ,Y2 ,Z1 (x1 |x2 , y1 , y2 , z1 ) := Ty1 ,y2 ,z1 (x1 ; x2 ) とすると, ゆらぎの定理を仮定することで確率的な熱浴のエントロピーの変化量は exp(dsbath ) := Ty1 ,y2 ,z1 (x2 ; x1 )/Ty1 ,y2 ,z1 (x1 ; x2 ) で与えられる. そこで, 次のような相対エントロピーを考える.

D(pX1 ,X2 ,Y1 ,Y2 ,Z1 ||pB X1 |X2 ,Y1 ,Y2 ,Z1 pX2 ,Y1 ,Y2 ,Z1 ) ≥ 0.

(35)

この相対エントロピーを式 (34) を用いて書き直すと, 次のような式が得られる.

D(pX1 ,X2 ,Y1 ,Y2 ,Z1 ||pB X1 |X2 ,Y1 ,Y2 ,Z1 pX2 ,Y1 ,Y2 ,Z1 )= ⟨dsbath ⟩ + H(X2 ) − H(X1 ) + I(X1 ; Y1 ) + I(X1 ; Y2 |Y1 ) + I(X1 ; Z1 |Y1 , Y2 ) − I(X2 ; {Z2 , Y2 , Y1 }). (36)ただし, ここで式 (34) から得られる関係 pZ1 |X1 ,Y2 (z1 |x1 , y2 ) = pZ1 |X1 ,Y1 ,Y2 (z1 |x1 , y1 , y2 ) を用いた.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

図3l
ベイジアンネットワークと情報項の対応関係. Iini が x1 に伸びるエッジに, Itr
が X1 から C に伸びるエッジに, Ifin が X2 にエッジが伸びている C の集合に対応している.

式 (36) において得られた各項の意味を考えていこう. まず, これまでと同様に dSbath = ⟨dsbath ⟩ は熱浴のエントロピー変化量, dSX := H(X2 ) − H(X1 ) は系 X のエントロピー変化量になる. では, 次に相互情報量の項を見ていこう. まず Iini := I(X1 ; Y1 ) は, 系 X が初期状態で他の系 Y と持っていた相関を意味する項にな
る. Ifin := I(X2 ; {Z2 , Y2 , Y1 }) は系 X が終状態で他の系 Y, Z と持っていた相関を意味する項になっている.
では, 残りの条件付き相互情報量の項を考えていこう. まず移動エントロピー (transfer entropy) と呼ばれる概念 [24] を導入する. 系 X のある状態 xk と, 別の系 C の時系列 c1 , . . . , cn があったときに, 系 X から系 C への移動エントロピーはlItr= I(Xk ; Cl |Cl−1 , . . . , C1 ),(37)l= I(Xk ; {Cl , . . . , C1 }) − I(Xk ; {Cl−1 , . . . , C1 }) であるため, 確率変数
で定義される量である. この量は Itr

Xk と系 X の時系列の確率変数の組の間の相互情報量が, 時刻 l − 1 から l になったときにどれだけ増加したかを表している. すなわち, 系 C の時刻 l − 1 から l の時間発展の間に確率変数 Xk からどれだけ情報が流れたかを定量化する情報の流れの量になっている.
この移動エントロピーの定義を用いて, 残りの条件付き相互情報量の項を考えると次のようになる. いま, 他
2:= I(X1 ; Y2 |Y1 ),の系 Y, Z を纏めた系 C の時系列 {y1 , y2 , z1 } を考慮すると, 条件付き相互情報量の項は Itr
3:= I(X1 ; Z2 |Y2 , Y1 ) のように移動エントロピーで与えられる系 X から他の系 C に流れた情報の流れだとみ
Itr

なせる.
よって, 式 (36) の非負性は次のように書き直すことができる.
2
3
dSbath + dSX ≥ Ifin − Iini − (Itr
+ Itr
),

(38)

この式が, ネットワーク上の情報熱力学における情報熱力学第二法則になる. この式の情報項は, やはりベイジ
アンネットワークにおけるトポロジーと対応関係を持っている (図 3). この関係式は, 今回具体的な図 2 のベ
イジアンネットワークに対して成り立つ関係式であったが,dSbath + dSX ≥ Ifin − Iini −

∑

l
Itr
,

(39)

l

という関係そのものは, 一般の *24 ベイジアンネットワーク上で常に成立する [20]. ただし一般の場合, 各情報l項 Ifin , Iini , Itr
はグラフのトポロジーから計算する量になっている.

*24 この議論はゆらぎの定理を仮定として用いているため, この仮定が成り立つ設定を記述するベイジアンネットワークに限られる. 系

X の時間発展が他の系 C を介さない形で非マルコフである (x1 → x2 → x3 かつ x1 → x3 のようなエッジが存在する) ときは,ゆらぎの定理を単純適用できないため成り立たない.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

(I)

図4

(II)

(I’ )

二次元 Langevin 系における二つのベイジアンネットワーク. (I) 式 (42) に対応したベイジアンネッ

トワーク. (II) 式 (43) に対応したベイジアンネットワーク. (I’) (I) のベイジアンネットワークから得られる情報熱力学第二法則の, 情報項とベイジアンネットワークの対応関係.

7. 情報熱力学第二法則と熱力学第二法則
ネットワーク上の情報熱力学が与える結果は, 通常の熱力学第二法則とはどのように違うのだろうか *25 . この問いに答えるため, 次のような二次元の Langevin 方程式を例に考えてみよう.

ẋ(t) = −∂x UX (x(t), y(t)) +√2TX ξX (t),√ẏ(t) = −∂y UY (x(t), y(t)) + 2TY ξY (t).

(40)

ここで ξX (t) と ξY (t) は独立な分散 1 平均 0 の白色 Gauss ノイズ, TY と TX は系 X と系 Y の熱浴の温度,

UX と UY はそれぞれ系 X と系 Y のポテンシャルエネルギーで, 必ずしも UX = UY を要請しない. ẋ(t), ẏ(t)は粒子の速度を, x(t), y(t) は粒子の位置を意味する. これを微小時間 dt で離散化した式は次のようになる.

√
2TX dBX t ,√yt+dt − yt = −∂y UY (xt , yt )dt + 2TY dBY t .

xt+dt − xt = −∂x UX (xt , yt )dt +(41)

ここで, xt := x(t), yt := y(t) であり, dBX t と dBY t は互いに独立な同分布に従い, その分布は平均 0 分散 dtの Gauss 分布である.
そ れ ぞ れ の 遷 移 確 率 を pXt+dt |Xt ,Yt (xt+dt |xt , yt )=TyXt (xt+dt ; xt ), pYt+dt |Xt ,Yt (yt+dt |xt , yt )TxYt (yt+dt ; yt ) とした時に, ゆらぎの定理はそれぞれ exp(−jX (t)dt/TX )exp(−jY (t)dt/TY ) = TxYt (yt+dt ; yt )/TxYt (yt ; yt+dt ) で与えられる.*26==

TyXt (xt+dt ; xt )/TyXt (xt ; xt+dt ),この系をベイジアンネットワークで表記するとき, 同時確率分布の分解の仕方

pXt ,Yt ,Xt+dt ,Yt+dt (xt , yt , xt+dt , yt+dt )= pYt (yt )pXt |Yt (xt |yt )pXt+dt |Xt ,Yt (xt+dt |xt , yt )pYt+dt |Xt ,Yt (yt+dt |xt , yt ),(42)に対応した表記 (I) と, 系 X と系 Y の合成系 Z を導入し, zt := {xt , yt } としたときの同時確率分布の分解の仕方

pZt ,Zt+dt (zt , zt+dt ) = pZt (zt )pZt+dt |Zt (zt+dt |zt ),(43)に対応した表記 (II) の二種類の表現の仕方がありうる (図 4). ここで表記 (II) では, 通常の熱力学第二法則が導ける.

dSbath + dSZ ≥ 0.
*25 本節での議論と同等の議論が論文 [25] のサプリメントにある.

(44)

この熱力学第二法則と情報熱力学第二法則の違いに関しては, 論文[26, 27, 28, 29, 30] など様々な研究がなされている. Langevin 系に特化した先行的な研究としては論文 [31] が挙げられる.
√√*26 ただし, ここで熱流は jX (t) := ẋ(t) ◦ ( 2TX ξX (t) − ẋ(t)), jY (t) := ẏ(t) ◦ ( 2TY ξY (t) − ẏ(t)) と定義される.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

こ こ で dSZ = H(Xt+dt , Yt+dt ) − H(Xt , Yt ) で あ る.

TyXt (xt+dt ; xt )TxYt (yt+dt ; yt )ま た 遷 移 確 率 は p(zt+dt |zt ) := T (zt+dt ; zt ) =と か け る こ と よ り, ゆ ら ぎ の 定 理 は exp(−jX (t)dt/TX − jY (t)dt/TY ) =T (zt+dt ; zt )/T (zt ; zt+dt ) で与えられる. よって dSbath = −⟨jX (t)⟩dt/TX − ⟨jY (t)⟩dt/TY となる. 以上より,通常の熱力学第二法則は⟨jX (t)⟩⟨jY (t)⟩dt ≤ −
dt + H(Xt+dt , Yt+dt ) − H(Xt , Yt ),
TX
TY

(45)

で与えられる. 一方表記 (I) でのベイジアンネットワークにおける情報熱力学第二法則は,2
dSbath + dSX ≥ Ifin − Iini − Itr,(46)であり, それぞれ dSbath = −⟨jX (t)⟩dt/TX , dSX := H(Xt+dt ) − H(Xt ), Ifin := I(Xt+dt ; {Yt , Yt+dt }),2
Iini := I(Xt ; Yt ), Itr:= I(Xt ; Yt+dt |Yt ) で定義される (図 4 (I’) も参照). よって,

⟨jX (t)⟩dt ≤ H(Xt+dt ) − H(Xt ) + I(Xt ; Yt ) + I(Xt ; Yt+dt |Yt ) − I(Xt+dt ; {Yt , Yt+dt })TX= H(Xt+dt , Yt , Yt+dt ) − H(Xt , Yt , Yt+dt ),(47)となる. すなわちこれらの事実から, 熱力学第二法則と情報熱力学第二法則は同時に成り立つ異なるものであるということがわかる.
さらに式 (45) と式 (47) をみると, 系 X の熱流の項 ⟨jX (t)⟩dt/TX に対してそれぞれ異なる上限を与えることがわかる. 通常の熱力学第二法則 (45) は系 Y 側の熱流の項 −⟨jY (t)⟩dt/TY を考慮しなければいけないのに対し, 情報熱力学第二法則 (47) では系 Y 側の熱流の項を考える必要がなくなっている. また, 実際に情報熱力
学第二法則 (47) の方が熱力学第二法則 (47) に比べ, 熱流の項 ⟨jX (t)⟩dt/TX に対してタイトな制限を与えられることがわかっている.
以上の事実は, 複雑に絡み合った系の熱力学を考察する上で情報熱力学の利点になりうる. もしある特定の箇所の熱散逸に対して熱力学第二法則から制限を出そうとするならば, 複雑に絡み合った全ての系の熱散逸を数え上げる必要がある. 一方で, 情報熱力学第二法則は特定の箇所と相互作用しているところの情報の項さえわかれば *27 , 絡み合った系すべてを考える必要がないということを主張している. このような情報熱力学の利点は, 複雑に絡み合った生体系で有用たりうる.

8. 生体センサーと適応現象
この節ではネットワーク上の情報熱力学を, 生体シグナル伝達系に応用した研究 [25] を紹介しよう. 今回考えるのは, 大腸菌の走化性のシグナル伝達である.
単細胞生物である大腸菌 (Escherichia coli もしくは E. coli) には, 入力信号となる餌 (リガンド *28 ) の濃度勾配を受容体が検知して, 濃度の濃い方に進もうとする走化性という現象がある. リガンドの濃度変化の入力
情報は受容体を通して細胞表面から内部に伝わり, 出力として内部のキナーゼ *29 の活性を変化させる. その結果として, 鞭毛モーターが推進モード *30 に切り替わり, 大腸菌は媒質の中を泳ぐことができるようになる (図5(I) ) [32].

*27 例えば, 系 X と系 Y が相互作用し, 系 Y と系 Z が相互作用する系を考えると, 熱力学第二法則では系 Z のダイナミクス (熱散逸)を考える必要がある. 一方, 情報熱力学は系 X と系 Y の確率分布さえ知っていれば系 Z は陽には考える必要はない. 一般には系
X と系 Y の確率分布を得るために系 Z を考える必要が出てくるが, 例えば実験などで測定から確率分布を得る場合は系 Z の測定をする必要はなくなる.
*28 特定の受容体に特異的に結合する物質の総称である. 大腸菌の場合, 例えばアスパラギン酸受容体 (Tar) があるため, アスパラギン酸がリガンドに相当する.
*29 リン酸化酵素の総称である.
*30 鞭毛モーターが反時計回りに回ると推進モードに, 時計回りに回るとランダムな方向転換モード (タンブル) になる. この二つの状態の切り替わる比率を図 5(I) におけるタンパク質 CheY のリン酸化が決めている.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

(II)

(I)
リガンド ( 入力 )

+CH3

受容体

CheR
鞭毛モーター

キナーゼ ( 出力 )

CheA

CheW

受容体のメチル化

-CH3

P

出力 a

CheA

CheY

P

CheB

入力 l

CheZ

メモリ m

( メモリ )

図 5 (I) 大腸菌走化性のシグナル伝達ネットワーク. CheA ∼ CheZ は大腸菌の走化性に関わるタンパク質である. キナーゼはこの中で CheA に相当し, これが活性化することで CheY にリン酸基に転移させる
役割をもっている. CheY がリン酸化すると, 鞭毛モーターの回転を推進モードに変換することができる.

(II) 適応現象における重要な三つの要素. キナーゼ活性の出力と受容体のメチル化のメモリの間にはフィードバックループが存在しており, このフィードバックループにより適応現象を達成することができる.

この大腸菌の走化性の特徴の一つに適応とよばれる現象がある. これは生体センサーである受容体がきちんと濃度の「変化」を感知するために, 現在の濃度に慣れるという現象である. この適応を達成するためには, ど
こかに現在の濃度の状態を記録するメモリの存在が必要であり, 大腸菌の走化性の場合には受容体のメチル化がメモリに相当する. この受容体のメチル化のおかげで, 濃度が変化しないときはキナーゼ活性を変化させず,濃度が変化したときのみ一過的にキナーゼ活性を変化させることができるのである (図 5(I) ).
この適応現象は生体センサーにおいて普遍的にみられる構造であり, 様々な適応現象は入力, 出力, メモリの三つの要素によって構成されることが知られている (図 5(II) ). この入力と出力, メモリの役割を担っているタ
ンパク質やその状態は系によって様々であるが, この三つの要素の構造自体は適応現象において普遍的なものである. よって単細胞生物 *31 である大腸菌の走化性を考え, 入力, 出力, メモリの役割に着目するのは生体シグナル伝達を理解する上で自然な発想であろう.
特に (大腸菌走化性の) 適応現象は, 次のような Langevin 方程式で記述されることが知られている [32, 33,

34],
√
1
[a(t) − ā(l(t), m(t))] + 2TA ξA (t),τA√1ṁ(t) = −a(t) + 2TM ξM (t),τMȧ(t) = −(48)

ここで, a(t) はキナーゼの活性レベル, m(t) は受容体のメチル化レベル, l(t) はリガンドの入力, τA ,τM はそれ
ぞれキナーゼ活性の出力系 A と受容体メチル化のメモリ系 M の時定数で τM ≫ τA を満たす, TA , TM はそれぞれ系 A と M のノイズの強度 *32 , ξA (t), ξM (t) はそれぞれ独立な分散 1, 平均 0 の白色 Gauss ノイズである. ā(l(t), m(t)) は各 l(t), m(t) の値に応じたキナーゼ活性レベル a(t) の定常的な値であり, たとえば大腸菌の走化性では ā(l(t), m(t)) = αm(t) − βl(t) のように線形領域でかける領域が比較的広いことが知られている. ここで α, β は正の係数である.
この Langevin 方程式の典型的な振る舞いを見てみよう. 例えばリガンドの入力として階段関数的なものを考えると図 6 のような振る舞いになる. このように, 瞬間的な入力 l(t) の変化に対して, 出力 a(t) は一過的に変化したあと元のレベルに戻る. 最終的に現在のリガンドの状態はメモリ m(t) の変化として蓄えられる.
このように二次元 Langevin 方程式によって, 普遍的な生体シグナル伝達の一種である適応現象を記述できることがわかった. では, この適応現象のモデルに情報熱力学を応用することを考えてみよう。
*31 単細胞生物である大腸菌は, 生物の構成要素である細胞の個数が最小の生物である. 構成要素が最小の系に着目するのは物理学の手法としては自然だと思われる.
*32 今, 考えている Lagevin 方程式は Brown 粒子の位置の運動ではなく化学的な状態のレベルのため, この TA , TM は必ずしも媒質の温度を意味しない量である.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

time

図 6 Langevin 方程式 (48) が記述する典型的な適応の振る舞い.

9. 生体シグナル伝達の情報熱力学
情報熱力学第二法則 (47) を, 適応現象を記述する Langevin 方程式 (48) に適用することを考えてみよう. このとき情報熱力学第二法則はH(Xt+dt ) − H(Xt ) + I(Xt ; Yt ) + I(Xt ; Yt+dt |Yt ) − I(Xt+dt ; {Yt , Yt+dt }) ≥⟨jA (t)⟩
dt
TA
(49)

で与えられる. 特に定常状態のときは pXt ,Yt (xt , yt ) と pXt+dt ,Yt+dt (xt+dt , yt+dt ) は同分布のため, H(Xt+dt ) =H(Xt ), I(Xt ; Yt ) = I(Xt+dt ; Yt+dt ) となる. よって, 定常状態のとき式 (49) は⟨jA (t)⟩dt ≤ I(Xt ; Yt+dt |Yt ) − I(Xt+dt ; Yt |Yt+dt )TA≤ I(Xt ; Yt+dt |Yt ),

(50)
(51)

が得られる. ここで相互情報量の非負性 I(Xt+dt ; Yt |Yt+dt ) ≥ 0 を使った *33 . このように移動エントロピー
2
Itr= I(Xt ; Yt+dt |Yt ) がある量 ⟨jA (t)⟩dt/TA の定常状態における上限になっていることがわかる.

では, この ⟨jA (t)⟩dt/TA という量は, 適応現象において具体的に何を意味しているのだろうか. 実際に計算
してみると

⟩
⟨
⟨jA (t)⟩dt
1
dt =ȧ(t) ◦
[a(t) − ā(l(t), m(t))]
TA
TA
τA
⟨
⟩
√
dt
1
1
=
[− [a(t) − ā(l(t), m(t))] + 2TA ξA (t)] ◦[a(t) − ā(l(t), m(t))]
TA
τA
τA
[
]
dt
=
τA TA − ⟨[a(t) − ā(l(t), m(t))]2 ⟩ ,(52)(τA )2 TA√となる. ここで任意の関数 g(a(t)) に対し ⟨ξA (t) ◦ g(a(t))⟩ = TA /2⟨∂a g(a(t))⟩ であることを用いた *34 .
ここで τA TA は環境のノイズの強度に相当する項である. また ā(l(t), m(t)) を与えられたリガンド入力

l(t) に対する適切な出力 a(t) の値だと考えると ⟨[a(t) − ā(l(t), m(t))]2 ⟩ は出力の分散に相当する. よって,
⟨jA (t)⟩TA dt の項は, 「ノイズのある環境で, いかに正しくリガンド入力に対してキナーゼ活性を出力するか（適*35

応するか）」という適応のロバストさ (頑健さ) の尺度とみなせる.

*33 この量は我々が backward transfer entropy とよんでいる量である [35]. 移動エントロピー (transfer entropy) I(Xt ; Yt+dt |Yt )だけの上限 (51) よりも, この量を考えた上限 (50) の方がタイトな上限になっている.

⟨ξA (t) ◦ g(a(t))⟩ = ⟨ξA (t)[g(a(t)) +√g(a(t+dt))]/2⟩ = ⟨ξA (t)[g(a(t))+ȧ(t)dt∂a g(a(t))/2]⟩ = TA /2⟨[ξA (t)ξA (t)dt]∂a g(a(t))⟩ であり, ここで ξA (t)ξA (t)dt =√(dBAt )2 /dt, (dBAt )2 = dt, ⟨ξA (t)g(a(t))⟩ = 0 である性質を使うと, ⟨ξA (t) ◦ g(a(t))⟩ = TA /2⟨∂a g(a(t))⟩ が示せる.
*35 もしコロイド粒子系において同様の表現を得ると, この表現は揺動散逸関係の一般化に相当する [3]. 一般に ⟨jA (t)⟩ ̸= 0 の非平衡の場合は, τA TA の散逸項と ⟨[a(t) − ā(l(t), m(t))]2 ⟩ の揺動項が釣り合わない. しかしその差が (驚くべきことに) 熱流 ⟨jA (t)⟩に対応し, ⟨jA (t)⟩ = 0 の平衡の場合には通常の揺動散逸関係を回復する.
*34 この導出には Stratonovich 積分の性質と dBAt := ξA (t)dt に関する性質を使う [3].

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）

この式 (52) の表現を用いて情報熱力学第二法則 (50), (51) を考察し直そう. 不等式の左辺はロバストさであるため, ロバストさの上限が情報の項 (式 (51) の場合は移動エントロピー) によって抑えられていることにな
る. 特に式 (51) の右辺は正であるということは, 一般に出力の分散の項 ⟨[a(t) − ā(l(t), m(t))]2 ⟩ が環境のノイズの強度 τA TA に比べて小さくなりうることを意味する. よって, 情報の効果の分だけ環境のノイズの影響を減らせる. *36
このような情報熱力学に基づいて, 生体シグナル伝達を議論することでどのようなご利益があるだろうか.
一つの答えは, 情報熱力学の観点から情報伝達効率を定量化できることにある. すなわち, 情報熱力学第二法則(50), (51) の等号達成にどれだけ近いかをもって, どれだけ実際のロバストさに対して情報を効率よく利用していたかを定量的に議論できる. また同様に通常の熱力学第二法則 (45) の等号達成にどれだけ近いのかと, 情
報熱力学第二法則 (50), (51) の等号達成にどれだけ近いかを比較することによって, 系全体の熱力学的な効率と情報伝達に関わる部分の効率のどちらを重視しているのかも定量化できる. 実際我々は, 大腸菌の走化性のモデルで現実的な実験パラメータを用いてシミュレーションを行い, 通常の熱力学効率に比べて情報熱力学的な効率が高いことが明らかにした *37 . このように情報熱力学を生体シグナル伝達に応用することで, 生体情報処理の設計原理を理解する上での有用な示唆を与えうる.

10. さらに情報熱力学を学びたい人のために
最後に, 情報熱力学に関連する近年の様々な進展を紹介する*38 . 今後研究したい人のための指針になれば幸いである.
検証実験については, マックスウェルのデーモンの検証という文脈でコロイド粒子系 [37, 38] や単電子
箱 [39] で実験的に検証されている.
また, Markov jump 過程に特化した情報熱力学の研究は, 様々な進展をみせている. 例えば, マックスウェ
ルのデーモンを模した Markov jump 過程を考察する「自律的なマクスウェルのデーモン」という研究が行われた [40, 41, 42]. これらの研究で提唱されたモデルを用いて, Markov jump 過程で情報浴という概念 [40, 43]
や情報熱力学第二法則が考察されることになった [26, 27, 28, 29, 30]. またこの Markov jump 過程では, 情報
熱力学第二法則に対応するオンサーガ相反定理が成り立つことが示された [44].
情報熱力学の生体系への応用は, 主にセンサーにおける情報処理に関する理論的な研究が行われている [45, 46, 47, 48]. また最近では酵素反応や複製過程などの生体系で応用しようとする動きも見られる[49, 50].
最近では, 機械学習方向への応用も考えられ始めてきた [51]. 特に移動エントロピー [24] やベイジアンネッ
トワークのような概念は, 学習理論やニューラルネットワークといった機械学習分野の理論と相性が良いため[52, 53], 今後もさらなる発展が期待できるだろう.

参考文献[1] 田崎晴明,『熱力学―現代的な視点から』(培風館,2000).
[2] 清水明,『熱力学の基礎』(東京大学出版会,2007).
[3] K. Sekimoto, “Stochastic Energetics (Springer, 2010); 関本謙, 『ゆらぎのエネルギー論』 (岩波書店, 2004).
[4] U. Seifert, Rep. Prog. Phys. 75, 126001 (2012).
[5] C. Shannon, Bell System Technical Journal 27, 379-423, 623-656 (1948); 和訳:クロード・シャノン, 『通信の数学的理論』(ちくま学芸文庫,2009).

*36 この事実は, Shannon の情報理論における通信路符号化定理と類似しており, 弱い不等式 (51) についてはアナロジーが成り立つ.
*37 この結果の本質は, τM ≫ τA の時定数の差に起因している. この時定数の差により, 合成系 A, M 全体としては平衡から遠く離れているが, 部分系 A にとっては局所的には可逆になっているといえる. この結果より, 大腸菌の走化性のシグナル伝達は, 適応のロバストさを高めるために受容体のメチル化の部分で熱散逸している系と考えることもできる.
*38 情報熱力学に関するレビュー論文 [8] も参照のこと. また量子系のレビューとしては論文 [36] が挙げられる.

《講義ノート》

物性研究・電子版 Vol. 6, No. 4, 064232（2017年11月号）[6] T. M. Cover and J. A. Thomas, Elements of Information Theory (Wiley-Interscience, 2nd edition,2006). 和訳:『情報理論―基礎と広がり―』(共立出版,2012).
[7] H. S. Leﬀ and A. F. Rex (eds.), “Maxwell s demon 2: Entropy, Classical and Quantum Information,
Computing (Princeton University Press, 2003).
[8] J. M. R. Parrondo, J. M. Horowitz, and T. Sagawa, Nature physics 11, 131 (2015).
[9] 沙川貴大, 『< 講義ノート > 情報処理の熱力学 (第 59 回物性若手夏の学校 : 集中ゼミ)』, 物性研究・電子版 4, 1
(2015).
[10] N. G. van Kampen, “Stochastic processes in physics and chemistry” (North Holland, 3rd edition, 1992).
[11] Crooks, G. E. Phys. Rev. E, 60, 2721 (1999).
[12] C. Jarzynski, J. Stat. Phys. 98, 77 (2000).
[13] R. Kawai, J. M. R. Parrondo and C. Van den Broeck, Phys. Rev. Lett. 98, 080602 (2007).
[14] D. J. Evans, E. G. D. Cohen and G. P. Morriss, Phys. Rev. Lett. 71, 2401 (1993).
[15] G. Gallavotti and E. G. D. Cohen, Phys. Rev. Lett. 74, 2694 (1995).
[16] J. L. Lebowitz and H. Spohn, J. Stat. Phys. 95, 333 (1999).
[17] T. Sagawa and M. Ueda, Phys. Rev. Lett. 104, 090602 (2010).
[18] T. Sagawa and M. Ueda, Phys. Rev. Lett. 109, 180602 (2012).
[19] S. Still, D. A. Sivak, A. J. Bell and G. E. Crooks, Phys. Rev. Lett. 109, 120604 (2012).
[20] S. Ito and T. Sagawa, Phys. Rev. Lett. 111, 180603 (2013).
[21] S. Ito and T. Sagawa, arXiv:1506.08519 (2015); これは次の本に収録されている. M. Dehmer, F. EmmertStreib, Z. Chen, X. Li, and Y. Shi (Eds.). “Mathematical foundations and applications of graph entropy”(Wiley-VCH, 2016 )[22] T. D. Nielsen and F. V. Jensen, “Bayesian networks and decision graphs” (Springer, 2009).
[23] J. Pearl, “Causality”, (Cambridge University Press, 2nd edition, 2009).
[24] T. Schreiber, Phys. Rev. Lett. 85, 461 (2000).
[25] S. Ito and T. Sagawa, Nat. Commun. 6, 7498 (2015).
[26] D. Hartich, A. C. Barato and U. Seifert, J. Stat. Mech. Theor. Exp. (2014). P02016.
[27] J. M. Horowitz and M. Esposito, Phys. Rev. X 4, 031015 (2014).
[28] J, M. Horowitz and H. Sandberg. New J. Phys. 16, 125007 (2014).
[29] N. Shiraishi and T. Sagawa, Phys. Rev. E 91, 012130 (2015).
[30] N. Shiraishi, S. Ito, K. Kawaguchi and T. Sagawa, New J. Phys. 17, 045012 (2015).
[31] A. E. Allahverdyan, D. Janzing and G. Mahler, J. Stat. Mech. Theor. Exp. (2009). P09011.
[32] Y. Tu, T. S. Shimizu and H. C. Berg, Proc. Natl. Acad. Sci. 105, 14855 (2008).
[33] F. Tostevin and P. R. Ten Wolde, Phys. Rev. Lett. 102, 218101 (2009).
[34] G. Lan, P. Sartori, S. Neumann, V. Sourjik and Y, Tu, Nat. Phys. 8, 422 (2012).
[35] S. Ito, Sci. Rep. 6, 36831 (2016).
[36] J. Goold, M. Huber, A. Riera, L. del Rio and P. Skrzypczyk, J. Phys. A: Math. Theor. 49, 143001 (2016).
[37] S. Toyabe, T. Sagawa, M. Ueda, E. Muneyuki and M. Sano, Nat. Phys. 6, 988-992 (2010).
[38] A. Bérut, A. Arakelyan, A. Petrosyan, S. Ciliberto, R. Dillenschneider and E. Lutz, Nature 483, 187(2012).
[39] J. V. Koski, V. F. Maisi, T. Sagawa and J. P. Pekola, Phys. Rev. Lett. 113, 030601 (2014).
[40] D. Mandal and C. Jarzynski, Proc. Natl. Acad. Sci. 109, 11641 (2012).
[41] P. Strasberg, G. Schaller, T. Brandes and M. Esposito, Phys. Rev. Lett. 110, 040601 (2013).
[42] A. C. Barato, D. Hartich and U. Seifert, Phys. Rev. E, 87, 042104 (2013).
[43] A. C. Barato and U. Seifert, Phys. Rev. Lett. 112, 090601 (2014).
[44] S. Yamamoto, S. Ito, N. Shiraishi and T. Sagawa, Phys. Rev. E, 94, 052121 (2016).
[45] A. C. Barato, D. Hartich and U. Seifert, New J. Phys. 16, 103024 (2014).
[46] P. Sartori, L. Granger, C. F. Lee and J. M. Horowitz, PLoS Comput. Biol. 10, e1003974 (2014).
[47] S. Bo, M. Del Giudice and A. Celani, J. Stat. Mech. Theor. Exp. (2015). P01014.
[48] D. Hartich, A. C. Barato and U. Seifert, Phys. Rev. E, 93, 022116 (2016).
[49] T. McGrath, N. S. Jones, P. R. ten Wolde and T. E. Ouldridge, Phys. Rev. Lett. 118, 028101 (2017).
[50] T. E. Ouldridge, C. C. Govern and P. R. ten Wolde, Phys. Rev. X, 7, 021004 (2017).
[51] S. Goldt and U. Seifert, Phys. Rev. Lett. 118, 010601 (2017).
[52] N. Ay and D. Polani, Advances in complex systems, 11, 17 (2008).
[53] M. Oizumi, N. Tsuchiya and S. I. Amari, Proc. Natl. Acad. Sci. 113, 14817 (2016).