熵

熵（Entropy）是一種測量在動力學方面不能做功的能量總數，也就是當總體的熵增加，其做功能力也下降，熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象，也就是計算該系統混亂的程度。熵是一個描述系統狀態的函數，但是經常用熵的參考值和變化量進行分析比較，它在控制論、機率論、數論、天體物理、生命科學等領域都有重要應用，在不同的學科中也有引申出的更為具體的定義，是各領域十分重要的參量。

## 熵的熱力學定義

<image>

熵的概念是由德國物理學家克勞修斯於1865年所提出。克氏定義一個熱力學系統中熵的增減為：在一個可逆過程裡，系統在恆溫的情況下得到或失去熱量（$Q$），並可以公式表示為：

$$\Delta S = \frac{Q}{T}$$

克勞修斯對S予以「熵」（εντροπια，entropia；entropie；entropy）一名，希臘語源意為「內向」，亦即「一個系統不受外部干擾時往內部最穩定狀態發展的特性」。與熵相反的概念為「反熵」（εκτροπια，ektropia，源意「外向性」；Ektropie；extropy）。

1923年，德國科學家魯道夫·普蘭克到中國講學用到「entropy」這個詞，胡剛復教授翻譯時靈機一動，把「商」字加火旁來意譯「entropy」這個字，創造了「熵」字（音讀：ㄕㄤ），因為熵是$Q$（熱量）除以 $T$（溫度）的商數。

值得注意的是，這條公式只牽涉到熵的增減，即熵一詞只是定義為一個添加的常數。

### 熵的增減與熱機

克勞修斯認為熵是在學習可逆及不可逆熱力學轉換時的一個重要元素。

熱力學轉換是指一個系統中熱力學屬性的轉換，例如溫度及體積。當一個轉換被界定為可逆時，即指在轉換的每一極短的步驟時，系統保持非常接近平衡的狀態，稱為「準靜態過程」。否則，該轉換即是不可逆的。例如，在一含活塞的管中的氣體，其體積可以因為活塞移動而改變。可逆性體積轉變是指在進行得極其慢的步驟中，氣體的密度經常保持均一。不可逆性體積轉變即指在快速的體積轉換中，由於太快改變體積所造成的壓力波，並造成不穩定狀態。無耗散的準靜態過程為可逆過程。

熱機是一種可以進行一連串轉換而最終能回覆開始狀態的熱力學系統。這一進程被稱為一個循環。在某些轉換當中，熱力機可能會與一種被稱之為高溫熱庫的大型系統交換熱能，並因為吸收或釋放一定的熱量而保持固定溫度。一個循環所造的結果包括：

- 系統對外所做的功（等於外界對系統做功的相反數）
- 高溫熱庫之間的熱能傳遞

基於能量守恆定律，高溫熱庫所失的熱能正等於熱力機所做的功，加上低溫熱庫所獲得的熱能。

當循環中的每個過程皆是可逆時，該循環是可逆的。這表示它可以反向操作，即熱的傳遞可以相反方向進行，恢復到初始狀態而不對外界產生影響，以及所作的功可以正負號調轉。最簡單的可逆性循環是在兩個高溫熱庫之間傳遞熱能的卡諾循環。

在熱力學中，在下列公式中定義使用絕對溫度，設想有兩個熱源，一個卡諾循環從第一個熱源中抽取一定量的熱$Q'$，相應的溫度為$T$和$T'$，則：

$$\frac{Q}{T}=\frac{Q'}{T'}$$

現在設想一個任意熱機的循環，在系統中從N個熱源中交換一系列的熱$Q_1,Q_2...Q_N,$，並有相應的溫度$T_1,T_2,...T_N,$設系統接受的熱為正量，系統放出的熱為負量，可以知道：

$$\sum_{i=1}^N\frac{Q_i}{T_i}\le 0$$

如果循環向反方向運行，公式依然成立。

求證，有N個熱源的卡諾循環中引入一個有任意溫度$T_0$的附加熱源，如果從$T_0$熱源中，通過$j$次循環，向$T_j$熱源輸送熱$Q_j$，從前面定義絕對溫度的式中可以得出，從$T_0$熱源通過$j$次循環輸送的熱為：

$$Q_{0,j}=T_0\frac{Q_j}{T_J}$$

現在考慮任意熱機中N個卡諾循環中的一個循環，在循環過程結束時，在$T_1,...,T_N$個熱源中，每個熱源都沒有純熱損失，因為熱機抽取的每一份熱都被循環過程彌補回來。所以結果是（i）熱機作出一定量的功，（ii）從$T_0$熱源中抽取總量為下式的熱：

$$Q_0 = \sum_{j=1}^N Q_{0,j} = T_0 \sum_{j=1}^N \frac{Q_j}{T_j}$$

如果這個熱量是正值，這個過程就成為第二類永動機，這是違反熱力學第二定律的，所以正如下式所列：

$$\sum_{i=1}^N \frac{Q_i}{T_i} \ge 0$$

只有當熱機是可逆的時，式兩邊才能相等，上式自變量可以一直重複循環下去。

要注意的是，$T_j$代表系統接觸的溫度，而不是系統本身的溫度。如果循環不是可逆的，熱量總是從高溫向低溫處流動。所以：

$$\frac{Q_j}{T_j} \le \frac{Q_j}{T}$$

這裡T代表當系統和熱源有熱接觸時系統的溫度。

然而，如果循環是可逆的，系統總是趨向平衡，所以系統的溫度一定要和它接觸的熱源一致。在這種情況下，可以用$T$代替所有的$T_j$，在這種特定情況下，一個可逆循環可以持續輸送熱。

$\oint \frac{\delta Q}{T} \equiv \oint dS = 0$（可逆循環）

這時，對整個循環進行積分，$T$是系統所有步驟的溫度。

### 熵作為狀態函數

現在，不僅僅在循環中，而是從任何熱力學過程中，可以從熵的變化推斷出一個重要的結論。首先，想像一個可逆過程，如果將系統從一個平衡狀態A轉移到另一個平衡狀態B。假如再經過一個任何可逆過程將系統帶回狀態A，結果是熵的絕對變化等於零。這意味著在第一個過程中，熵的變化僅僅取決於初始與終結狀態.由此可以定義一個系統的任何平衡狀態的熵。選擇一個參照狀態R，定義它的熵為$S_R$，任何平衡狀態X的熵為：

$$S_X = S_R + \int_R^X \frac{\delta Q}{T}$$

因為這個積分式與熱轉移過程無關，所以當作為熵的定義。

現在考慮不可逆過程，很明顯，在兩個平衡狀態之間熱傳遞造成熵的改變為：

$$\Delta S \ge \int \frac{\delta Q}{T}$$

如果過程是可逆的，此公式仍然有效。

注意，如果$\sigma Q = 0$，那麼$\Delta S \ge 0$。熱力學第二定律的一種表述方式正是：一個絕熱系統的全部熵不會自動減少。

設想一個絕熱系統但和環境保持機械聯繫，和環境之間不是處於機械平衡狀態，可以對環境作功，或接受環境對它作功，如設想在一個密封、絕熱的活塞室內，如果室內氣體的壓力和室外不同，活塞會膨脹或收縮，就會作功。上述結論表明在這種情況下，這個系統的熵會增加（理論上可以持續增加，但實際不會。）在一定的環境下，系統的熵存在一個極大值，這時熵相當於「穩定平衡狀態」，也就是說不可能和其他平衡狀態產生可使熵降低的傳熱過程，一旦系統達到最高熵狀態，不可能再作任何功。

## 熵的統計學定義，玻爾茲曼原理

1877年，玻爾茲曼發現單一系統中的熵跟構成熱力學性質的微觀狀態數量相關。可以考慮情況如：一個容器內的理想氣體。微觀狀態可以以每個組成的原子的位置及動量予以表達。為了一致性起見，只需考慮包含以下條件的微觀狀態：（i）所有粒子的位置皆在容器的體積範圍內；（ii）所有原子的動能總和等於該氣體的總能量值。玻爾茲曼並假設：

$$S = k (\ln \Omega)$$

公式中的$k$是玻爾茲曼常數，$\Omega$則為該宏觀狀態中所包含之微觀狀態數量。這個被稱為玻爾茲曼原理的假定是統計力學的基礎。統計力學則以構成部分的統計行為來描述熱力學系統。玻爾茲曼原理指出系統中的微觀特性（$\Omega$）與其熱力學特性（$S$）的關係。

根據玻爾茲曼的定義，熵是一則關於狀態的函數。並且因為$\Omega$是一個非零自然數（$1,2,3,...$），熵必定是個非負數（這是對數的性質）。

### 熵作為混亂程度的度量

可以看出$\Omega$是一個系統混亂程度的度量，這是有道理的，因為作為有規律的系統，只有有限的幾種構型，而混亂的系統可以有無限多個構型。例如，設想有一組10個硬幣，每一個硬幣有兩面，擲硬幣時得到最有規律的狀態是10個都是正面或10個都是反面，這兩種狀態都只有一種構型（排列）。反之，如果是最混亂的情況，有5個正面5個反面，排列構型可以有$C_{5}^{10}=252$ 種。（參見組合數學）

根據熵的統計學定義，熱力學第二定律說明一個孤立系統的傾向於增加混亂程度，根據上述硬幣的例子可以明白，每一分鐘我們隨便擲一個硬幣，經過一段長時間後，我們檢查一下硬幣，有「可能」10個都是正面或都是反面，但是最大的可能性是正面和反面的數量相等。

混亂程度傾向於增加的觀念被許多人接受，但容易引起一些錯誤認識，最主要的是必須明白$\Delta S \ge 0$只能用於「孤立」系統，值得注意的是地球並不是一個孤立系統，因為地球不斷地從太陽以太陽光的形式接收能量。但一般認為宇宙是一個孤立系統，即宇宙的混亂程度在不斷地增加，可以推測出宇宙最終將達到「熱寂」狀態，因為（所有恆星）都在以同樣方式放散熱能，能源將會枯竭，再沒有任何可以作功的能源了。但這一觀點並沒有得到證明。然而有些人認為，宇宙是個開放的、無限的系統，不能把從有限的時空尺度範圍內的「熵增」推廣到廣袤的宇宙中，因此熱寂說不正確。

### 微觀計算

在經典統計力學中，微觀狀態的數量實際是無限的，所以經典系統性質是連續的，例如經典理想氣體是定義於所有原子的位置和動量上，是根據實際數量連續計算的。所以要定義$\Omega$，必須要引入對微觀狀態進行「分類」的方法，對於理想氣體，我們認為如果一個原子的位置和動量分別在$\delta x$和$\delta p$範圍之內，它只屬於「一種」狀態。因為$\delta x$和$\delta p$的值是任意的，熵沒有一個確定值，必須如同上述增加一個常數項。這種微觀狀態分類方法叫做「組元配分」，相對應於量子力學選擇的組元狀態。

這種模糊概念被量子力學理論解決了，一個系統的量子狀態可以被表述為組元狀態的位置，選擇作為非破缺的哈密頓函數的典型特徵狀態。在量子統計力學中，$\Omega$是作為具有同樣熱力學性質的基本狀態的數量，組元狀態的數量是可以計算的，所以我們可以確定$\Omega$的值。

但是組元狀態的確定還是有些隨意，決定於微觀狀態的「組元配分」和經典物理學中不同的微觀狀態。

這導致了能斯特定理，有時也叫熱力學第三定律，就是說系統在絕對溫度零度時，熵為一恆定常數，這是因為系統在絕對溫度零度時存在基礎狀態，所以熵就是它基礎狀態的簡併態。有許多系統，如晶格點陣就存在一個唯一的基礎狀態，所以它在絕對溫度零度時的熵為零（因為$ln(1) = 0$）。

## 熵的歷史

熱力學第一定律闡述的是「能量」以及「能量守恆」的概念，但是第一定律無法定量解釋摩擦和耗散的影響。

法國數學家拉扎爾·卡諾的分析和貢獻最終導致了「熵」這個概念的誕生。1803年，拉扎爾·卡諾發表了一篇文章「運動和平衡的基本原理」，提出在任何一個機器的運動部分的加速和衝擊意味著動量（momentum）的損失，換句話說，在任何自然過程中，總是存在著「有用」的能量逐漸耗散這一固有的趨勢。基於上述研究，1824年拉扎爾·卡諾的兒子尼科拉斯·萊奧納德·薩迪·卡諾發表了「關於火的原動力」，提出所有的熱機的工作都需要存在溫度差，當熱量從熱機熱的部分向熱機冷的部分轉移時，熱機獲得了原動力。這是對熱力學第二定律的最初洞見。

卡諾提出的可逆熱機只存在於理想情況。19世紀50年代和60年代，德國物理學家克勞修斯在對實際熱機的研究中進一步指出，任何熱機都不是可逆的，不可能毫無「改變」，並進一步對這個「改變」進行了定量研究。克勞修斯認為，實際熱機在使用過程中會產生「無法使用」的熱量（比如熱機的活塞和熱機壁摩擦產生的熱量。在此基礎上，克勞修斯提出了熵的概念，將熵描述為能量的耗散。

## 熵的圖繪

以下公式可用於在P-V圖表上繪出熵：

$$S = n R \ \ln (1 + P^{C_V \over R} V^{C_P \over R})$$

兩項注意事項：（1）這並非熵的定義（是從熵引申），（2）它假設$C_V$及$C_P$皆為常數，但事實並非如此，詳情請見下面。

## 熵的測量

在現實的實驗中，一個系統中的熵是很難測量的。所以，測量的技巧是建基於熱力學中熵的定義，並且依靠嚴格的測卡法。

為了簡單起見，測量一個熱力學狀態可以體積$V$及壓力$P$來描述的機械系統。為了要測量個別狀態的熵，應首先在一個從參考狀態到預期狀態中的一系列連續狀態中測量在固定體積及固定壓力（可分別以$C_V$及$C_P$表示）情況下的熱容量。熱容量跟熵$S$及溫度$T$之間的關係為：

$$C_X = T \left(\frac{\partial S}{\partial T}\right)_X$$

下標X跟固定體積或固定壓力有關。這可以定積分計算出熵的改變：

$$\Delta S = \int \frac{C_X}{T} dT$$

因此，可以獲得與一個參考狀態（$P_0$,$V_0$）關連的熵的任何狀態（$P$，$V$）。完整的公式如何在於所選擇的中間狀態。比方說，如果參考狀態與最終狀態氣壓相同的話：

$$S(P,V) = S(P, V_0) + \int^{T(P,V)}_{T(P,V_0)} \frac{C_P(P,V(T,P))}{T} dT$$

另外，如果參考狀態與終結狀態中間存在一階相變，與相變有關連的潛熱應納入計算之中。

參考狀態下的熵應作獨立的計算。在完美的情況下，應該把參考狀態定在一個極高溫，系統以氣態存在的點。在此狀態下的熵就像完美氣體再加上分子旋轉及振動的情況，可以用分光法加以測量。如果所選擇參考狀態的溫度太低的話，該狀態的熵有機會構成非預期的表現而對計算構成困難。舉例說，以後者方法計算冰的熵值，並設零度溫度下無熵，得出來的結果會比以高溫參考狀態計算出的結果少3.41 J/K/mol。造成這現象的原因是冰晶體帶有幾何不穩定性的性質，並因此在相當低溫的情況下會帶有不消失的零點下的熵。

## 非熱力學的熵

資訊論方面的熵，請參閱熵 (資訊理論)。事實上，兩種熵之間存在緊密聯繫，它們之間的關係顯示出熱力學及資訊論之間的深厚關係。

資訊熵之所以仍然稱為「熵」，是因為他的公式和熱力學熵的公式一樣，是玻爾茲曼在統計力學領域推導出來的，玻爾茲曼從微觀粒子出發，總結熵的宏觀性質，（上面第二章可以看到玻爾茲曼公式對熵的解釋）。不僅資訊科學，生物學和生態學也利用熵的概念。熱力學中熵表示的是「系統混亂狀態」，這和生物學相通，1940年代薛丁格在《生命是甚麼》之中就提出了生物就是負熵的過程；資訊理論中資訊熵表示的是資訊量；生態學中熵表示的是生物多樣性。

### 時間之箭

熵是在物理學領域中似乎暗示只朝向一個特定行進方向的量，有時被稱為時間之箭。隨著時間的推移，熱力學第二定律：孤立系統的熵狀態永遠只會增加，不會減少。因此，從這個角度看，熵的測量被看作是一種時鐘。