資訊理論是應用數學、電子學和計算機科學的一個分支，涉及資訊的量化、儲存和通訊等。資訊理論是由克勞德夏農發展，用來找出訊號處理與通訊操作的基本限制，如資料壓縮、可靠的儲存和資料傳輸等。自創立以來，它已拓展應用到許多其他領域，包括統計推斷、自然語言處理、密碼學、神經生物學、進化論 cf Huelsenbeck J P F Ronquist R Nielsen and J P Bollback 2001 Bayesian inference of phylogeny and its impact on evolutionary biology Science 29423102314 和分子編碼的功能 Rando Allikmets Wyeth W Wasserman Amy Hutchinson Philip Smallwood Jeremy Nathans Peter K Rogan Thomas D Schneider Michael Dean 1998 Organization of the ABCR gene analysis of promoter and splice junction sequences Gene 2151 111122、生態學的模式選擇 Burnham K P and Anderson D R 2002 Model Selection and Multimodel Inference A Practical InformationTheoretic Approach Second Edition Springer Science New York ISBN 9780387953649、熱物理 Jaynes E T 1957 Information Theory and Statistical Mechanics Phys Rev 106620、量子計算、語言學、剽竊檢測 Charles H Bennett Ming Li and Bin Ma 2003 Chain Letters and Evolutionary Histories Scientific American 2886 7681、模式識別、異常檢測和其他形式的資料分析。 熵是資訊的一個關鍵度量，通常用一條訊息中需要儲存或傳輸一個的平均位元數來表示。熵衡量了預測隨機變數的值時涉及到的不確定度的量。例如，指定擲硬幣的結果（兩個等可能的結果）比指定擲骰子的結果（六個等可能的結果）所提供的資訊量更少（熵更少）。 資訊理論將資訊的傳遞作為一種統計現象來考慮，給出了估算通訊通道容量的方法。資訊傳輸和資訊壓縮是資訊理論研究中的兩大領域。這兩個方面又由通道編碼定理、信源－通道隔離定理相互聯絡。 資訊理論的基本內容的應用包括無損資料壓縮（如 ZIP 檔案）、有損資料壓縮（如 MP3 和 JPEG）、通道編碼（如數字使用者線路）。這個領域處在數學、統計學、計算機科學、物理學、神經科學和電機工程學的交叉點上。資訊理論對航海家深空探測任務的成敗、光碟的發明、手機的可行性、網際網路的發展、語言學和人類感知的研究、對黑洞的瞭解，以及許多其他領域都影響深遠。資訊理論的重要子領域有信源編碼、通道編碼、演算法複雜性理論、演算法資訊理論、資訊理論安全性和資訊度量等。 簡述 資訊理論的主要內容可以類比人類最廣泛的交流手段 語言來闡述。 一種簡潔的語言（以英語為例）通常有兩個重要特點： 首先，最常用的詞（比如 a、the、I）應該比不太常用的詞（比如 benefit、generation、mediocre）要短一些；其次，如果句子的某一部分被漏聽或者由於噪聲干擾（比如一輛車輛疾馳而過）而被誤聽，聽者應該仍然可以抓住句子的大概意思。而如果把電子通訊系統比作一種語言的話，這種健壯性是不可或缺的。將健壯性引入通訊是透過通道編碼完成的。信源編碼和通道編碼是資訊理論的基本研究課題。 注意這些內容同訊息的重要性之間是毫不相干的。例如，像 多謝；常來 這樣的客套話與像 救命 這樣的緊急請求在說起來、或者寫起來所花的時間是差不多的，然而明顯後者更重要，也更有實在意義。資訊理論卻不考慮一段訊息的重要性或內在意義，因為這些是資料的質量的問題而不是資料量（資料的長度）和可讀性方面上的問題，後者只是由機率這一因素單獨決定的。 資訊的度量 資訊熵 美國數學家克勞德夏農被稱為 資訊理論之父。人們通常將夏農於 1948 年 10 月發表於《》上的論文《》作為現代資訊理論研究的開端。這一文章部分基於哈里奈奎斯特和於 1920 年代先後發表的研究成果。在該文中，夏農給出了資訊熵的定義： H Xmathbb E_X I x sum_xinmathcal X p xlog_2left frac 1p xright 其中 mathcal X 為有限個事件 x 的集合，X 是定義在 mathcal X 上的隨機變數。資訊熵是隨機事件不確定性的度量。 資訊熵與物理學中的熱力學熵有著緊密的聯絡 S Xk_BH X 其中 S X 為熱力學熵，H X 為資訊熵，k_B 為波茲曼常數。 事實上這個關係也就是廣義的波茲曼熵公式，或是在正則系綜內的熱力學熵表示式。如此可知，玻爾茲曼與吉布斯在統計物理學中對熵的工作，啟發了資訊理論的熵。 資訊熵是信源編碼定理中，壓縮率的下限。若編碼所用的資訊量少於資訊熵，則一定有資訊的損失。夏農在大數定律和的基礎上定義了和典型 序列。典型集是典型 序列 的集合。因為一個獨立同分布的 X序列 屬於由 X 定義的典型集的機率大約為 1，所以只需要將屬於典型集的無記憶 X 信源 序列 編為唯一可譯碼，其他 序列 隨意編碼，就可以達到幾乎無損失的壓縮。 例子 設有一個三個面的骰子，三面分別寫有 1 2 3，X 為擲得的數，擲得各面的機率為 begin alignmathbb P X 1 15 mathbb P X 2 25 mathbb P X 3 25 end align 則 H Xfrac 15log_2 5frac 25log_2left frac 52rightfrac 25log_2left frac 52right approx 1522 聯合熵與條件熵 聯合熵由熵的定義出發，計算聯合分佈的熵： H XYsum_xinmathcal Xsum_yinmathcal Y p xylogleft frac 1p xyright 條件熵，顧名思義，是以條件機率 p yx 計算： H YXsum_xinmathcal Xsum_yinmathcal Y p xylogleft frac 1p yxright 由貝氏定理，有 p xyp yx p x，代入聯合熵的定義，可以分離出條件熵，於是得到聯合熵與條件熵的關係式 H XYH XH YXH YH XYH YX 鏈式法則 可以再對聯合熵與條件熵的關係做推廣，假設現在有 n 個隨機變數 X_i i12n，重複分離出條件熵，有： begin align H X_1X_2X_nH X_1H X_2X_nX_1 H X_1H X_2X_1H X_3X_nX_1X_2 H X_1sum_i2n H X_iX_1X_i1end align 其直觀意義如下：假如接收一段數列 X_1X_2X_n，且先收到 X_1，再來是 X_2，依此類推。那麼收到 X_1 後總訊息量為 H X_1，收到 X_2 後總訊息量為 H X_1H X_2X_1，直到收到 X_n 後，總訊息量應為 H X_1X_n，於是這個接收過程給出了鏈式法則。 互資訊 互資訊是另一有用的資訊度量，它是指兩個事件集合之間的相關性。兩個事件 X 和 Y 的互資訊定義為： I XY H XH XYH X H Y H X YH YH YXI YX 其意義為，Y 包含 X 的多少資訊。在尚未得到 Y 之前，對 X 的不確定性是 H X，得到 Y 後，不確定性是 H XY。所以一旦得到 Y，就消除了 H XH XY 的不確定量，這就是 Y 對 X 的資訊量。 如果 XY 互為獨立，則 H XYH XH Y，於是 I XY0。 又因為 H XYleq H X，所以 I XYleq min H XH Y 其中等號成立條件為 Yg X，g 是一個 zh 雙射；zhhans 雙射；zhhant 對射 函式。 互資訊與以及皮爾森卡方檢定有著密切的聯絡。 應用 資訊理論被廣泛應用在： 編碼理論 密碼學 資料傳輸 資料壓縮 檢測理論 估計理論 資料加密 參考文獻 外部連結 夏農論文：通訊的數學理論 Category 通訊 Category 控制論 Category 形式科學 Category 資訊時代