信息論

信息論 （ information theory ） 是應用數學 、 電子學和計算機科學的一個分支 ， 涉及信息的量化 、 存儲和通信等 。 信息論是由克勞德 · 香農發展 ， 用來找出信號處理與通信操作的基本限制 ， 如數據壓縮 、 可靠的存儲和數據傳輸等 。 熵是信息的一個關鍵度量 ， 通常用一條消息中需要存儲或傳輸一個的平均比特數來表示 。 熵衡量了預測隨機變量的值時涉及到的不確定度的量 。 例如 ， 指定擲硬幣的結果 （ 兩個等可能的結果 ） 比指定擲骰子的結果 （ 六個等可能的結果 ） 所提供的信息量更少 （ 熵更少 ） 。 信息論將信息的傳遞作爲一種統計現象來考慮 ， 給出了估算通信信道容量的方法 。 信息傳輸和信息壓縮是信息論研究中的兩大領域 。 這兩個方面又由信道編碼定理 、 信源 － 信道隔離定理相互聯繫 。