信息论
資訊理論是應用數學、電機工程學和計算機科學的一個分支，涉及資訊的量化、存儲和通訊等。資訊理論是由克勞德·夏農發展，用來找出訊號處理與通訊操作的基本限制，如數據壓縮、可靠的存儲和數據傳輸等。自創立以來，它已拓展應用到許多其他領域，包括統計推斷、自然語言處理、密碼學、神經生物學、進化論和分子編碼的功能、生態學的模式選擇、熱物理、量子計算、語言學、剽竊檢測、模式識別、異常檢測和其他形式的數據分析。熵是資訊的一個關鍵度量，通常用一條消息中需要存儲或傳輸一個符號的平均位元數來表示。熵衡量了預測隨機變量的值時涉及到的不確定度的量。例如，指定擲硬幣的結果比指定擲骰子的結果所提供的資訊量更少。資訊理論將資訊的傳遞作為一種統計現象來考慮，給出了估算通訊頻道容量的方法。資訊傳輸和資訊壓縮是資訊理論研究中的兩大領域。這兩個方面又由頻道編碼定理、信源－頻道隔離定理相互聯繫。資訊理論的基本內容的應用包括無損數據壓縮、有損數據壓縮、頻道編碼。這個領域處在數學、統計學、計算機科學、物理學、神經科學和電機工程學的交叉點上。資訊理論對航海家深空探測任務的成敗，光碟的發明，手機的可行性，網際網路的發展，語言學和人類感知的研究，對黑洞的了解，和許多其他領域都影響深遠。資訊理論的重要子領域有信源編碼、頻道編碼、算法複雜性理論、算法資訊理論、資訊理論安全性和資訊度量。
4096-1
1
資訊理論
4096-1-1
克勞德·夏農開創了什麼理論?
克劳德·夏农開創咗乜嘢理論？
1
熵
4096-1-2
資訊的一個關鍵度量，稱之為?
信息嘅一個關鍵度量，稱之為？
1
頻道編碼
4096-1-3
資訊理論的基本內容的應用包括三種類別，除了有有損數據壓縮、無損數據壓縮，還有哪一種?
信息理論嘅基本內容嘅應用包括三種類別，除了有有損數據壓縮、無損數據壓縮，仲有邊一種？