信息论 資訊科技主题 信息论英語information theory是应用数学電子學和计算机科学的一个分支涉及信息的量化存储和通信等信息论是由克劳德香农发展用来找出信号处理与通信操作的基本限制如数据压缩可靠的存储和数据传输等自创立以来它已拓展应用到许多其他领域包括统计推断自然语言处理密码学神经生物学进化论和分子编码的功能生态学的模式选择热物理量子计算语言学剽窃检测模式识别异常检测和其他形式的数据分析 熵是信息的一个关键度量通常用一条消息中需要存储或传输一个符号英语Symbol rate的平均比特数来表示熵衡量了预测随机变量的值时涉及到的不确定度的量例如指定擲硬幣的结果两个等可能的结果比指定掷骰子的结果六个等可能的结果所提供的信息量更少熵更少 信息论将信息的传递作为一种统计现象来考虑给出了估算通信信道容量的方法信息传输和信息压缩是信息论研究中的两大领域这两个方面又由信道编码定理信源信道隔离定理相互联系 信息论的基本内容的应用包括无损数据压缩如ZIP文件有损数据压缩如MP和JPEG信道编码如数字用户线路DSL这个领域处在数学统计学计算机科学物理学神经科学和電機工程學的交叉点上信息论对航海家深空探测任务的成败光盘的发明手机的可行性互联网的发展语言学和人类感知的研究对黑洞的了解以及许多其他领域都影响深远信息论的重要子领域有信源编码信道编码算法复杂性理论算法信息论資訊理論安全性和信息度量等