在信息论中，**信息冗余**是传输消息所用数据位的数目与消息中所包含的实际信息的数据位的数目的差值。数据压缩是一种用来消除不需要的冗余的方法，校验和是在经过有限信道容量的噪声信道中通信，为了进行错误校正而增加冗余的方法。

定量定义
----

在描述原始数据的冗余时，信源信息率为平均每个符号的熵。对于无记忆信源，这仅是每个符号的熵；而对于一个随机过程的最普遍形式为前 *n* 个符号的联合熵除以 *n* 之后，随着 *n* 趋于无穷时的极限

r=\lim \_{{n\to \infty }}{\frac {1}{n}}\mathrm{H} (M\_{1},M\_{2},\dots M\_{n}),
在信息论中经常提及一种语言的"熵率"或者"信息熵"。当信源是英文散文时这是正确的。由于无记忆信源的消息之间没有相互依赖性，所以无记忆信源的信息率为\mathrm{H} (M)。

信源的**绝对信息率**为

R=\log |{\mathbb M}|,\,
即是消息空间基数的对数值。这个公式也称作Hartley函数。这是传送用这个字母表表示的信息的最大信息率。其中对数要根据所用的测量单位选择合适的底數。当且仅当信源是无记忆的且均匀分布的时候，绝对信息率等于信息率。

**绝对信息冗余**定义为

D=R-r，
即信息率与绝对信息率之间的差。

{\frac DR}称为**相对信息冗余**，它表示了最大的数据压缩率，这个压缩率用文件大小减小比例所表示。当用原始文件与压缩后的文件表示的时候，R:r表示能够得到的最大压缩率。与相对信息冗余互补的是**效率**{\frac rR}，于是{\frac rR}+{\frac DR}=1。均匀分布的无记忆信源的冗余为0，效率为100%，因此无法压缩。

其它的冗余概念
-------

两个变量之间*冗余*的度量是互信息或者正规化变量。多个变量之间冗余的度量是全相关（total correlation）。

压缩数据的冗余是指 n 个消息的期望压缩数据长度为L(M^{n})\,\!（或期望数据熵率 L(M^{n})/n\,\!）与熵值 nr\,\!（或熵率 r\,\!）的差。（这里我们假设数据是遍历的也是平稳的，例如无记忆信源。）虽然熵率之差 L(M^{n})/n-r\,\! 会随着 n\,\! 增加而任意小，实际的差 L(M^{n})-nr\,\! 已不能（尽管理论上可以）在有限熵的无记忆信源情况下上界为 1。

参见
--

* 信源编码
* 信源编码定理
* 数据压缩
* 负熵

参考文献
----

* Reza, Fazlollah M.. New York: Dover. 1994 [1961]. ISBN 0-486-68210-2.
* Schneier, Bruce.. New York: John Wiley & Sons, Inc. 1996. ISBN 0-471-12845-7.
* Auffarth, B; Lopez-Sanchez, M.; Cerquides, J.. . Springer. 2010: 248–262. CiteSeerX: 10.1.1.170.1528可免费查阅.

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 

| * 
* 论
* 编
方法 |
| --- |
|  |
| 理论 | 
* 熵
* 语法（英语：）
* 信息论
* 柯氏复杂度
* 量化
* 率失真理论
* 

 |
|  |
|  | 

|  |  |
| --- | --- |
| 熵編碼 | 
* 算术编码
* 非对称数字系统编码（英语：）
* 格倫布編碼
* 霍夫曼编码
	+ 适应性
	+ 范型
	+ 改进
* 區間編碼
* 香农编码
* 香农-范诺编码
* 香農-范諾-埃利西斯編碼
* Tunstall编码（英语：）
* 一元编码（英语：）
* 通用編碼（英语：）
	+ 指數格倫布編碼
	+ 斐波那契編碼
	+ 以利亞伽瑪編碼
	+ 萊文斯坦編碼（英语：）

 |
|  |
| 字典編碼（英语：） | 
* 字节对编码
* LZ77 / LZ78
	+ 842（英语：）
	+ Brotli
	+ Deflate
	+ LZ4
	+ LZFSE
	+ LZJB（英语：）
	+ LZMA
	+ LZO
	+ LZRW（英语：）
	+ LZS（英语：）
	+ LZSS
	+ LZW
	+ LZWL（英语：）
	+ LZX
	+ Snappy
	+ Zstandard

 |
|  |
| 其他 | 
* BWT
* CTW（英语：）
* 差分编码
* DMC
* 差分脉冲编码调制
* 无损离散余弦变换
* MTF
* PAQ（英语：）
* PPM（英语：）
* RLE

 |

 |
|  |
|  | 

|  |  |
| --- | --- |
| 变换编码 | 
* DCT
	+ MDCT
* DST
* FFT
* 小波变换
	+ 多贝西
	+ DWT
	+ SPIHT（英语：）

 |
|  |
| 预测编码 | 
* DPCM
	+ ADPCM（英语：）
* LPC
	+ ACELP（英语：）
	+ CELP
	+ LAR（英语：）
	+ LSP（英语：）
	+ WLPC（英语：）
* 运动
	+ 运动补偿
	+ 运动预测
	+ 运动矢量
* 心理声学

 |

 |
|  |
|  | 

|  |  |
| --- | --- |
| 概念 | 
* 码率
	+ 平均码率
	+ 恒定码率
	+ 可变码率
* 压扩（英语：）
* 卷积
* 动态范围
* 延迟（英语：）
* 采样
* 采样定理
* 音质
* 语音编码
* 子带编码

 |
|  |
| 编解码组件 | 
* A-law（英语：）
* μ-law（英语：）
* DPCM
	+ ADPCM（英语：）
	+ DM
* FT
	+ FFT
* LPC
	+ ACELP（英语：）
	+ CELP
	+ LAR（英语：）
	+ LSP（英语：）
	+ WLPC（英语：）
	+ CELP
	+ MDCT
* 心理聲學模型

 |

 |
|  |
|  | 

|  |  |
| --- | --- |
| 概念 | 
* 色度抽样
* 编码树单元
* 色彩空間
* 壓縮失真
* 图像分辨率
* 宏块
* 像素
* 峰值信噪比
* 量化
* 标准测试图像

 |
|  |
| 方法 | 
* DCT
* Deflate
* 分形压缩
* K-L变换
* LP（英语：）
* RLE
* 小波变换
	+ 多贝西
	+ DWT
	+ SPIHT（英语：）

 |

 |
|  |
|  | 

|  |  |
| --- | --- |
| 概念 | 
* 码率
	+ 平均码率
	+ 恒定码率
	+ 可变码率
* 显示分辨率
* 帧（英语：）
* 帧率
* 帧类型
* 隔行扫描
* 視訊特性
* 視訊質量

 |
|  |
| 编解码组件 | 
* DCT
* DPCM
* 去区块滤波器
* 重叠变换（英语：）
* 运动
	+ 运动补偿
	+ 运动预测
	+ 运动矢量
* 量化

 |

 |
|  |
| 另见压缩格式和数据压缩 |

 |