字替换，从而达到压缩数据的目的。每个码字的长度近似与概率的负对数成比例。因此，最常见的符号使用最短的码。根据香农的信源编码定理，一个符号的最佳码长是 −log"P"，其中 "b" 是用来输出的码的数目，"P" 是输入符号出现的概率。霍夫曼编码和算术编码是两种最常见的熵编码技术。如果预先已知数据流的近似熵特性（尤其是对于信号压缩），可以使用简单的静态码。这些静态码，包括通用密码（如Elias gamma coding或斐波那契编码）和哥伦布编码（比如元编码或Rice编码）。一般熵编码器与其它编码器