高阶的情况是指当前符号出现的概率受之前出现符号的影响，这时候之前出现的符号，也被称为"上下文"。比如在英文文档编码的时候，例如，在字母"Q"或者"q"出现之后，字母"u"出现的概率就大大提高了。这种模型还可以进行"自适应"的变化，即在某种上下文下出现的概率分布的估计随着每次这种上下文出现时的符号而自适应更新，从而更加符合实际的概率分布。不管编码器使用怎样的模型，解码器也必须使用同样的模型。一个简单的例子以下用一个符号序列怎样被编码来作一个例子： 假如有一个以A、B、C三个出现机会均等的符号组成的序列。