位长度，而信息实际分布为formula_22。这就是期望formula_36是基于formula_22而不是formula_23的原因。
估计.在大多数情况下，我们需要在不知道分布formula_1的情况下计算其交叉熵。例如在语言模型中, 我们基于训练集formula_43创建了一个语言模型, 而在测试集合上通过其交叉熵来评估该模型的准确率。formula_1是语料中词汇的真实分布，而formula_2是我们获得的语言模型预测的词汇分布。由于真实分布是未知的，我们不能直接计算交叉熵