才有定义。式中出现formula_5的情况，其值按0处理。对于连续随机变量，其概率分佈"P"和"Q"可按积分方式定义为 其中"p"和"q"分别表示分佈"P"和"Q"的密度。更一般的，若"P"和"Q"为集合"X"的概率测度，且"P"关于"Q"绝对连续，则从"P"到"Q"的KL散度定义为<br>交叉熵和KL散度