Más generalmente, si "P" y "Q" son medidas de probabilidad sobre un conjunto "X", y "Q" es absolutamente continua con respecto a "P", entonces la divergencia Kullback–Leibler de "P" a "Q" se define como