假設有兩個probabilitydistributionp同q，p代表由某啲觀察得出嚟嘅data，而q代表某啲攞嚟approximatep嘅model或者description。噉樣呢，個kullback–leiblerdivergence就可以畀人演繹為用一個爲q而optimize嘅code嚟encodep嘅sample所需嘅咇士數量同埋用一個爲p而optimize嘅code嚟encodep嘅sample所需嘅咇士數量依兩個數量之間嘅平均差值。