考慮一件事件嘅所有可能性，將每一個可能性嘅概率乘嗰個可能性嘅概率以 2 做基數嘅對數，再將呢啲得出嘅數加埋嗮一齊，再將個答案乘 -1 變成正數，就會得出件事件所包含嘅資訊熵。