「考慮一件事件嘅所有可能性，將每一個可能性嘅機會率乘嗰個可能性嘅機會率以 2 做基數嘅對數，再將呢啲得出嘅數加埋嗮一齊，再將個數負向，就會得出件事件所包含嘅資訊熵」。