想像家嚇有一個資訊源，個資訊源傳送一連串有 N 個符號嘅資訊，而每個符號都係獨立同分佈（independent and identically distributed，iid）嘅－即係一個符號係乜唔會影響嗰串嘢入面第啲符號係乜，而且每個符號嘅概率分佈相同，例如一連串互不相干、每個都係隨機噉揀嘅英文字母－呢串嘢嘅資訊熵係 （當中  係每一個個別符號嘅資訊熵）咁多位元；