Lewahan (teori maklumat)

Dalam teori maklumat, lewahan (ليواهن) mengukur perbezaan pecahan di antara entropi  bagi suatu ensembel , dan nilai maksimum yang mungkin . Secara tidak rasminya, ia adalah jumlah "ruang" terbazir yang digunakan untuk menghantar data tertentu. Pemampatan  data merupakan satu cara untuk mengurangkan atau menyingkirkan lewahan yang tidak diingini, manakala hasil tambah semak pula merupakan satu cara untuk menambah lewahan yang diinginkan dengan tujuan untuk mengesan ralat apabila berkomunikasi melalui saluran hingar bagi muatan terhad.

Takrifan kuantitatif
Dalam menerangkan lewahan data mentah, kadar suatu sumber maklumat ialah entropi purata setiap simbol. Untuk sumber tanpa ingatan, ini hanyalah entropi bagi setiap simbol, manakala, dalam kebanyakan kes umum bagi suatu proses stokastik, ia adalah:

had, apabila n pergi ke ketakterhinggaan, bagi entropi tercantum bagi simbol-simbol n pertama dibahagikan dengan n. Ia adalah biasa dalam teori maklumat untuk membincangkan "kadar" atau "entropi" bagi suatu bahasa. Ini adalah sesuai, contohnya, apabila sumber maklumat merupakan prosa bahasa Inggeris. Kadar sumber tanpa ingatan hanyalah , kerana dengan takrifan, tiada kesalingbergantungan mesej-mesej berturutan bagi suatu sumber tanpa ingatan.

Catatan

Rujukan
 
 
 

Teori maklumat