Jabarkan Sumber kode dari Teori kode

Tujuan sumber pengkodean adalah untuk mengambil data sumber dan membuatnya lebih kecil.

Data dapat dilihat sebagai variabel acak , dimana  dengan probabilitas .

Data dikodekan oleh string (kata) di atas alfabet .

(atau  jika pita kosong bukan bagian dari alfabet).

adalah kata kode terkait dengan .

Panjang kata sandi ditulis sebagai

Panjang kode yang diharapkan adalah

Kata kode dari string kosong adalah string kosong:

adalah dapat didekodekan secara unik jika bersifat injeksi.

adalah awalan jika  bukan awalan dari  (dan sebaliknya).

Entropi dari suatu sumber adalah ukuran informasi. Pada dasarnya, kode sumber mencoba mengurangi redundansi yang ada di sumber, dan mewakili sumber dengan bit lebih sedikit yang membawa lebih banyak informasi.

Kompresi data yang secara eksplisit mencoba meminimalkan panjang rata-rata sesuai dengan model probabilitas yang diasumsikan tertentu disebut pengkodean entropi.

Berbagai teknik yang digunakan oleh skema pengkodean sumber mencoba untuk mencapai batas entropi sumber. C(x) ≥ H(x), dimana H(x) adalah entropi sumber (bitrate), dan C(x) adalah bitrate setelah kompresi. Secara khusus, tidak ada skema pengkodean sumber yang lebih baik daripada entropi sumber.