Teori maklumat

Teori maklumat ialah satu cabang dalam matematik gunaan dan kejuruteraan elektrik yang secara aksiomatik mentakrifkan konsep maklumat,sifat-sifatnya dan menetapkan had hubungan bagi operasi pemerosesan isyarat seperti pemampatan data dan pada operasi menyimpan dan menghubungkan data. Sepertimana kebanyakan teori matematik, teori ini beroperasi dengan model matematik, dan bukan dengan objek fizikal nyata (sumber dan saluran komunikasi). Ia menggunakan sebahagian besar radas matematik dari teori kebarangkalian dan statistik matematik.

Teori maklumat telah dibangunkan oleh Claude E. Shannon dan sejak pengenalannya, aplikasinya berkembang ke dalam banyak bidang termasuklah penaabir statistik, pemerosesan bahasa tabii, kriptografi secara umum, rangkaian selain dari rangkaian komunikasi - seperti dalam neurobiologi,, evolusi, dan fungsi kod molekular, pemilihan model dalam ekologi, fizik terma, pengkomputeran kuantum, pengesan ciplakan dan lain-lain bentuk analisis data. 

Pengukur utama maklumat dikenali sebagai entropi yang biasanya diungkap dalam purata jumlah bit diperlukan untuk storan atau komunikasi. Entropi akan mengkuantiti ketakpastian yang terjadi dalam meramal nilai pemboleh ubah rawak. Contohnya, menentukan kesudahan dari satu lambungan syling (dua kesudahan sama boleh jadi) memberikan maklumat yang kurang (entropi yang rendah) berbanding dari satu lemparan dadu (enam kesudahan sama boleh jadi).

Antara aplikasi topik asas teori maklumat termasuklah pemampatan tak hilang (cth. fail ZIP), pemampatan hilang (cth. MP3 dan JPG), dan pengekodan (cth. bagi talian DSL). Bidang ini sebenarnya berada pada titik persilangan antara matematik, statistik, sains komputer, fizik, neurobiologi dan kejuruteraan elektrik. Peranannya sangat penting dalam misi-misi Voyager ke angkasa lepas, penciptaan cakera padat, kebolehfungsian telefon mudah alih, pembangunan internet, pengkajian linguistik dan persepsi manusia, pemahaman lohong hitam dan lain-lain bidang penting. Sub bidang utama teori maklumat ialah mampatan data dan pengekodan saluran.

Rujukan