Teori maklumat

Teori maklumat ialah satu cabang dalam matematik gunaan dan kejuruteraan elektrik yang secara aksiomatik mentakrifkan konsep maklumat,C. E. Shannon «A Mathematical Theory of Communication» (Перевод в сборнике Шеннон К. «Работы по теории информации и кибернетике». — М.: ИЛ, 1963. — 830 с., С. 243-322)sifat-sifatnya dan menetapkan had hubungan bagi operasi pemerosesan isyarat seperti pemampatan data dan pada operasi menyimpan dan menghubungkan data. Sepertimana kebanyakan teori matematik, teori ini beroperasi dengan model matematik, dan bukan dengan objek fizikal nyata (sumber dan saluran komunikasi). Ia menggunakan sebahagian besar radas matematik dari teori kebarangkalian dan statistik matematik.

Teori maklumat telah dibangunkan oleh Claude E. Shannon dan sejak pengenalannya, aplikasinya berkembang ke dalam banyak bidang termasuklah penaabir statistik, pemerosesan bahasa tabii, kriptografi secara umum, rangkaian selain dari rangkaian komunikasi - seperti dalam neurobiologi,F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek, Spikes: Exploring the Neural Code. The MIT press (1997)., evolusicf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314, dan fungsiRando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider, Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122 kod molekular, pemilihan modelBurnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9. dalam ekologi, fizik terma,Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620 pengkomputeran kuantum, pengesan ciplakanCharles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories, Scientific American 288:6, 76-81 dan lain-lain bentuk analisis data. 

Pengukur utama maklumat dikenali sebagai entropi yang biasanya diungkap dalam purata jumlah bit diperlukan untuk storan atau komunikasi. Entropi akan mengkuantiti ketakpastian yang terjadi dalam meramal nilai pemboleh ubah rawak. Contohnya, menentukan kesudahan dari satu lambungan syling (dua kesudahan sama boleh jadi) memberikan maklumat yang kurang (entropi yang rendah) berbanding dari satu lemparan dadu (enam kesudahan sama boleh jadi).

Antara aplikasi topik asas teori maklumat termasuklah pemampatan tak hilang (cth. fail ZIP), pemampatan hilang (cth. MP3 dan JPG), dan pengekodan (cth. bagi talian DSL). Bidang ini sebenarnya berada pada titik persilangan antara matematik, statistik, sains komputer, fizik, neurobiologi dan kejuruteraan elektrik. Peranannya sangat penting dalam misi-misi Voyager ke angkasa lepas, penciptaan cakera padat, kebolehfungsian telefon mudah alih, pembangunan internet, pengkajian linguistik dan persepsi manusia, pemahaman lohong hitam dan lain-lain bidang penting. Sub bidang utama teori maklumat ialah mampatan data dan pengekodan saluran.

 Rujukan