Tiori informasi

Téori informasi (Inggris: information theory) nyaéta disiplin élmu dina widang matematika terapan anu patali jeung kuantisasi data ku kituna data atawa informasi éta bisa ditunda sarta dikirimkeun tanpa kasalahan (error) ngaliwatan hiji kanal komunikasi. Entropi informasi (information entropy) mindeng dipaké minangka pakakas pikeun maksud ieu, sarta biasana dinyatakeun minangka lobana bit rerata anu diperlukeun pikeun penyimpanan sarta pengiriman informasi kasebut. Contona, lamun kaayaan cuaca poéan dinyatakeun kalawan entropi 3 bit, mangka urang katakan yén cuaca éta miboga rata-rata 3 bit unggal poéna.

Aplikasi ti topik dasar dina téori informasi ngawengku kompresi data tanpa cacad (lossless data compression, dina file ZIP contona), kompresi data (lossy data compression, dina file MP3, contona), sarta pengkodéan kanal (channel coding, dina saluran DSL, ADSL dll). Biasana téori informasi mangrupa titik temu ti widang –bidang matematika, statistika, élmu komputer, fisika, neurobiologi, sarta téknik listrik sarta komputer. Implementasi ti téori ieu berdampak langsung kalawan misi rohang jomantara, pamahaman ngeunaan liang hideung dina galaksi, kalawan panalungtikan linguistika sarta persepsi manusa, kalawan raramat komputer, raramat Internet sarta raramat telepon genggam.

Sacara husus, téori informasi nyaéta cabang ti matematika kasempetan sarta statistik, anu patali jeung konsép informasi sarta entropi informasi kawas geus dijelaskeun di luhur. Claude E. Shannon (1916-2001) dipikawanoh minangka "bapa ti teori informasi". Shannon mendefinisikan pengukuran ti entropi informasi (dina bit) minangka:

Rumus ieu lamun dilarapkeun dina hiji asal informasi, bisa nangtukeun kapasitas ti saluran anu diperlukeun pikeun ngirim data anu ditarjamahkeun ka dina digit biner.

Pranala luar 
 NCIFCRF.gov , Eprint, Schneider, T., "Information Theory Primer"
 ND.edu, Srinivasa, S. "A Review on Multivariate Mutual Information"
 Conceptsearching.com , Challis, J. , "Lateral Thinking in Information Retrieval"
 Chem.wisc.edu, Journal of Chemical Education, Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense! 
 ITsoc.org , IEEE Information Théory Society and ITsoc.org  review articles
 Cam.ac.uk, On-line textbook: "Information Theory, Inference, and Learning Algorithms" by David MacKay - giving an entertaining and thorough introduction to Shannon théory, including state-of-the-art methods from coding théory, such as arithmetic coding, low-density parity-check codes, and Turbo codes.
 UMBC.edu, Eprint, Erill, I., "A gentle introduction to information content in transcription factor binding sites"

Tiori Informasi