Entropi (teori informasi) itu apa sih?

Dalam teori informasi, entropi variabel acak adalah tingkat rata-rata "informasi", "kejutan", atau "ketidakpastian" yang melekat pada kemungkinan hasil variabel. Diberikan variabel acak diskrit , yang mengambil nilai dalam alfabet  dan didistribusikan menurut  :di mana  menunjukkan jumlah atas nilai-nilai variabel yang mungkin. Pilihan dasar untuk , logaritma, bervariasi untuk aplikasi yang berbeda. Basis 2 memberikan satuan bit (atau "shannon"), sedangkan basis e memberikan "satuan alami" nat, dan basis 10 memberikan satuan "dit", "ban", atau "hartley". Definisi entropi yang setara adalah nilai yang diharapkan dari informasi diri suatu variabel.

Konsep entropi informasi diperkenalkan oleh Claude Shannon dalam makalahnya tahun 1948 " Sebuah Teori Matematika Komunikasi ", dan juga disebut sebagai entropi Shannon. Teori Shannon mendefinisikan sistem komunikasi data yang terdiri dari tiga elemen: sumber data, saluran komunikasi, dan penerima. "Masalah mendasar komunikasi" - seperti yang diungkapkan oleh Shannon - adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber, berdasarkan sinyal yang diterimanya melalui saluran. Shannon mempertimbangkan berbagai cara untuk mengkodekan, memampatkan, dan mengirimkan pesan dari sumber data, dan membuktikan dalam teorema pengkodean sumbernya yang terkenal bahwa entropi mewakili batas matematis absolut tentang seberapa baik data dari sumber dapat dimampatkan tanpa mengalami kehilangan ke saluran tanpa derau sama sekali. Shannon memperkuat hasil ini secara signifikan untuk saluran berderau dalam teorema pengkodean saluran berderaunya.

Entropi dalam teori informasi secara langsung dianalogikan dengan entropi dalam termodinamika statistik. Hasil analogi ketika nilai-nilai variabel acak menunjukkan energi keadaan mikro, sehingga rumus Gibbs untuk entropi secara formal identik dengan rumus Shannon. Entropi memiliki relevansi dengan bidang matematika lainnya seperti kombinatorika dan pembelajaran mesin. Definisi tersebut dapat diturunkan dari serangkaian aksioma yang menetapkan bahwa entropi harus menjadi ukuran seberapa "mengejutkan" hasil rata-rata suatu variabel. Untuk variabel acak kontinu, entropi diferensial analog dengan entropi.