Gw mau tau Bubuka dari Éntropi informasi. Jelasin dalam bahasa sunda

Konsép éntropi dina tiori informasi ngajelaskeun sabaraha loba tingkat acak (atawa, 'kateupastian') anu aya dina sinyal atawa kajadian acak. Cara lian pikeun nempo ngeunaan ieu nyaéta ku ngabahas ngeunaan sabaraha loba informasi anu dibawa ku hiji sinyal.

Contona, aya sababaraha téks dina basa Inggris, dikodekeun mangrupa runtuyan hurup, spasi, jeung tanda baca. Lantaran frékuénsi atawa lobana kajadian pikeun sababaraha hurup ngan saeutik (conto, 'z'), sedengkeun hurup-hurup lianna mah murudul (conto 'e'), runtuyan hurup téh henteu acak-acak teuing. Sanajan kitu, lantaran hurup nu nuturkeunana henteu bisa dikira-kira, bisa ogé disebut 'acak' (nepikeun ka tingkatan nu tangtu). Éntropi téh minangka nu jadi ukuran tingkat acak ieu, saperti anu diusulkeun ku Shannon dina makalah "A Mathematical Theory of Communication " nu medar dina taun 1948

Shannon nawarkeun hiji définisi éntropi anu nyumponan asumsi-asumsi, yén:

Ukuran ieu kudu proporsional (kontinu atawa silisambung) - contona, lamun probabilitasna ngaganti saeutik, éntropina ogé ngan kaganti saeutik.

Upama sakabéh kamungkinan (contona hurup-hurup di luhur) siga-siga rék sarua, mangka nambahan hurup anu kaluar ogé bakal naékkeun harga éntropi.

Lamun aya dua tahapan kajadian, harga éntropi ahir ogé kudu dihasilkeun tina pangjumlahan éntropi tina dua tahapan kajadian éta.

(Catetan: Buku nu ditulis ku Shannon/Wéaver ngarujuk ka tulisan Tolman (1938) anu ngarujuk ogé ka Pauli (1933) anu nuliskeun définisi éntropi nu dipaké ku Shannon. Salian ti éta, mekanika statistika ngarujuk ogé ka von Neumann sanggeus manéhna nurunkeun éntropi dina taun 1927, anu bisa ngajelaskeun naha von Neumann resep pisan ngagunakeun istilah 'entropi' anu geus aya.)